Sabemos poco de los orígenes y la historia del Castillo de Roanne. Los estudios realizados del edificio en 1999 no han revelado ningún elemento anterior a 1225 en cuanto al torreón, ni anterior al siglo XV en cuanto a los edificios castrales.

Levantado fuera del burgo, parece probable que a finales del siglo XII el castillo albergase algunas viviendas, protegidas por un primer recinto. Gracias a Guillaume Revel, encargado de plasmar en dibujo todos los castillos pertenecientes al Duque de Borbón (que se convirtió también en Conde de Forez), existe una vista de Roanne que data aproximadamente de 1460. En ella aparece un castillo modesto, de escaso valor militar, en el que se reconoce el torreón.

En la segunda mitad del siglo XV, el castillo ya no sirve de residencia a los señores de Roanne. Es utilizado como prisión y como tribunal, hasta que este último es trasladado al Convento de las Ursulinas, a comienzos del siglo XIX.

De este castillo hoy en día sólo permanecen el torreón y el edificio unido al mismo. El torreón mide 20 metros de alto, está hecho de cantos rodados y de pequeños bloques de granito de Villerest. Se trata del monumento más antiguo de la ciudad. Conserva las señales de numerosas remodelaciones: perforaciones, obturaciones y reparaciones de albañilería. En 1931 fue clasificado como monumento histórico.

El edificio adyacente ha sido transformado en casa para uso de habitación en el siglo XIX. Se le ha incorporado una fachada de estilo renacentista. La Ciudad adquirió el conjunto en 1997.