Construído a finales del siglo XI, el Castillo de Saumur fue fortaleza, residencia de descanso, palacio de los gobernadores de la villa, cárcel y depósito de armas y municiones. El castillo domina la ciudad y el majestuoso Loira.
El Chateau de Saumur está en el borde de un abrupto acantilado y goza de excelentes vistas de la ciudad y el fértil Valle del Loira. El rey Carlos el Temerario construyó la fortaleza original y un monasterio en el siglo IX con el fin de albergar las reliquias de San Florent. Ambos edificios fueron destruidos durante las invasiones normandas del siglo IX. Fulk Nerra, Conde de Anjou (987-1040) se apoderó de la fortaleza recién reconstruida. La fortaleza permaneció en la familia Plantagenêts (la primera dinastía de Anjou y los reyes de Inglaterra) hasta que el rey Felipe Augusto la tomó en 1203. Luis IX reconstruyó el castillo de Saumur en 1230 y lo legó a su hermano menor Charles. Charles d’Anjou fundó la segunda dinastía de Anjou. Luis I de Anjou mejoró el castillo. De hecho, construyó las 4 torres octogonales, que fueron coronadas con tejados de pimienta-pote a finales del siglo XIV. Luis I decoró suntuosamente y remodeló el castillo, con el fin de rivalizar con las mansiones de su hermano Carlos V. El rey René, el último duque de Anjou, convirtió el castillo de Saumur en un palacio renacentista cómodo y elegante durante el siglo XV.Las torres, torres, machicolations y fustes lo convierten en un elegante palacio fortificado. El Chateau de Saumur sirvió de modelo para la famosa iluminación Les Très Riches Heures du Duc de Berry (Libro de Horas). Las murallas en forma de estrella del castillo de Saumur fueron construidas en 1590, cuando Saumur se convirtió en una fortaleza protestante importante.
Luis XIV revocó el Edicto de Nantes y ordenó el cierre de la Academia Protestante y del templo en 1685. El edificio de la Academia Protestante fue convertido en una prisión en 1804, luego en una guarnición y finalmente en un depósito de municiones. El castillo de Saumur se convirtió en la residencia oficial de los gobernadores de Saumur.
El monumento ha sido objeto de una meticulosa campaña de restauración. Las bellas piezas de las colecciones se exponen en el castillo y en la sala Abbatial.