El Castillo de San Servando fue edificado unos años después que el Puente de Alcántara hacia el 890. Fue construído por los moros con el objetode defenderse de las acometidas de los cristianos que luchaban para reconquistar la ciudad que Alfonso VI les había tomado en el año 1085.
Conserva sus muros exteriores, anchos, fuertes, erizados de alemnas y varios torreones aspillerados en los ángulos. Ahora, reconstruido sirve de cobijo al Colegio Menor San Servando.
La puerta de entrada que mira a la ciudad tiene un precioso arco de herradura. Manifiesta pues, bien claramente su estilo árabe.
En el exterior existe un gran patio donde al amparo de un cierto abandono, crece la hierba en salvaje libertad.
En su interior y exterior parte Norte, talladas en la roca, pueden verse vestigios de sepulturas romanas. Probablemente tendrían allí un cementerio esos antecesores de los godos en Toledo.
Y ya sabemos que los castillos participan siempre de la gloria o de los reveses de los pueblos que defienden. Son documentos de piedra que tienen para la historia un gran valor.
El Castillo de San Servando debe todavía guardar, entre sus piedras centenarias, la emoción de la llegada de Alfonso VI aquel domingo de Mayo del año 1085.