Siempre cuesta abajo, dejando a nuestra izquierda el teatro de Rojas y frente a los muros posteriores de la Catedral se presentará de súbito una hermosa antigua portada gótica con un soberbio escudo de armas de los Reyes Católicos.
El arco superior es el ojival gótico. A cadalado del escudo se ve un cuadrillero especial de soldados encargados de perseguir a los bandoleros que infestaban los despoblados y tenían su principal guarida en los montes de Toledo.
Encerraban a los presos en unas cuevas completamente oscuras y húmedas que todavía pueden verse en los sótanos de la casa, hoy Posada y parece que les aplicaban castigos muy severos poco humanos hasta el extremo de emparedarlos según dan a entender unos huecos que se observan en los viejos muros.
Las gentes que se asociaban con el fin de perseguir a los malhechores, tenían ciertos privilegios y su asociación se llamaba de La Hermandad. De ahí el nombre que lleva este edificio.
Se dice que en él funcionaba el Tribunal de la Inquisición. Se ha instalado un Museo Municipal con documentos de su época.