Después de estar ubicada en diversos lugares de la ciudad, en 1840, durante el reinado de Isabel II, se decidió construir un edificio que albergase tan importante tesoro cultural y se adquirieron los actuales terrenos entre la calle Serrano y el Paseo de Recoletos. Se encargó el proyecto Francisco Jareño y se aprobó un presupuesto de excepcional cuantía para aquella época (10 millones de pesetas) pero que nunca se hizo efectivo por lo que se paralizaron las obras cuando sólo se había concluído la cimentación y la verja circundante. Tras la muerte de Jareño se pensó edificar un palacio que albergue la exposición conmemorativa del 4° Centenario del descubrimiento de América y que sirviera después como sede de la Biblioteca. Se encargó el nuevo proyecto al arquitecto Ruiz de Salces y finalizada la Exposición en 1893 fue trasladada ahí la Biblioteca. En la fachada opuesta a la entrada, que da a la calle Serrano se encuentra el Museo Arqueológico Nacional.
