La casa de Altamira se encuentra en la calle Santa María la Blanca. Tal como comentaba en La casa de los Mañara y la judería sevillana, esta fue el eje de la judería sevillana hasta la insurrección popular contra ellos en 1391. Aunque Enrique III, rey de Castilla de 1390 a 1406, promulgó varios edictos para acabar con la violencia, la consecuencia fue la desaparición de la comunidad judía en Sevilla.

Esta insurrección tuvo relación directa con el origen de esta casa. Diego López de Estúñiga  (Castañares, Burgos, ca. 1350 – Valladolid, 1417)  justicia mayor de Castilla, junto a Juan Hurtado de Mendoza, fue el encargado de acabar con el motín popular y, en recompensa,  recibió en 1396, el solar donde se levanta el edificio que nos ocupa.

El edificio quedó vinculado a los Zúñiga, duques de Béjar desde 1485. En 1575, Felipe II concedió el marquesado de Villamanrique a Álvaro Manrique de Zúñiga (ca. 1540 – Madrid, 1590), Virrey de la Nueva España de 1585 a 1590, el cual era el más joven de los hijos del duque de Béjar. Con el matrimonio en 1707 de Ana Nicolasa de Guzmán y Córdoba Osorio Dávila, VI marquesa de Villamanrique, con Antonio Pedro Gaspar de Moscoso Hurtado de Mendoza, X conde de Altamira, la casa quedó vinculada en su nombre con este título.
La configuración del edificio se realizó en el siglo XV y recibió numerosas reformas durante el XVI. Los arquitectos Antonio Cruz y Antonio Ortiz mostraron en la memoria de restauración del edificio que la planta de este palacio mudéjar respondía al del palacio de Pedro I en el Alcázar. En el patio de los Azulejos, las dependencias domésticas se distribuyen a su alrededor al modo del de las Muñecas y, en el Principal, las dependencias del palacio se distribuyen alrededor de éste del mismo modo que se distribuyen en el de las Doncellas del Alcázar. Tal como describe Teodoro Falcón, «al sur se ubica el trasunto del salón de Embajadores; al este el equivalente al salón de Carlos V (salón de Invierno)… Al oeste el salón de Verano, que corresponde al Dormitorio de los Reyes Moros.

En el primer cuarto del siglo XVII, se levantó la fachada manierista que conservamos del edificio. Atribuida a Juan de Oviedo, Teodoro Falcón se inclina por Vermondo Resta (Milán, Italia, 1555 – Sevilla, 1625). Éste influyó notablemente en la arquitectura manierista sevillana de principios del seiscientos. Desde 1604 fue maestro mayor del Alcázar, en donde realizó el Apeadero e importantes labores en los jardines, en las que destaca la galería de Grutescos. Por otro lado, en 1628, realizó el desaparecido corral de comedias de la Montería en el interior del Alcázar, el cual funcionó hasta 1679 cuando se prohibieron las representaciones teatrales en Sevilla. A él también se deben la iglesia del convento de San José (las Teresas), el Hospital Real (antigua sede de la Diputación) o las casas adosadas a la torre de la Plata en la calle Santander.
En el siglo XIX, la casa se desvinculó de la familia y, como tantas otras en Sevilla, se transformó en casa de vecinos. Muy deteriorada, la rehabilitación, llevada a cabo por Francisco Torres Martínez, se concluyó en 1999 y, desde entonces, es sede de la Consejería de Cultura de la Junta de Andalucía. Esta rehabilitación fue Finalista en la V Bienal de Arquitectura Española. Francisco Torres, profesor en las Escuelas Superior de Arquitectura de las Universidades de Sevilla y Madrid, ha sido responsable de numerosas restauraciones: del Parlamento de Andalucía en Sevilla, del Pabellón de Cuba en Sevilla, de los baños califales de Córdoba, …