Fue inaugurado en el 1999, y está incluido en el Registro Andaluz de Museos y Colecciones Museográficas de la Consejería de Cultura de la Junta de Andalucía.

El palacio pertenece a un conjunto patrimonial catalogado como BIC. Fue construido por los linajes Cárdenas-Valdivia y los primeros documentos que se han conservado datan de 1570. La espléndida torre-portada que lo caracteriza fue construida hacia 1620, se sabe que sobresalía sobre el sistema defensivo de la cercana puerta de la muralla. En ella destacan el típico almohadillado renacentista, un frontón curvo roto y terminado en volutas, en el que se inscribe uno de los escudos heráldicos (Cárdenas). A ambos lados encontramos atlantes, y sobre estos, otros dos escudos. También resultan reseñables las cinco leonas sobre la cornisa superior que portan cinco escudos. El interior de la casa está articulado como los palacios italianos renacentistas, en torno a un patio con cuatro crujías, datado en siglo XVII. Finalmente, las caballerizas destacan por una pintura mural de un escudo con dos leones rampantes y los linajes de la familia. El edificio aloja también a la Casa del Alfarero.