Die erste zuverlässige Aufzeichnung von Dokumentationsquellen stammt aus dem Jahr 1.371, dem Jahr der Gründung des Herrenhauses Santisteban durch Enrique II zugunsten von Men Rodríguez Biedma, später mit dem Nachnamen Benavides. Das Herrenhaus umfasste die Villa de Santisteban del Puerto sowie die Orte Castellar und Las Navas. Später im Jahr 1473 verlieh Enrique IV. Sánchez de Benavides und Dávila den gleichnamigen Grafentitel. Zu dieser Zeit beginnt der Bau des noch erhaltenen Mauerwerks.

Nach der christlichen Rückeroberung verliert die Burg ihre militärische Funktion. Die Herzöge von Medinaceli, die letzten Feudalherren des Ortes, die in ihrem Inneren den Bergfried Pallarés aus dem 14. Jahrhundert und den Exerzierplatz der alten Festung bewahrten, bauten einen Palast mit guten Ständen. In Übereinstimmung mit der kastilischen Stilmode weist das Cover einen robusten Halbkreisbogen und Wappen auf dem markanten Schlussstein und den Zwickeln auf, die von stilisierten Säulen und Flammen eingerahmt werden.

Sein Name als Palacio de Medinaceli geht auf die zweite Hälfte des 18. Jahrhunderts zurück, als Luis María, Herzog von Medinaceli, Sohn von Pedro Alcántara und María Javiera de Gonzaga, durch seine Heirat mit Joaquina de Benavides den Titel eines Herzogs von Santisteban erhielt. Tochter von Antonio Benavides und Ana María, Pedro Alcántaras Schwester.

Ende des letzten Jahrhunderts wurde der Palast zum liberalen Kasino, nach dem Bürgerkrieg war er Sitz des Círculo de Labradores und ist derzeit das Rathaus von Castellar, das nach den ursprünglichen Richtlinien restauriert wurde.

Der Tributturm Pallarés mit quadratischem Grundriss besteht aus zwei Stockwerken mit einer Breite von zehn Metern und einer Höhe von fünfzehn Metern. Der erste Stock umfasst seinen schönen Spitzbogen, und der zweite Stock verdient Bewunderung für seine Kuppel auf Pendelleuchten sowie seine unüberwindlichen Schlupflöcher oder Schlupflöcher. 1996 wurde es in den Gesamtkatalog des andalusischen historischen Erbes eingetragen und beherbergt seit 1998 das Iberische Museum von Castellar, in dem Sie einige der wichtigsten archäologischen Stücke der Stadt sehen können, hauptsächlich Bronze-Votivgaben sowie Pfeilspitzen , Äxte oder Keramikbehälter.

Die doppelte Persönlichkeit des Komplexes ist offensichtlich: Schloss und Palast, Palast und Schloss, die dem einen und anderen der verfeinerten und rauen Konzepte überlagert sind, zivil und militärisch, rustikal und urban, naiv und raffiniert, die beide um die Bedeutung dieses Konzepts konkurrieren singuläres Konglomerat.