La primera constancia fiable de fuentes documentales data de 1.371, año de creación del señorío de Santisteban por Enrique II a favor de Men Rodríguez Biedma, después apellidado Benavides. El señorío comprendía la Villa de Santisteban del Puerto, junto con los lugares de Castellar y las Navas. Posteriormente en 1.473, Enrique IV hizo merced a Sánchez de Benavides y Dávila del título de conde con la misma denominación. Es en esta época cuando se inicia la construcción del recinto amurallado que aún se conserva.

Finalizada la Reconquista Cristiana, el Castillo pierde su función militar. Los Duques de Medinaceli, últimos señores feudales del lugar, conservando en su interior la torre del homenaje del siglo XIV, denominada de Pallarés, y el patio de armas de la antigua fortaleza, levantaron un palacio de buena sillería. En línea con la moda estilística castellana, la portada presenta un robusto arco de medio punto y escudos blasones en la clave saliente y en las enjutas, enmarcado por estilizadas columnillas y flameros.

Su denominación como Palacio de Medinaceli se debe a la segunda mitad del siglo XVIII, cuando Luis María, Duque de Medinaceli, hijo de Pedro Alcántara y María Javiera de Gonzaga, consiguió el título de Duque de Santisteban por su matrimonio con Joaquina de Benavides, hija de Antonio Benavides y Ana María, hermana de Pedro Alcántara.

A finales del siglo pasado el Palacio se convirtió en Casino Liberal, tras la guerra civil fue sede del Círculo de Labradores y actualmente es la Casa Consistorial de Castellar, restaurada siguiendo las directrices originarias.

En cuanto a la torre homenaje, denominada de Pallarés, de planta cuadrada, consta de dos plantas con diez metros de anchura y quince de altura. De su primera planta cabe destacar su bello arco apuntado, y de su segunda planta, es digna de admirar su cúpula sobre pechinas así como sus infranqueables aspilleras o saeteras. En 1996 fue inscrita en el Catálogo General del Patrimonio Histórico Andaluz y desde el año 1998 viene albergando en su interior el Museo Ibérico de Castellar, donde se pueden contemplar algunas de las importantes piezas arqueológicas halladas en la localidad, en su mayoría exvotos de bronce, así como puntas de flecha, hachas o recipientes de cerámica.

Salta a la vista la doble personalidad del conjunto, Castillo y Palacio, Palacio y Castillo, apareciendo superpuestos en uno y otro los conceptos refinado y tosco, civil y militar, rústico y urbano, ingenuo y sofisticado, disputándose ambos, el protagonismo de este singular conglomerado.