En la zona en que se asienta el castillo se han documentado estructuras de hábitat y almacenaje (una estructura hidráulica, silos y fondos de cabañas) pertenecientes a un poblado de la Edad del Cobre.

Del asentamiento romano se puede distinguir un doble recinto amurallado, protegido por un foso en el lado norte, que reforzaba su defensa. Probablemente se articularía en torno a una torre situada al suroeste, a la que corresponderían los mampuestos de gran tamaño que cimientan el torreón medieval. En su interior se levantarían edificios de los que han quedado pocos vestigios, con estructuras de almacenaje de producción agrícola y de agua. 

La fortaleza medieval, erigida entre los siglos XIII y XIV, aprovechando los restos de época romana, consistía en un recinto amurallado en forma de trapecio irregular, con cuatro torres, de las que en la actualidad se conservan tres: una gran torre rectangular que ocupa el ángulo suroeste; una pequeña y circular al noroeste de la que solo se conserva la base; y otra rectangular, maciza, al noreste, que defendía la puerta del castillo. En la esquina sureste existió una cuarta torre, desaparecida en el siglo XIX. El conjunto está construido en mampostería, excepto el muro sur, con alzado de tapial.

El torreón suroeste, o torre del Homenaje, se divide en tres plantas más una baja, ocupada por un aljibe. En algunos puntos de la torre del homenaje se pueden distinguir aún restos de la decoración original que cubriría los muros de la fortificación, un dibujo de hojas o gotas mediante técnicas de esgrafiado, decoración que cubriría también las murallas y la torre maciza.

La puerta original de la torre estaba fuertemente defendida, de doble hoja, tendría una buhedera para arrojar líquidos o piedras sobre los atacantes y un rastrillo. Este acceso se cegó al construirse un aljibe en el interior de la torre, que ocupa casi toda la planta baja de la torre. La cubierta abovedada del aljibe ha desaparecido, pero aún se conservan dos elementos relacionados con el mismo, una estructura de decantación y un pozo para la extracción del agua.

Las intervenciones arqueológicas que sacaron a la luz este depósito de agua, recuperaron también la escalera original embutida en el muro norte de la torre. Ambos pueden contemplarse en la visita, pudiéndose caminar sobre el aljibe. La subida al torreón culmina en la terraza, que ofrece un amplio control visual del territorio, divisándose emplazamientos como El Berrueco, Andújar, Arjona o Martos, lo que explica la elección de este emplazamiento para la construcción de la fortificación.

Su ubicación sobre una pronunciada ladera actuaba como defensa natural, pero los lados norte y oeste, más accesibles, estaban protegidos por un amplio foso de unos 7 m de anchura y una profundidad máxima de 2,10 m, oculto hasta su recuperación en intervenciones arqueológicas recientes. El foso se extendía entre dos torres reforzadas mediante escarpas aún visibles.  

A partir del siglo XVI se abre una nueva puerta en la muralla oeste, con una portada renacentista que aún se conserva, realizada en piedra de cantería. Está formada por dos cuerpos, el inferior con arco de medio punto sobre pilastras y el segundo con un gran cartelón rectangular en el centro, que alberga las armas de don D. Fernando de Torres y su primera esposa Dª. Francisca de Carvajal y Osorio. 

La mayor transformación fue la construcción de cuerpos adosados a las murallas, formando un gran espacio residencial. La torre del Homenaje y la muralla sur conservan vanos que los comunicarían entre sí. Actualmente se reconocen las plantas bajas de estas construcciones, aunque habrían alcanzado entre dos y tres pisos de altura. Estos cuerpos albergaron el “espacio privilegiado” del palacio, es decir, las habitaciones del conde y la condesa, la capilla, la cripta, el zaguán y un corredor-galería o atrio, en el cuerpo oeste, mientras que en el edificio sur se dedicaba la planta baja al almacenaje, reservando la primera para el principal espacio representativo del palacio, un gran salón con una chimenea tallada en la fachada de la torre. Las estructuras situadas al norte y al este estarían dedicadas principalmente al servicio, incluyendo las caballerizas, cocinas y un sótano.

Las intervenciones arqueológicas confirmaron la existencia de un asentamiento prehistórico, de la Edad del Cobre, en la loma en que hoy se encuentra el castillo. La presencia de dientes de hoz, molinos y silos de almacenaje apuntan hacia una economía agrícola basada en el cultivo de cereales. Se han localizado también una estructura hidráulica, estructuras de hábitat subterráneas y de hoyos de poste. No parece existir una continuidad en la ocupación del espacio, por lo que debió producirse un abandono temporal del asentamiento.

Desde principios del siglo I a. n. e. hasta el II d. n. e. se produjo en la campiña un incremento de asentamientos agrícolas dedicados al cultivo del cereal. En esos momentos, se produce una reocupación de este espacio, un asentamiento fortificado, cuyo mayor apogeo se situaría entre el primer cuarto del siglo I y el siglo II d.n.e., a partir del cual se abandona nuevamente.

El termino villar en la Baja Edad Media identificaba un lugar con restos de un asentamiento antiguo abandonado. Tras la conquista del territorio, los castellanos se establecen en el lugar cuando aún serían visibles las estructuras romanas, optando por reaprovechar algunas, así como material de construcción, para erigir el castillo. 

La aldea de El Villar de Don Pardo, se menciona ya en las fuentes en 1251, pero el castillo no se construirá hasta finales del siglo XIII o principios del XIV, aludiéndose por primera vez a la fortificación en 1416, como lugar perteneciente aún al Concejo de Jaén. Posteriormente Fernando Ruiz de Torres conseguiría la cesión de la aldea. 

En la segunda mitad del siglo XV, siendo señora del lugar Teresa de Torres, casada con el Condestable de Castilla Miguel Lucas de Iranzo, Villardompardo se convierte en una de las líneas de defensa de los partidarios de Enrique IV frente a la nobleza levantisca, acaudillada en la zona por la Orden de Calatrava. El fallecimiento sin herederos de su hijo, hizo pasar el señorío a una rama lateral de los Torres, que entroncó con la familia de Pedro I de Portugal. Felipe II lo erigió en cabeza de condado al nombrar a Don Fernando de Torres y Portugal conde de Villardompardo en 1576. 

Entre finales del siglo XVI y principios del siglo XVII se realizará la conversión del castillo en palacio, como vivienda habitual de los condes. Sus sucesores, sin embargo, instalaron su residencia en la Corte, en Madrid, lo que inició un proceso de ruina, por falta de mantenimiento. La abolición de los mayorazgos en el reinado de Fernando VII obligó a repartir la herencia, desvinculándose el castillo de Villardompardo de la rama nobiliaria principal.

A finales del siglo XIX o principios del XX, se derribaron los edificios construidos en el siglo XVI, dejando solo los muros perimetrales, allanando la superficie y tallando gradas en la muralla norte para convertir temporalmente el recinto en una plaza de toros. 

El castillo ha sido objeto de diversos trabajos de consolidación de urgencia, excavaciones arqueológicas y restauración entre 2012 y 2023.