El castillo se alza sobre un espolón rocoso que apenas supera los 400 m de altitud, situado en la ladera sureste del cerro de San Antón (434,77 m).  La fortificación original, de época islámica, se limitaría a un sencillo recinto erigido con una cimentación de mampostería irregular, que se adapta a la propia orografía, sobre el que se alzaban paños de tapial de argamasa. Una fortaleza que tenía como misión el control de un importante cruce de caminos, a la vez que serviría como lugar de refugio para las comunidades campesinas de su entorno. 

Tras la conquista castellana, esta construcción sufrió una profunda remodelación, erigiéndose una fortaleza en mampostería irregular rejuntada con mortero de cal y arena y sillares reforzando las esquinas, dotada de nuevos elementos defensivos. La primera referencia textual sobre este castillo se remontaría a 1251. Aún se conserva parte de sus adarves, y la coronación con aspilleras y almenas con remate piramidal, que tuvieron murallas y torres; así como restos de tres matacanes, sostenidos por ménsulas de piedra, visibles el lienzo norte. La orografía del terreno sobre el que se cimenta condicionó su trazado, construyéndose en su interior un muro adosado a las torres sur y norte, con el que se crea un doble recinto:

- Recinto superior: casi llano y de tendencia triangular, remata sus vértices con tres torres. La torre norte, la única rectangular, tiene acceso desde el adarve del lienzo oeste a una estancia con bóveda de medio cañón de yeso. La torre sur, circular y con una sola estancia, tiene también acceso elevado, aunque en este caso se alcanza a través de los afloramientos rocosos que caracterizan el flanco sureste de la fortaleza. Finalmente, la torre oeste, de planta circular, tiene dos plantas con sendas estancias. La baja, a la que se accede desde el patio de armas, se destinaría a almacenaje, mientras que la superior, conectada con los adarves de las murallas, estaría relacionada con la vigilancia. Las cámaras de estas dos torres se cubren con bóvedas semiesféricas de ladrillo. Este recinto albergaba dependencias destinadas a funciones propias de la vida cotidiana de la guarnición (cocina, dormitorio, sala, almacén ...).

- Recinto inferior: delimitado por una muralla de trazado en cremallera, sin torres, que se adapta a la formación rocosa, es un espacio con fuerte pendiente en dirección este. El lienzo norte acogía la entrada, protegida por un refuerzo a modo de contrafuerte y acceso en rampa. 
Ante el estado de ruina y abandono en que se encontraba, se han llevado a cabo trabajos de consolidación de urgencia.

Al tratarse de una comarca de la Campiña por la que discurren importantes vías de comunicación, han proliferado los asentamientos a lo largo de la Historia. En época ibérica (siglos VII y VI a C) se edificaron poblados fortificados (oppida), como los de Cerro Villargordo, el Torrejón o Cerro Miguelico, una organización espacial mantenida en un principio por los romanos. En época imperial (siglos I-III) la zona se pobló de explotaciones agropecuarias (villae) de las que se conservan vestigios en La Divina, La Muña, San Antón, Casa Fuerte o El Castil. 

En el período islámico los antiguos caminos se convirtieron en importantes vías de comunicación entre las ciudades de Yayyan (Jaén), Martus (Martos) y Aryuna (Arjona). Su carácter de tierra fronteriza estimuló la construcción de pequeñas fortalezas rurales que controlaban puntos estratégicos de estas arterias de comunicación, actuando también como lugar de refugio para las poblaciones del entorno. El castillo del Berrueco, fue uno de los principales baluartes que controlaban el acceso a Jaén, formando parte de un vasto sistema de torres y atalayas (Castillo del Término, Castillo de La Muña, Torre Olvidada, Casa Fuerte, El Castil de La Peña, La Aldehuela, Las Torrecillas, Fuerte del Rey, Torredelcampo, etc. ...). 

Tras la conquista castellana de la comarca, el Berrueco perteneció al Concejo de Jaén. La Campiña conservó su valor estratégico fronterizo, frente al reino nazarí de Granada, lo que propició una reestructuración de las defensas del alfoz de Jaén.

Durante el siglo XV, las luchas y conflictos que caracterizaron el final del reinado de Enrique IV mantuvieron la inestabilidad en la zona. El Condestable de Castilla, Miguel Lucas de Iranzo, tomó partido por el rey, mientras que Martos, bajo el dominio de la Orden de Calatrava, militó en el bando rebelde. El castillo del Berrueco, a pesar de haber reforzado sus defensas, cayó en manos del Maestre Pedro Girón, hasta que volvió a la jurisdicción del Concejo de Jaén en 1466, tras la muerte del Maestre, adquiriendo mayor protagonismo en el conflicto al ocupar los rebeldes Torredelcampo y Fuerte del Rey, hasta el fin de las hostilidades.

A partir de este momento el castillo va perdiendo su función militar, mientras que la aldea que existía junto él, dotada de dehesa y fuente pública, inicia su despoblamiento hasta que en el siglo XVI se reduzca a una simple cortijada.  Mantuvo alguna población hasta mediados del siglo XX, cuando alcanzaría un efímero esplendor que conllevó la restauración de la antigua ermita de San Antón y la edificación de una pequeña escuela, hoy en ruinas.

LEYENDAS

Una crónica medieval cuenta que Don Pedro Girón, maestre de Calatrava, pretendió la mano de la infanta de Castilla, la futura Isabel la Católica, cuando todavía era una adolescente. El rey Enrique IV, hermanastro de la infanta, aprobó el casamiento, aunque Pedro doblaba en edad a Isabel. Cuando el de Girón acudía a la boda, con su séquito, vino a pernoctar al castillo del Berrueco. Aquella noche una gran bandada de cigüeñas estuvo largo rato sobrevolando la fortaleza en círculos para después proseguir su viaje en dirección a Castilla. Los agoreros pensaron que era un mal presagio. Cuando amaneció, la comitiva continuó el viaje y a los pocos días acampó en Villarrubia, cerca de Ciudad Real, donde D. Pedro se retiró a dormir después de cenar; por la mañana lo encontraron muerto, “de esquiecencia”, según dice la crónica.