El castillo de Torredonjimeno se localiza en el interior del núcleo urbano, sobre una pequeña elevación en la margen septentrional del arroyo Salado. 
La fortificación estaba compuesta por un recinto de grandes dimensiones y planta cuadrangular con torres, circulares y cuadradas, defendiendo sus ángulos. En su interior se situaría el antiguo patio de armas y la torre del Homenaje, hoy desaparecida. A los torreones, que alcanzarían unos 11 m de altura, se accedería desde el interior del recinto, mientras que en su planta superior se abría una salida al adarve que recorría las murallas. La mayor parte del conjunto está construida en mampostería irregular.

Su flanco oriental se protegió en época cristiana mediante un antemuro ataludado y un foso, conformando una doble línea de muralla o barbacana con, al menos, un bastión semicircular que sobresale del lienzo. Recientes investigaciones arqueológicas también han documentado los restos de estructuras defensivas en el costado oeste, concretamente parte de un foso y un antemural que contribuían a incrementar sus defensas por este sector.

Tras la conquista de Granada, el Castillo pierde su valor estratégico y su función militar, convirtiéndose en un conjunto industrial y residencial, llegando a convertirse en la vivienda señorial del comendador de la Encomienda de la Peña de Martos. A partir del siglo XV, el interior del recinto se dividió en dos grandes sectores. El occidental estará ocupado por la casa palacio que construye en su interior el maestre de la Orden de Calatrava, Luis de Guzmán, de la que se han conservado artesonados de estilo mudéjar, con motivos geométricos, vegetales y heráldicos de la familia Guzmán, y una zona ajardinada que ocupaba el extremo oeste del recinto. 

Ya en el siglo XVIII, el Duque de Abrantes mandó edificar dos almazaras en el sector oriental del recinto, en uso hasta el siglo XX, que se superponen a la muralla ataludada, destruyéndola y empleando los mampuestos como material constructivo. 

Las investigaciones arqueológicas en la zona en que se asienta el castillo de Torredonjimeno han detectado material fechado en la primera mitad del III milenio a.n.e y de época iberorromana, pero la construcción de la fortificación parece haber arrasado las posibles estructuras de estos períodos.

El origen de las estructuras defensivas de la localidad podría corresponderse con la fortificación de un enclave agrícola islámico emplazado en el distrito de Martos, del que se han documentado dos fases de ocupación, una primera datada entre los siglos VIII -X, y otra segunda de mayor entidad, fechada entre los siglos XI-XIII. Quizá fue en este momento, época almohade, cuando como consecuencia de la inseguridad imperante en toda esta comarca y con el objetivo de proteger a sus habitantes, se llevó a cabo la construcción de un recinto amurallado que pudo cercar esta pequeña población o bien dotarla de una torre de alquería. Pero será tras la conquista cristiana, y la formación en el sector occidental de la actual provincia de Jaén del señorío de la Orden Militar de Calatrava, cuando se emprenden las obras más importantes, que darán como resultado la edificación del conjunto fortificado que podemos contemplar hoy. 

Tras la toma de Martos y su comarca en 1224, Fernando III concedió cuatro años más tarde la población de Martos a la Orden de Calatrava. Este primitivo señorío fue expandiéndose a medida que avanzaba la conquista castellana, de tal manera que en 1241 el Logar de Don Ximeno pasaría a engrosar sus dominios. La Orden acaparó un extenso territorio situado en el extremo suroeste de la actual provincia de Jaén, controlando amplias zonas de la Campiña y buena parte del piedemonte de la Sierra Sur. En todo ese espacio configuró así un extenso señorío desde el que ejercía un exhaustivo control de las principales vías de comunicación que unían Jaén con Córdoba y Granada, estructurando el territorio en encomiendas. 

La Orden, ante la inestabilidad de la zona por su carácter fronterizo, que la exponía a continuas incursiones musulmanas, llevaría a cabo una intensa labor de fortificación de todo su territorio, creando un estratégico sistema defensivo, con la edificación de una compleja red de castillos, edificios fortificados y torres, que frenara las continuas algaradas musulmanas por la Campiña giennense, entre la que destacaría la fortaleza de Torredonjimeno. Una fortaleza dotada de importantes elementos defensivos erigidos en mampostería irregular, con novedosas estructuras que la capacitaban para su defensa con piezas artilleras y armas de fuego. A partir de estos momentos surgirá un pequeño núcleo urbano en torno a la fortaleza, como consecuencia de las repoblaciones que la Orden de Calatrava desarrolló en sus territorios, dotándolo de la protección de un recinto amurallado, según las fuentes, del que solo han quedado vestigios en la toponimia del callejero de la localidad. Desde el punto de vista jurisdiccional y económico, esta población quedó adscrita a la encomienda de la Peña de Martos.

La fortaleza participaría, como baluarte fronterizo, en la expansión territorial emprendida por los ejércitos castellanos durante los siglos XIII y XIV. Posteriormente, en la segunda mitad del siglo XV, volvería a verse inmersa en conflictos bélicos, en el marco de las luchas nobiliarias que estallaron durante el reinado de Enrique IV, que enfrentó a los partidarios del monarca castellano contra los seguidores de una coalición nobiliaria encabezada por D. Pedro Pacheco, Marqués de Villena y D. Pedro Girón, Maestre de Calatrava.

En 1558 Torredonjimeno logró el privilegio de villazgo, segregándose de la jurisdicción de la ciudad de Martos. Durante el siglo XVI, Torredonjimeno experimentará un desarrollo urbano que se refleja en la construcción de notables edificios civiles y religiosos. Un apogeo que se vió frenado por la crisis económica, demográfica y social del siglo XVII, tras la cual, en la centuria siguiente, emprende un lento proceso de recuperación económica y demográfica. 

En el año 2005 Torredonjimeno es declarado por la Consejería de Cultura de la Junta de Andalucía, Bien de Interés Cultural en la categoría de Conjunto Histórico.