Se ubica en el punto más elevado de un promontorio que le aporta una defensa natural, con fuertes cortados al norte y este, y que se prolonga al oeste por un espolón relativamente ancho y llano, desde el que se accede a la torre de entrada al castillo.

Se ha documentado una ocupación almohade desarrollada entre los siglos XII-XIII, la más antigua registrada. En este período se construiría la fortaleza, que se organiza en tres recintos dotados de torres de sección troncopiramidal, escalonados de norte a sur y realizados en tapial de gran calidad con encintado de mortero de cal simulando un falso despiece de sillería. Al sur de este conjunto se extendería la aldea islámica, en torno al área por donde discurría una vaguada. 

En el siglo XIV se llevarán a cabo varias obras en la población, como la construcción de la primera iglesia de la localidad o de la muralla que circundaba el área de acceso al castillo y la aldea. Será también cuando se realicen diversas reparaciones en el castillo y se levante la denominada Torre del Picacho en la cima de la peña.

En el siglo XV, en el punto donde se ubicaba la puerta de acceso a la fortaleza, la cual se insertaba en el lienzo que separaba la población de la plaza de armas, fue sustituida por una torre-puerta, que en la actualidad sigue funcionando como acceso al castillo. Esta estructura presenta planta rectangular, el primer cuerpo, la única parte original que se conserva, ya que los cuerpos superiores están muy restaurados, fue construido ligeramente más ancho que el resto con el objetivo de darle mayor solidez.

En la centuria siguiente se construyó la iglesia de Santo Domingo, en el flanco sur del castillo. De planta de salón típicamente renacentista, está organizada en tres naves, la central de doble anchura que las laterales, y testero plano. La cabecera posee dos torreones cilíndricos en las esquinas. Su estado de deterioro en el siglo XIX conduciría a la supresión del culto en la iglesia y el abandono de la misma, usándose como cementerio municipal hasta mediados del siglo XX.

El origen de la población parece estar relacionado con la construcción del castillo almohade, que se alza sobre un espolón rocoso dominando la localidad. Es muy probable que se construyese como centro de un distrito castral que abarcaría gran parte de lo que luego será el Adelantamiento de Cazorla. El alto nivel constructivo parece indicar la participación del Estado en su edificación con el fin de reforzar la frontera de al-Andalus. 

En el año 1231, Fernando III antes de conquistar la zona, concedió el señorío de la villa de Quesada a la iglesia de Santa María de Toledo. Meses después el arzobispo primado de Toledo Don Rodrigo Ximénez de Rada inició la conquista de este territorio, incluyendo La Iruela, apoderándose así de las tierras que posteriormente constituirán el señorío del Adelantamiento de Cazorla. La conversión de Cazorla en capital del Adelantamiento debió de repercutir en detrimento del desarrollo de las poblaciones de su entorno, por lo que el castillo de La Iruela quedaría casi abandonado al construirse las fortalezas de Cazorla.

En la segunda mitad del siglo XIV, durante la guerra civil que enfrentó al rey Pedro I con su hermanastro Enrique II Trastámara, mientras Cazorla se mantenía fiel al rey, La Iruela apoyó al arzobispo de Toledo, que se había posicionado en el bando sublevado. Una vez finalizado el conflicto tras la victoria de Enrique II, en agradecimiento por el apoyo prestado, en 1378 el arzobispo Don Pedro Tenorio le concedió el rango de villa.

A partir de estos momentos la localidad experimentará un progresivo desarrollo, que se verá reflejado con la aparición de nuevas edificaciones y en la reforma de sus estructuras defensivas. Tras la conquista de Granada el Adelantamiento se mantendría hasta 1812, pero ya sin la tutela de la figura del adelantado militar, consecuencia directa de la pérdida de su posición estratégica y fronteriza. 

La población de La Iruela se triplicó en el siglo XVI, crecimiento que se tradujo en la construcción del primer ensanche urbano, rompiendo con la estructura amurallada que había caracterizado a la población durante la Edad Media.

En el curso de la Guerra de Independencia la población sería atacada en diversas ocasiones por las tropas napoleónicas, sufriendo importantes daños.