En 1169 el Castillo de Castro Ferral fue conquistado por caballeros calatravos comandados por Fernando de Icaza, segundo Maestre de la Orden. No obstante, antes de la batalla de las Navas de Tolosa, la fortaleza se encontraba de nuevo bajo el control musulmán. Ferral protagonizaría varios hechos de armas durante la campaña militar que concluiría con el triunfo cristiano de la Navas (1212). La importancia estratégica de este castillo, al controlar uno de los tradicionales pasos de Sierra Morena, le convertía en un objetivo imprescindible para todo ejército que pretendiera atravesar la zona.

El traslado de la frontera a las Cordilleras Béticas marcó el declive de Castro Ferral, que perdió su papel de vigilante de los accesos al Valle del Guadalquivir. A esta circunstancia se unió la fundación de Santa Elena (Ermita de los Palacios), que le restó importancia como centro de referencia para la escasa población de aquellos contornos. En época indeterminada lo aportillaron para evitar que se convirtiera en guarida de salteadores.

El castillo de Ferral estuvo formado por tres recintos defensivos. El primero, actualmente el peor conservado, lo constituía una amplia empalizada en talud de tierra que cerraba la cúspide del cerco describiendo un círculo casi perfecto. Esta línea defensiva es más sólida y pronunciada en los extremos Norte y Noreste, donde el desnivel del terreno es mayor.

En su interior se desarrolla un segundo recinto, posiblemente construido en tapial de tierra sobre basamento de mampostería, del que se conservan diversos restos y dos bastiones que pudieron proteger la entrada al castillo.

El núcleo central del castillo está formado por un recinto rectangular de tapial de argamasa, en cuyo interior son visibles los restos de subterráneos, posiblemente aljibes.