Entre los siglos XI - XII se edificó, dentro del recinto del espolón sur, una esbelta torre, que tendría como objetivo controlar las principales vías de comunicación e incrementar la capacidad defensiva de Cástulo ante el avance de los ejércitos cristianos por el Guadalquivir. Fue construida en tapial de argamasa, disminuyendo el grosor de sus muros en altura, creando un perfil interno escalonado que corresponde a su división en cuatro pisos y uno subterráneo. Cada piso estaba dividido en dos estancias mediante un muro central, sobre el que se apoyaría la escalera que los conectaba. En el primero, una mitad contendría un aljibe, mientras que el resto sería macizo. La puerta de acceso a la torre estaría situada en la segunda planta, y se accedería a ella a través de una rampa ubicada junto a uno de sus laterales.

Tras la conquista cristiana de la zona en 1227, la esbelta torre islámica se convierte en la torre de Homenaje de un pequeño castillo, cuya estructura estaría conformado por un lienzo de mampostería defendido por torres perimetrales de planta cuadrada. La fortaleza quedaría aislada del resto del asentamiento por un foso defensivo, construido en este momento para incrementar su capacidad defensiva por su lado norte, que se acentuaría con edificación de las torres de tapial de piedra. Los materiales encontrados en su entorno definen una fase de ocupación datable entre los siglos XIII y XIV, tras la cual la fortificación es abandonada definitivamente.

En el siglo XV, el yacimiento de Cástulo se usó para la extracción de materiales de construcción, lo que contribuyó a desmantelar gran cantidad de estructuras, acelerando el proceso de deterioro y ruina del castillo. Actualmente, la gran torre de tapial, de la que se conserva tan solo un mitad de la misma, se encuentra restaurada.

La ocupación del lugar se inició 3000 a.n.e., un poblado basado en una economía agraria que en el Bronce Medio que se vinculará a los yacimientos minerales de su entorno. Al final de este período la ciudad se convirtió en un destacado núcleo de población, con una orientación económica mixta, en base a la explotación ganadera, agrícola y minera de la comarca. 

La explotación de las minas de Sierra Morena continuó en el periodo ibérico, convirtiendo a Cástulo en uno de los oppidum más importantes de Andalucía. Capital de la Oretania, acuñó su propia moneda. En el año 228 a.n.e. los cartagineses, bajo las órdenes del general Amílcar Barca conquistaron la ciudad. 

En el año 206 a.n.e. los romanos tomaron la ciudad. El control económico sobre los yacimientos metalíferos de Sierra Morena Oriental, le propició alcanzar una gran prosperidad económica y social, la cual quedó reflejada en la proliferación de edificios públicos, los cuales han sido documentados durante diversas investigaciones arqueológicas.

Esta prosperidad continuó en época visigoda: fue sede episcopal hasta finales del VI cuando iniciara un largo proceso de decadencia, perdiendo importancia en favor de Beatia o Viatia (Baeza), situación que llevó aparejada la pérdida de población, quedando reducida su ocupación a pequeñas áreas de la antigua urbe romana.

Cástulo permanecerá ocupada en época islámica, siendo conocida como el hisn Qastuluna, un pequeño enclave dedicado básicamente a la agricultura y la ganadería, que aún conservaría algunos tramos de su cerca defensiva.

A medida que se consolida el Estado Omeya, surgirán conflictos con los sectores tribales, fundamentalmente beréberes, que defienden su independencia. En el año 784, bajo el gobierno del emir `Abd al-Rahman I, entre los años 785 y 786 se produce el enfrentamiento de las tropas del emir con las bereberes que estaban comandadas por Abu-l-Aswad, luchas que culminarían con la derrota de los ejércitos bereberes en la batalla de Qastuluna. 

También tuvo protagonismo en las luchas acaecidas entre los siglos IX y X, con la la ocupación de Qastuluna por el rebelde muladí Ubay ben Alah ben AI-Shaliya, quien gobernó este ámbito territorial durante aproximadamente veinte años, hasta que Abd al-Rahman III puso fin a su revuelta, recuperando este emplazamiento, quedando Qastuluna integrada dentro del iqlim (distrito) de Bayyasa (Baeza).

Finalmente, la inseguridad generada en el Alto Guadalquivir tras la caída del Califato y la formación de los reinos de Taifas, determinó que muchas alquerías de la zona se fortificaran, proceso que se aceleraría con las algaradas y expediciones llevadas a cabo por estos territorios los ejércitos cristianos, principalmente durante el periodo almohade, lo que determinó la construcción de fortalezas en puntos estratégicos de los principales cursos fluviales del Alto Guadalquivir. A este proceso de fortificación corresponde la construcción de una torre de tapial que conformaría el germen del Castillo de Santa Eufemia.

Tras su conquista de esta zona en 1227, los pobladores cristianos se establecen principalmente en las ciudades y en los recintos fortificados más significativos, abandonándose definitivamente numerosos asentamientos rurales, husun campesinos y otras fortalezas alejadas de las zonas fronterizas. No obstante, dado su carácter estratégico para el control de las vías de comunicación de esta zona, los elementos defensivos de Cástulo serían ampliados con la edificación de un castillo que utilizó la antigua torre islámica como torre de Homenaje. No obstante, en el siglo XIV, dada su lejanía de la nueva línea fronteriza (Cordilleras Béticas), Cástulo es abandonado definitivamente, siendo utilizado como cantera que abastecería de materiales de construcción a las ciudades de Baeza y Linares. Un siglo más tarde se ordena la demolición de las murallas y restos de edificios que quedaban en pie.