El primitivo emplazamiento de Torres de Albanchez estaba en un montículo próximo, defendido por el castillo de Yedra, ya derruido, pero del que se conservan algunos vestigios: restos de muros de mampostería, estructuras defensivas y aljibes, excavados en la misma roca. Se calcula que sus orígenes pueden estar en una comunidad hispana visigoda entre los siglos V y VII, que tras abandonar las vegas del Guadalimar se asentaron en este enclave estratégico. Fue conquistado por las tropas de Fernando III el Santo en 1235, quien se lo concedió a la Orden Militar de Santiago, que promovió la construcción de un nuevo asentamiento en el lugar actual menos abrupto. El castillo de Yedra fue declarado Bien de Interés Cultural en 1985.