Le site d'origine de Torres de Albanchez se trouvait sur un tertre voisin, défendu par le château de Yedra, déjà démoli, mais dont subsistent quelques vestiges: vestiges de murs en maçonnerie, structures défensives et puits, creusés dans le même rocher. On estime que ses origines pourraient être dans une communauté hispano-wisigothique entre les 5ème et 7ème siècles, qui après avoir quitté les plaines de Guadalimar s'est installée dans cette enclave stratégique. Il a été conquis par les troupes de Fernando III el Santo en 1235, qui l'ont accordé à l'Ordre militaire de Santiago, qui a favorisé la construction d'une nouvelle colonie dans l'endroit actuel moins brusque. Le château de Yedra a été déclaré bien d'intérêt culturel en 1985.