Der ursprüngliche Standort von Torres de Albanchez befand sich auf einem nahe gelegenen Hügel, der von der bereits abgerissenen Burg von Yedra verteidigt wurde, von der jedoch einige Überreste erhalten sind: Überreste von Mauerwerksmauern, Verteidigungsstrukturen und Brunnen, die aus demselben Felsen gegraben wurden. Es wird geschätzt, dass seine Ursprünge in einer hispano-westgotischen Gemeinde zwischen dem 5. und 7. Jahrhundert liegen, die sich nach dem Verlassen der Guadalimar-Ebene in dieser strategischen Enklave niederließ. Es wurde 1235 von den Truppen von Fernando III el Santo erobert, die es dem Militärorden von Santiago gewährten, der den Bau einer neuen Siedlung an der derzeit weniger abrupten Stelle förderte. Das Schloss Yedra wurde 1985 zum Kulturgut erklärt.