Ce château atteignit le deuxième rang à l'époque du gendarme Iranzo, il joua un rôle important en prenant parti, comme Andújar, pour le côté royaliste quand en 1465 les ennemis du roi assiègent Jaén, et il devint célèbre quand, six ans plus tard , le gardien Diego Frías arrêta et ordonna d'enfermer dans sa tour un rival du connétable, Don Fernando de Acuña, fils du comte de Buendía et nul autre que le neveu de l'archevêque de Tolède.
En réalité, le château, de petites dimensions, était formé par une tour cylindrique à parapet crénelé, comme dessiné par Martín de Ximena Jurado. Une pierre dans la tour supérieure semble avoir eu une inscription, probablement arabe. Aucune trace de cette tour n'est restée dans la ville. Cependant, la tête de l'église possède une enceinte qui pourrait correspondre à des vestiges du château. Ce solide mur de maçonnerie semi-circulaire pourrait être réutilisé à partir d'une tour ronde de grandes proportions, sœur de celles des châteaux de Rus et d'El Mármol, dans les terres de Baeza.
Cette tour a été déclarée site d'intérêt culturel en 1985.