Le château se dresse sur le bord très raide d'une longue colline. La pente naturelle abrupte qui défend le château à l'est ne nécessitait pas plus de défense qu'un parapet moyen.

L'enceinte du château s'adapte à la forme d'un trapèze irrégulier et est composée de matériaux tels que la maçonnerie et la boue. Les côtés sud et ouest se rencontrent à la Torre del Homenaje.

Le donjon est de forme presque carrée, se dresse sur un sol rocheux et atteint 20 mètres de haut. Sur la partie où le rocher n'apparaît pas, les constructeurs ont aménagé un socle en pierre. Le reste de la tour est en maçonnerie en rangées régulières, tandis que les coins sont en pierre de taille plus régulière, qui alterne avec des noyaux de brique au sommet.

Il est structuré en quatre étages soutenus par de solides poutres en bois dans lesquelles, lorsqu'il est devenu une demeure de palais, de grandes fenêtres couvertes d'arcs ont été ouvertes. L'escalier était situé dans l'enceinte de l'angle nord.

Sa façade, de grand conditionnement et de proportions harmonieuses, est représentative de son usage palatial, déjà au XVIe siècle, elle est constituée d'un arc en plein cintre mouluré avec de grands voussoirs coupés et un corbeau dans la clé qui repose sur de grands pilastres. Au-dessus de l'arc se trouve un noble bouclier bien sculpté du premier comte de Villardompardo, seigneur de Torres et du Portugal.