Situé au sommet de la colline de Castillo, il offre de belles vues sur toute la ville de Vilches. Le Château de Vilches était situé sur cette colline, dont peu de vestiges sont aujourd'hui conservés en raison de la construction de l'église de Santiago - et plus tard de l'Ermitage - sur son terrain de parade.

L'Ermitage abrite l'image du saint patron de Vilches, qui est descendu en procession chaque 14 août à la paroisse de San Miguel à l'occasion de la célébration des festivités auxquelles il donne son nom.