El conjunto fortificado de Vilches estaba formado por un recinto amurallado exterior y un alcázar edificado en su interior, ocupando un amplio afloramiento rocoso. El recinto externo se construyó originalmente en tapial de argamasa sobre una cimentación de mampostería, siendo reforzado en época cristiana con un revestimiento de mampostería irregular trabada con argamasa. Se identifica como una estructura en cremallera, es decir, con quiebros en zigzag, adaptada a la orografía del terreno, y jalonada por torres de planta cuadrada situadas en puntos estratégicos, y una torre-puerta de planta en D, la cual facilitaba el acceso al interior del conjunto. En época cristiana se reforzaría con nuevos elementos, entre ellos un alcázar, de planta poligonal, fue edificado en mampostería irregular unida con mortero de cal y arena. Incorpora una torre de mayores dimensiones en la parte este, identificada como la Torre del Homenaje, presenta esquinas redondeadas. Al interior del alcázar se accedería por una entrada en recodo situada en su lateral sur. Posiblemente las esquinas de la fortaleza estuvieron rematadas por torres circulares macizas, de las que se conserva una y parte de una segunda, hoy desplazada de su posición. Estos elementos le permitían aumentar su eficacia defensiva frente al desarrollo de la artillería y armas de fuego. Los restos del alcázar nos han llegado muy alterados por su transformación en la ermita de la Virgen del Castillo. 

Dentro de este primer recinto amurallado, se conservan una serie de estructuras, de épocas precedentes, las cuales fueron reutilizadas durante la Edad Media, entre las que destaca un aljibe, que pudo ser construido en época ibero-romana, de aproximadamente 9 metros de profundidad, realizado en opus caementicium y revestido en su interior con opus signinum. También a estos momentos, podemos atribuir dos estructuras de planta regular, que también fueron construidas con opus caementicium, ubicadas en el centro y el extremo este de la meseta, cuya función desconocemos.  Junto a ello, tras la conquista cristiana, se construyen nuevos elementos en el interior de la fortificación, es el caso de una pequeña iglesia, que pudo ocupar el solar de una antigua mezquita, bajo la advocación del apóstol Santiago. Un edificio, actualmente en ruina, que fue ampliamente modificado al adaptarse sus estructuras como cortijo o nave de aperos, posiblemente relacionado con la explotación del olivar que ocupa toda la meseta. 

A extramuros se conservan, aún en uso, una serie de elementos de hábitat rupestre, se trata de cuevas excavadas en la ladera que se habilitaron como estructuras de habitación en época tardorromana o altomedieval, muchas de ellas ubicadas bajo el lienzo amurallado sur, que han permanecido habitadas hasta la actualidad.  

Las investigaciones arqueológicas desarrolladas en el cerro del castillo de Vilches han registrado indicios de ocupación de épocas neolítica, iberoromana y tardorromana, periodos en los que pudo originarse a sus estructuras de fortificación, pudiendo ser reutilizadas por aquellas otras erigidas durante la Edad Media. 

Con la llegada de los musulmanes al municipio se convirtió en un pequeño núcleo amurallado, que era conocido como Hisn Bily o Baly, siendo utilizado como lugar de refugio de diversas comunidades campesinas que habitaban en asentamientos rurales de su entorno, y que en momentos de inestabilidad política abandonan sus residencias habituales para instalarse en el interior de la meseta buscando la seguridad de sus murallas. La población islámica de Vilches, a la que aluden los cronistas musulmanes, fue testigo del conflicto sucesorio protagonizado por el futuro emir Hisam y su hermano mayor Sulayman Abu Ayyub, que era gobernador de la Kura de Toledo, enfrentándose sus ejércitos en las inmediaciones de Bily. Asimismo, de este territorio se adueñaría, a finales del siglo IX, el rebelde muladí ‘Ubayd Allah ibn Umayya ibn al-Saliya, que controló un amplio territorio con más de 100 husun y aldeas denominado Sumuntan, que ha sido identificado con la Sierra de Segura. 

Entre los siglos XI y XII, los numerosos conflictos que estallaron en al-Ándalus tras la desmembración del Califato, a los que se sumaría el avance castellano hacia Sierra Morena, desembocó en una frenética actividad fortificadora, de la que no fue ajena, la población de Vilches, que reforzaría y ampliaría sus defensas. Pero estas obras no pudieron impedir que una colación de reyes cristianos, bajo la dirección de Alfonso VIII de Castilla, tras derrotar al ejército del Califa almohade, Abu ‘Abd Allah al-Nasir, en la Batalla de las Navas de Tolosa (1212), conquistaran Vilches junto a otros castillos de Sierra Morena, como Castro Ferral, Navas y Baños de la Encina.

Será en estos momentos cuando se readapte el primer recinto amurallado del hisn islámico, y se construya un nuevo elemento defensivo, el alcázar, que ocuparía la cota de mayor altitud del cerro. El aumento de población generará una necesidad de expansión, configurándose su actual emplazamiento en la ladera suroeste del cerro.

Según algunos autores, esta población fue entregada tras su conquista al noble castellano García Pérez de Vilches, pero poco después Fernando III la integrará, como aldea, en el territorio asignado a la Comunidad de Villa y Tierra de Baeza, tal y como dejó constancia el monarca castellano en las cédulas de concesión emitidas en 1231 y 1233, donde se registra la concesión a Baeza varios castillos, entre los que se encontraba el de Vilches.

Posteriormente, en 1272 por orden del rey Alfonso X, esta aldea lograría alcanzar protagonismo y cierta “autonomía” con respecto a la ciudad de Baeza, al ser considerada como un núcleo dotado de un “termino privativo” o “concejo de aldeas”, privilegio que también lograrían las aldeas de Baños y Linares. 

En 1627, durante el reinado de Felipe IV, Vilches alcanzó su independencia jurisdiccional, segregándose definitivamente del Concejo de Baeza, alcanzando el rango de Villa.