Se produce entonces el primer ensanche urbano de la población, que rompe longitudinalmente hacia el Suroeste con su antigua estructura amurallada. A lo largo de este eje se levantan el Pósito, sede del Ayuntamiento, y la iglesia de Ntra. Sra. de la Concepción, parroquia en pie hasta 1955, año en el que sobre ella se construyó la actual, perdiendo la población una de las dos parroquias históricas que tuvo en el pasado.

La otra parroquia se alza ruinosa dentro del recinto bajo de la fortaleza, configurando con ella y la espléndida naturaleza de la Sierra que la enmarca uno de los lugares más bellos de la provincia de Jaén. Este segundo templo, dedicado a Santo Domingo, es fruto del empeño de uno de los hombres más influyentes en la España de Carlos I, el famoso y prepotente secretario Francisco de los Cobos, que consiguió hacerse con el señorío del Adelantamiento en 1534, permaneciendo bajo la administración y control de sus descendientes, los Marqueses de Camarasa, hasta el año 1606, fecha en la que es recuperado por el Arzobispado de Toledo, propietario del amplio señorío desde el siglo XIII. Durante este período se construiría la que Rus Puerta califica como Iglesia Mayor.

Pero este monumental templo presentaba cierto abandono y ruina en el siglo XVIII. En el Catastro del Marqués de la Ensenada, de 1751, se relata así el estado en que se encontraba: “(...) lo que causa mayor dolor es ver la fábrica de la parroquial mayor de Santo Domingo de Silos por acabar, siendo esta bastante decente, y por los muchos hostigos y tejados con los que hoy se halla, por no estar perfeccionada padece el continuo detrimento de tan continuos gastos para poder conservarse (...)”.

La Guerra de la Independencia provocó su total ruina, pues fue incendiada, como Santa María, de Cazorla, el 4 de julio de 1810 por las tropas francesas. Posteriormente fue usado como Cementerio hasta mediados del siglo XX, quedando aún visibles los restos de esta ocupación. Paseando por las ruinas de Santo Domingo de Silos podemos acercarnos a uno de los episodios de la historia de estas sierras menos conocido. Poco sabemos sobre lo sucedido entre 1808 y 1812 en unas zonas muy alejadas de las ciudades ocupadas por los franceses. ¿Por qué incendiarían los franceses un edificio como la iglesia de Santo Domingo de Silos? Está claro que en una zona tan inaccesible, la presencia de los invasores franceses era bastante puntual.

Al mismo tiempo se ha constatado que aprovechando la geografía del terreno muchos guerrilleros se escondieron de los invasores en esta zona. Sabemos que ningún pueblo acogió de buena gana el gobierno de José I. Por el contrario, se organizaron juntas de defensas en las capitales de partido para hacer frente a los franceses.

En muchos pueblos se hicieron algunas obras de fortificación y quizá esta fue la última vez en la que se volvió a utilizar el castillo de Segura de la Sierra con fines militares. La respuesta francesa fue siempre la misma y consistió en el saqueo y destrucción de todos los elementos del poder en los pueblos. Normalmente se incendiaba el ayuntamiento con el objetivo de destruir toda la documentación del archivo y paralizar administrativamente el gobierno local. Otro objetivo eran las iglesias para destruir libros de bautismos y de defunciones, aunque la destrucción de las iglesias tenía también un componente psicológico pues se destruía un refugio para la población y al mismo tiempo el último recurso que los vecinos tenían en una situación de este tipo, el acudir a la iglesia a rezar para implorar la ayuda divina.

Por otra parte, según Vicente Salvatierra parece muy posible que la primitiva iglesia pudo estar en el mismo emplazamiento que la de Santo Domingo, al pie del castillo. En opinión de Luis Magaña, Rodrigo de Gibaja, maestro cantero ligado al Arzobispado de Toledo y responsable de las fábricas de la Colegial de Baeza y de la iglesia de Puebla de Don Fabrique, en tierras granadinas, tuvo a su cargo las obras de las iglesias de Santa María, en Quesada, y de Santo Domingo de La Iruela. También se ha documentado la participación del cantero cazorleño Gabriel de Tauste. No hay constancia documental de la intervención de Andrés de Vandelvira, pero es muy probable que diera las trazas a instancias de Francisco de los Cobos en torno al año 1534, encargándose de la ejecución Gibaja y Tauste, entre otros maestros canteros.

Chueca Goitia, comparando los restos de las iglesias de Santa María, de Cazorla, con la de La Iruela, estima que esta “Es de arte más pobre y tosco, como realizado por maestros locales siguiendo, seguramente, inspiraciones vandelvirescas”. En cualquier caso, ambas fábricas se están levantando paralelamente, dilatándose más en el tiempo la de Cazorla. De aquel monumental templo solo restan parte de los muros perimetrales, las portadas de acceso, la escalera de caracol para acceder a la torre de campanas, las capillas mayor y colaterales y una monumental portada en el lado del Evangelio con un relieve en el que se representa el milagro de la imposición de la casulla a San Ildefonso. La planta era de tres naves y la cabecera plana y destacada.

Determinados rasgos decorativos, la traza de las portadas de acceso y, sobre todo, la composición del alzado de los muros del crucero o primer gran tramo, articulado por un gran arco de medio punto en la parte alta y dos capillas en la baja separadas entre sí por una pilastra con una hornacina avenerada, son claramente vandelvirianos. En la catedral de Jaén o en San Isidoro de Úbeda, Andrés de Vandelvira incorporó monumentalmente esta composición, ejecutada con mayor sencillez en el caso de La Iruela.