En 1572, el cantero Pedro Veneciano y el albañil Luís de Vílches se comprometían a construir el pósito, con arreglo a las condiciones y trazas dictadas por Andrés de Vandelvira. El edificio, de planta rectangular, define la confluencia de las calles Corredera y San Antón con la plaza de la Constitución. Se alza en el ensanche planificado en el siglo XVI, fuera del recinto medieval, conformado esencialmente por el castillo y la iglesia renacentista levantada a los pies del mismo, en la que, aunque quizás no directamente, pudo intervenir Andrés de Vandelvira.

La planta baja, con fábrica de piedra vista, es con toda probabilidad la parte mejor conservada, pues las altas (compartimentadas originalmente en trojes y construidas en ladrillo y mampostería) fueron adaptadas con posterioridad para otras funciones administrativas locales. La singularidad de este edificio está en la división trazada por Vandelvira en el piso bajo, conformada por cinco pequeñas naves rectangulares cubiertas con bóvedas de medio cañón paralelas, popularmente llamados los “positillos”, construidos en sillería, que se comunican directamente con el exterior a base de vanos de medio punto, siendo el central más amplio que los restantes.

Tipológicamente Vandelvira acuña un modelo, desarrollado de semejante forma en el Pósito de Baeza, en el que el conocimiento de la estereotomía o corte de la piedra exige una gran perfección por la necesidad de aislamiento de humedades para conservar el género almacenado en las mejores condiciones. Se conservan en el edificio varios escudos heráldicos y, como recuerdo de la recuperación del Adelantamiento de Cazorla (en el que estaba incluido la villa de La Iruela) por el Arzobispado de Toledo, a principios del siglo XVII se colocó por mandato del arzobispo don Bernardo de Rojas y Sandoval en la sala capitular una inscripción alusiva para perpetuar tan importante acontecimiento. Mucho esfuerzo y dinero costó a la mitra de Toledo hacerse de nuevo con su antiguo territorio, el cual le fue arrebatado en 1545 por don Francisco de los Cobos, secretario del emperador Carlos V.