En su origen era un torreón perteneciente a la muralla medieval, construido en el siglo XIII.

Defendía la desaparecida puerta de Toledo, que era la más transitada, pues era la entrada a la ciudad, entre otras, desde las poblaciones de Baeza, Jaén, Toledo, Córdoba, Sevilla y la misma corte.

En la segunda mitad del siglo XVI se decide adaptar la torre para albergar un reloj y campanario, por lo que se añade el segundo cuerpo, donde se encuentra la maquinaria y un templete ochavado para el campanario del reloj.

Exteriormente aparecen las armas de la ciudad y el escudo de los Austrias. El templete está formado por arcos de medio punto en sus lados mayores y vanos adintelados en los menores, decorado en las esquinas con grandes floreros.

La torre alberga otro elemento que acentúa su carácter simbólico: la imagen de Nuestra Sra. de los Remedios, que está muy vinculada a la historia de la ciudad, pues ante ella el Emperador Carlos V y posteriormente su hijo Felipe II juraron guardar sus fueros y privilegios.

Alfonso XIII renovó esta antigua tradición. Es una pintura gótica enmarcada por un arco apuntado con molduras de rosetas en la que aparece la Virgen con el niño, ambas figuras incomunicadas con fondo paisajístico en el que aparecen en pequeño tamaño escenas bíblicas del pecado original, representadas por las figuras de Adán y Eva; y al otro lado la representación del calvario, mostrándonos una representación abstraída del tiempo y del espacio sensible.

Esta imagen fue sustituida por una copia; la original se encuentra en el Palacio de las Cadenas.