Un bon moyen de commencer une visite de la ville est de monter au point de vue de la tour connue sous le nom de Torre Mudéjar ou Torre del Reloj, qui offre une belle vue panoramique sur la ville. La tour abrite également l'office de tourisme.

Les premières fortifications d'Andújar ont été construites à l'époque romaine, pour garder le pont sur le fleuve Guadalquivir lorsque la ville a commencé à être très importante pour sa poterie en terra sigillata, qui était exportée dans tout l'Empire. La fortification définitive de la colonie a été construite par les Amohades en 1116, mais elle a dû être réparée des années plus tard en raison des dommages causés par un tremblement de terre qui a dévasté la ville.

Le château ou la forteresse d'Andújar a été érigé là où se trouve aujourd'hui la place connue sous le nom de Plaza Vieja. Debout sur la place, sur le trottoir de gauche, vous pouvez suivre la ligne des remparts de la vieille ville et retrouver une partie de leurs restes dans certaines rues. Les parties les mieux conservées, composées de trois murs rideaux et de deux tours, se trouvent dans la Calle Silera, à côté de la porte connue sous le nom de Puerta del Sol, qui est l'une des sept portes principales de la ville. La ville fortifiée était défendue par 48 tours et quatre tours Albarrana (tours détachées placées le long des murs-rideaux et reliées par une passerelle), ainsi que par un système complexe de portes fortifiées, de murs-rideaux, de digues et de douves.

Après avoir été abandonné à Fernando III par le chef maure, Andújar est devenu un lieu stratégique pour les chrétiens, qui ont organisé l'assaut et la conquête du Haut Guadalquivir à partir de là. La ville s'agrandit énormément au Moyen Âge. Au fur et à mesure que la population s'étendait au-delà de la ville fortifiée et qu'elle perdait progressivement son rôle militaire, les murs ont commencé à se décomposer. Peu à peu, la fortification a été démantelée ou démolie, jusqu'à ce que le château passe entre des mains privées au 19ème siècle, lors des confiscations ecclésiastiques de Mendizábal. Il a d'abord été transformé en immeuble d'habitation et plus tard en club social. Au début du XXe siècle, il a été décidé de le démolir complètement pour construire un cinéma qui, paradoxalement, n'existe plus.