L'infant Carlos III, fils de Felipe V, lors d'un de ses voyages, passa la nuit dans ce palais le 27 octobre 1731, alors Infante Carlos III, roi d'Espagne à partir de l'année 1759.
Il est resté dans ce palais pour éviter une épidémie de variole qui a dévasté Andújar.
Dans l'après-midi, il était distrait en train de chasser par sa fenêtre et à la tombée de la nuit, il a été témoin des feux d'artifice préparés pour cette occasion à Andújar depuis les fenêtres de sa chambre.