En su día La higuera tuvo un asentamiento medieval con antecedentes romanos. Se levantó una torre que cambió de dueños árabes a cristianos y cuya importancia estratégica se incrementó hasta que se levantó el Castillo de la Tercia con la función primordial de divisar otros baluartes más fuertes como los de Arjona, Andújar y Jaén.