La casa formaba parte del mayorazgo creado en 1571 por doña María Baltodano, esposa de don Gome de Cárdenas. Serán doña Elvira Cárdenas Baltodano y su esposo don Luis Valdivia Figueroa, caballero de Santiago, los que inicien la construcción de la citada casa.

Dos elementos de uso bien distinto conforman la casa de los Niños de don Gome: la casa solariega de los moradores y la caballeriza. En la fachada de la casa, construida en un plano más adelantado que el de la caballeriza, destaca su portada-torre, construida a diferencia de los demás elementos del conjunto en piedra arenisca. Portada-torre que fue construida en el segundo tercio del siglo XVII por don Gome de Valdivia, Cárdenas y Guzmán y doña Mayor Nicuesa y que se encuadra desde el punto de vista formal en el estilo barroco.

La fachada, retranqueada con respecto a la calle Maestra, está precedida por una espaciosa plaza, que fue pública hasta 1848, año que se anexionó a la casa y se cerró con un muro almenado con puerta y vanos de medio punto.

La portada almohadillada casi pasa desapercibida por la exuberante decoración, dos tenantes emplumados de acento indiano, la heráldica aplicada de forma reiterativa y una resaltada cornisa, como elementos más destacados. En su interior se conservan las caballerizas con parte de los pesebres, un patio porticado y la bodega.

Actualmente el edificio tiene un uso cultural, en él se encuentra el Museo Arqueológico Profesor Sotomayor, es sede de los cursos de la Universidad de Otoño de la Universidad de Jaén y la corporación realiza los plenos en el salón de las Caballerizas