Durante la Edad Media, Santo Tomé estuvo vinculado al arzobispado de Toledo y formó parte del territorio del Adelantamiento de Cazorla. Para cumplir con los objetivos defensivos, en el siglo XIV se levantó un castillo del que solo se conserva la torre del homenaje, de base rectangular, casi cuadrad y de planta única, que logró conservarse al incorporarse como campanario en el lado izquierdo de la iglesia. La torre, que conserva sus rasgos góticos, es de mampostería e hiladas regulares en su planta baja y de sillarejo en la zona alta, y se encuentra cubierta por un tejado. Al cambiársele la originaria función militar por la religiosa, se le añadió una espadaña de cantería con dos huecos para las campanas, cornisa y frontón triangular que acoge otra campana. Fue declarado Bien de Interés Cultural en 1985.