Debe su nombre a las dos grandes torres que flanquean su fachada principal. Perteneció en su origen al condestable Dávalos, regidor y comendador de la ciudad, construyéndose a comienzos del siglo XVI, siendo considerado el primer edificio palatino de Úbeda.

En cuanto al estilo, conviven en perfecta armonía el primer plateresco con los últimos vestigios góticos, resultado de la época inquieta y cambiante en que fue ejecutada.

Sus muros encierran unas de las leyendas de celos entre amantes más increibles de las que se cuentan en esta ciudad.