Fue fundado como obra benéfica hospitalaria por el obispo D. Diego de Los Cobos, (hermano de Juan Vázquez de Molina) en 1562, terminándose las obras en 1575. Fue encargada su construcción a Andrés de Vandelvira, que trazó una obra de gran magnitud y complejidad, que supuso el culmen de su manierismo. En su estructura rompe con la planta tradicional de los hospitales en cruz difundida por los reyes Católicos, aunque sus antecedentes debemos buscarlos en el hospital Tavera de Toledo. En su origen se encontraba alejado del centro de la ciudad antigua porque nació como hospital para enfermos de peste bubónica, función que compartía con las de residencia del obispo, capilla y funeraria. En el exterior se impone la grandiosidad y sobriedad en la decoración del edificio, sensación acentuada por las cuatro grandes torres que lo estructuran. También basa su estructura en torno a un patio central. Combina mesuradamente el Renacimiento Andaluz vandelviriano y el estilo herreriano.