El conjunto arquitectónico formado por el antiguo Palacio Episcopal, Seminario y Capilla comenzó a construirse a principios del siglo XVII, bajo la égida del obispo de Guarda Don Nuno de Noronha.