hijos de Carlos IV.
La reforma y ampliación es atribuida al arquitecto Juan de Villanueva y se sucede sin interrupción durante cinco años hasta que en 1808 se produce la invasión francesa. Para esta época había adquirido la categoría de palacio y las obras estaban casi concluidas. Sigue un periodo de abandono hasta finales del siglo XIX en que pasa a propiedad municipal. En 1909 es adquirida por el abogado José Peláez Urquina y será conocida como «Casa de Peláez».
En 1984 fue declarada Monumento Histórico Artístico. Posteriormente la Sociedad Euroforum-Escorial la adquiere para llevar a cabo su rehabilitación y crear un centro de formación empresarial. Este proyecto lo realiza el arquitecto Miguel de Oriol e Ibarra en 1989