El arquitecto nacido en la madrileña localidad de Ciempozuelos, Ventura Rodríguez, construyó en esta localidad en el tercer tercio del siglo XVIII el neoclásico palacio para el infante Luis Antonio de Borbón, hermano del rey Carlos III, donde pintó Francisco de Goya.
El palacio del Infante Luis, tras un prolongado deterioro, fue vendido por la familia Rúspoli al Ayuntamiento de la localidad. Se utilizó para el rodaje del filme Los fantasmas de Goya de Milos Forman.Es monumento nacional desde 1974.