Fue construido por el duque de Alba Jacobo Fitz James Stuart y Falcó, en el interior de la iglesia del convento de Dominicas Recoletas, y se inauguró en 1909. Es una réplica a escala inferior del panteón de los Austrias en el Escorial. Alberga los restos del conde duque de Olivares y su esposa, así como varios miembros de la familia Alba. Lo más notable del panteón, es el mausoleo de Francisca de Sales, condesa de Montijo, esposa del duque de Alba y hermana de Eugenia de Montijo (esposa de Napoleón III), esculpido por Juan Bautista Clésinger en 1860.