Несмотря на название, стоящий на площади дворец был построен по проекту Жака Лемерсье для кардинала Ришельё и поначалу назывался Кардинальским. После смерти Ришельё дворец заняла вдовствующая Анна Австрийская с юным Людовиком XIV, потом здесь поселился кардинал Мазарини. При Людовике XIV и его преемниках дворец служил городской резиденцией герцогов Орлеанских, и в малолетство Людовика XV именно отсюда принц-регент вёл управление всей Францией. В одном из флигелей «Король-Солнце» поселил свою фаворитку герцогиню де Лавальер; там она родила двух внебрачных сыновей короля.