Полное название музея (дословно: «Музей Средневековья — термы и особняк Клюни») содержит краткий пересказ истории здания: на месте римских терм в XIII веке строится монастырь ордена Клюни, в конце XV века аббат Жак Амбуазский (фр. Jacques d'Amboise) достраивает к монастырю особняк. Во время Французской Революции монастырь национализирован, в 1832 году здесь размещается частный музей, который выкуплен государством в 1843 году.