История дворца начинается с XIII века, когда на этом месте был построен охотничий домик графа Нижних земель Флориса IV. Позже этот домик превратился в замок, затем во дворец С-Гравенхаге (что в переводе означает «графские кусты»), а в конце XIV века дворец стал королевской резиденцией Бинненхоф.