Sein Vorgängerbau wurde von den Herren von Sully errichtet, die dort schon seit dem 9. Jahrhundert ansässig waren. Als Guy VI. de La Trémoïlle durch Heirat mit der Alleinerbin in seinen Besitz kam, begann er ab 1395 damit, die vorhandene Burg umfassend zu verändern. Sein Nachkomme, Claude de La Trémoïlle, verkaufte die durch die Hugenottenkriege beschädigten Gebäude 1602 an Maximilien de Béthune, der die Wehranlage in ein repräsentatives Schloss umbauen ließ.
Mehr als 350 Jahre lang blieb die Anlage im Besitz der Familie de Béthune, ehe sie 1962 an das Département Loiret veräußert wurde.