Dit kasteel werd in de 13de eeuw gebouwd rond een vijfkantige slottoren. Het ligt op een klif met uitzicht op de rivier Lot en was bijna acht eeuwen de residentie van de familie d'Estaing, een van de meest illustere families van de Rouergue.

Van de 11e tot de 18e eeuw zijn de gebouwen voortdurend aangepast aan de behoeften van de opeenvolgende generaties.

Het markante gebouw werd in 1945 geklasseerd als Historisch Monument en werd in 2005 aangekocht door de voormalige president Valéry Giscard d'Estaing.