In 1834 besloot nakomeling Jacob Hendrik graaf van Rechteren Geerestein te verkopen aan Jonkheer Hendrik Daniel Hooft, telg van een Amsterdamse patriciërsfamilie.
Hendrik moderniseerde huize Geerestein, liet een landschapspark rondom het kasteel aanleggen en bouwde meerdere boerderijen op het landgoed waaronder Klein Geerestein, Heiligerlee en Hoeve Griftpark. Hij kocht ook omliggend land erbij (inclusief het nabijgelegen kasteel en heerlijkheid Groenewoude) en breidde Geerestein daarmee uit tot ongeveer 500 hectare. Hendrik bleef echter in Amsterdam wonen en Geerestein werd gebruikt als zomerverblijf.
Na diens dood werd het landgoed geërfd door zijn zeven kinderen. Drie van zijn ongehuwde dochters: Wilhelmina, Susanna Cornelia en Susanna Jacoba namen Geerestein over. De drie freules hebben de rest van hun leven op kasteel Geerestein gewoond. Toen de laatste in 1918 stierf, werd Geerestein geërfd door hun neef, Jonkheer Gustaaf Willem Joan Hooft.
Het landgoed is nog steeds in eigendom van deze tak van de familie Hooft maar het kasteel en de boerderijen het Griftpark en de Veldakker werden in 1980 verkocht.