Huize Geerestein is rondom 1400 gebouwd door Jacob graaf van Zuylen van Nijvelt, een leenheer van de bisschop van Utrecht. Het verstekte huis had een militaire functie ter verdediging van het Sticht (Utrecht) tegen aanvallen uit Gelderland en ter handhaving van de lokale orde. Omringd door een brede slotgracht, vormde de vrijwel haaks op het huis staande Geeresteinselaan vanaf Woudenberg de toegangslaan tot het kasteel.
Het kasteel werd in 1482 tijdens de Hoekse en Kabeljauwse twisten door de bisschop van Utrecht belegerd en totaal verwoest. Maar het werd weer snel herbouwd en 50 jaar later werden twee zijvleugels aan de voorkant toegevoegd.
Het kasteel werd rondom 1640 grondig veranderd door Jasper van Lynden. Hij liet het binnenplein van het U-vormige huis invullen met een grote bouwblok.
Omstreeks 1740 werd het oude Hollandse kasteel door de familie van Rechteren omgebouwd tot een Versaillesachtige landhuis. Het front kreeg een grote schijngevel in de Franse barrokstijl, met in het midden een borstbeeld van Diana. Twee bouwhuizen werden ook op het voorplein opgetrokken en een Grand Canal werd achter het kasteel uitgegraven. De tuinen rondom het kasteel werden in de Franse stijl beplant met boomgaarden, moestuinen, rechte lanen en hoge hagen.
In 1834 werd het kasteel door Hendrik Daniel Hooft wit gepleisterd en in neoclassicistische stijl verbouwd met boven op de voorgevel het wapen van Geerestein. De tuinen veranderden in weiland, de oude slotgracht werd gedempt, en de bouwhuizen werden wit gepleisterd en verbouwd.
In 1938 werd kasteel gevorderd voor de huisvesting van militairen die de Grebbelinie moesten verdedigen. In de oorlog werden er evacuees uit Scheveningen gehuisvest en na de bevrijding arbeiders die in de wederopbouw te werk gesteld werden. Vervolgens verbleven er mensen die uit Indonesië terugkeerden. Vanaf 1957 bood Huize Geerestein onderdak aan een tehuis voor bejaarden en chronisch zieken. In de jaren ‘80 is Huize Geerestein in andere handen gekomen. Sindsdien is het in gebruik als kantoor.
Kasteel Geerestein is een Rijksmonument. Het is in particulier bezit en niet toegankelijk voor het publiek.