In 1785 - nu 225 jaar geleden - trokken Baron Alphonse Baut de Rasmon (1756-1833) en zijn echtgenote Marie-Jeanne Papeians de Morchoven (1753-1818) als eerste bewoners in het pas opgerichte Kasteel van Wannegem-Lede.
De familie Baut de Rasmon bestond uit gefortuneerde zakenlui met belangen in overzeese handelsmaatschappijen, waaronder de Oostendse Compagnie. Vader François Jean-Baptise (1715-1783) bezat 29 huizen in Gent, maar had ook wel trek in een optrekje op den buiten. Iin 1765 kocht hij de heerlijkheid Heuverhuis te Wannegem. Bij zijn overlijden in 1783 vond zijn zoon Alphonse dat landhuis toch wel iets te 'petit'. Hij koos iets verder een heuvelkam tussen Wannegem en Lede uit als locatie voor een nieuw te bouwen 'maison de plaisance'. Nog vóór de verdeling van de erfenis van zijn vader in januari 1786 was het kasteel al uit de steigers. Het werd een statig, imposant en toch rustig ogend buitenverblijf in een classicistische Lodewijk XVI-stijl. De architect zou de toen bekende Fransman Barnabé Guimard (1731-1805) zijn geweest, wiens realisaties - zoals het park van Brussel, het Paleis der Natie en herenhuizen aan het Koningsplein - getuigden van 'grandeur' én van soberheid tezelfdertijd. Kenmerken die ook van toepassing zijn op het Kasteel van Wannegem-Lede. Heeft het kasteel al een naam en faam in historische en architecturale middens (het "Petit Trianon van Vlaanderen"), dan verdient het bijhorend park dat des te meer.
Baron Alphonse rentenierde. Zijn grote liefde ging uit naar de schone kunsten, de literatuur en de natuurkunde, met een specifieke passie voor botanica. Zowat alles wat op vlak van landschaps- en tuinarchitectuur was gepubliceerd sinds het midden van de 18de eeuw stond op zijn boekenplank. Als adept van de natuurfilosofie van Jean-Jacques Rousseau was Baron Alphonse volledig te vinden voor een terugkeer naar de ongerepte, serene natuur. De verzorgde Engelse parkaanleg rondom het kasteel is daarvan de getuige; het oogt 'natuurlijk', maar is wel degelijk het gevolg van een zorgvuldig geplande compositie volgens "les règles du bon goût et du pittoresque". Waarschijnlijk stond de baron zelf in voor de aanleg en aanplanting. Daarbij liet hij zich niet tegenhouden door de openbare weg die toen al ten zuiden van het kasteeldomein Wannegem met Lede verbond. De waterplassen aan de overzijde ervan voegde hij samen tot één vijver en op een eilandje liet hij een Grieks tempeltje oprichten (vandaag nog steeds zichtbaar van op de Wannegem-Ledestraat). Aldus hield de baron de vijver en de valleigronden in eigen beheer om de zichtlijn vanaf het kasteel te bewaren. In 1827 vatte hij zelfs het vermetele plan op om via een grot onder de weg de beide partijen van zijn domein met elkaar te verbinden. Het is evenwel bij een plan gebleven.
Pas in 1796 - meer dan 10 jaar na de ingebruikname van het kasteel zelf - was het park in een eerste aanleg voltooid. In die 10 jaar had de baron vanuit uit alle hoeken van de wereld honderden bomen en planten laten aanslepen. Hoe hij erin slaagde om deze te halen uit afgelegen landen als Japan (waarmee toen een handelsoorlog werd uitgevochten), Korea, China, Mexico, Tasmanië, Maleisië, enz ... blijft nu nog steeds een raadsel. Bij zijn overlijden in 1833 kostte het twee specialisten maar liefst vijf dagen om het park, de oranjerie, de serre en alle fruitbomen te inventariseren. De totale waarde ervan (31.550 francs) oversteeg die van het meubilair (16.439 francs) en van het zilverwerk en juwelen (21.689 francs).
Het idyllische karakter van de kasteelsite was van meet af een inspiratiebron voor kunstenaars. In het Huis Storme (in 1991 gesloopt voor het zoveelste winkelpandje) in de Stormestraat te Waregem werden in de eerste helft van de negentiende eeuw wandschilderingen aangebracht. Deze vorm van binnenhuisdecoratie was toen hét van hét voor iedere heer van stand. Vier muren in dit Waregemse herenhuis toonden panoramische taferelen van het kasteelpark van Wannegem-Lede. Eén ervan geeft een romantisch roeitochtje op de vijver weer met op de achtergrond de zuidgevel van het kasteel (zie foto).
Het kasteel bleef eigendom van de familie Baut de Rasmon tot in 1860. Toen werden na het overlijden van Adelaïde Baut de Rasmon - Vanden Hecke de familiale bezittingen voor de erfopvolging in zes loten verdeeld. Door lottrekking kwam het kasteeldomein toe aan een nicht aan vaderszijde, Reine Marie Josephe Ghislaine de Potter, echtgenote van ridder Charles de Ghellinck d'Elseghem. Zo kwam het domein voor de volgende 136 jaren in handen van de familie de Ghellinck d'Elseghem, die door haar financiële belangen in de Gentse textielnijverheid er ook al warmpjes bij zat. In tegenstelling met hun voorgangers richtten de Ghellincks zich eerder naar Lede dan naar Wannegem. Ze lagen vrij goed bij de bevolking, maar "Natuurlijk moet u zoiets bekijken in de context van zijn tijd; tegenover de gemeentelijke onderdanen liet Jean-Baptiste XIII (1867-1927) zich beslist gelden als 'Heer', temeer daar de familie de Ghellinck ondertussen grooteigenaar was geworden op de gemeente en velen 'voor hun boterham' van het kasteel afhankelijk waren. Als de kasteelheer of madame met de koets op uitstap waren, was het de gewoonte dat diegenen die ze tegemoet kwamen, hen kwamen groeten aan de straatrand. Sterker nog, de landbouwers die op hun akker aan het werk waren, legden het werk neer om een groet te brengen.", aldus Oscar Dhondt in 'Wannegem en Lede' (jaarboek Hultheim 2003, p. 100).
In de tweede helft van de twintigste eeuw raakten kasteel en park langzamerhand in verval. Lekke daken en lekkende dakgoten, bepleistering die met vierkante meters loskwam. Het park stond er verwilderd bij. Het centrale gazon werd verpacht als weide. In 1985 verkocht de laatste kasteelvrouw, Mevrouw Marie- Anne de la Bourdonnaye, de inboedel en in 1996 het kasteel zelf. Het was de West- Vlaamse jeansfabrikant Jacques Bruynooghe die zijn oog erop had laten vallen. Meteen werd aan de restauratie van kasteel en park begonnen, blijkbaar iets te overijverig, want de nieuwe eigenaar kreeg problemen o.a. wegens irreguliere verbouwingswerken (september 2005). Uit een krantenbericht van mei 2007 blijkt dat hij hierdoor behoorlijk gedegouteerd was geraakt; hij stelde het kasteeldomein te koop voor 12 miljoen, euro wel te verstaan. Kruishoutem stond op zijn kop, vooral nadat een fantast het gerucht had verspreid dat Mohamed Al Fayed, vader van Princess Di's lover Dodi en eigenaar van Harrods, het kasteel zou opkopen. Tot nu toe daagde niemand op. Het kasteel staat er nu 225 jaar. Het is verbazend te moeten constateren dat niemand blijkbaar op de hoogte is van dit jubileum. Enig feestgedruis met zin voor decorum zou hier toch wel op zijn plaats zijn geweest.