Markies van Chasteler en Moulbais, burgemeester van Moulbaix engrootvorst van Spanje 1e klasse, Oswald-Gabriel stamt af van een familie die sinds de 14e eeuw in Moulbaix gevestigd was. Hij was de eerste Chasteler die niet op het slagveld vocht. Hij zorgde voor de transformatie van de oude familieherberg ( eind 15e – begin 16e eeuw) - waarvan de toren aan de ingang van het park het laatste overblijfsel is . Hij deed een beroep op de voormalige gemeentearchitect van Ath en specialist in kastelen in de regio en elders, Désiré Limbourg om een kasteel te laten bouwen dat uniek is in zijn soort in België. Het nieuwe kasteeldomein werd operationeel in het begin van de jaren 1860.

Oswald du Chasteler heeft slechts korte tijd kunnen genieten van zijn kasteel in middeleeuwse stijl, geïnspireerd op Engelse modellen (neo- Tudor). Documenten bewijzen dat het kasteel in augustus 1861 nog in aanbouw was. De markies stierf echter in 1865, op 43-jarige leeftijd. In 1888 woedde er hevige brand in het kasteel. Alleen een paar kostbare voorwerpen, een toren en de kelders werden gered. Désiré Limbourg werd opnieuw ingeschakeld voor de heropbouw. In afwachting van haar terugkeer woonde markiezin Louise met haar twee kinderen in de nabijgelegen pastorie. Ze werd daar vermoord in 1889. De moordenaar is nooit gevonden.

Tijdens de Eerste Wereldoorlog werd het kasteel gebruikt als revalidatiecentrum voor Duitse soldaten die aan het front gewond waren geraakt. Het werd opnieuw bezet door de invallers tijdens de Tweede Wereldoorlog. De laatste markiezin du Chasteler, Caroline, bleef ongehuwd en dus zonder nakomelingen. Bij haar overlijden in 1936 werd het kasteel nagelaten aan haar achterneef Aymard d'Ursel (toen 15 jaar oud). In 2000 kwalificeerde het Waalse Gewest de gevels, daken en inkomhal van het kasteel van Moulbaix als monument. Na de dood van graaf Aymard d'Ursel in 2005 en zijn vrouw in 2007 werd het kasteel verlaten en viel het ten prooi aan plunderingen.