Die 1190 in der Waltroper Bauernschaft Elmenhorst erbaute, von einem tiefen Ringgraben umschlossene Raubritterburg, wurde erstmalig urkundlich im Jahre 1321 erwähnt. Über die Jahre ging sie durch die Hände vieler Besitzer, darunter Ritter und Adelige, wie auch die Herren von Frydag zu Buddenburg aus Lippholthausen, deren Geschlecht in Westfalen eine erhebliche Rolle spielte.Im Mittelalter zu der Zeit der Hexenverfolgungen geriet Schloss Wilbring in die Hände des Statthalters und Richters Vincenz Rensing. Er war maßgeblich an Hexenprozessen beteiligt. Seine zahlreichen Urteile waren grausam und menschenverachtend.