Situé sur de la ligne de défense face au Saint Empire germanique et à la Lorraine toute proche, Rimaucourt est fortifié dès le XIIe siècle, ou des "chevaliers milites" sont signalés comme gardien du château alors dépendant du seigneur de Reynel.
En 1379 Jean de Noyers (époux de Jeanne de Joinville) rend hommage à Thibaut de Neufchateau comte de Reynel pour la ville forte de Rimaucourt avec forteresse, prieuré…
Pendant la guerre de Cent ans, la forteresse occupée par les Bourguignons est prise par les hommes de Robert de Baudricourt sur ordre de René duc de Bar en juillet 1425.
La porterie à double pont levis, le corps de logis central entièrement vouté de croisées d'ogives, et les deux tours carrées sont des vestiges remarquables de la forteresse rebâtie autour de 1492.