Desmarets utilise alors le château comme base pour ce que l'on appellerait aujourd'hui des opérations de commando, à travers tout le Vimeu. Abbeville ne tarde pas à se plaindre au roi d'Angleterre des excès de ces gens d'armes, et le duc de Bourgogne envoie son principal lieutenant, Pierre de Luxembourg, comte de Saint-Pol, soumettre le pays. Celui-ci reprend Saint- Valéry, détruit la forteresse de Monchaux, à quelques lieues de Rambures, mais " le dernier jour d'icelui mois d'août (1433), icelui comte (de Saint-Pol) étant dans ses tentes emprès ladite ville de Blangy, faisant les ordonnances pour aller assiéger le chastel de Rambures, lui prit la maladie de l'épidémie, de laquelle il mourut assez soudainement ".
Leur chef mort, ses troupes soldées se dispersèrent ; Rambures avait échappé de peu.

Desmarets reprend ses raids : un matin de janvier 1434, il surprend Saint-Valéry " par faute de guet ". Nouveau siège d'un mois mis par les Bourguignons , nouvelle reddition, moyennant indemnité ; Desmarets ramène la garnison à Rambures.

En 1435, c'est de Rue qu'il s'empare, toujours par surprise, en faisant passer à ses 300 hommes le gué de Blanquetaque, près de Port-le-Grand. A la Toussaint enfin, avec 120 hommes, il parvient à ouvrir à l'armée du maréchal de Pieux les portes de Dieppe, tenue par les Anglais.

Si le duc de Bourgogne s'est alors résolu à rallier la cause française, la partie n'est pas encore gagnée, car les Anglais disposent alors d'un homme de guerre remarquable en la personne de Talbot. Il faudra encore attendre quinze ans pour les voir entièrement chassés.