La cause des Valois semble perdue lorsque, après l'assassinat de Jean Sans Peur; son successeur Philippe Le Bon prend le parti d'abandonner l'infortuné Charles VI, et de soutenir Henri V, proclamé roi de France et d'Angleterre. Elle trouve toutefois alors de nouveaux appuis chez plusieurs vassaux du duc de Bourgogne, qui dénoncent ce retournement d'alliance. Jacques d'Harcourt, capitaine du duc pour le Ponthieu, regroupe ainsi au Crotoy les partisans du Dauphin, futur Charles VII, et commence à faire " forte guerre " aux Anglais. L'un de ses premiers compagnons est André de Rambures, le rescapé d'Azincourt, pourtant cité quelques années plus tôt dans l'armée bourguignonne. En 1421 d'après les chroniqueurs Enguerrand de Monstrelet et Pierre de Fenin, Jacques d'Harcourt se rend maître de la plupart des forteresses du Ponthieu : Saint-Riquier avec La Ferté et Drugy, Airaines, Eaucourt, Pont-Remy, Gamaches, et aussi " le chastel de Rambures ".

C 'est la première fois qu 'il est fait expressément mention de l'existence d'un château à Rambures. Ce doit être l'oeuvre du Grand-Maître des Arbalétriers, car jamais il n'est cité dans les relations que font les chroniqueurs des campagnes précédentes de la guerre de Cent Ans. Les seules mentions antérieures sont fournies par un mandement de Philippe VI daté de 1346 où il est question d'une chapelle édifiée dans " l'ostel " que possédait à Rambures Enguerrand d'Airaines, et par l'inhumation à Rambures du Grand-Maître des Arbalétriers et de ses fils, après Azincourt. La réaction ne se fait pas attendre. C'est le duc de Bourgogne, Philippe Le Bon en personne, qui, avec l'appui des Anglais, vient remettre les choses en ordre. Les partisans sont écrasés à Mons-en-Vimeu ; et, malgré quelques " raids " victorieux contre Rue et Domart (mars 1423), Jacques d'Harcourt doit rendre Saint- Valéry et s'enfuir en Bretagne. Enfin, par lettres données à Amiens en avril 1423, le roi Henri VI d'Angleterre donne à Colard et Ferry de Mailly " le chastel, terre et seigneurie de Rambures, qui furent et appartinrent à André de Rambures et Jacques d'Harcourt, chevaliers ".