Le château perd rapidement son intérêt militaire car ses murailles sont incapables de résister longtemps au boulet métallique dont l'emploi se généralise à partir de 1475. D'ailleurs le théâtre des opérations se déplace et la guerre ne dépasse plus guère la Somme. Seules les guerres de religion lui redonnent un certain rôle. Pris par surprise par un gentilhomme calviniste venu de Normandie Jean de Fautereau, il est rapidement repris par Jean de Rambures avec l'aide des milices d'Abbeville, et la Ligue y installe une garnison. Les combats que se livrent dans la région Henri IV et le duc de Mayenne n'y laissent que peu de traces (1) Les Rambures continuent à se consacrer à la carrière des armes. Le plus illustre est Charles de Rambures dit " le brave Rambures " compagnon d'Henri IV qui le comble de faveurs; il continue à servir sous Louis XIII, notamment au siège de La Rochelle, où il combat à la tête de son régiment ; il meurt en 1633, des suites de deux anciennes blessures.

Ses trois fils, Jean, François et Charles, marquis de Rambures et de Courtenay, tous successivement colonels du régiment de Rambures, meurent en campagne. Son seul petit-fils du nom, Louis-Alexandre, est tué accidentellement en Alsace, à dix-huit ans en 1676, d'une décharge de mousqueterie. Il laisse le château à sa soeur, la duchesse de Caderousse, qui le lègue elle-même à son cousin germain, le marquis de La Roche-Fontenilles, petit-fils lui aussi du brave Rambures, qui relève le titre de marquis de Rambures.