Le château demeurera dans cette famille, par legs successifs, jusqu'en 1930. A cette date, Charles de La Roche-Fontenilles le laissa à son petit-neveu, le comte de Blanchard, dont le fils est l'actuel propriétaire. Jamais, en six siècles d'histoire, le château n'est passé en vente.
Au cours de cette dernière période, il ne joue plus aucun rôle militaire. Il traverse la Révolution sans encombre ; tout au plus peut-on citer une hypothétique perquisition de Murât, en garnison à Abbeville, en 1793.

Vers 1840, son aspect médiéval impressionne le baron Taylor, qui fait de sa visite une relation très romantique dans ses " Voyages pittoresques " ; il ne faut pas chercher trop de vérité archéologique dans les lithographies qui accompagnent le texte. Il en est de même d'un dessin à la plume de Victor Hugo, que ne valorisent pas quelques mauvais vers.

Le château a subi depuis sa construction un certain nombre de transformations, qui n'ont toutefois pas réussi à en altérer l'aspect général, au moins pour ce qui est de l'extérieur.
C'est probablement grâce aux états de service du " brave Rambures " qu'il n'a pas à subir le démantèlement total des forteresses ordonné par Richelieu. On se borne à découronner la demi-tour nord ; et l'ensemble des fortifications de l'entrée, pont-levis, herse, défenses verticales, disparaissent pour faire place à une large tranchée flanquée d'obélisques, qui forme galerie au-dessus du nouveau portail. Un perron simple remplace les défenses de la cour.