Le château actuel fut édifié vers 173O par le Seigneur de Créquy qui portait le titre de Marquis d’Hesmond.

La tradition veut qu’en arrivant devant le château, la Marquise de Créquy jugeant la demeure trop modeste, se soit écriée  » Mais pourquoi s’arrête-t-on chez le concierge ? « 

Son époux aurait alors fait placer au-dessus de la porte d’entrée la plaque de pierre noire que l’on y voit toujours, avec cette inscription latine :  » Parva sed apta mihi  » :   » C’est petit, mais cela me suffit « 

Les Créquy résidaient habituellement dans leur château de Souverain-Moulin (dans le Boulonnais).

Le Prince de Galles y séjourna pendant la 1ère Guerre Mondiale.

Le château actuel a été construit à l’emplacement d’un autre beaucoup plus ancien dont il reste encore les dépendances.