Le Château fut construit en pierre et en brique par Simon-Sylvestre-Clément Lemoyne au XVIIIe siècle. Issu d'une famille de négociants et brasseurs de Dieppe, il fut avocat, conseiller du roi au baillage d'Arques et également maire de Dieppe de 1770 à 1779. Il meurt dans ce château en 1806.
