Das Schloss H. geht auf eine Wasserburg aus dem 12. Jahrhundert zurück. Aus dieser Zeit stammt auch noch der markante Bergfried.

Im 14. Jahrhundert wird das Schloss als Jagd- und Lustschloss der Bischöfe aus N. genutzt. Danach wurde es verkauft und als Wohnanlage umgebaut.
Anfang des 18. Jahrhunderts wurde das Schloss von Bernhard von P. und seinem Sohn zum Wohnschloss umgebaut und erhielt sein heutiges Aussehen.

1945 erfolgte die Enteignung der letzten Eigentümer – der Familie von H. – und das Schloss erfuhr diverse Nutzungen als Kindergarten, Schule, Kinderkrippe, Schulküche, Gemeindeamt und Wohnanlage.

Mit der politischen Wende endete die Nutzung durch die Gemeinde und seit den frühen 1990er Jahren steht das Schloss weitestgehend leer und ist dem Verfall ausgesetzt.

2003 gründete sich ein örtlicher Förderverein zur Erhaltung und Nutzung des Gebäudes.

Seit 2011 befindet sich das Schloss wieder in Privatbesitz. Ein südafrikanischer Privatmann hat es zusammen mit seiner Frau gekauft und bereits einen Millionenbetrag in die dringend notwendige Dachsanierung gesteckt.

Seit ein paar Jahren herrscht jedoch Sanierungsstopp. Das Unkraut überwuchert den Innenhof und auch bereits sanierte Wände verfallen wieder.