Die Burg Arnstein wurde um 1130 errichtet und war der Stammsitz der Herren von Arnstein. Nach dem Erlöschen der Arnsteiner Linie des Hauses Mansfeld-Vorderort 1615 wurde das Schloss bis 1637 durch die Linie Mansfeld-Vorderort als Wohnschloss genutzt. Im 18. Jahrhundert verstarben die letzten Angehörigen der Grafenlinie und die Burg verfiel zur Ruine.

Seit 1992 kümmert sich ein Heimatverein um die Sicherung und den Erhalt der Gebäude.