Die Grafen von Arnsberg errichteten im 11. Jahrhundert die Alte Burg auf dem Römberg. Bereits um das Jahr 1100 beziehen sie eine neue Festung auf dem gegenüberliegenden Schlossberg. In den Jahren und Jahrhunderten darauf erlebt das Arnsberger Schloss eine wechselvolle Geschichte, zuerst unter den Grafen und später unter den Kurfürsten von Köln. Unter Kurfürst Clemens August erfährt es seinen letzten prächtigen Ausbau durch den westfälischen Barockbaumeister Johann Conrad Schlaun. 1734 wandelt die grimmige Feste zum "zivilen" Jagd und Residenz-Schloss, das allerdings während des Siebenjährigen Krieges wieder Kriegsschauplatz wird.