Der Turm ist das älteste erhaltene Bauwerk Idsteins und das Wahrzeichen der Stadt. Er entstand in einzelnen Bauphasen um 1170, um 1240 und um 1500. Nach mehreren kleineren Um- und Anbauten im 18. Jahrhundert erhielt er 1810 sein heutiges Aussehen. Der volkstümliche Name "Hexenturm" folgt einer allgemeinen Mode des 19. Jahrhunderts und hat mit den Hexenverfolgungen, die im 17. Jahrhundert in Idstein stattfanden, nichts zu tun.