Im Zuge der Reformation wandelte sich die Hohenwittlingen von einem Zufluchtsort zu einem Verlies. 1548 hielt sich hier der württembergische Reformator Johannes Brenz versteckt. Der evangelisch-lutherische Theologe musste aus seinem Heimatort Schwäbisch Hall fliehen, nachdem Kaiser Karl V. Soldaten in die Stadt entsandt hatte, um das von ihm erlassene Religionsgesetz durchzusetzen. Ihm folgten ab 1560 bis 1617 Anhänger der Wiedertäufergemeinden der Hutterer. Allerdings unfreiwillig.
Denn obgleich die Gemeinschaft ebenfalls im Zuge der Reformation entstanden war, wurden ihre Anhänger nicht nur von der römisch-katholischen, sondern auch der evangelischen Kirche verfolgt und gefangen gehalten. Unter ihnen waren auch die Anführer Paul Glock und Mathias Binder. Beide hatten den Wehrdienst und Eid verweigert und tauften nur Menschen, welche ernsthaft Christen sein wollten. Nachfahren der hier festgehaltenen Männer leben heute in England und Nordamerika.