Der sogenannte „Spethsche Hof“ befindet sich in der Ostenvorstadt und lag damit zur Zeit seiner Erbauung ab 1690 weit vor den Toren der Kernstadt. Domdekan Heinrich Speth von Zwiefalten ließ sein Wohn- und Amtsgebäude hier errichten, da ihm angeblich der Bauzustand seines eigentlichen Amtssitzes in der Stadt nicht zusagte.

Den stattlichen Hauptbau entlang der Straße schuf Jakob Engel, worauf auch die typischen Eckerker, die Fassadengliederung mit alternierenden Giebelbedachungen über den Fenstern und das elegante Portal hinweisen. Der drei-geschossige Nordflügel mit seinen Arkaden entstand erst 1763.

Wechselvoll ist die Nutzungsgeschichte des Hauses: Von 1710 bis 1783 diente es als Priesterseminar, danach als Armenbeschäftigungsanstalt und 1841 bis 1982 als städtisches Krankenhaus. Heute beherbergt es Büros und Praxen und vor allem das Staatliche Schulamt.