Das Schloss des Herzogs wird mit dem Neuen Lusthaus in Stuttgart und dem Collegium Illustre in Tübingen in einem Atemzug als architektonisches Glanzstück der Renaissance-Zeit genannt. Alle drei Gebäude hatten denselben Baumeister: den Hofarchitekten Georg Beer (1527–1600).
Das Schloss steht für den repräsentativen Anspruch des Landesherrn.
Nach der Einführung der Reformation 1534 nahm der württembergische Landesherr, Herzog Ulrich, Kloster Hirsau in Besitz, die Mönche mussten das Kloster verlassen. 1556 richtete sein Sohn, Herzog Christoph, eine evangelische Klosterschule ein. Besonders deutlich zeigten sich die neuen Besitzverhältnisse durch den Bau des Jagdschlosses. Herzog Ludwig von Württemberg ließ es in den Jahren 1589 bis 1593 im Süden der Klausur von seinem Hofarchitekten Georg Beer errichten.
In hoher Qualität gebaut und eingerichtet.
Die Dreiflügelanlage, anstelle des mittelalterlichen Abtshauses im Stil der Renaissance erbaut, war eines von mehreren Bauprojekten des Herzogs, der nach höfischer Repräsentation und dynastischer Selbstdarstellung strebte. Georg Beer lieferte Qualität in der Gestaltung des Gebäudes, sein Schüler und Nachfolger Heinrich Schickhardt (1558–1635) unterstützte das Bauvorhaben. Die Beschäftigung zahlreicher Handwerker aus der Residenz Stuttgart garantierte zudem eine hohe Qualität bei der Ausführung.
Das Jagdschloss lag direkt neben der ehemaligen Klausur.
Das Jagdschloss grenzte im Süden an die Klausur und war mit ihr über einen viergeschossigen Torturm verbunden. Es erstreckte sich ca. 37 Meter in Nord-Süd- und gut 76 Meter in Ost-West-Richtung. Im nahezu quadratischen Ostflügel mit den vier Schweifgiebeln gab es einen Keller und eine große Halle mit Kamin. Hier waren wohl die Repräsentationsräume zu finden. Der langgezogene Südflügel mit Treppenturm, von dem nur die Mauern des Erdgeschosses erhalten blieben, diente als Verbindungsbau.
Darstellung des Schlosses nach dem Brand.
Der Herzog nutzte sein Schloss als standesgemäßen Aufenthalt bei Jagden und als Quartier für Bäderreisen nach Liebenzell. Gut 100 Jahre nach seiner Errichtung wurde es, wie auch das angrenzende Kloster, im Pfälzischen Erbfolgekrieg durch französische Truppen niedergebrannt. Von der einst prächtigen Ausstattung haben sich nur spärliche Reste wie Architekturfragmente und Teile eines großen Kamins erhalten. Der weniger zerstörte Westflügel des Schlosses wurde 1740 zum Getreidespeicher umfunktioniert.
Vom repräsentativen Jagdschloss, Symbol des herzoglichen Machtanspruchs, blieben nur die Außenmauern stehen.
