Einer der ältesten Gärten Augsburgs verbirgt sich hinter den hohen Mauern. Nachdem zu Römerzeiten noch eine breite Straße durch das Areal führte, ist dieses seit dem Mittelalter als Garten verzeichnet. Der Pavillon in der Mitte des Gartens steht wohl schon seit dem Barock an selber Stelle. König Ludwig I. von Bayern übetrug dann später der Benediktinerabtei St. Stephan dessen Nutznießung. Noch heute dient der Garten der Versorgung und Erholungsgebiet von Tagesinternat und Kloster von St. Stephan.Der Flachbau östlich des Pavillons beherbergt die Schulsternwarte des Gymnasiums bei St. Stephan.