Über den Mittelhof der Fuggerhäuser ist auch der Serenadenhof zugänglich. Früher lagen hier im Süden die Stallungen; der Flügel, an dem sich die Durchfahrt zum heutigen Zeugplatz befindet, beherbergte das Wohnhaus von Hans Fugger. Das „kaiserliche Palatium“ im Osten des Hofes ist nur durch einen kleinen Erker erkennbar. Anton Fugger veranlasste diesen Bau zu Ehren Karls V. und sorgte für eine üppige Ausstattung. Der Kaiser wohnte hier tatsächlich zu den Reichstagen 1547/48 und 1550/51.