1511/12 erwarb Jakob Fugger ein Doppelanwesen am Weinmarkt und in den folgenden Jahren weitere Grundstücke hinter St. Moritz und am heutigen Zeugplatz. Er ließ ein Ensemble mit drei Höfen schaffen, das eine genuine Verbindung aus oberdt. Stadthaus und italienischem Palastbau darstellte. Ein letzter Aus- und Umbau erfolgte 1568 durch Hans Fugger. Die Fassade zur Maximilianstraße war ursprünglich mit Fresken Hans Burgkmairs geschmückt. Diese Darstellungen von Landschaften, Schlachtengruppen und Rossebändigern wurden 1761 entfernt, die historistische Neufreskierung erfolgte 1861/63 durch Ferdinand Wagner. Die reichhaltige Innenausstattung und die luxuriös ausgestatteten „appartamenti all’ italiana ist größtenteils zerstört. Das 1944 bis auf die Wölbungen des Erdgeschosses abgebrannte Anwesen wurde 1949-55 durch Raimund von Doblhoff in vereinfachter Form wieder aufgebaut.