Der Kunstliebhaber Ignaz Walter sammelt seit 30 Jahren moderne und zeitgenössische Malerei, in den letzten Jahren kamen auch Skulpturen und Glaskunst dazu. Auf 5000 qm Fläche kann das Museum viele weltbekannte Namen wie Georg Baselitz, Max Ernst, Markus Lüpertz, A. R. Penck und Sigmar Polke vorweisen. Neben neuen Arbeiten von Anselm Kiefer, Jörg Immendorff und Markus Lüpertz ergänzen zahlreiche Werke der Altmeister der „Leipziger Schule“.
Der Glaspalast war eine Produktionshalle für Baumwollspinnerei, die schon zur Zeit ihrer Einweihung als architektonische Besonderheit galt. Als die Mechanische Baumwollspinnerei und Weberei Augsburg, 1988 Konkurs anmelden musste, wurde die Produktion eingestellt. Die Walter Bau AG renovierte den Glaspalast schließlich mit dem Ziel, ihn hauptsächlich für kulturelle Zwecke zu nutzen. An den anfallenden Kosten beteiligten sich die Stadt Augsburg und der Freistaat Bayern. Das Gebäude beherbergt heute auch die Staatsgalerie der Moderne.