Das Castell'sche Palais (heute Höhmannhaus) bestand ursprünglich aus zwei einzelnen Häusern, die im 17. Jhdt. zusammengelegt wurden. Im 16. Jhdt. wohnten hier die Schwiegersöhne von Philipp Adler, dem Besitzer des späteren Schaezlerpalais. Der Graf Castell-Remlingen erwarb das Gebäude 1707 und bezog es mit seiner späteren Frau, der Tochter eines türkischen Paschas, der er das Palais 1714 auch schenkte.
Auffallend ist der großzügige Innenhof, der den Baustil der Renaissance verkörpert. Das Innere des Palais besticht durch seine barocke Gestaltung. Die Fassade wurde im 19. Jhdt. wiederholt erneuert und dem Zeitgeschmack angeglichen. Heute ist das Gebäude nach der ehemaligen Besitzerfamilie Höhmann benannt, deren Tochter und letzte Hausbesitzerin die Kunstliebhaberin Dr. Ruth Höhmann war. Sie vermachte das Haus im Februar 2004 der Stadt Augsburg. Seit 1996 befindet sich hier die Neue Galerie im Höhmannhaus.