Das Haus wurde 1496 von Hans Holbein d.Ä. wohl als Werkstatt und Wohnhaus erworben und wurde das Geburtshaus von Hans Holbeins d.J. Das 1944 völlig zerstörte Haus wurde 1964/65 als Gedenkstätte (Gedenktafel im Innern) und mit Künstlerateliers wieder aufgebaut. 1967 wurden hier Ausstellungsräume eröffnet, die die Stadt den Städtische Kunstsammlungen, dem Kunstverein und privaten Veranstaltern zur Verfügung stellte. Seit 1996 werden die Räume im Erdgeschoß vom Kunstverein für Ausstellungen genutzt.