Im Jahr 1537 wurden die Buchbestände des Karmeliterklosters St. Anna, des Dominikanerklosters St. Magdalena und des Barfüßerklosters der Franziskaner zu einer städtischen Büchersammlung vereinigt und in einem Neubau von 1563 im Annahof zugänglich gemacht. Nach der Säkularisation kamen die Büchersammlungen des Jesuitenkollegs und des Protestantischen Kollegiums bei St. Anna hinzu. Auch aus sechs weiteren Augsburger Klosterbibliotheken kamen umfangreiche Bestände. 1893 wurde das neue Gebäude an der Schaezlerstraße bezogen. Die Staats- und Stadtbibliothek gehört zu den großen spätmittelalterlich-frühneuzeitlichen Sammlungen in Deutschland.