Im Antoniushof sind eine ganze Reihe einflussreicher Familien als ehemalige Besitzer und Bauherren anzutreffen: als erste, im 14. Jhdt. die altehrwürdige Familie Langenmantel, die sich als Nachfolger römischer Patrizier „Longotabaro“ nennen ließ, die streitbaren Männer aus der Familie Egen, die Stifter der Antonspfründe. Oder die Familie Kraffter, eigentlich die Familie Crawford aus Schottland, die für die Fugger die italienischen Bankgeschäfte führten. Sie ließen das Haus in italienischen Formen ausstatten, wovon heute noch die Kaiserporträts im Hof zeugen. Dann folgten in einer Reihe die jeweils reichsten Handelsherren Augsburgs, die Brentano vom Comer See, die Rembolds, die Obwexers. Lange Zeit war das Haus im 19. und 20. Jhdt. das Geschäftshaus der Firma Limbächer, bis es in unserem Jahrundert zu neuem und traditionsreichen Glanz zurückgeführt wurde, zum heutigen Antoniushof.