Ha habido edificios en este sitio desde 1346. La antigua casa fue renovada en 1765 y transformada en este hermoso palacio rococó por la familia von Schäzler, quienes en 1958 lo donaron a la ciudad de Augsburgo con la condición de que solo se usara para fines culturales.

Hoy en día, el sitio alberga exposiciones de arte en los maravillosos Kunstsammlungen y Museum Augsburg.

En el interior, lo más destacado es el Festsaal, un maravilloso salón de estilo rococó, uno de los más bellos de Europa.

Da a la Herkulesbrunnen, y su fachada que da a la Maximilianstrasse tiene 19 metros de largo, mientras que la fachada que da a la Katharinengasse tiene 107 metros de largo.

En verano, su patio interior tiene un Biergarten.