Die St.-Anna-Kirche war ein Karmeliterkloster, das 1321 erbaut wurde.

Im 15. und 16. Jahrhundert wurde sie erweitert und weitere Kapellen wurden gebaut, darunter die Fuggerkapelle, das erste Gebäude im kirchlichen Renaissancestil in Deutschland.

Martin Luther hielt sich dort vom 7. bis 20. Oktober 1518 zur Vernehmung auf, die der päpstliche Legat, Kardinal Cajetan, durchführen sollte.

Da Luther sich weigerte, seine 95 Thesen zu widerrufen, floh er aus Augsburg, bevor er verhaftet werden konnte.

Dort befindet sich die „Lutherstiege“, ein kleines Museum, das eine Ausstellung von Dokumenten zum Beginn der Reformation beherbergt.