Dalla costruzione della basilica i pellegrinaggi verso questo luogo, che assumeva via via popolarità, si intensificarono e assieme alla povera gente dei paesi attorno, nobili, e persino l'imperatore Carlo V d'Asburgo, il papa Pio II e, più tardi, l'imperatore d'Austria Giuseppe II d'Asburgo-Lorena (allora regnante anche nella Lombardia austriaca, di cui Mantova era capitale insieme a Milano) visitarono l'immagine sacra. Iniziarono così tutta una serie di donazioni che apportarono anche alla struttura architettonica originaria delle modificazioni; alcune importanti famiglie mantovane fecero costruire cappelle private per la preghiera annesse al convento o all'interno della chiesa per seppellirci i propri avi. Persino Giulio Romano, su commissione, lavorò nella chiesa delle Grazie, opera sua e della sua scuola sono infatti il Mausoleo Castiglioni ed altri interventi nella sacrestia.