Il cardinale Alberoni aveva iniziato a Piacenza la sua raccolta d'arte, che venne arricchita considerevolmente durante il suo soggiorno in Spagna (1710-1719) con dipinti comprati e donati grazie anche alla regina Elisabetta Farnese. Nella sua permanenza a Roma l'Alberoni, dopo aver acquistato il palazzo Lana-Buratti, vi aveva raccolto 240 quadri, argenti, mobili e parati liturgici, come dimostra dettagliatamente l'inventario del 1735 redatto da lui stesso. A Piacenza dopo aver acquistato nel 1742, il palazzo presso la basilica di San Savino dai conti Barattieri, l'arricchì con conveniente arredamento di mobili antichi, argenterie e 77 quadri. La collezione alberoniana del Collegio nacque dalla fusione dei resti delle due raccolte ed iniziò ufficialmente nel 1761 quando giunsero da Roma gli arazzi e i quadri invenduti di quella raccolta. Nell'appartamento del Cardinale furono allora esposti 90 quadri, tra cui l'"Ecce Homo" di Antonello da Messina, il gruppo delle tavole fiamminghe e le tele di minor dimensioni; il resto della collezione fu collocato in diversi ambienti del Collegio.