Il nuovo e attuale palazzo viene costruito da Gaspare Giacinto Martinengo Colleoni di Pianezza, sposato nel 1659 con Chiara Camilla Porcellaga, demolendo le proprietà Porcellaga e l’oratorio dei Disciplini (legati alla Arciconfraternita della Santissima Trinità dei pellegrini e convalescenti, fondata a Roma nel 1562 da Filippo Neri). La prima pietra del nuovo oratorio viene posta nel 1759 dal vescovo ausiliare Andrea Duranti e la consacrazione alla Trinità e a Carlo Borromeo avviene nel 1768 per opera del cardinale Giovanni Molin. Nel 1764 il palazzo diviene proprietà dei Bargnani che nel 1813 lo vendono al regno napoleonico. Nel 1849, durante le Dieci Giornate, il palazzo è sede del comitato di pubblica sicurezza e del duumvirato di Luigi Contratti e Carlo Cassola. La chiesa è attualmente un teatro.
Piacevolissima la Madonna Annunciata dipinta da Andrea Celesti nel 1700.