La potenza dei Bressa raggiunse l'apice nel 1652, quando la famiglia fu aggregata al Patriziato veneziano, sebbene al prezzo di 100.000 ducati. Da allora i Bressa abitarono alla Ca' d'Oro, la nuova sontuosissima residenza costruita in Venezia. Cominciò tuttavia anche il tracollo economico. Tanto che nel 1674 i Bressa, un tempo ricchissimi e potenti, dovettero vendere gli arredi del palazzo per ripianare i debiti fiscali.
Nel 1764 gli eredi rifiutarono l'eredità del palazzo, a causa degli enormi debiti che gravavano su di esso. Ai guasti dell'abbandono si aggiungensero ben presto i danni provocati dalle truppe francesi, austriache e anche russe, che vi si acquartierarono. L'ultimo proprietario acquistò il palazzo esclusivamente per spogliarlo di tutto il materiale asportabile. Completata la demolizione, l'area del palazzo fu donata nel 1826 al Comune, il quale vi ricavò una piazza, quella piazza Bressa che sarebbe poi divenuta piazza della Vittoria.
