Durante l'invasione francese del Piemonte da parte delle truppe di Napoleone, Palazzo Madama di Torino rischiò di essere raso al suolo ben due volte. Perché mai i francesi avversavano tanto quell'edificio? In realtà a voler cancellare il palazzo non furono tanto i francesi, quanto i patrioti piemontesi filo napoleonici. In Palazzo Madama essi coglievano il segno della secolare tirannia sabauda e poi quell'edificio, piazzato nel cuore della città, sembrava fatto apposta per intralciare le fughe prospettiche delle strade maestre. Così alzarono il piccone e nel 1802 si cominciò col demolire la galleria che congiungeva Palazzo Madama con Palazzo Reale, quasi a voler tagliare di netto il cordone ombelicale che univa le due regge. Le proteste però si fecero sentire e il generale Jourdan si trovò costretto a revocare il decreto di demolizione. Nel 1803 la questione dell'abbattimento tornò all'ordine del giorno. Il generale Menou, nuovo amministratore del Piemonte, si era detto favorevole all'impresa dello smantellamento. Quel palazzo piazzato in mezzo alla piazza pareva un ingombrante intrusione sulle direttrici stradali di via Po e via Roma e secondo i nuovi progetti urbanistici approntati da Giuseppe Pregliasco e Joseph Henri-Christophe Dausse l'edificio andava senza indugio eliminato. All'incrocio delle due strade, al suo posto, era prevista la costruzione di una grande fontana «jetant l'eau avec profusion». Nel pubblico molti mormoravano contro il progetto, ma a bassa voce e senza effetto. Uno solo ebbe il coraggio di denunciare l'imminente misfatto. Il "salvatore' si chiamava Ferdinando Dal Pozzo di Castellino, un nobile originario di Moncalvo politico e studioso di professione. Pur devotissimo ai Savoia, durante il governo napoleonico sposò la causa della liberté ed ebbe cariche onorifiche nell'amministrazione civile e giudiziaria d'occupazione. Poeta e abile retore, usò con efficacia le sue capacità dialettiche presso Napoleone al punto da convincerlo che la distruzione di Palazzo Madama sarebbe stato un inutile insulto alta storia e al cuore di Torino. Il Bonaparte, per fortuna, gli diede retta e ordinò di abbandonare ogni ruinante progetto.