Con la fine del Marchesato di Saluzzo (1601), iniziò la decadenza; il mutare delle tecniche di guerra con l'importanza crescente dell'artiglieria, fecero inoltre perdere valore strategico al castello a favore della rocca di Revello. Dalla dominazione francese (fino al '700) fu adibito a sede del Governatore del Marchesato e a caserma del presidio; sicuramente ospitò anche uffici governativi e carceri. Dal 1814 risultò non più occupato, se non per alcuni locali destinati ad invalidi o affittati a privati. L'edificio era ormai gravemente degradato per la mancata manutenzione, tanto che crollò la volta del salone di parata; l'antica dimora signorile era ormai ridotta a romantica rovina, cantata dalla poetessa Diodata Saluzzo - Roero. L'Amministrazione militare non ritenne più convenienti le spese di riparazione e di conseguenza nel 1825 fu deciso di destinarlo a casa penale. I lavori comportarono l'alterazione radicale della struttura e la distruzione delle parti decorative e degli affreschi ancora esistenti. Intatto rimase il torrione circolare, mentre si salvarono, perchè asportati, due frammenti di affreschi: una "Madonna con Bambino" ed una "Deposizione" ottenuti dopo varie vicende da Tapparelli D'Azeglio per il museo di Casa Cavassa che andava allestendo in quegli anni.

Felice Muletti, Il castello di Saluzzo - acquerello anteriore al 1825