L'Abbaye de Santa Maria del Castello est situé là où il y avait, sur un vestige des anciens remparts démoli en 1641, une tour dédiée à Notre Dame du Carmel. Prop qu'on voulait transformer en chapelle comme une forme d'action de grâces pour les dangers échappé à la guerre entre les "Principisti" et "Madamisti" (1640-1646). La communauté de Rocca de Baldi joint à renoncer à ses droits à la minuscule édifice en faveur de la noble famille des Morozzo, della Rocca en échange d'une promesse que l'aumônier a été choisi parmi les prêtres autochtones de l'endroit. L’eglise et le palais ont été conçus en 1650 par Giovenale Boetto da Fossano, tandis que le maître-autel est l'œuvre de Carlo Pozza et G. P. Rappa et à l'intérieur est préservée la stèle votive d’origine. Ludovico Francesco Morozzo obtenu en 1655 par le pape Alexandre VII la bulle d’érection avec le titre de Santa Maria del Castello, est mort à l’Abbaye le 2 Février 1677 et fut enterré dans l'Eglise, jusqu'en 1867 on comptait neuf abbés. Décédé le 18Octobre 1799, Carlo Giuseppe, le plus célèbre des abbés de Santa Maria del Castello (aumônier du Roi, Grand Aumônier de la chapelle royale, prélat de la Court, Évêque de Fossano) revient définitivement à la branche Rocca de’ Baldi et en 1865, Carlo, le dernier Abbé, en conséquence de la loi Siccardi, a acheté la propriété de l'immeuble et apres sa mort en 1899, il a quitté son héritier à sa soeur Licinia et celle ci, en 1913, à son petit-fils Marquis Robert .