Questo palazzo, collocato nel quartiere di San Giorgio, che dà lo stemma alla città, venne riplasmato, su una struttura preesistente di epoca medioevale fra il ‘600 e il ‘700 dai Conti Garezzo di Castel Bosco.
A questo periodo risalgono i raffinati stucchi delle sale al piano terreno e al piano nobile attribuiti ai fratelli Beltramelli luganesi.
Il 5 settembre 1855 furono ospiti di casa Magistrati i Principi Umberto e Amedeo di Savoia, quando onorarono di una loro visita la città di Bene.
Verso metà Ottocento con l’estinguersi della famiglia dei Garezzo di Castel Bosco l’immobile fu acquisito dai cugini, i Conti Magistrati.