Il maestoso edificio rinascimentale, unico rispetto all’architettura medievale della città, fu voluto dal conte Federico e realizzato dall’architetto Francesco di Giorgio Martini.