Ce palais fut édifié par Giorgio Vasari en 1607 sur deux bâtiments anciens incorporant les restes de la Tour, dite de la Renommée (della Fame) : dans cette tour, nous dit la chronique, le comte Ugolino della Gherardesca, commandant de la flotte pisane, fut condamné après une défaite que l'on attribua à sa trahison, à mourir de faim... avec ses enfants, la traitrise étant, c'est bien connu, une tare héréditaire. D'où le nom de palazzo della Gherardesca que l'on donne parfois au palais.