Visto da Piazza Garibaldi, il Cassero è una visione imponente, che si regge su ben tre terrapieni, costruito su un masso di pietra arenaria grigia e realizzato in conci della stessa materia. L’edificio, probabilmente precedente al XII sec., fu restaurato ed ingrandito durante il periodo senese. Dopo il periodo senese la rocca rimase in stato d’abbandono fino al 1772, quando il Commissario del Granduca la scelse come nuova sede del palazzo comunale.