Un Castello a Lari risulta esistente già nell’undicesimo secolo, costituendo probabilmente un esempio della fase di incastellamento, che ha caratterizzato l’Italia (e non solo) verso l’anno mille. È infatti del 17 giugno 1040 una cartula iudicati in cui sono ricordati due castelli, quello di Lari e quello di Montalto (poi Montalbano, oggi scomparso) entrambi in parte di proprietà di una donna lucchese di alto rango, Ghisla detta Ermellina, vedova del conte Rodolfo Aldobrandeschi. Di pochi anni più tardi, del 29 aprile 1043, è l'atto con cui si vende un appezzamento di terra nel Castello di Lari in cambio di una spada.
Nel 1230 gli Upezzinghi, fuoriusciti da Pisa, vi si rifugiano una prima volta, ed una seconda circa cinquanta anni dopo, che termina con la conquista della fortezza da parte delle truppe pisane, condotte da Guido da Montefeltro. Il Castello è così controllato da Pisa, che ne fa sede di una capìtania, tra l’altro sede di una guarnigione di armati.
Nel 1406 poi, con la conquista di Firenze di Pisa e del suo contado, al Castello è riconfermata la funzione di controllo e amministrazione, diventando sede di un vicariato fiorentino. Quella del vicariato era una forma di governo, analoga alla capìtanie pisane, con cui Firenze controllava i territori conquistati. I Vicari erano uomini appartenenti alla città di Firenze, scelti – almeno all’inizio – dall'Ufficio delle Tratte per “imborsazione e tratta” (cioè per estrazione da una borsa), per “squittinio” (scrutinio di voti) o per “grazia del principe”. Quella di vicario era comunque una carica piuttosto redditizia, ed è questo uno dei motivi per cui vi si trovano membri delle più importanti famiglie fiorentine (Albizzi, Capponi, Pitti, Salviati, solo per ricordarne alcune).
Il Vicario larigiano amministrava un territorio molto vasto, che andava dalla costa tirrenica (da Vada, a sud, fino a toccare Livorno, a nord), alle podesterie di Palaia e Peccioli, ad est, mentre verso sud raggiungeva Riparbella ed a nord Pontedera. Per tutto il XV secolo, ogni volta che Pisa si ribellò a Firenze, Lari partecipò attivamente ai tentativi di ristabilire l'autonomia da Firenze. Per questo fu ripetutamente assediato, ma invano: quello di Lari mantenne fama di castello inespugnabile.
L’assetto attuale della fortezza è quello derivato dalle opere intraprese tra '400 e '500, soprattutto per mano di Francesco da San Gallo nel 1530 e David Fortini nel 1559.
Gli stemmi visibili nel cortile sono stati lasciati proprio dai vicari, esponenti delle principali famiglie fiorentine, che vi hanno governato, e ne rappresentano un catalogo pressoché completo delle famiglie, degli stili, e delle forme: dagli scudi più antichi, che ricordano molto da vicino lo scudo usato in battaglia (nasce da qua questa simbologia!), fino a quelli di epoca più tarda, in cui lo scudo è ormai svanito, trasformato in elaborata insegna. Un punto molto importante di questa trasformazione è senz’altro rappresentata dalle sgargianti ceramiche robbiane, di cui sono presenti vari e pregevoli esemplari. Tra tutti spicca senz’altro il grande stemma bianco e nero (“trinciato di nero e d’argento”, in linguaggio araldico) della famiglia Capponi, al centro della facciata est, opera di Girolamo Della Robbia, nel 1524.
Anche gli interni del Castello videro la realizzazione di numerosi affreschi, tra cui si segnala senz’altro il ciclo di stemmi presenti nel Salone Pietro Leopoldo, realizzati nella prima metà del cinquecento.
Anche con l’unità d’Italia vi rimangono un tribunale ed una pretura, fino alla fine degli anni sessanta del novecento.
Dalla sommità si gode di un panorama unico sulla Toscana, dalla costa, a Pisa fino a Volterra. All’interno è allestito un innovativo museo multimediale, che permette di conoscerne la storia e le vicissitudini in maniera affascinante e coinvolgente.