A seguito del Lodo Leone X con l’acquisizione dell’alta Versilia da parte dei fiorentini, Cosimo I dei Medici, tra il 1561 e il 1565, fece erigere sulla sponda sinistra del fiume Vezza un palazzo-fortezza per farne sua residenza temporanea per le frequenti visite alle miniere d’argento della zona e alle cave di marmo. 
Con la sua architettura semplice, quasi austera, forse disegnata a Bernardo Buontalenti, il palazzo si erge davanti a un grande prato, nel cortile interno si trova un leggero loggiato con tre aperture in marmo bianco e un pozzo sul cui architrave si trova una trota in marmo a ricordo di una pesca eccezionale effettuata dalla Granduchessa Cristina nel 1603. Il palazzo è stato per molti anni la residenza estiva dei Medici, degli Asburgo-Lorena e dei loro nobili ospiti.

Accanto al Palazzo, nel grande prato ora intitolato a Anna Maria Luisa de’ Medici, si trova una Cappella, oggi sconsacrata, edificata al tempo della Granduchessa Maria Cristina nel 1609.
 Sul retro del palazzo si trovava in epoca medicea il Giardino dei frutti con aranci, gelsi, ciliegi, limoni e fiori. In fondo al prato si trovavano le scuderie che già alla fine del XVII furono trasformate in depositi per le ferriere della Magone e alla fine del secolo successivo in un teatro: Il Teatro dei Costanti, ancora oggi l’edificio è sede teatrale e cinematografica.

Con la nascita del Regno d’Italia il Palazzo divenne sede del Municipio e tale rimase fino al 1967.
Dal 1982 il Palazzo Mediceo diventa sede di importanti esposizioni di arte moderna e contemporanea. I suoi locali al piano terra accolgono poi anche la Biblioteca Comunale “Sirio Giannini” e l’Archivio Storico Comunale preunitario e post-unitario, dove sono esposte le opere di Alfredo Catarsini nella tappa seravezzina.

Ai piani superiori è stato inaugurato nel 1996 il Museo del Lavoro e delle Tradizioni Popolari della Versilia Storica con oltre duemila oggetti che si riferiscono proprio alle attività economiche e tradizionali della Versilia Storica.


Il Palazzo fa parte della Lista dei Beni Culturali e Naturali del Patrimonio Mondiale UNESCO.