La citta' di Fondi fu nel Medioevo distrutta dai Longobardi e contesa alla Chiesa da Federico II e Manfredi, passo' nelle mani d'importanti famiglie, ricordiamo i Dell'Aquila, i Colonna e i Caetani.
La costruzione del castello venne iniziata nel 1319 insieme con la ristrutturazione della cinta muraria (della quale se ne possono ancora scorgere alcune parti nel centro storico della città) da Roffredo III Caetani che ne ha fatto il centro della sua signoria, contestualmente ad esso fu eretto il Palazzo, utilizzato come elegante abitazione, collegato al castello con un passaggio.
Recentemente il ricordo del passaggio tra le due costruzioni è stato ripreso per il nuovo "passetto" un ponte che unisce il palazzo con il Mastio del Castello.
La famiglia Caetani ebbe un ruolo rilevante nella citta', fu infatti sotto la protezione di Onorato I Caetani che nel 1534 venne eletto a Fondi l'antipapa (scisma d'occidente) Clemente VII , la citta' acquisto' cosi' l'appellativo di "citta' di Satana" in quanto fu nelle sale del castello che il 20 settembre si riuni' il conclave di cardinali che porto' a tale elezione.Nel 1504 il ducato passo' ai Colonna. Importante e' la figura della principessa Giulia Gonzaga (cantata dall'Ariosto nell'Orlando Furioso),vedova di Vespasiano Colonna duca di Fondi, che fece del suo palazzo un ritrovo culturale tanto che in eta' Rinascimentale Fondi venne ribattezzata come ''la piccola Atene''. La fama della sua bellezza raggiunse il corsaro saraceno Kai-Ed-Din detto Il Barbarossa che progetto' il suo rapimento per farne dono al sultano Solimano. La leggenda vuole che Giulia avvertita in tempo sia fuggita attraverso il sotterraneo che si troverebbe nello stesso castello.Possente struttura dal fascino incontestabile, il castello ha nel corso del tempo subito molti lavori di restauro e adattamento mantenendo pero' le sue caratteristiche architettoniche e la consistenza:nel 1840 per ragioni di sicurezza venne abbattuta la merlatura del Mastio.
Nel 1861 venne adibito a carcere mantenuto fino al 1931.L'ultimo lavoro di restauro ha trasformato il castello in una struttura polifunzionale che ospita il museo civico ( accoglie reperti di epoca romana) e meta' del salone di pian terreno funge da sala eventi, dal terrazzo si può ammirare tutta la Piana di Fondi, e rimane un punto saldo nel panorama della inconfondibilmente immortalato in tanti dipinti e foto.
