La famiglia Caetani ebbe un ruolo rilevante nella citta', fu infatti sotto la protezione di Onorato Caetani che nel 1534 venne eletto a Fondi l'antipapa (scisma d'occidente) Clemente VII , la citta' acquisto' cosi' l'appellativo di ''citta' di Satana'' in quanto fu nelle sale del castello che il 20 settembre si riuni' il conclave di cardinali che porto' a tale elezione.Nel 1504 il ducato passo' ai Colonna e poi ai Gonzaga.Importante e' la figura della principessa Giulia Gonzaga (cantata dall'Ariosto nell'Orlando Furioso),vedova di Vespasiano Colonna duca di Fondi, che fece del suo palazzo un ritrovo culturale tanto che in eta' Rinascimentale Fondi venne ribattezzata come ''la piccola Atene''. La fama della sua bellezza raggiunse il corsaro saraceno Kai-Ed-Din detto Il Barbarossa che progetto' il suo rapimento per farne dono al sultano Solimano. La leggenda vuole che Giulia avvertita in tempo sia fuggita attraverso il sotterraneo che si troverebbe   nello stesso castello.Possente struttura dal fascino incontestabile, il castello ha nel corso del tempo subito molti lavori direstauro e adattamento mantenendo pero' le sue caratteristiche architettoniche e la consistenza:nel 1840 per ragioni di sicurezza venne abbattuta la merlatura del mastio;Nel 1861 venne adibito a carcere mantenuto fino al 1931.L'ultimo lavoro di restauro ha trasformato il castello in una struttura visitabile che ospita il museo civico ( accoglie reperti di epoca romana) e  meta' del salone di pian terreno funge da sala-incontri e aula per il consiglio comunale.