Fu intorno al fatidico anno mille, che gli abitanti della zona intorno all’attuale Sermoneta salirono su questo colle per stabilirsi in un luogo più sicuro dove potersi difendere dagli assalti continui dei Saraceni. Infatti sul finire del X secolo sorse qui una prima postazione fortificata: il luogo era di proprietà della Chiesa che lo concesse ai Conti di Tuscolo i quali poi lo cedettero, nella prima metà del ‘200, agli Annibaldi (una famiglia di origine germanica). Furono gli Annibaldi a costruire la prima vera e e propria Rocca (era costituita principalmente da quello che oggi è il maschio del Castello); questa famiglia, a sua volta vendette Rocca e Borgo alla famiglia Caetani che la potenziò notevolmente.
Il tutto fu sottratto ai Caetani da Papa Alessandro VI-Borgia che fece di questo Castello un caposaldo importante per l’affermazione della potenza della propria famiglia, presidio avanzato verso il confine meridionale dei possedimenti pontifici. Alla morte di Papa Borgia, Guglielmo Caetani riacquisì tutto alla propria famiglia la quale restò nei secoli successivi molto legata a Sermoneta.
Il Castello, che domina l’abitato medioevale di Sermoneta, sicuramente originato dalla prima Rocca degli Annibaldi, fu notevolmente ingrandito in particolare da Onorato III Caetani (con i grandi interventi del 1455) cui avevano fatto seguito le ristrutturazioni volute dai Borgia. Al grande potenziamento delle opere per la difesa dalle ‘moderne’ armi di artiglieria, fu impegnato anche Antonio da Sangallo il Vecchio.
Si narra che Cesare Borgia – fedele alla sua fama – come primo atto della ristrutturazione, distrusse la Cappella sepolcrale degli odiati Caetani e fece disperdere le loro ossa. I Borgia elessero Sermoneta a Ducato che fu affidato a Rodrigo, (Figlio di Lucrezia e del suo amatissimo marito Alfonso di Bisceglie).