Esaminando alcune testimonianze giunte fino a noi, gli storici affermano con certezza che il paese di Venafro era già sviluppato al tempo delle Guerre Puniche.
Infatti, Annibale non ebbe esitazione ad assalirlo e conquistarlo.
In epoca romana Venafro più volte citato dagli scrittori e dagli eruditi per il clima favorevole e per la qualità di alcuni suoi prodotti, come il vino e l’olio.
Dopo la caduta dell’Impero Romano d’Occidente il paese fu assoggettato dal ducato longobardo di Benevento e divenne sede di contea. Successivamente, con l’avvento dei normanni prima, e degli svevi poi, il paese iniziò la sua appartenenza alla contea del Molise.
Nel periodo angioino la città fu addirittura elevata a città regia.
Verso la seconda metà del XV secolo la famiglia Pandone iniziò ad esercitare la propria signoria sul feudo di Venafro, segnando anche il momento più florido della storia del paese.
La signoria dei Pandone terminò in modo tragico il 30 settembre del 1528 con la decapitazione di Enrico, ultimo erede della famiglia per quanto riguarda il feudo di Venafro.
Alla morte di costui il feudo passò nelle mani di Filiberto Challons e successivamente al cardinale Pompeo Colonna (1520-1532). Dopo il 1532 Venafro visse un periodo di quasi totale oscurità, passato tra incameramenti al demanio, aste e vari passaggi tra casate. Tra queste casate meritano una citazione quella degli Spinola (1582-1586), quella dei Savelli (1655-1690) ed infine quella degli Spinelli (1690-1698).
Verso la prima metà del ‘700 il feudo entrò in possesso della potente famiglia dei Caracciolo, che ne detenne il possesso fino alla scomparsa del sistema feudale.