Il castello e’ collocato nella zona nord-est della citta’ e venne edificato edificato sui resti di opere murarie risalenti al periodo pre-romano.
Nella seconda meta’ del IX secolo esisteva già una struttura difensiva.
Nella seconda meta’ del X secolo si verifica un vero e proprio incastellamento.
Tra il 961 e il 968 la costruzione originaria è stata elevata.
La parte piu’ antica della struttura e’ il mastio, totalmente diverso per forma e posizione dai torrioni.
Nel 1138 il castello ha subito ingenti danni causati dall'attacco operato dalle truppe di Ruggero II di Altavilla.
Nel 1270 Rrubino De Veris trasformo’ la fortezza in ostello, mettendola a disposizione della monarchia.
Nel 1288 il castello passò da statale a feudale.
Nel 1443 il conte di Venafro, Francesco Pandone, modifico’ la fortezza in dimora signorile, intervenendo anche con opere di rinforzo a carattere militare.
Alla morte di Pandone, i successivi feudatari lasciarono in stato di abbandono la fortezza.
Nel 1600, i sotterranei dell'edificio furono adoperati come carceri, per coloro che attendevano il giudizio.
Nel XIX venne destinato ad uso privato e separato in appartamenti agresti.
Il castello riacquistò splendore durante la seconda guerra mondiale, recuperando l sua primordiale funzione difensiva. 

Il castello e’ a pianta quadrangolare, caratterizzata da quattro strutture ubicate intorno ad un cortile rettangolare, di cui tre sono rotondi, mentre il quarto e’ quadrato ed ha la funzione di mastio.
La costruzione originaria, doveva essere a pianta quadrangolare, priva di torri e difese, fornita solo di una cinta muraria.
Gli ampliamenti successivi, consistettero anche nella creazione di un ponte levatoio e di un fossato, nonche’ di muraglioni larghi con feritoie e merli.
Intorno alla meta’ del XIV secolo, furono inserite due torri cilindriche, dalle quali si aprivano due corridoi diretti a difendere il
fossato; all’interno dei percorsi vennero scavate dodici feritoie al fine di utilizzare le armi a getto.
Il mastio si eleva su tre piani comunicanti tra loro mediante botole e scale levatoie.
Il pianterreno ospita la sala d’armi e i locali riservati al corpo di guardia.
Il primo piano era abitato dal padrone e dalla sua corte.
L’ultimo piano era utilizzato come base di vedetta e di difesa.
Molto importanti dal punto di vista artistico sono gli affreschi e gli stemmi che adornano il piano nobiliare.
La tecnica utilizzata per queste vere e proprie opere d'arte consisteva in un veloce disegno preparatorio che veniva stuccato in altorilievo e successivamente dipinto ad affresco.
Ciascun cavalli rappresentato nella maggior parte degli affreschi e’ contraddistinto dalla propria sella e contrassegnato dallo stemma di Enrico Pandone.
Interessante e’ anche la sala del teatrino dove nel 1700 venne creato sia un falso palcoscenico che un finto sipario, ai cui lati vennero rappresentati due putti nell’atto di reggere un velo gonfiato dal vento.