Il palazzo ducale, edificato verso la fine del XV° secolo, era la dimora dei duchi di Caccavone.
Il primo restauro fu messo in atto dal duca Nicola Petra nel XVIII° secolo.
Gli abitanti del paese ritengono che questa fortezza sia anche un palazzo reale perche’ si ipotizza, che una delle regine borboniche del regno delle Due Sicilie, vi abbia soggiornato dopo una breve visita della zona.
Dopo un periodo di dimenticanza, grazie all’intervento del comune di Poggio Sannita, il palazzo e’ stato riaperto al pubblico nel 1994.
L’edificio e’ ubicato nel cuore del centro storico, e’ si eleva su quattro livelli accessibili grazie alla presenza di quattro ingressi.
La struttura ha un’imponente facciata in pietra locale a faccia vista, rivolta a nord-ovest.
Internamente e’ caratterizzato da una sala convegni capace di ospitare fino a 200 persone.
Il terzo piano invece, ospita una mostra fotografica costante dal tema: “ Poggio Sannita: i luoghi e le persone”.
L’edificio e’ anche dotato di un’ascensore capace di trasportare circa 12 persone, con lo scopo di eliminare le barriere architettoniche.