San Martino in Pensilis e’ ubicata su una collina a ridosso della riva destra del fiume Biferno, di poco distante dalla costa adriatica.
Il palazzo Baronale, denominato tradizionalmente anche castello, e’ collocato nel centro storico e precisamente nei pressi della chiesa di San Pietro.
Tante sono le ipotesi, circa le origini della struttura, tra cui la prima ritiene che il palazzo sia stato edificato intorno all’XI e XII secolo, ossia durante la dominazione normanna.
Una seconda ipotesi, sostiene che il palazzo sia stato costruito nel XV secolo sulle rovine di una chiesa; questo spiega come mani siano presenti gli archi gotici nelle sale del palazzo. 
I castelli edificati nel periodo della dominazione longobarda e normanna, per cui anche quello di San Martino in Pensilis, sono edificati accanto alla chiesa a testimonianza di un sistema feudale di signorie locali.
Il progetto del palazzo Baronale ricalca quello tipico del periodo normanno a pianta quadrata.
La presenza del castello precedente, e’ ribadita, oltre che dalla tradizione orale, anche dall’esistenza di alcuni elementi strutturali caratteristici dell’architettura difensiva; ne sono un esempio: il muro a scarpa, le feritoie, le finestre interne orientate verso il cortile e un arco che collega il castello con le abitazioni di fronte. Alla struttura si accedeva mediante una rampa che precedeva il ponte levatoio, e tutt’intorno vi era il fossato.
Internamente il castello era caratterizzato da merli e merloni in pietra, che attualmente sono andati in rovina, nonche’ da una sala del trono, simbolo del potere feudale e infine da una torre adibita a residenza per il feudatario.
Oggi al palazzo e’ possibile accedere tramite una scalinata, che conduce nel cortile.
Di particolare interesse, e’ il loggiato che affaccia sulla piazza del paese e dal quale e’ possibile ammirare il mare.