Il palazzo e’ collocato nella parte piu’ alta del centro storico e per poterlo raggiungere bisogna percorrere una scalinata condivisa con la chiesa di Santa Maria Assunta.

Il castello ha origini medioevali, con precisione venne edificato intorno all XI secolo.
Con il passare del tempo la struttura venne adattata alle esigenze della famiglia che ne era titolare.
L’edificio subi’ degli interventi radicali tali da far perdere la propria residenza fortificata.
Il primo restauro venne effettuato grazie all’intervento di Marino Mastrogiudice, che tra il 1516 e il 1517 divenne signore di Ripalimosani.
La trasformazione in dimora baronale avvenne nel 1521, cosi’ come testimonia l’iscrizione presente sulla lapide della porta principale.
Il castello si presentava caratterizzato da una sala di dimensioni molto grandi collocata al piano nobilare, che veniva adottata per lo svolgimento delle rappresentazioni teatrali.
Accanto a quasta sala vi era una cappella e di fronte ad essa un "trabocchetto" vale a dire una struttura composta da paletti in legno a punta che veniva utilizzata per punire gli ospiti poco graditi.
Esternamente al palazzo vi e’ una scala esterna che un tempo veniva adoperata per il passaggio degli animali da soma.
Il portone principale era salvaguardato da un ponte levatoio.
Il castello era dotato anche di una prigione, scavata nel tufo denominata dalla popolazione “carfudio”.
Nel 1828, una parte del castello venne adibita a rimessa mentre una delle sale venne trasformata ad abitazione, per volere del proprietario, ossia il signor Marinelli.
A Mastrogiudice, promotore della trasformazione del castello in palazzo signorile, è dedicata anche una lapide collocata su un arco in pietra della porta principale.
Un altro ingresso e’ orientato sul cortile; in passato veniva utilizzato come ingresso alle botteghe degli artigiani di corte.
Dal cortile, osservando verso nord, si notano le due scalinate che portano ai piani nobili del palazzo, creando quasi una sorta di frattura nel palazzo.
Tra gli ingressi delle due scalinate, vi e’ un arco che un tempo rappresentava l’unico accesso alle scuderie. 
I locali collocati al di sotto del cortile venivano adibiti a stalle o cantine.
La struttura si eleva su piu’ livelli : il piano sotterrato veniva utilizzato come una prigione; il piano terra adoperato per i servizi ; due piani superiori erano destinati ad abitazioni ed infine vi era un terrazzo.
In una delle sale del piano nobiliare, si conserva un altare murale ornato a mosaico risalente all’800, con la bolla papale del tempo.
Altre stanze presentano dei dipinti anch’essi dell’ 800.
Gli ambienti rispecchiano il modo di vivere dei signori che vi abitarono.