Il fulcro centrale della cittadina è il Castello che, secondo la planimetria dell’antico borgo Serrano, doveva essere situato nel punto più alto della collina e lievemente distante dalle altre abitazioni.
Esso si sviluppa intorno al mastio ottagonale costruito intorno ai primi decenni del XIII sec, dunque in piena dominazione federiciana - sveva. Si tratta di una fabbrica realizzata con basamento a scarpa, come tutto il resto del castello, realizzato con opus incertum, e sovrastata da mattoni disposti in orizzontale che si alternano con un ritmo costante a due filari di mattoni disposti a spinapesce.
Con tali stratificazioni, si ritiene che i costruttori abbiano raggiunto ottimi risultati sia formali (l’effetto è davvero spettacolare) che costruttivi nella struttura di difesa muraria.

Alla sommità della torre si accede tramite una scala a chiocciola, di magnifica fattura, in legno così stretta da potervi salire una persona alla volta.
Alla torre stellata, si aggiunse poi in un tempo databile fra il XIV secolo ed il 1635 (data che segna l’ingresso dei d’Avalos), il corpo vero e proprio del castello di forma rettangolare ai cui spigoli sono posti i torrioni circolari decorati da archetti e da beccatelli d’origine lombarda.
In questa fabbrica lo spigolo del mastio che dava all’interno è stato come tagliato per dare posto ad un cortile cinquecentesco. La storia narra di una profonda voragine con il nome di "il trabocchetto" che il De Leonardis descrive come un artificioso meccanismo con una ruota dentata che girava continuamente ed era capace di triturare, in pochi minuti, le ossa di chi vi veniva spinto; aggiunge inoltre che furono proprio i duchi Maresca a far tappare quell’imbuto capovolto per chiudere la pagina di terrore vissuta dai serrani sotto i d’Avalos.
Il De Luca afferma, nel 1915, che tale voragine sia ancora visibile e si possa identificare o in un pozzo, oppure in un passaggio sotterraneo, che in caso d’assedio, congiungesse il centro del castello con la valle sottostante; in ogni caso nessuno sa con precisione dove si trovi, anche perché molti ambienti sotterranei, a detta dell'architetto Conforti, non sono raggiungibili a causa di porte murate.
L’intera opera riprende la classica forma a testudo studiata dai trattatisti d’Architettura civile e militare come Francesco Di Giorgio Martini (il quale sapeva che le forme poligonali si adattano meglio alla difesa), e le idee formali come Sforzinda, opera del Filarete. Intorno a tutto il perimetro del castello c’era anche un fossato, profondo circa una decina di metri, oltrepassabile attraverso due ponti levatoi, l’uno in corrispondenza del portale nord e l’altro, in corrispondenza del portale sud.
Il fossato è, sul lato occidentale del castello, ancora visibile, il resto fu ricoperto e occupato dalle cantine di alcune abitazioni.