Sorto sui resti di strutture bizantine, il castello è il risultato di varie fasi edilizie, comprese fra il XII ed il XVI secolo.

Il nucleo originario, edificato da Ruggero il Normanno nel 1131 è caratterizzato da un impianto quadrangolare con torri quadrate agli spigoli.

Fra il 1233 e il 1240 fu oggetto di ristrutturazione da parte di Federico II di Svevia.

Risalgono a questa fase il portale ogivale (lato ovest) con archivolto scolpito, il vestibolo voltato a crociera e la loggetta affacciata sul cortile, con capitelli di raffinata fattura firmati da Minerrus da Canosa, Melis da Stigliano e Ismael, e la Sala Sveva (lato nord).

Fra il 1501 e il 1549 Isabella d'Aragona e la figlia Bona Sforza, duchesse di Bari, stabilirono nel castello una raffinata corte rinascimentale e, per adeguarlo all'introduzione delle armi da fuoco, lo fortificarono con una cinta bastionata ed un ampio fossato.


Trasformato nell'Ottocento prima in carcere e poi in caserma, il castello è sede della Soprintendenza per i Beni Architettonici e Paesaggistici per le province di Bari, Barletta – Andria - Trani e Foggia.