Secondo una tradizione risalente al XVII secolo e riportata negli scritti di un gesuita, il Colosso di Barletta, attribuito a Polifobo, sarebbe stato sottratto dai veneziani durante il sacco di Costantinopoli nel 1204. Durante il viaggio di ritorno, a causa di una tempesta e del peso considerevole, fu abbandonato sulla spiaggia di Barletta. Tuttavia, analisi chimiche durante i recenti restauri non hanno rilevato tracce di esposizione al mare della statua.
Una versione più accreditata dagli storici deriva da un resoconto del 1279 del frate francescano Tommaso da Pavia. Durante gli scavi a Ravenna del 1231-1232, l’imperatore Federico II di Svevia scoprì una statua colossale, suggerendo che potrebbe essere stato lui a trasportare la statua in Puglia, data la sua passione per le antichità e il suo impegno nella renovatio imperii.
Le informazioni certe e documentate sul Colosso emergono nel 1309, quando i domenicani di Manfredonia ottennero il permesso da Carlo II d’Angiò di asportare e fondere gli arti della statua, allora situata presso la dogana di Barletta, per realizzare campane per la loro chiesa. Studi recenti hanno confermato l’originalità della testa e del busto, mentre le gambe sono state aggiunte successivamente.
La statua rimase nella dogana del porto di Barletta fino al 1491, quando i cittadini commissionarono la rifusione delle gambe e delle braccia allo scultore Fabio Alfano di Napoli. La statua, ora con parti modificate e in uno stile diverso rispetto all’originale, fu collocata sotto il Sedile del Popolo, una loggia rinascimentale, situata sulla parete orientale della basilica del Santo Sepolcro, abbattuta nel 1925.