Il territorio di Pozzallo fu abitato già in epoca Bizantina, infatti l’archeologo Paolo Orsi scoprì dei ruderi nei dintorni e sepolcreti ancora più antichi, che testimoniano attività umana in questi luoghi; a questi si aggiungono ritrovamenti di monete romane datate dal sec.72 al 250 d.c. Il nome Pozzallo significa "Pozzo al mare", poiché in quei secoli la sua costa aveva pozzi di acqua dolce ai quali attingevano le navi di passaggio. Le varie denominazioni del luogo, che sono seguite sono state: "Pausis Aalos", "Puteus-Alos" e infine "Pusalo". Durante la dominazione Araba,questo luogo divenne rifugio per le galèe, chiamate "dromoni", che difendevano il territorio dalle navi nemiche, e quindi il nome del posto divenne "marsa as deramini" cioè porto dei dromoni. Nel 1400 nei documenti si legge "Al Pusalli", che nei secoli XV e XVI si trasforma in "La Puzzalla" fino al 1664; nel 1721 nella carta geografica del Regno di Sicilia viene confermato il termine "Pozzallo".
Con Manfredi Chiaramonte comincia la vera storia di Pozzallo quando si dà inizio alla costruzione di un caricatore, cioè dei magazzini vicino a degli scali dove attraccavano le navi per il carico delle merci. Esso era molto importante per la contea perché serviva per l’esportazione dei prodotti agricoli. L’idea del caricatore fu presto abbandonata perché, morto Manfredi,l’artefice del progetto, suo figlio Andrea, ebbe delle ostilità con il Duca di Montblanc, che veniva in Sicilia a prendere la corona che gli toccava di diritto per aver sposato Maria Aragona figlia legittima di Federico III. Nel 1392 a Palermo, Andrea fu decapitato e la contea fu data al conte Bernardo Cabrera per gli aiuti offerti al re nella conquista della Sicilia.
Alla morte di Bernardo Cabrera , il figlio Giovanni Bernardo ingrandì il caricatore divenuto poi importante per l’imbarco delle merci dirette a Malta e nei vari paesi mediterranei. Per la sua importanza il caricatore fu riconosciuto dal re come Regio caricatore, con la facoltà di raccogliere la gabella, cioè, il canone annuo, che consisteva nel frumento che i proprietari terrieri del circondario pagavano al conte. Il traffico era diretto dal maestro portolano, che era il solo responsabile del buon funzionamento del caricatore. In questo periodo a causa dei pirati, che infestavano le coste della contea per depredare villaggi e rapire persone da vendere come schiave, Giovanni Bernardo Cabrera ottenne il permesso dal re Alfonso V d’Aragona di costruire una torre a difesa del caricatore di Pozzallo nel 1429.
La torre crollò in seguito al terremoto del 1693 e fu ricostruita con l’aggiunta di una piattaforma merlata. Da un’ indagine fatta nel 1769, risulta che la torre era munita di un cannone di bronzo nominato il sagro, di calibri 6, posto sul bastione, un altro nominato il francescotto di calibri 3, un terzo nominato falconetto di calibri 21 e un quarto pure di bronzo di calibri 3 più altri due di ferro di diverso calibro. Vi si trovavano inoltre due tavolati, due spingardi di bronzo, un orologio messo in mezzo al salone del castello, 11 scopetti con bacchetta oltre ad altre quattro chiamate serpentine. Il castellano titolare di quell’epoca era Don Carlo Di Gregorio. Fuori del caricatore, oltre la torre e alcuni pagliai presenti in questo scalo non si scorgeva altro. A poco a poco Pozzallo cominciò a prendere figura di Casale, infatti si costruì una chiesa, che stava sotto la regola del parroco di S.Pietro di Modica, nominata S.Maria di Portosalvo. Secondo un inventario del 13 Ottobre 1769 in questa chiesa   si trovavano: un quadro grande con l’immagine della Madonna con cornice dorata, posto sull’altare maggiore, con due corone d’argento messe al capo della Madonna e del Bambino, una pisside d’argento, un quadro senza cornice con l’immagine di S.Gaetano, un confessionale, due calici con coppe d’argento, due patene d’argento dorato e una ninfa di legname dorata, oltre ad un collare di ferro per i bestemmiatori. Il cappellano di quell’epoca era Don Pietro Tirella.
Pozzallo cominciva a progredire e, nel 1800 contava già 600 abitanti.
Nel 1811 si avviarono le pratiche per rendere indipendente il borgo e con decreto di Francesco I di Borbone, re delle Due Sicilie, in data 12 Giugno 1829, Pozzallo fu eretto a comune autonomo. Nel 1854 lungo la spiaggia che conduce al Ciorciore,  furono fatti costruire alcuni casotti che servivano per gli impiegati telegrafici dell’antico sistema ad asta. Secondo il censimento del 1861, Pozzallo contava 2774 abitanti. Con la fine del feudalesimo in Sicilia, non essendoci più l’obbligo della consegna del grano al Conte, dal 1816 il caricatore e la torre perdono importanza fino al completo abbandono, se si eccettua il periodo della seconda guerra mondiale quando la torre fu usata come postazione antiaerea. Attualmenta la torre è Monumento Nazionale oltre che stemma e simbolo della città.