Le prime evangelizzazioni del territorio di Gaeta risalirebbero all’apostolo Paolo. A Formia la tradizione indica per il 2 giugno dell’anno 303 la morte del vescovo di Antiochia, Erasmo. Al martire viene riservata una degna sepoltura nel cimitero romano della città ad opera del Vescovo Probo.
Il culto del martire Erasmo cresce nel corso dei secoli anche attraverso descrizioni letterarie in parte fantastiche. Dopo la soppressione della diocesi di Minturno (590) e l’annessione del territorio al vescovato di Formia, si deve registrare, per ragioni di sicurezza, il trasferimento della sede vescovile da Formia nell’estrema penisola di Gaeta.
Il trasferimento della sede episcopale comporta certamente la traslazione delle reliquie dei santi protettori, tra cui Erasmo, e il loro occultamento in una piccola chiesa nei pressi del porto. Il ritrovamento del corpo di S. Erasmo nel 917 porta alla costruzione di una magnifica cattedrale.
S. Erasmo nel secolo X è riconosciuto principale patrono della città anche dagli stessi duchi di Gaeta. Nel 1002 iniziano i lavori per la costruzione di un adiacente battistero dedicandolo a S. Giovanni. Non si conosce esattamente la storia dei lavori della cattedrale,ma è certo che il 22 gennaio 1106 Papa Pasquale II consacrala basilica dedicandola alla SS. Vergine Assunta e a S. Erasmo (forse anche ai vescovi Marciano e Probo).