Le Fort Saint Elme est une place forte située au sommet d'une colline entre Collioure et Port-Vendres.
De par sa position stratégique, il embrasse les deux villes et a une vue imprenable sur la mer.
Le site a donc été tout naturellement choisi pour construire un premier ouvrage militaire, une simple tour de surveillance,
au IXème siècle lors de la reconquête franque des territoires sarrasins.
Cette tour est nommée "la Torre de la Guardia" et restera en l'état jusqu'au temps des rois de Majorque, au XIVème siècle.
Ceux-ci avaient fait de Collioure leur résidence d'été, aussi fallait-il que la baie soit particulièrement bien protégée :
la tour fut donc consolidée et renforcée.
Mais c'est l'ennemi des rois de Majorque, le roi d'Aragon Pierre IV le Cérémonieux, qui,
une fois la côte conquise, fit faire d'important travaux militaires, notamment sur la tour.
A la fin du XVème siècle les français étaient maîtres du Roussillon. Eux aussi décidèrent d'améliorer encore l'efficacité défensive de la tour de la Guardia, que l'on commença à appeler "Tour Saint Elme" et ils y installèrent une garnison.
C'est toutefois durant la première moitié du XVIème siècle que furent entrepris les plus gros travaux,
qui transformèrent la physionomie du fort et lui donnèrent son aspect en étoile
Charles Quint ordonna son renforcement et les travaux durèrent de 1538 à 1552.
Au XVIIème siècle, le 13 avril 1642 les troupes de Louis XIII parvinrent à prendre le fort, qui depuis est français.
Il sera encore modifié par Vauban, qui passa dans la région faire un aménagement des structures défensives sous les ordres de Louis XIV.
Il fut repris temporairement par les espagnols durant la guerre de 1793.
Occupé par les allemands pendant la seconde guerre mondiale, le Fort Saint Elme est démilitarisé depuis 1903.
Il est aujourd'hui une propriété privée, mais visitable.