Sous Louis XI qui s'est emparé du Roussillon et de Perpinya après un siège mémorable(1475).De grands travaux de fortification sont entrepris au palais qui devient "la citadelle", et à l'enceinte de la ville.
En 1493 Charles VIII a restitué le Roussillon à l'Espagne. C'est la dernière fois que les rois catholiques Ferdinand et Ysabel utilisent le palais comme habitation royale.
En 1516 Charles-Quint – Premier Roi de la Confédération hispanique succède à Ferdinand.
L'invention des armes à feux à bouleversé l'architecture militaire.
A la citadelle de Louis XI Charles-Quint fait ajouter en 1543 deux redans unis par une coutine et en 1552 on achève d'enfermer le château dans une première ceinture de remparts.
Charles-Quint règne sur la moitié de l’Europe et est en guerre contre le Roi de France François I.
Avant sa mort en 1556, il partage son empire entre son frère, à qui revint le St Empire Germanique, et son fils Philippe qui, sous le nom de Philippe II régna sur la confédération hispanique.
Phillipe II (1564-1600) déclare insuffisante les fortifications et commence de nouveaux travaux. Au château une seconde enceinte encercle celle de Charles-Quint.
En 1601 les armées de Louis XIII marchent sur le Roussillon.
En 1659 Le Traité des Pyrénées ramène le Roussillon,le Vallespir,le Conflent et la moitié de la Cerdagne dans le domaine Français.
Le Traité des Pyrénées est signé par Mazarin et don Luis de Haro, respectivement Premiers ministres du roi de France Louis XIV et de Philippe IV d'Espagne.
Ce traité met fin au conflit opposant les deux puissances depuis 1635 et à l'intervention française dans la guerre de Trente Ans (1618-1648).
Il met surtout fin à la prépondérance des Habsbourg d'Espagne en Europe au profit de la France, qui mène, sous Louis XIV, une ambitieuse politique d'expansion.
La France, victorieuse à la bataille des Dunes (1658), annexe Cerdagne et Roussillon, et reprend l'Artois cédé à Charles-Quint en 1529.
Philippe IV protège cependant ses alliés : Condé est réhabilité et la France évacue la Lorraine et les places fortes du duc de Savoie.
La paix est scellée par l'union de Louis XIV et de l'infante Marie-Thérèse, union qui a le double avantage, aux yeux des Bourbons, de fragiliser le lien privilégié entre les branches espagnole et autrichienne des Habsbourg et de leur offrir une option sur la difficile succession à venir de la couronne d'Espagne.
Vauban a fait réaménager, en fin de XVII°siècle, les six bastions qui donnaient à la citadelle un plan hexagonal. Il a protégé les remparts de cette citadelle par six demi-lunes entourées de fossés. Il a renforcé les entrées de la ville.
Vauban a accru la capacité de casernement.
Il reste peu de choses de son œuvre car demi-lunes, portes de la ville et fossés ont disparu.
Le Palais – forteresse de style gothique, construit en galets et briques liés au mortier, a conservé sa noblesse en partie andalouse. Les tours sont en pierre de taille. Un escalier monumental couvert, de l’époque moderne, accède aux jardins et au chemin de ronde qui assure une vue exceptionnelle sur la ville historique, la plaine et la chaîne pyrénéenne. Le pont, qui fut levis au-dessus du fossé, donne accès à la barbacane crénelée et à la Tour de l’Hommage adossée à la salle du trône à l’étage.
L'entrée du palais est protégée par un fossé et une barbacane crénelée. La porte d'origine était percée du côté Sud de la tour de l'Hommage.
Maréchal de France et ingénieur militaire, Sébastien le Prestre Marquis de Vauban est né en 1633 à Saint-Léger de Foucherets, petit village du Morvan et est décédé à Paris en 1707.
Issu de la petite noblesse, Vauban s’engage à 17 ans dans les troupes du prince de Condé, lors de la Fronde.
Il obtient de Mazarin, qui l’avait remarqué, un brevet de lieutenant.
Formé par l’ingénieur militaire De Clerville il participe à diverses opérations comme officier d’infanterie du régiment de Picardie.
Ingénieur ordinaire du roi en 1655, il est chargé, en 1662, de fortifier la ville de Dunkerque.
Après l'ingénieur Saint-Hilaire, dont il révise les plans,Vauban fait une tournée en Roussillon en 1679.
Il revient en 1680 et en 1686 pour inspecter les travaux.