Inicialmente concebida como una de las fortificaciones que protegían la bahía de San Juan, de ahí su denominación popular, La Fortaleza fue edificada a mediados del siglo XVI. Ya entonces comenzó a ser utilizada como residencia oficial del gobernador de Puerto Rico y compatibilizando ambas funciones, la defensiva y la residencial, se mantuvo hasta el siglo XIX. Poco a poco fue perdiendo la primera de ellas y a mediados de ese siglo fue exhaustivamente remodelada para adaptarla a una funcionalidad exclusivamente administrativa. Unos ciento sesenta gobernadores han residido en el palacio de Santa Catalina, como oficialmente se denomina, desde que fue construido, tanto bajo el régimen español como bajo el estadounidense y los últimos trece en representación del Estado Libre Asociado. Numerosos mandatarios extranjeros, entre ellos el presidente estadounidense John F. Kennedy o los reyes de España Juan Carlos I y Felipe VI, se han alojado en sus salas durante sus visitas oficiales a la isla.