Dominando por su extremo superior la bahía conocida como Great Courland Bay, Fort James se encuentra en la localidad de Plymouth, una de las más antiguas de Tobago. Debe aquella su nombre a pioneros procedentes de la actual Letonia que en la segunda mitad del siglo XVII se instalaron en la isla, creando una colonia denominada Nueva Curlandia. La fortificación, entonces denominada Fort Jakobus en honor de su fundador, servía para protegerlos de ataques llegados por el mar. Tras pasar Tobago a manos francesas, quedó en desuso, hasta que ya en la segunda mitad del siglo XVIII la isla volvió a poder inglés y el fuerte fue restaurado adquiriendo su denominación actual de Fort James.