Así bautizado por su instauración como monasterio dedicado a los santos Servando y Germano en la primera mitad del siglo XI, el castillo de San Servando fue reconvertido en alcázar a finales de ese mismo siglo. Servía entonces como protección ante los ataques almorávides a la ciudad de Toledo en la época y, tras la expulsión definitiva de los musulmanes de la Península Ibérica, comenzó a perder relevancia. Dos siglos más tarde, tuvo un papel protagonista en las encarnizadas luchas entre Pedro I el Cruel y su hermanastro Enrique II de Trastámara, habiendo de ser restaurado a finales del siglo XIV. Poco a poco fue pasando al olvido y a mediados del siglo XIX fue usado como polvorín. En 1874 fue declarado Monumento Nacional, siendo el primero de su especie en lograr ese reconocimiento. Tras ser restaurado de nuevo en el siglo XX, se ha usado como residencia de estudiantes, sede de las Cortes de Castilla-La Mancha y albergue, función que sigue desempeñando en la actualidad.