Asimismo denominado Castillo de los Padilla, el castillo de Calatañazor fue posiblemente el germen a partir del cual se desarrolló la villa homónima. Aunque lo que podemos ver en la actualidad data de los siglos XIV o XV, en la torre del homenaje se observan algunos indicios que prueban un origen árabe, establecido posiblemente en el siglo XII. Tras la conquista de la población por tropas cristianas, el castillo se convirtió durante el siglo XIV en casa solariega de la familia Padilla y en esa época fue sometido a una renovación que le otorgó su aspecto actual. Más adelante pasó a manos de los duques de Medinaceli, que lo mantuvieron en su poder hasta el siglo XIX. Parte de la torre del homenaje se mantiene en pie hoy día, incluyendo una ventana gótica que demuestra su origen. Se conservan también varios lienzos de la muralla que partía de él y rodeaba la población, algunos de cuyos tramos llegaban a tener un grosor de hasta dieciocho metros en el pasado.