Presuntamente de origen musulmán, el castillo de Yeste fue edificado entre los siglos XI y XII. Conquistado por los cristianos en el siglo XIII, adquirió la apariencia gótica que tiene en la actualidad tras añadírsele sendas torres en cada una de sus esquinas. Similar aspecto tiene el patio de armas de doble planta, puramente gótica la inferior y de madera la superior. En la misma época se construyó una muralla, que, partiendo de la torre del homenaje de la fortificación, protegía toda la población desarrollada a su vera. De su importancia entonces da idea el hecho de que pasó a ser una encomienda de la Orden de Santiago, que se encargaba de proteger esta zona de la sierra del Segura de posibles ataques musulmanes provenientes de los vecinos reinos de Granada y Valencia. De ello da fe el escudo de la mencionada orden que se encuentra en la puerta de acceso al recinto, compartiendo lugar con el de la familia Figueroa, propietaria de la fortaleza más adelante.