A l'antic llogarret d'Almudèfer s'hi troben encara les restes de l'antic castell amb una torre de planta rectangular.

Al peu de la fortalesa hi ha l'església de Santa Anna, amb un absis poligonal gòtic del segle XIV. D'origen àrab, va passar a dominació cristiana després de la reconquesta. De fet, l'any 1280 el comandament templer de Miravet va concedir el mas de Mudèfer a dos veïns d'Horta perquè el poblessin.

El castell va patir un incendi a mitjans del segle passat, i aleshores el lloc encara era habitat.