Com la majoria de construccions defensives situades al final de la vall de l'Ebre, el Castell d'Ascó fou construït durant la dominació musulmana i conquerit al segle XII pels cristians. Bona part de la fortalesa, declarada Bé Cultural d'Interès Nacional per la Generalitat de Catalunya, fou destruïda durant la guerra dels Segadors a mitjans del segle XVII.

Actualment es conserva una torre d'origen àrab, que fou reconstruïda durant la guerra carlista, i part d'una torre gòtica.