El castell de Montllobar, que corona la serra del mateix nom, es troba a Fígols de la Conca, població agregada al municipi de Tremp.
És documentat per primera vegada el 1149 al Liber Feudorum Maior. El 22 de juny de 1149, el comte Arnau Miró cedí la potestat del castell de Montllobar a Roger d’Eroles.
En data incerta, el territori passà a jurisdicció reial. El 23 d’agost de 1392, el rei va vendre el castell i altres focs a Ramon Roger d’Eroles.
La baronia d’Eroles passà als Queralt, als Vilanova, als Borrell, als Ibáñez-Cuevas i als Oriola-Cortada i fou confirmada com a títol del regne el 1761 a favor de Maria de Borrell i de Copons.
Actualment, només es conserven uns murs d’una alçada entre 6 i 10 metres, i la base de planta circular, d’uns 5 m de diàmetre, de la torre del castell.