L’antic castell de Castellbò és a la vila del mateix nom, agregada al municipi de Montferrer i Castellbò, i està situat a la part més alta del nucli edificat. Es creu que el castell, avui en ruïnes, fou construït pels musulmans. El 1513, fou enderrocat per ordre de Ferran el Catòlic.
La morfologia del turó on s’assenta, indica que es tractava, més aviat, d’una casa feudal que no pas d’un castell, ja que aquest turó s’estructura mitjançant diverses plataformes esglaonades de poca superfície cadascuna.
Antigament, la vila de Castellbò era murada i tenia dues torres de defensa, la del Serrat i la de Malbec. Avui només es conserven una torre de la muralla, d’angles arrodonits, i també algun fragment dels antics murs.