Documentat el 1281 quan el tenia en feu Ponç de Ribelles qui l'hi lliura al rei. El que en principi era una senzilla torre avançades del castell de Surp es convertiria amb els anys en el més important de tota la vall.

Va ser feu de Pons de Ribelles a 1281. Aquest castell es va veure involucrat en nombrosos conflictes causa de la seva ubicació ja que no pertanyent als comtes de Pallars, sí en canvi ho estava en terres de la seva jurisdicció. En 1361 aquesta polèmica desapareix en convenir Arnau de Bellera que el terme i la jurisdicció del castell quedava dins del comtat de Pallars, si bé sembla no arribar mai a materialitzar ja que el 1435 el mateix Jaume de Bellera ven el castell i les valls d'Àssua i de Baiasca a gastar IV comtes de Foix i vescomtes de Castellbò si bé a causa de diversos plets no poden fer ús del fins 1460.

Dos anys més tard el rei Ferran el catòlic s'apodera del castell. Encara podem apreciar diversos restes dels seus murs d'uns vuit metres d'altura a ponent, on les parets aquestes molt derruïdes. Al migdia s'aprecia la paret que va servir de presó i a la cara nord s'aprecien les parets que van servir de muralla. El 1523 consta com a possessió de Germana de Foix (segona esposa del rei Ferran el Catòlic). Aquestes terres van estar lligades al vescomtat dels Castellbò fins a finals del segle XIX i va passar a pertànyer al municipi.

El dia 5 de febrer de 1973, a través de cessió gratuïta de l'Estat i la condició d'atendre de la seva conservació i custòdia, passa a formar part del patrimoni de la Diputació.

Situació : Dalt d’un turó que presideix la població de Rialp (Pallars Sobirà)

Estat : Malmès, poques restes. Tot i això s’han pres mesures per aturar la seva degradació, amb obres de consolidació. S’ha dotat a l’edificació d’una escala de ferro que permet fer un petit recorregut aeri per les parets de la construcció. Trobem a faltar un plafó que informi dels avatars d’aquest castell.

Accés : Visitat el 4/9/2010.        Situació: N 42.44493 / E 1.13409     

A Rialp, també trobarem La Torre de Virós, al carrer del Vall nº 12, una antiga torre de la muralla, avui dia reconvertida en habitatge.