Vista general de la façana del castell.

Detall de la façana

Restes de la capella

Restes de la darrera torre en peu formant part d’un llançol de la muralla interior. Sota d’aquest tròs de muralla, a l’espai interior, es suposa que hi havia el còs de guàrdìa. Es pot veure-hi un forn, reconstruit. Dins de la torre hi havia una cisterna d’aigua.

Documentat el 1033. D'aquest imponent conjunt situat en la part alta de la població destaca la seva composició a força de tres recintes i diverses torres donant suport els seus murs en un perfecte art en fortificacions corresponents a l'època romànica. Reconquerida la Conca en temps de Ramon IV de Pallars Jussà per Arnau Mir de Tost, es va començar a veure la necessitat de protegir els camins que duien a migdia per tant  Aquest castell va ser possessió durant diversos anys d'Arnau Mir de Tost els quals ho van adquirir als comtes d'Urgell Ermengol i Constança en 1033.
Arnau Mir de Tost rebé del comte d'Urgell, Ermengol, el castell que el comte tenia del seu pare  A la mort del cavaller de Tost, el castell de Llordà passa a la seva filla Valença, casada amb Ramon V de Pallars Jussà. En el segle XIII el castell encara era de la senyoria superior dels comtes d'Urgell, ja que el 1201 el comte Ermengol VIII empenyorà amb el vescomte Guerau de Cabrera com a garantia, el castell de Llordà.
Evidentment aquest és un castell amb bastant poca història.
La carretera d’accés es trova en bon estat: és estreteta, de muntanya, però perfectament asfaltada fins un lloc a la vora del castell, on ja s’intueix que s’hi ha de deixar el vehicle i continuar uns metres a peu. El castell, que està en restauració, és visitable – cal consultar els horaris.