El Castell de Castellfollit fou conegut durant la seva etapa inicial, durant l'Alta Edat Mitjana, com a Castell de Sant Esteve. Actualment encara es conserven restes de la capella del castell, dedicada a aquest sant.
És un castell carener de planata complexa. El recinte murallat central es veu complementat per la presència de dúes torres albarranes, que, separades del castell, reforcen la seva eficàcia defensiva pels extrems nord i sud.
Una gran estança inferior conserva incisos en el morter de les parets laterals una excepcional col.lecció de grafits dels segles XII-XIV que representen diverses escenes bèl.liques amb cavallers ben armats, infanteria, un recinte fortificat, complexes maquinàries de setge i guerrers habillats amb l'escut dels Cardona.
Al sudoest s'alça una torre quadrangular, de grans dimensions, construïda amb el sistema de tapia amb morter de calç, terra i pedruscall. Conserva uns 12 metres d'alçada.
Els inicis del Castell de Castellfollit semblen remuntarse al període islámic, anterior a l'ocupació  cristiana. Aquesta s'efectuà en entrar al segle XI per part del comtat de Berga. El 1111 el comtat de Cerdanya i Berga s'integren en els dominis del comte de Barcelona. Posteriorment va formar part de les possessions dels Cervera passant a integrarse dins les dels Cardona. Restaren sota el domini dels cardona fins a la fí del sistema senyorial en el segle XIX. 
( Font: : Montserrat Coberó i Farrés.)

Situació : A la població de Castellfollit de Riubregós.
Estat : Malmès. Lliurament accessible.

Accés : Visitat: 05/07/2007. Procedents de Calaf, per la ctra. 1412-a, hem accedit al poble, per la SEGONA ENTRADA, travessant un pont, i girant a l'esquerra. Tot seguit hem aparcat. Hem iniciat l'itinerari davant d'una petita font pública, en forma de castell amb dues torres. Hem entrat al carrer de Sant Roc, parcialment cobert, i hem accedit a la plaça Major, porticada, amb l'església a l'esquerra i una oficina d'una entitat bancària, a la dreta. Seguim al front, tornem a passar per un altre tros de carrer cobert, que ens duu a una placeta de formes irregulars. Una mica endavant i a la dreta veiem com s'enfilen dos petits trams d'escales. Cal agafar les de la dreta, (*), d'esglaons més grossos, i enfilant-nos, ajudats per unes baranes de fusta, arribarem a dalt del castell en cinc minuts.

(*) A dalt i a la dreta d'aquestes escales hi ha un petit passadís que per darrere d'unes cases, ens porta a una placeta – plaça del castell - on hi ha un cartell amb informació de la construcció, i una interessant creu de terme.