Documentat en 1114 a través de la documentació que es va lliurar per part del comte Armengol VI d'Urgell als Hospitalaris al cedir-los el Mas d'en Torrents. El governant del castell Pere Guillem d'Ivorra el 1132 inicia el llinatge dels Ivorra. A la fi del segle XIII, consta que el castell i lloc d'Ivorra formava part del vescomtat de Cardona i que el 1314 pertanyia a Ramon Folc (VI).
En 1314 pertanyia a Ramón Folc. El 1347 n'era el castlà Guillem d'Ivorra. Des del 1491, la senyoria del lloc pertangué al ducat de Cardona, fins a l'extinció del feudalisme.
Es conserven restes d'una gran torre rodona de 20 metres d'altura i diversos murs al bell mig del poble.