L'any 1012 Isnabert fa construir la torre que més tard seria el castell de Santa Oliva.

Pere, senyor del castell a l'any 1142, promet fidelitat a Guillem de Sant Martí, senyor de les terres del Penedès. Les lluites dels successius senyors feudals que habitaren el Castell contra el Priorat de Santa Maria de Santa Oliva acaben el segle XIII amb l'adquisició del castell i de totes les seves possessions per part de l'Església. Aixó marcaria el decliu definitiu del poder de Santa Oliva a favor del pobles veïns que aniran adquirin proponderància a partir del segle XIV.

El 1143 Guillem de Santmartí encomanà la sots-castlania del castell d'Eramprunyà a Pere de Santa Oliva. El 1166 Pere de Santa Oliva i Dolça, senyors del castell, donaren una terra al monestir de Sant Cugat situada sobre el palau.
Bernat de Santa Oliva, que era fill de Pere, heretà el castell de Santa Oliva, mentre que Guillem Ramon, un germà seu, succeí el pare en la sots-castlania d'Eramprunyà i Berenguer de Santa Oliva, un altre germà de Bernat, fou abat de Sant Cugat (1205-11). 

El 1243 Saurina de Santa Oliva i Guillem de Terrassa vengueren al monestir de Sant Cugat el castell de Santa Oliva, amb els seus termes i pertinences. Des d'aleshores, el monestir de Sant Cugat del Vallès posseí, fins a l'extinció de les senyories, el castell i el terme de Santa Oliva, junt amb la jurisdicció civil i criminal.

El 1610 l'antiga sala d'armes del castell fou convertida en santuari de la Mare de Déu del Remei, segons una inscripció de la porta principal i per aixó el castell de Santa Oliva és conegut també com a castell del Remei.