El nom de Peratallada sembla respon a les fosses de la fortificació que envolta el poble, de pedra tallada, excavada en la roca natural sorrenca. És documentat el 8 d'abril de 1065 el castro de Petra Taliata com límit al castell de Pals.
Ja en 1039 Guillem de Peratallada un dels primers senyors del lloc, és present en un judici. En 1153 consta que un Dalmau de Peratallada al costat d'altres membres de personatges nobles fa de garant en un pacte entre el comte de Barcelona i la ciutat de Gènova en relació a Tortosa.

El llinatge de Peratallada contínua fins al segle XIII quan al morir sense successor Ponç de Peratallada, el seu germana Guilleuma casa amb Gilabert de Cruïlles, senyor del veí castell del mateix nom i un dels personatges més rellevants del regnat de Pere el Gran. A partir d'aquell moment el vetust castell es va anar transformant a poc a poc en un magnífic i confortable castell.

Es documenta que durant uns dies de 1390 va estar allotjat el rei Juan I i la seva esposa. Un inventari efectuat el 17 de novembre de 1395 per ordre d'Elvira de Puigpardines, vídua de Gilabert de Cruilles, reflecteix la quantitat de propietats que tenien jurisdicció els Peratallada: Els castells de Peratallada, Cruïlles, Peralta, Esclanya, Begur, Torrent i Rupit (Osona) al marge de nombrosos drets en altres llocs.

Una vegada venut per la família Cruïlles, el castell va quedar en mans de tres propietaris de la població. En 1964, la fortalesa va ser adquirida per Alfonso Robert i Carmen Ferrer Cajigal, comtes de Torroella de Montgrí i marquesos de Robert. El matrimoni va iniciar la completa restauració del castell amb el màxim rigor arqueològic a fi de retornar a la fortalesa la seva esplendor medieval. La reconstrucció va ser dirigida per l'arquitecte Joaquim de Ros i l'arqueòleg Luis Monreal. La zona més antiga del castell podria datar-se entre els segles X i XI, sent el recinte que s'eleva sobre el pedestal de roca i compost per la torre de l'homenatge envoltada d'una muralla amb forma d'el·lipse. La torre, els murs de la qual arriben a el 1,80 m de gruix, era l'antic habitacle dels primers senyors feudals i refugi de la població en cas d'amenaça. Al peu del recinte amurallado que envolta la torre de l'homenatge es troba una cisterna de 30 m de profunditat excavat a la roca.

A la gran torre, de planta rectangular coronada per merlets i carreus irregulars encara que de forma perfectament escairada, envoltada de muralla al seu voltant, es pot accedir a través d'una porta de pedra llaurada. El palau que es troba en la part SE de el castell ho formen diversos cossos de diverses èpoques. El del costat NW té dos plantes podent-se observar en el seu interior els fonaments d'una torre circular. La muralla que envolta el barri del castell forma un cercle tancat podent-se seguir a través d'estrets carrerons el sòl dels quals de pedra, mostra en l'actualitat una gran qualitat de construcció. AL N. i a l'E. dues contramurallas donaven protecció al poble (datades dels segles XII i XIII) encara que la part superior es va fer amb posteritat, segurament en els segles XVI i XVII. Del recinte principal es poden observar tres grans torres quadrades  una d'elles denominada  Torre de les Hores pel rellotge que acull.