La biblioteca és un dels elements culturals de major importància i fama del castell. Construïda de nova planta en la restauració del Carme i acabada cap a 1886, passà a disposar dels llibres dels darrers membres de la nissaga Rocabertí.

La condició universitària dels comtes (un dels dos germans era advocat, mentre que l’altre era enginyer de mines) i els seus múltiples interessos (personatges de la Renaixença, al temps que persistents viatgers, amb una posició familiar equidistant de Peralada, Mallorca i París), els impel·liren a la recerca d’exemplars humanístics i científics, a més de la subscripció a les millors revistes de la seva època. En extingir-se la nissaga (1899), la biblioteca constava de 28.000 volums.

Heretà la propietat Fernando Truyols Despuig, marquès de la Torre, qui va ser-ne propietari des de l’any 1899 fins a 1923. En aquesta època no s’augmentà el fons bibliogràfic.

L’any 1923, en adquirir el castell Miquel Mateu va conservar la biblioteca i, amb els anys, va augmentar considerablement els seus fons. La seva activitat de bibliòfil fou frenètica, essent en la seva època un dels millors compradors de llibres d’Espanya.

D’una banda, Miquel Mateu  va fer una biblioteca temàtica, fonamentalment històrica i literària. D’altra, les seves compres s’encarrilaren cap a la bibliofília, és a dir, llibres amb qualitat pròpia, independentment del seu tema. Així va aconseguir uns dos-cents incunables, uns set-cents exemplars únics o raríssims, vuit-centes executòries de noblesa, a part de nombrosíssims gòtics o manuscrits.

Sens dubte, la col·lecció més espectacular és la cervantina, una de les millors del món a nivell privat, amb uns 5.000 exemplars, dels quals més de mil són diferents  edicions de Don Quixote, amb traduccions a 33 llengües diferents.

S’ha de dir que també és molt important l’arxiu, amb documentació a partir del segle IX. L’arxiu històric compta amb un fons documental procedent del propi convent del Carme i la resta és fruit de la compra.

Es conserva també l’important arxiu personal de Miquel Mateu i bona part de l’epistolari del seu pare, Damià Mateu. A la mort del primer (1972), la biblioteca comptava amb uns 70.000 volums; actualment n’hi ha uns 100.000.

Biblioteca i arxiu són accessibles als investigadors, en horari de matí.