La bibliothèque est l’un des éléments culturels les plus importants et renommés du château. Construite en tant que nouvel étage lors de la restauration du Carmen et terminée vers 1889, elle finit par abriter les livres des derniers comtes.
La condition universitaire des comtes (un des deux frères était avocat et l’autre ingénieur des mines) et leurs multiples intérêts (figures de la Renaissance, en même temps que voyageurs perspicaces, avec une position familiale équidistante de Peralada, Majorque et Paris) les ont encouragés dans la recherche d’ouvrages humanistes et scientifiques en plus de leurs abonnements aux meilleures revues de leur époque. Quand leur lignée s’est éteinte (1899), la bibliothèque contenait 28.000 volumes.
A l’époque des marquis de la Torre (jusqu’à 1923), on n’a pas constaté d’augmentation des fonds.
Lors de l’acquisition du château, Miguel Mateu a conservé la bibliothèque intacte et en a augmenté considérablement la taille. Son activité de bibliophile a été frénétique. A son époque, il était un des plus grands acheteurs de livres d’Espagne.
D’une part, Miguel Mateu créa une bibliothèque thématique, fondamentalement historique et littéraire. D’autre part, ses achats se tournèrent vers la bibliophilie, c’est-à-dire vers des livres à la valeur intrinsèque, indépendamment de leur sujet.
C’est ainsi qu’il se porta acquéreur de deux cents incunables, de sept cents exemplaires uniques ou rarissimes, de huit cents actes de noblesse, en plus de très nombreux ouvrages gothiques ou manuscrits …
La collection sans aucun doute la plus spectaculaire est celle qui concerne Cervantès. C’est une des meilleures du monde au niveau privé, avec 5.000 exemplaires dont plus de mille sont des éditions différentes du Don Quichotte que, nous trouvons dans cette bibliothèque traduit en 33 langues.
On soulignera également la grande importance des archives dont les plus anciens documents datent du IXème siècle. Les archives historiques sont de provenances diverses puisque elles furent acquises dans le commerce, mais elles disposent aussi d’un fonds documentaire qui appartenait au co
On conserve également les importantes archives personnelles de Miguel Mateu et une importante partie des derniers échanges épistolaires de son père, Damián Mateu. A la mort du premier (1972), la bibliothèque comptait 70.000 volumes; actuellement, il y en a 100.000.
La Bibliothèque et l’archive sont accessibles aux chercheurs en matinée.