La biblioteca es uno de los elementos culturales de mayor importancia y fama del castillo. Construida de nueva planta en la restauración del Carmen y acabada hacia 1886, pasó a disponer de los libros de los últimos miembros de la casta Rocabertí.
La condición universitaria de los condes (uno de los dos hermanos era abogado, mientras que el otro era ingeniero de minas) y sus múltiples intereses (personajes de la Renaixença, al tiempo que persistentes viajeros, con una posición familiar equidistante de Peralada, Mallorca y París), les impulsaron a la búsqueda de ejemplares humanísticos y científicos, además de la suscripción a las mejores revistas de su época. Al extinguirse el linaje (1899), la biblioteca constaba de 28.000 volúmenes.
Heredó la propiedad Fernando Truyols Despuig, marqués de la Torre, quien fue propietario desde 1899 hasta 1923. En esta época no se aumentó el fondo bibliográfico.
El año 1923, al adquirir el castillo Miquel Mateu conservó la biblioteca y, con el tiempo, aumentó considerablemente sus fondos. Su actividad de bibliófilo fue frenética, siendo en su época un de los mejores compradores de libros de España.
Por un lado, Miquel Mateu hizo una biblioteca temática, fundamentalmente histórica y literaria. Por otro, sus compras se dirigieron hacia a la bibliofilia, o sea, libros con características particulares, independientemente de su tema. Así consiguió unos doscientos incunables, unos setecientos ejemplares únicos o rarísimos, ochocientas ejecutorias de nobleza, aparte de numerosísimos góticos o manuscritos.
Sin duda, la colección más espectacular es la cervantina, una de las mejores del mundo a nivel privado, con unos 5.000 ejemplares, de los cuales más de mil son diferentes ediciones de Don Quixote, con traducciones a 33 lenguas diferentes.
Cabe destacar que también es muy importante el archivo, con documentación a partir del siglo IX. El archivo histórico cuenta con un fondo documental procedente del propio convento del Carme y el resto es fruto de la adquisición de Miguel Mateu.
Se conserva también el importante archivo personal de Miguel Mateu y buena parte del epistolario de su padre, Damià Mateu. A la muerte del primero (1972), la biblioteca contaba con unos 70.000 volúmenes; actualmente hay unos 100.000.
Biblioteca y archivo son accesibles a los investigadores, en horario de mañana.