Se a abadia é o corpo deste enredo, a biblioteca funciona como o seu coração. Instalada numa torre de pose austera, acessível através de um intrincado labirinto de escadas e corredores, ela guarda o verdadeiro tesouro: o conhecimento.

Na Antiguidade pagã, o saber sempre foi privilégio de alguns. No Egipto foi igualmente assim, o mesmo acontecendo na Grécia e no Oriente, onde se cultivava a força e o poder. Todos sabemos que o saber dá poder, logo era perfeitamente natural que aqueles que sabiam, procurassem esconder as suas descobertas, tentando assim controlar o poder.

É no edifício da biblioteca que ocorrem as cenas do desenlace de toda a intriga do filme. O diálogo entre Guilherme e o monge cego Jorge, que representam duas posições face ao saber, é sintomático quanto à importância que a biblioteca e os livros tinham na Idade Média.

Enquanto Guilherme defende a filosofia e o espírito modernos, e com eles a completa liberdade em matéria de doutrina, o monge cego opõe-se à liberdade de pesquisa e de estudo, simbolizando, para o espectador, a posição da Igreja, que se comporta relutante perante a razão e a ciência.

Para Frei Jorge, o riso aniquilava o medo e "sem medo não pode haver fé. Sem o medo do Diabo, não há necessidade de Deus. Que aconteceria se devido a este livro, os eruditos declarassem ser permitido rir de tudo? (...) O mundo regressaria ao caos, por isso selo aqui no túmulo em que me transformo".

Considerando que o Grão-Inquisidor não gosta de Baskerville, ele é inclinado a colocá-lo no topo da lista dos que são diabolicamente influenciados. Esta batalha, juntamente com uma guerra ideológica entre franciscanos e dominicanos, é travada enquanto o motivo dos assassinatos é lentamente solucionado.

Através do filme, não sabemos quantos dias é que Guilherme permaneceu na abadia. No romance os 7 dias correspondem a igual número de mortes. No filme, ocorrem 6 mortes, sendo o abade poupado a tão grande "massacre".

William acredita que estes assassinatos estão relacionados com as filosofias heréticas' e práticas religiosas escondidas às quais alguns monges estão apaixonadamente dedicados. Alguns destes monges ganharam ao longo dos anos o controle da vasta biblioteca da abadia, e assim controlavam o acesso ao conhecimento. A biblioteca, construída como um labirinto com os livros organizados segundo um plano secreto, está fora de limites para William. Acreditando que as mortes na abadia estão de algum modo relacionadas com heresias e com livros misteriosos escondidos na biblioteca, William tem de investigar secretamente, sendo a sua investigação simultaneamente filosófica bem como uma procura pelo assassino ou assassinos.

Em 1327 William de Baskerville (Sean Connery), um monge franciscano, e Adso von Melk (Christian Slater), um noviço que o acompanha, chegam a um remoto mosteiro no norte da Itália. William de Baskerville pretende participar num conclave para decidir se a Igreja deve doar parte das suas riquezas, mas a atenção é desviada por vários assassinatos que acontecem no mosteiro.

William de Baskerville começa a investigar o caso, que se mostra bastante intrigante, apesar de os mais religiosos acreditarem que é obra do Demónio. William de Baskerville não partilha desta opinião, mas antes que ele conclua as investigações Bernardo Gui (F. Murray Abraham), o Grão-Inquisidor, chega ao local e está pronto para torturar qualquer suspeito de heresia que tenha cometido assassinatos em nome do Diabo.