No ano de 1934, dá-se início ao funcionamento da Faculdade de Filosofia, Ciências e Letras, um dos núcleos fundadores da recém inaugurada Universidade de São Paulo. Um acervo começa a ser formado nesse ano, e em 1937 é instalada a primeira biblioteca na Rua da Consolação, 16. Nos anos subsequentes, a biblioteca é transferida mais duas vezes: em 1938, para um prédio na Alameda Glete; em 1939, para o prédio da Escola Caetano de Campos, na Praça da República. Em 1947, a biblioteca muda de local novamente, desta vez para o prédio da Faculdade na Rua Maria Antonia, 258, e lá permanece até sua transferência definitiva para a Cidade Universitária, campus Butantã, entre os anos de 1967 e 1968.
Em 1970 ocorre a separação dos acervos, de acordo com a Reforma Universitária, permanecendo na FFLCH as bibliotecas departamentais e aquelas ligadas aos Centros de Estudos. Em 1973, constitui-se a primeira comissão de bibliotecas da FFLCH/USP, e em 1975 é aprovada a unificação das bibliotecas da FFLCH. Um programa para construção de um prédio central reunindo os acervos é apresentado no ano de 1976.
A unificação só começou a tomar corpo definitivamente em 1987, a partir da criação do Serviço de Biblioteca e Documentação (SBD), que congregava as quatro bibliotecas existentes na época: a de História, Geografia, Filosofia e Ciências Sociais e a de Letras. Em 1991 ocorre a inauguração do primeiro módulo da Biblioteca Central, integrando os acervos de Letras e dos Serviços Técnicos e Administrativos. No ano de 2001 é inaugurado o segundo módulo, para a integração dos acervos de Filosofia e Ciências Sociais. Entre 2003 e 2004, dá-se a construção do terceiro e último módulo, com a integração dos acervos de Geografia e História.
Em 2005, é inaugurada a Biblioteca da FFLCH-USP com acervo unificado, recebendo o nome de Biblioteca Florestan Fernandes, em homenagem ao sociólogo Florestan Fernandes, que por muito tempo atuou como professor da Faculdade.
No ano de 2012, diante da necessidade de adequar o seu espaço interno à norma ABNT NBR9050 - Acessibilidade a edificações, mobiliário, espaços e equipamentos urbanos, a Biblioteca Florestan Fernandes implantou um novo layout, reorganizando todo o acervo e os espaços destinados ao estudo.