No âmbito da revisão do processo de avaliação dos programas de pós-graduação no Brasil, a Diretoria de Avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) estabeleceu novos critérios para classificação das revistas científicas no Qualis Periódicos (Ofício nº 6/2019-CGAP/DAV/CAPES). A metodologia propõe uma única classificação de referência para os periódicos (“Qualis Único”) a partir do uso combinado dos indicadores bibliométricos CiteScore (Scopus), Fator de Impacto (Web of Science) e h5 (Google Scholar). No caso de revistas científicas não indexadas nas bases Scopus e Web of Science, foi feito um modelo de regressão para estabelecer a relação do índice h5 com o CiteScore. A classificação se baseia no percentil em que o periódico está situado em cada base, segundo categoria temática. Esse percentil está dividido em oito grupos (a cada 12,5% do total), sendo possível alterar a classificação de até 30% dos periódicos.

A premissa da adoção de um único critério para avaliação de periódicos científicos é questionável, considerando as profundas diferenças entre as áreas acadêmicas na produção e divulgação do conhecimento, o que gera resultados desastrosos a periódicos já consolidados em suas áreas de atuação. Além disso, o processo careceu de maior transparência e participação da comunidade acadêmica envolvida. Cabe também situar o contexto no qual essa proposta é formulada.

A avaliação da pesquisa, certamente essencial, é permeada por interesses de diferentes atores ¹1. de Camargo Jr. KR. Big publishing and the economics of competition. Am J Public Health 2014; 104:8-10.^,22. Guédon J-C. Future of scholarly publishing and scholarly communication: report of the expert group to the European Commission. https://doi.org/10.2777/836532 (acessado em 03/Ago/2019).
https://doi.org/10.2777/836532... : grandes grupos empresariais, pequenas editoras, grupos e centros de pesquisa, organizações reguladoras e financiadores. Ressalta-se que o mercado da publicação científica está entre os mais lucrativos do mundo. A editora Elsevier, por exemplo, teve margem de lucro de 36% em 2010, maior do que as empresas Apple, Google e Amazon ³3. Buranyi S. Is the staggeringly profitable business of scientific publishing bad for science? The Guardian 2017; 27 jun. https://www.theguardian.com/science/2017/jun/27/profitable-business-scientific-publishing-bad-for-science.
https://www.theguardian.com/science/2017... . O pagamento de taxas de publicação e assinaturas de revistas científicas representa 45% das fontes de financiamento, cabendo, ao setor público, 31% ⁴4. Lawson S, Gray J, Mauri M. Opening the black box of scholarly communication funding: a public data infrastructure for financial flows in academic publishing. Open Library of Humanities 2016; 2:e10..

No Brasil, a Capes possui papel fundamental na avaliação dos periódicos, que, por sua vez, serve à avaliação dos programas de pós-graduação, repercutindo no financiamento e na disponibilidade de bolsas para discentes. Essa função tem sido pautada pelo uso de indicadores bibliométricos, construídos para finalidades não relacionadas à avaliação da qualidade da produção científica.

A incorporação desses indicadores favorece a priorização de temas de interesse da política científica de países do hemisfério norte (Estados Unidos e Reino Unido, principalmente) e o ajuste do conteúdo publicado por revistas científicas de países não hegemônicos ⁵5. Losego P, Arvanitis R. La science dans les pays non hégémoniques. Revue d'Anthropologie des Connaissances 2008; 2:334-42., ao que gera citações em bases bibliográficas internacionais. A publicação em inglês, necessária para esse objetivo, afasta a ciência produzida no Brasil dos leitores não especializados. Também dificulta o importante papel dos periódicos na disponibilização de conhecimentos científicos atualizados para apoiar a formação nos diversos níveis da pós-graduação, inclusive nos mestrados profissionais, cujo impacto social, indispensável em determinadas áreas, não é passível de reconhecimento e avaliação por essas métricas.

O modelo de avaliação impulsionado por esses indicadores se baseia em um fetichismo da excelência ancorado na narrativa de escassez ⁶6. Moore S, Neylon C, Paul Eve M, Paul O'Donnell D, Pattinson D. "Excellence R Us": university research and the fetishisation of excellence. Palgrave Commun 2017; 3:16105., que não se sustenta frente aos recursos da publicação eletrônica como os preprints (https://blog.scielo.org/blog/2018/09/21/pkp-e-scielo-anunciam-desenvolvimento-de-um-sistema-de-codigo-aberto-de-servidor-de-preprints/) e que inflaciona os preços das revistas científicas ditas de alto impacto (tal como a Lancet Infectious Diseases, cuja publicação de um artigo custava US$ 5.000 em agosto de 2019; http://www.thelancet.com/pb/assets/raw/Lancet/authors/tlid-info-for-authors.pdf). Assim, estimula-se a competição predatória entre cientistas, entre programas de pós-graduação e entre periódicos.

Devemos ainda considerar as críticas coletivas feitas por cientistas aos indicadores bibliométricos, contidas nas orientações internacionais para a avaliação da produção científica, como a DORA (San Francisco Declaration on Research Assessment) ⁷7. San Francisco Declaration on Research Assessment. https://sfdora.org/read/ (acessado em 03/Ago/2019).
https://sfdora.org/read/... e o manifesto de Leiden, definido na 19^a International Conference on Science and Technology Indicators (http://sti2014.cwts.nl) ⁸8. Hicks D, Wouters P, Waltman L, de Rijcke S, Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature News 2015; 520:429.. Duas grandes limitações são destacadas pela DORA: o fator de impacto pode ser manipulado, e, mesmo dentro da mesma revista científica, os artigos têm número de citações extremamente variado. Já o manifesto de Leiden alerta sobre os danos ao sistema científico do uso pervasivo e inadequado desses indicadores, propondo dez princípios para orientar a avaliação da ciência.

À luz dos 10 princípios presentes nesse manifesto, comentamos a proposta da Capes:

1. A avaliação quantitativa deve dar suporte à avaliação qualitativa especializada - a questão do Qualis deveria ser definida após o estabelecimento de um modelo qualitativo de avaliação;

2. Medir o desempenho de acordo com a missão da instituição, do grupo ou do pesquisador - a política de incentivo à pós-graduação deve condicionar a avaliação; a padronização de um indicador único aprofunda a desigualdade entre regiões e entre áreas do conhecimento, tornando-se um empecilho real à política de incentivo à pós-graduação;

3. Proteger a excelência da pesquisa localmente relevante - preservando o pluralismo e a relevância para a sociedade, não subordinando a avaliação à publicação em periódicos indexados nas bases selecionadas;

4. Manter a coleta de dados e os processos analíticos abertos, transparentes e simples - as bases de dados utilizadas para a classificação inicial e a classificação das revistas científicas pelas áreas devem ser abertamente disponibilizadas;

5. Permitir que os avaliados verifiquem os dados e as análises - a partir dos dados brutos disponibilizados, deve ser possível realizar análises comparativas e estudo do impacto da proposta nas diferentes áreas de conhecimento;

6. Considerar as diferenças entre áreas nas práticas de publicação e citação - o “Qualis Único” impede a seleção de um conjunto mais amplo de indicadores, não permitindo que as distintas áreas definam aqueles que lhes são mais adequados. Além disso, a classificação baseada apenas em indicadores bibliométricos prejudica as revistas científicas novas e os artigos publicados em língua portuguesa;

7. Basear a avaliação de pesquisadores individuais no juízo qualitativo da sua carreira - princípio esse que pode ser estendido a instituições, programas e grupos de pesquisa, e deve considerar o conjunto da produção ao longo do tempo, e não apenas nos dois ou três anos incluídos nos indicadores;

8. Evitar solidez mal colocada e falsa precisão - cabendo questionar a precisão de pontos de corte de 12,5%;

9. Reconhecer os efeitos sistêmicos da avaliação e dos indicadores - devemos relembrar que tais aspectos condicionam não só o financiamento, mas a condução dos programas de pós-graduação para atender a esse critério, seja obrigando alunos a terem artigos aceitos antes de serem diplomados, seja diminuindo o número de artigos publicados nos periódicos para aumentar os indicadores, seja a adequação dos programas ao critério proposto, incluindo ou excluindo docentes, ou mesmo estimulando a publicação em periódicos melhor classificados, mesmo que fora do core da área de conhecimento;

10. Examinar e atualizar os indicadores regularmente - orientação atendida pela Capes, ainda que não debatida de forma coletiva.

Alguns problemas imediatos na aplicação da proposta da Capes já foram identificados. A definição da área-mãe - área da pós-graduação com maior número de artigos publicados na revista - é fortemente influenciada, no caso de campos do conhecimento de natureza interdisciplinar, pela área com maior número de programas de pós-graduação e alunos. Na área da saúde coletiva, 11 periódicos foram imediatamente realocados, e mais alguns estão em processo, indicando a fragilidade do critério “objetivo” adotado. Em outras áreas do conhecimento, marcadamente interdisciplinares, as revistas científicas têm sido classificadas em áreas-mãe impróprias, resultado de uma contabilidade automática, que não considera sua identidade e público-alvo.

A alocação de revistas científicas que não constam nas bases Scopus e Web of Science, a partir do uso do h5 (Google Scholar), reconhecidamente mais inclusivo, é também problemática. Apesar das limitações já apontadas, basear, em uma correlação de apenas 0,5, a alocação de periódicos não constantes das demais bases indexadoras implica em mais decisões ad hoc.

Ressaltando que a função das medidas de citação só se justifica em longo prazo ⁹9. Rabóczkay T. Significado real do número de citações de um artigo científico. Jornal da USP 2019; 26 jul. https://jornal.usp.br/artigos/significado-real-do-numero-de-citacoes-de-um-artigo-cientifico/.
https://jornal.usp.br/artigos/significad... : como comparar o impacto de um artigo que foi publicado nos dois (ou três) anos anteriores e citado no ano de referência com um artigo que recebeu citações ao longo de 20 anos? Por que limitar a avaliação aos indicadores cuja intenção é estimular uma sempre crescente competição pelos veículos ditos de maior impacto e com escopo temporal limitado? Outros indicadores cientométricos podem contribuir para avaliar os periódicos. A avaliação da inclusão de periódicos na base SciELO ¹⁰10. SciELO Brasil. Seleção de Periódicos da Coleção SciELO Brasil. http://www.scielo.br/avaliacao/avaliacao_pt.htm (acessado em 09/Ago/2019).
http://www.scielo.br/avaliacao/avaliacao... é um critério de qualidade e privilegia as publicações em acesso aberto, importante condição da produção científica nacional. O total de citações que um periódico recebeu no ano, também disponível no Google Scholar, sendo independente do ano de publicação, reflete o impacto acumulado da revista na comunicação científica. Diversas medidas altimétricas estão disponíveis, por exemplo, o número de downloads de artigos no SciELO.

É possível antecipar consequências da proposta: drenagem de artigos para áreas com periódicos nas classes A1 e A2 (cujas taxas de publicação são razoáveis); diminuição da submissão de artigos oriundos de programas de pós-graduação bem avaliados, com mais recursos, para pagar publicação nas revistas científicas das grandes editoras internacionais; restrição do financiamento das revistas científicas, num processo de “mais para quem tem mais”. Estimula-se a competição em vez da solidariedade entre pares, bem como o esvaziamento de revistas científicas recentes.

Esse processo ocorre associado a um contexto de diminuição dos recursos e de produção de um descrédito da ciência ¹¹11. Proctor R, Schiebinger LL, editors. Agnotology: the making and unmaking of ignorance. Stanford: Stanford University Press; 2008., no qual evidências científicas são equiparadas às observações de um único indivíduo. Considerando as críticas e os debates sobre o tema, faz-se necessário refletir até quando adotaremos classificações que pouco contribuem para avaliar a qualidade da produção de conhecimento.

Datas de Publicação