RESUMO

Aqui, descrevemos o percentual de não citação em revistas brasileiras de saúde pública, campo até agora não investigado nacional ou internacionalmente. Analisamos artigos, publicados entre 2008 e 2012, de oito revistas de saúde pública indexadas na base Scopus. O percentual de não citação difere entre as revistas (de 5,7% a 58,1%). Identificamos quatro grupos estatisticamente distintos: História, Ciência, Saúde – Manguinhos (58% de artigos não citados); Physis: Revista de Saúde Coletiva, Interface, e Saúde e Sociedade (32% a 37%); Ciência & Saúde Coletiva e Revista Brasileira de Epidemiologia (16% a 17%); e Cadernos de Saúde Pública e Revista de Saúde Pública (6%). A não citação nos primeiros três anos pós-publicação também varia segundo revista. Quatro revistas mostraram claro declínio da não citação: Cadernos de Saúde Pública, Ciência & Saúde Coletiva, Revista Brasileira de Epidemiologia e Physis. Outras três (Revista de Saúde Pública, Saúde e Sociedade e Interface) apresentaram oscilação na não citação, mas as taxas de 2008 e 2012 são similares, com magnitudes diferentes. Por sua vez, a revista História, Ciência, Saúde – Manguinhos mantém taxas elevadas de não citação. Revistas multidisciplinares atraem mais citação, mas um modelo compreensivo de citações ainda precisa ser formulado e testado.

Artigo de Revista; Publicações Científicas e Técnicas; Bases de Dados de Citações; Sistemas de Avaliação das Publicações

INTRODUÇÃO

Desde o início das análises de citação, Garfield¹1. Garfield E. Uncitedness III – the importance of not being cited. Essays Inf Sci. 1973;1:413-4. Available from: http://www.garfield.library.upenn.edu/essays/V1p413y1962-73.pdf
http://www.garfield.library.upenn.edu/es... já mostrava preocupação com os artigos que não eram citados. Hamilton²2. Hamilton DP. Publishing by– and for?– the numbers. Science. 1990;250(4986):1331-2. https://doi.org/10.1126/science.2255902
https://doi.org/10.1126/science.2255902... , em análise sobre citações na Web of Science, encontrou 55% de artigos não citados ao longo dos primeiros cinco anos pós-publicação. Essa proporção, no entanto, variava segundo área de conhecimento: 47,4% nas ciências exatas e biológicas, 74,7% nas ciências sociais e 98,0% em artes e humanidades³3. Hamilton DP. Research papers: who’s uncited now? Science. 1991;251(4989):25. https://doi.org/10.1126/science.1986409
https://doi.org/10.1126/science.1986409... . Uma reanálise dos dados de Hamilton, restrita a artigos originais, estimou taxas menores de não citação: 22,4% (exatas e biológicas); 48% (ciências sociais); e 93% (artes e humanidades)⁴4. Pendlebury DA. Science, citation and funding [letter to the editor]. Science. 1991;251(5000):1410-1. https://doi.org/10.1126/science.251.5000.1410-b
https://doi.org/10.1126/science.251.5000... . Apesar de as taxas de não citação estimadas por Hamilton terem sido criticadas^2–6, permanece a ideia de que, de fato, grande parte dos artigos não foram ou não serão citados⁷7. Larivière V, Archambault É, Gingras Y, Wallace ML. The fall of uncitedness. In: Book of abstracts of the 10th International Conference on Science and Technology Indicators; 2008 Sept 17-29; Vienna, Austria. p.279-82..

Entretanto, há claras indicações de que a não citação vem diminuindo continuamente, desde a década de 1980, nos campos das ciências naturais, engenharia, medicina e ciências sociais, mas não das humanidades⁷7. Larivière V, Archambault É, Gingras Y, Wallace ML. The fall of uncitedness. In: Book of abstracts of the 10th International Conference on Science and Technology Indicators; 2008 Sept 17-29; Vienna, Austria. p.279-82..

O campo da saúde pública, multidisciplinar em sua natureza, pode ser um caso pertinente para a avaliação da não citação. Contudo, ele ainda não foi investigado. Aqui, descrevemos o fenômeno da não citação em revistas brasileiras da área de saúde pública.

MÉTODOS

As revistas selecionadas obedeceram a dois critérios: a) integrarem o Fórum de Editores de Saúde Coletiva da Associação Brasileira de Saúde Coletiva (criado em 2014, acesso em https://www.abrasco.org.br/site/2014/11/forum-de-editores-de-saude-coletiva-carta-de-sao-paulo/), que representa as revistas brasileiras de saúde pública, e b) estarem indexadas na base de dados Scopus, escolhida pela abrangência multidisciplinar (mais de 20 mil revistas indexadas), relevância na avaliação cientométrica e disponibilidade dos metadados para análise. Assim, selecionamos oito revistas (abreviaturas pela National Library of Medicine Catalog – NLM): Cadernos de Saúde Pública (Cad Saude Publica); Ciência & Saúde Coletiva (Cien Saude Colet); História, Ciência, Saúde – Manguinhos (Hist Cienc Saude); Interface: Comunicação, Saúde, Educação (Interface); Physis: Revista de Saúde Coletiva (Physis); Revista Brasileira de Epidemiologia (Rev Bras Epidemiol); Revista de Saúde Pública (Rev Saude Publica); e Saúde e Sociedade (Saude Soc).

Dessas, foram extraídos (em novembro 2015) dados referentes a dois tipos de artigos: os originais de pesquisa e os de revisão, publicados entre 2008 e 2012. A data inicial da coleta de dados (2008) foi escolhida por ser o ano em que todas as revistas selecionadas estavam indexadas na Scopus, e a data final (2015), por garantir um tempo mínimo de três anos para que os mais recentes (publicados em 2012) recebessem citações.

Foram recuperados 5.736 registros de artigos, dos quais 66 foram eliminados por duplicidade, ficando como amostra final 5.670 artigos. De cada um, foram obtidas as seguintes informações: título do artigo, autoria, ano de publicação, paginação, título do periódico e número de citações de cada artigo (por ano e total).

Para validar a consistência do banco de dados, foi analisada uma subamostra com valor arbitrário de 10% dos artigos (567/5.670). Constatamos algumas inconsistências. A mais frequente foi o atraso na indexação, ou seja, surgiram novos registros de citações de artigos entre o período da extração da amostra e o da avaliação da subamostra. Com isso, 60 artigos apresentaram citações atrasadas, equivalente a 10,6% dos 567. Desses 60 artigos, quatro (0,7%) deixariam de ser classificados como não citados. Outros problemas, menos frequentes, foram: ano de citação divergente da data indicada na Scopus (0,5%) e uma citação contabilizada duas vezes pela Scopus (0,5%). A taxa de não citação das oito revistas se manteve: 18,6% na amostra e 18,5% na subamostra. Dada a pequena magnitude de problemas e seu insignificante efeito nas estimativas, os dados estudados foram os extraídos da base Scopus sem correção.

Calculamos, para cada artigo e em cada revista, a proporção de não citação em todo o período e a proporção de não citação nos primeiros três anos após a sua publicação.

RESULTADOS

Observamos grande diferença entre as taxas de não citação das revistas, variando de 5,7% a 58,1%, ordem de 10 vezes entre a menor e a maior taxa (Figura 1). Notável também a distribuição em quatro grupos estatisticamente diferentes: no grupo com maior não citação, está a revista Hist Cienc Saude. Outro grupo, integrado por revistas de ciências sociais em saúde, incluiu a Physis, a Interface, e a Saude Soc. Em situação intermediária, figuram Cienc Saude Colet e Rev Bras Epidemiol. Os menores índices de não citação foram identificados nos periódicos Cad Saude Publica e Rev Saude Publica.

O comportamento de não citação nos primeiros anos após a publicação também varia segundo revista (Figura 2). Interessante notar que a dinâmica de não citação nos últimos três anos difere dos grupos observados na Figura 1. Há quatro revistas com um claro declínio da não citação: Cad Saude Publica, Cienc Saude Colet, Rev Bras Epidemiol e Physis. Em outras três (Rev Saude Publica, Saude Soc e Interface), há uma oscilação na não citação, mas as taxas em 2012 são similares às de 2008, ainda que com magnitudes diferentes. Por fim, a revista Hist Cienc Saude mantém taxas elevadas de não citação.

DISCUSSÃO

As revistas brasileiras têm marcadas diferenças entre si no que se refere à não citação, mas comportam-se de modo similar ao que já foi descrito na literatura referente às peculiaridades de cada área. Com efeito, Pendlebury⁴4. Pendlebury DA. Science, citation and funding [letter to the editor]. Science. 1991;251(5000):1410-1. https://doi.org/10.1126/science.251.5000.1410-b
https://doi.org/10.1126/science.251.5000... , em análise de revistas indexadas no ISI, entre 1984 e 1988, já encontrava essas disparidades entre áreas do conhecimento, em que ciências naturais, engenharia e medicina tinham menores taxas, seguidas pelas ciências sociais e, com a maior não citação, estavam as humanidades. Larivière et al.⁷7. Larivière V, Archambault É, Gingras Y, Wallace ML. The fall of uncitedness. In: Book of abstracts of the 10th International Conference on Science and Technology Indicators; 2008 Sept 17-29; Vienna, Austria. p.279-82. encontraram agrupamentos similares décadas depois.

A revista de humanidades no âmbito da saúde pública, que prioriza a publicação de artigos relacionados à documentação, pesquisa e museotecnia em história das ciências e da saúde, tem a maior taxa global de não citação, mas essa taxa vem diminuindo nos primeiros três anos após a publicação. Esse padrão é comparável às revistas de humanidades analisadas na base Web of Science⁷7. Larivière V, Archambault É, Gingras Y, Wallace ML. The fall of uncitedness. In: Book of abstracts of the 10th International Conference on Science and Technology Indicators; 2008 Sept 17-29; Vienna, Austria. p.279-82.; ou seja, no caso brasileiro, 79% de artigos não citados na Hist Cienc Saude versus 90% nas revistas de humanidades mencionadas por Larivière et al.⁷7. Larivière V, Archambault É, Gingras Y, Wallace ML. The fall of uncitedness. In: Book of abstracts of the 10th International Conference on Science and Technology Indicators; 2008 Sept 17-29; Vienna, Austria. p.279-82. Igualmente, as nossas revistas de ciências sociais em saúde têm comportamento similar às do mesmo campo de conhecimento indexadas na Web of Science, tanto nas taxas quanto no movimento de redução da não citação.

Por outro lado, é marcante que as nossas revistas multidisciplinares em saúde pública (Rev Saude Publica, Cad Saude Publica) tenham patamares de não citação comparativamente menores do que os encontrados por Larivière et al.⁷7. Larivière V, Archambault É, Gingras Y, Wallace ML. The fall of uncitedness. In: Book of abstracts of the 10th International Conference on Science and Technology Indicators; 2008 Sept 17-29; Vienna, Austria. p.279-82.. Esses autores encontraram taxa de artigos não citados para a medicina em geral, e não suas especialidades, em torno de 11%. Essas diferenças dificilmente podem ser atribuídas às diferentes fontes bibliométricas, Scopus no nosso estudo e Web of Science em Larivière et al.⁷7. Larivière V, Archambault É, Gingras Y, Wallace ML. The fall of uncitedness. In: Book of abstracts of the 10th International Conference on Science and Technology Indicators; 2008 Sept 17-29; Vienna, Austria. p.279-82., pois há elevada correlação entre os indicadores de impacto dessas duas bases⁸8. Archambault E, Campbell D, Gingras Y, Larivière V. Comparing bibliometric statistics obtained from the Web of Science and Scopus. J Assoc Inf Sci Technol. 2009;60(7):1320-6. https://doi.org/10.1002/asi.21062
https://doi.org/10.1002/asi.21062... . As razões pelas quais Rev Saude Publica e Cad Saude Publica conseguem atrair mais citações ainda precisam ser estudadas, mas parecem seguir a relação de quanto mais interdisciplinar, maior a capacidade de atrair citações⁹9. Chen S, Arsenault C, Larivière V. Are top-cited papers more interdisciplinary? J Informetr. 2015;9(4):1034-46. https://doi.org/10.1016/j.joi.2015.09.003
https://doi.org/10.1016/j.joi.2015.09.00... .

Da mesma forma, a revista Cienc Saude Colet e a Rev Bras Epidemiol, ambas recentes no campo editorial da área (criadas em 1996 e 1998, respectivamente), têm características similares quanto à taxa global de não citação e à redução de artigos sem citação nos primeiros três anos. A Cienc Saude Colet se aproxima das revistas multidisciplinares de saúde pública, com menos artigos não citados devido, provavelmente, à sua característica igualmente multidisciplinar. Essa revista, inegavelmente, tem uma forte tradição de disseminação da produção em ciências sociais em saúde. Já a Rev Bras Epidemiol, que veicula produção de uma área que tem no artigo um dos seus principais meios de disseminação, vem atraindo progressivamente mais citações. O monitoramento de não citações dessas duas revistas, doravante, poderá elucidar se ficarão no grupo das revistas multidisciplinares.

Nossa análise privilegiou a não citação, pois pretendemos trazer à tona a proporção de artigos que parecem não ter tido impacto ou reconhecimento da comunidade científica. Claro que isso pode representar uma limitação, pois as análises focadas nas métricas das citações (indicadores como índice H, SJR, FI, cites per documents entre outros) poderão chegar a classificações bibliométricas diferentes.

Pendlebury⁴4. Pendlebury DA. Science, citation and funding [letter to the editor]. Science. 1991;251(5000):1410-1. https://doi.org/10.1126/science.251.5000.1410-b
https://doi.org/10.1126/science.251.5000... avalia que um “certo nível de não citação em uma revista é provavelmente mais uma expressão do processo de criação e disseminação do conhecimento do que qualquer tipo de medida de performance”, reconhecendo que livros são mais importantes na veiculação da comunicação científica entre os cientistas sociais e de humanidades do que nas exatas e biológicas. Assim, as taxas de não citação representariam mais os modos de citar do que a aceitação ou rejeição do conhecimento produzido. As razões para essas diferenças têm sido especuladas, mas não há modelos compreensivos que as expliquem. Essa lacuna abre espaço para outras investigações.

Referências bibliográficas

Datas de Publicação

Histórico