Diferenças entre as medidas do índice-h geradas em distintas fontes bibliográficas e engenho de busca

Mauricio Lima Barreto Erika Aragão Luis Eugenio Portela Fernandes de Sousa Táris Maria Santana Rita Barradas Barata Sobre os autores

Resumos

MÉTODOS:

Comparou-se a produção científica de pesquisadores brasileiros bolsistas 1-A do CNPq, das áreas da saúde coletiva, imunologia e medicina. Os índices-h de cada pesquisador foram estimados com base no Web of Science , Scopus e Google Acadêmico. Foram estimadas as medianas dos índices-h para os grupos de pesquisadores em cada área, e para comparar as diferenças foram usados, de acordo com cada fonte, o teste não paramétrico de Kruskal- Wallis e as comparações múltiplas de Behrens-Fisher.

RESULTADOS:

A área da imunologia apresentou mediana dos índices-h mais alta que os da Saúde Coletiva e da Medicina quando se utiliza a base Web of Science . Porém, essa diferença desapareceu quando a comparação foi feita utilizando a base Scopus ou o Google Acadêmico.

CONCLUSÕES:

A emergência do Google Acadêmico traz a um novo patamar as discussões sobre a medida do impacto bibliométrico das publicações cientificas. Áreas com fortes componentes profissionais, em que o conhecimento produzido é e deve ser publicado também na língua nativa, vis-a-vis sua difusão para a comunidade internacional, têm padrão de publicações e citações científicas diferente de áreas exclusivas ou predominantemente acadêmicas e mais bem captado pelo Google Acadêmico.

OBJETIVO:

Analisar a utilização do índice-h como medida do impacto bibliográfico da produção científica de pesquisadores brasileiros.

Saúde Pública; Indicadores de Produção Científica; Indicadores Bibliométricos; Bases de Dados Bibliográficas; Bibliometria


INTRODUÇÃO

O desenvolvimento social e econômico, o crescimento da produção científica e de sua importância para esse desenvolvimento e a consequente consolidação da ciência como objeto de políticas públicas na segunda metade do século XX trouxeram a necessidade de desenvolver indicadores capazes de mensurar e avaliar o desempenho das complexas atividades científicas, em geral, e dos seus componentes – pesquisadores e instituições –, em particular. Apesar de reconhecidas limitações, os indicadores bibliométricos são os mais amplamente utilizados para avaliar a atividade científica, sua influência e seu impacto.1313. Lindsey D. Using citation counts as a measure of quality in science measuring what’s measurable rather than what’s valid. Scientometrics. 1989;15(3-4):189-203. DOI: http://dx.doi.org/10.1007/BF02017198
http://dx.doi.org/10.1007/BF02017198...
Medidas bibliométricas capazes de mensurar e qualificar a produtividade científica são desenvolvidas para informar o desempenho de pesquisadores, grupos e instituições de pesquisa e orientar as promoções de cientistas, o fomento à pesquisa, a formação de pessoal. A bibliometria é um campo vasto para estudos empíricos e uma das bases da Cienciometria.

As medidas bibliométricas evoluem ao longo do tempo. Inicialmente, limitavam-se à simples contagem e à valoração do número de publicações. Rapidamente, o número de publicações era cada vez menos relevante na qualificação da produtividade de um pesquisador se não viesse associado a alguma medida da qualidade, expressa pelo reconhecimento pelos pares. Essa qualidade foi bibliometricamente traduzida pelo número de citações obtidas pelas publicações científicas. No entanto, o uso do número bruto de citações, como medida da influência de uma publicação, apresentou limitações e nem sempre refletia sua qualidade.1313. Lindsey D. Using citation counts as a measure of quality in science measuring what’s measurable rather than what’s valid. Scientometrics. 1989;15(3-4):189-203. DOI: http://dx.doi.org/10.1007/BF02017198
http://dx.doi.org/10.1007/BF02017198...
Uma série de índices é sugerida para substituí-lo, tendo por base as citações. O índice-h é o mais popular.

Esse índice foi desenvolvido por um físico interessado em produzir uma medida que, com base nas próprias citações, reduzisse as insuficiências relacionadas com a simples contagem do seu número e superasse os problemas com os denominadores utilizados no cálculo do fator de impacto. Hirsh88. Hirsch JE. An index to quantify an individual’s scientific research output. Proc Natl Acad Sci USA. 2005;102(46):16569-72. DOI: http://dx.doi.org/10.1073/pnas.0507655102
http://dx.doi.org/10.1073/pnas.050765510...
, 99. Hirch JE. Does the h index have predictive power? Proc Natl Acad Sci USA. 2007;104(49):19193-8. DOI: http://dx.doi.org/10.1073/pnas.0707962104
http://dx.doi.org/10.1073/pnas.070796210...
(2005, 2007) sugeriu que o índice-h era melhor do que os outros índices até então usados – número total de artigos, número total de citações, número médio de citações, número de publicações “significativas” –, pois combinava o número de citações com o número de citações dos artigos altamente citados.

O índice-h ganha particular destaque devido à possibilidade de utilização de uma única medida estimada de forma particularmente simples para caracterizar o impacto da produção científica de um investigador. Seu cálculo é feito com base no ordenamento decrescente do número de citações de cada trabalho do autor (ou grupo de pesquisa, revista, instituição), definindo-se como índice-h o ponto em que o número de citações corresponde ao número de ordem. Um pesquisador que tem 50 artigos publicados, dentre os quais 22 receberam 22 ou mais citações, terá índice-h = 22. Trata-se de um índice bem robusto, pois combina a quantidade da produção científica (número de publicações) e aspectos da sua qualidade ou relevância (citações).88. Hirsch JE. An index to quantify an individual’s scientific research output. Proc Natl Acad Sci USA. 2005;102(46):16569-72. DOI: http://dx.doi.org/10.1073/pnas.0507655102
http://dx.doi.org/10.1073/pnas.050765510...
Tornou-se um dos indicadores mais utilizados para avaliação da produção científica e objeto de sérios debates acerca de aspectos relacionados às medidas bibliométricas na ciência.44. Cronin B, Meho L I. Using the h-index to rank influential information scientists. J Am Soc Inf Sci Technol. 2006;57(9):1275-8. DOI: http://dx.doi.org/10.1002/asi.20354
http://dx.doi.org/10.1002/asi.20354...

Há clareza sobre a variabilidade do índice-h quando da comparação entre diferentes áreas científicas. Áreas mais prolíficas em número de publicações registram maiores índices-h. Existe variablilidade quando diferentes bases bibliográficas ou engenhos de busca são utilizados para derivar os índices.1212. Lacasse JR, Hodge DR, Bean KF. Evaluating the productivity of social work scholars using the h-index. Res Soc Work Pract. 2011;21(5):599-607. DOI: http://dx.doi.org/10.1177/1049731511405069
http://dx.doi.org/10.1177/10497315114050...
, 1414. Norris M, Oppenheim C. Comparing alternatives to the Web of Science for coverage of the social sciences’ literature. J Informetr. 2007;1(2):161-9. DOI: http://dx.doi.org/10.1016/j.joi.2006.12.001
http://dx.doi.org/10.1016/j.joi.2006.12....
Isso porque essas bases diferenciam-se quanto à cobertura dos seus registros bibliográficos ou de suas citações.11. Bar-Ilan J. Which h-index? A comparison of WoS, Scopus and Google Scholar. Scienciometrics. 2008;74(2):257-71. DOI: http://dx.doi.org/10.1007/s11192-008-0216-y
http://dx.doi.org/10.1007/s11192-008-021...
Para as áreas das Ciências Sociais e Humanas, algumas bases de dados são menos representativas, pois não indexam livros, relatórios ou anais de conferência.1515. Ouimet M, Bedard PO, Gelineau F. Are the h-index and some of its alternatives discriminatory of epistemological beliefs and methodological preferences of faculty members? The case of social scientists in Quebec. Scientometrics. 2011;88(1):91-106. DOI:http://dx.doi.org/10.1007/s11192-011-0364-3
http://dx.doi.org/10.1007/s11192-011-036...
Portanto, a escolha da base de dados para o cálculo do índice-h influencia diretamente nos valores encontrados.

Duas bases bibliográficas destacam-se por cobrirem amplo espectro das áreas científicas e por contabilizarem citações: a ISI Web of Science (WoS), com registros bibliográficos desde 1945; e a Scopus, criada mais recentemente como competidor da primeira, com registros a partir de 1960 e, de modo mais sistemático, desde 1996. O Google Acadêmico (GA) vem ganhando importância, ainda que não seja uma base bibliográfica como as anteriores. É um engenho de busca que utiliza algoritmos para identificar publicações científicas e suas citações disponíveis na web . Essa característica faz com que o GA abranja maior diversidade de produções bibliográficas, incluindo livros, palestras, aulas e outros. Ao longo deste artigo utilizaremos o termo bases bibliográficas para as três fontes referidas, incluindo o GA.

Este artigo tem o objetivo de analisar a utilização do índice-h como medida do impacto bibliográfico da produção científica de pesquisadores brasileiros. A perspectiva é chamar a atenção para a importância de utilização de bases adequadas às especifidades de cada campo do conhecimento, destacando as particularidades da Saúde Coletiva.

MÉTODOS

Foram selecionadas três áreas para análise, Saúde Coletiva, Imunologia e Medicina, que fazem parte das chamadas ciências da vida, as quais incluem ciências básicas como as biológicas, e aplicadas, como as agrárias e as ciências da saúde. A Imunologia foi escolhida por ser uma das subáreas das ciências biológicas na qual se observam os maiores fatores de impacto de pesquisadores e dos periódicos utilizados para a divulgação de sua produção. A Medicina foi selecionada em razão de constituir um conjunto de áreas das ciências da saúde que apresenta a maior produção em número de artigos e fator de impacto elevado. A Saúde Coletiva apresenta grande diversidade interna, incluindo pesquisadores nas subáreas de epidemiologia, ciências sociais em saúde e políticas e gestão de saúde, além de apresentar comunidade menor do que a da Medicina. A despeito disso, destaca-se em termos de produção científica no Brasil.

Foram incluídos na análise apenas os bolsistas de produtividade 1-A do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). A Bolsa CNPq de Produtividade em Pesquisa é destinada aos pesquisadores que se destacam entre seus pares, valorizando sua produção científica segundo critérios normativos. Os bolsistas de produtividade podem ser enquadrados em três categorias: 2, 1 (D, C, B e A) e sênior. aaMinistério de Ciência e Tecnologia. Conselho Nacional de Desenvolvimento Científico e Tecnológico. Resolução Normativa n° 9, de 24 de abril de 2009. Brasília (DF); 2009.

O pesquisador deverá ter, no mínimo, três anos completos após a conclusão do doutorado para a bolsa da categoria 2 ou oito anos para a categoria 1. Os critérios usados para julgar os pedidos de bolsa são: (a) produção científica do candidato; (b) formação de recursos humanos em nível de Pós-Graduação; (c) contribuição científica e tecnológica e para inovação; (d) coordenação ou participação principal em projetos de pesquisa; e (e) participação em atividades editoriais e de gestão científica bem como administração de instituições e núcleos de excelência científica e tecnológica.

O pesquisador deverá completar 15 anos, consecutivos ou não, com bolsa da categoria 1 para ter direito à bolsa sênior. Na categoria 1, o pesquisador será enquadrado em um dos quatro diferentes níveis (A, B, C ou D), com base no seu desempenho nos últimos dez anos e comparativamente com o desempenho de seus pares. Para a categoria 2, será avaliada a produtividade do pesquisador em um único nível, com ênfase nos trabalhos publicados e orientações, ambos referentes aos últimos cinco anos.

A categoria 1 nível A, topo da hierarquia, enquadra candidatos que apresentam excelência continuada na produção científica, na formação de recursos humanos e que lideram grupos de pesquisa consolidados. A escolha desse grupo restringiu a comparação a pesquisadores com elevada produtividade e liderança científica em cada uma das três diferentes áreas consideradas. A amostra agrupou pesquisadores no mesmo estágio de carreira, considerando que o tempo de exercício profissional influencia fortemente o índice-h.

A lista dos pesquisadores foi obtida na plataforma Carlos Chagas do CNPq em abril de 2011. Foram incluídos 98 pesquisadores: 20 da Saúde Coletiva, 59 da Medicina e 19 da Imunologia. O acesso às bases WoS e Scopus foi obtido pelo Portal de Periódicos da Capes. O GA foi acessado utilizando a interface Publish-or-Perish, software de acesso livre que organiza as buscas em GA e calcula o índice-h. bbHarzing AW. Publish or Perish. Version 3.0.3813. Londres; 2010 [citado 2013 jan]. Disponível em: www.harzing.com/pop.htm

Foram feitas buscas em cada base de dados utilizando o campo “nome em citações bibliográficas” dos currículos da Plataforma Lattes (CNPq) dos autores selecionados. Foram conferidas as áreas de pesquisa e as instituições de pertencimento de cada pesquisador. Os documentos encontrados nas bases bibliográficas foram comparados àqueles referidos no currículo da Plataforma Lattes de cada autor. Essa checagem possibilitou a exclusão de publicações de autores homônimos, o que poderia distorcer os resultados.

Foram estimados os índices-h para cada pesquisador nas três bases, considerando o período de abrangência de cada uma. Obteve-se o total da produção indexada de cada autor nas diferentes bases. Qualquer distorção relativa a diferenças de cobertura temporal está presente em todas as áreas; portanto, não afeta a comparação do comportamento do índice-h em três diferentes áreas/subáreas do conhecimento nas três bases. Esse processo foi feito de forma cega, i.e., sem conhecimento prévio da área do pesquisador, o que evitou tendenciosidade por parte dos autores deste estudo.

Médias e medianas foram obtidas para cada grupo de pesquisadores agregados por área e por fonte de origem da estimativa dos índices-h. Para testar a significância estatística das diferenças entre os grupos, ao comparar as três áreas utilizando a mesma base ou as três bases para cada área, foi utilizado o teste não paramétrico de Kruskal-Wallis, aplicado para testes com mais de dois grupos, equivalente à análise de variância para medidas paramétricas. Nos casos em que o resultado do teste de Kruskal-Wallis foi significativo (p < 0,05), realizou-se o teste de comparações múltiplas de Behrens-Fisher, que testa os grupos dois a dois para precisar entre quais grupos ocorreu a diferença.55. Dalgaard P. Introductory Statistics with R. 2 ed. New York: Springer Science; 2008.

RESULTADOS

Os dados relativos aos pesquisadores da Saúde Coletiva apresentaram maior amplitude de variação, com valores mais extremos mínimos e máximos ( Tabela 1 ). Nos gráficos a, b e c da Figura são apresentadas, com mais detalhes, as distribuições dos valores dos índices-h e suas respectivas medianas para os pesquisadores de cada área, gerados pelas três diferentes fontes utilizadas no estudo (WoS, Scopus e GA).

Tabela 1.
Média e mediana dos índices-h de pesquisadores 1-A do CNPq das áreas da Saúde Coletiva, Medicina e Imunologia estimados em diferentes fontes (WoS, Scopus e GA).

Figura.
Índices-h e medianas estimados nas bases Web of Science , Scopus e Google Acadêmico (calculado pelo Publish-or- Perish) de pesquisadores 1-A do Conselho Nacional de Pesquisa e Desenvolvimento Tecnológico do Brasil (CNPq) das áreas Saúde Coletiva, Medicina e Imunologia.

Pesquisadores da Saúde Coletiva e da Medicina apresentaram medianas dos índices-h extraídos do GA significativamente maiores que as extraídas das duas outras bases ( Tabelas 2 e 3). As três áreas não diferiram com relação aos índices-h obtidos da Scopus e do GA, porém a Imunologia apresentou medianas significativamente maiores do que as duas outras áreas na WoS. Essa diferença desapareceu quando a comparação foi feita utilizando as bases Scopus ou GA.

Tabela 2.
Mediana dos índices-h de pesquisadores 1-A do CNPq das áreas da Saúde Coletiva, Medicina e Imunologia estimados em diferentes fontes ( Web of Science , Scopus e Google Acadêmico) e (a) p-valores da comparação de a- diferentes fontes e (b) p-valores da comparação de diferentes áreas para cada fonte.

Tabela 3.
Resultados dos testes de comparação múltipla: comparação entre as fontes em cada área e comparação entre as áreas em cada fonte.

Entre os pesquisadores da Medicina e da Saúde Coletiva houve aumento significativo das medianas dos índices-h quando o GA foi utilizado em comparação com as duas outras bases (23% e 47% maiores, respectivamente).

DISCUSSÃO

O uso do GA gera índices-h mais altos para os pesquisadores da Saúde Coletiva, seguida pela Medicina, mas não para os da Imunologia, quando comparados aos índices-h gerados na WoS ou na Scopus. A Imunologia apresenta medianas significativamente maiores do que as duas outras áreas na WoS, provavelmente por ser uma ciência básica, cujos artigos são tradicionalmente publicados na língua inglesa e muito citados entre os pares. Segundo o Journal Citation Reports (JCR, da ISI Web of Knowledge ), existiam 139 periódicos indexados em Imunologia e 234 em Saúde Pública em 2011, considerando a coleção de ciência e a de ciências sociais. A despeito disso, os índices de citação são mais elevados na Imunologia.

Resultados dessa natureza são relevantes, pois decisões sobre qual base utilizar para o cálculo do índice-h têm implicações para o ranking dos pesquisadores e das áreas acadêmicas.

Pesquisadores da Imunologia apresentaram valores medianos similares dos índices-h calculados nas três diferentes bases, enquanto os pesquisadores da Medicina e da Saúde Coletiva apresentam significativas diferenças nos índices-h estimados pelo GA, quando comparados à WoS e à Scopus. Essa diferença foi superior a 50% para a Saúde Coletiva. A área de saúde, em geral, tem maior número de revistas publicadas no Brasil que não estavam indexadas ou que tinham sido indexadas recentemente nas bases Scopus e WoS.

Utilizando diferente abordagem, Pereira &Bronhara1616. Pereira JCR,Bronhara B. H-index of Collective Health professors in Brazil. Rev Saude Publica. 2011;45(3):599-606. DOI:http://dx.doi.org/10.1590/S0034-89102011005000027
http://dx.doi.org/10.1590/S0034-89102011...
(2011) estimaram os índices-h para todos os docentes brasileiros ativos em programas de pós-graduação em Saúde Coletiva em 2009. Utilizaram a WoS e encontraram média nacional do índice-h de 3,1, com 29,8% dos docentes obtendo índices-h iguais a zero.

A utilização do GA em lugar do WoS traria resultados diferentes. A maioria dos pesquisadores 1-A na Saúde Coletiva é de epidemiologistas, com padrão de publicação mais próximo das ciências naturais ou exatas, como a Imunologia; portanto, estão bem representados na WoS. Na Saúde Coletiva, há docentes das subáreas ciências sociais em saúde e política e gestão de serviços de saúde, cujos perfis de publicações e citações se aproximam das ciências sociais em geral, que têm menor cobertura de indexação e de registro de citações na WoS do que no GA. Isso ocorre porque parte significativa das publicações das ciências sociais é feita em forma de livros ou outros tipos de documentos, capturados pelo GA, não indexados na Scopus ou na WoS.

A emergência do GA e de interfaces que maximizam a sua utilização traz a um novo patamar as discussões sobre a medida do impacto bibliométrico das publicações cientificas. Áreas com fortes componentes profissionais, em que o conhecimento produzido é e deve ser publicado também na língua nativa, vis-a-vis sua divulgação junto à comunidade científica internacional, têm padrão de publicações e citações científicas diferente de áreas exclusiva ou predominantemente acadêmicas.

As diferenças dos índices-h encontradas nas três fontes estão relacionadas a características particulares dessas fontes. A WoS pertence a Thomson Reuters, terceira maior companhia editorial do mundo, que cobra pelo seu acesso. É a mais tradicional das bases e a mais utilizada, inclusive nas instituições de pesquisa no Brasil. A Scopus, desenvolvida pela Elsevier, segunda maior companhia editorial do mundo, é privada e de acesso pago. Apesar de ser mais jovem, é forte competidora da WoS. Tem cobertura mais ampla de revistas científicas, inclusive de outras línguas que não a inglesa e publicadas fora do eixo América do Norte-Europa Ocidental. De acordo com informações disponíveis nos respectivos portais, a base Scopus apresentava 19.500 revistas em 2012, mais de 240 eram brasileiras. Na WoS, dos mais de 12 mil periódicos indexados, cerca de 140 eram brasileiros. O GA, por sua vez, está inserido no mais popular engenho de busca de informações em toda a World Wide Web .

Um dos primeiros autores a comparar essas três fontes destacou diferenças entre elas que precisavam ser mais bem esclarecidas.11. Bar-Ilan J. Which h-index? A comparison of WoS, Scopus and Google Scholar. Scienciometrics. 2008;74(2):257-71. DOI: http://dx.doi.org/10.1007/s11192-008-0216-y
http://dx.doi.org/10.1007/s11192-008-021...
Enquanto Bar-Ilan11. Bar-Ilan J. Which h-index? A comparison of WoS, Scopus and Google Scholar. Scienciometrics. 2008;74(2):257-71. DOI: http://dx.doi.org/10.1007/s11192-008-0216-y
http://dx.doi.org/10.1007/s11192-008-021...
encontrou variações para cima e para baixo entre os índices-h estimados pelo GA em comparação com as duas outras fontes,11. Bar-Ilan J. Which h-index? A comparison of WoS, Scopus and Google Scholar. Scienciometrics. 2008;74(2):257-71. DOI: http://dx.doi.org/10.1007/s11192-008-0216-y
http://dx.doi.org/10.1007/s11192-008-021...
no presente estudo o GA gerou sistematicamente resultados mais altos, com diferenças estatisticamente significantes para a Saúde Coletiva e a Medicina.

Essas divergências podem dever-se ao fato de que, no seu início, os índices eram estimados diretamente do GA sem a possibilidade de exclusão de citações não referentes a artigos ou de homônimos. Porém, a criação do Publish-or-Perish (PorP) e, mais recentemente, uma nova interface desenvolvida pela própria Google (o comando my citations no GA) trouxeram melhorias ao sistema, gerando redução das inconsistências. As diferenças atuais de resultados entre os índices-h do GA em comparação às outras duas bases podem melhor refletir diferenças reais nos números de publicações e citações.

A pesquisadora que desenvolveu o software PorP chama a atenção para a superioridade do GA em estimar índices-h de pesquisadores de áreas científicas aplicadas e áreas sociais e humanas em especial, cujos periódicos científicos estão pouco cobertos pelas duas bases utilizadas.77. Harzing AW,Van-der-Wal R. A Google Scholar H-Index for journals: an alternative metric to measure journal impact in economics &business? J Am Soc Inf Sci Technol. 2009;60(1):41-6. DOI: http://dx.doi.org/10.1002/asi.20953
http://dx.doi.org/10.1002/asi.20953...
Uma vantagem do GA é não depender de bases de dados comerciais fechadas. Ao indexar referências e citações disponíveis na web , o GA torna-se mais aberto e permite acessar larga base de informações que não está indexada na Scopus nem na WoS.

A abordagem dos engenhos de busca também tem desvantagens. Aceita maior grau de “sujeira” nas informações obtidas, i.e., a inclusão de publicações e citações de artigos não científicos, o que traz limitações, exige mais cuidados na sua manipulação e na construção dos índices, e faz com que o GA tenha adeptos e detratores.66. Harzing AWK, Van-der-Wal R. Google Scholar: the democratization of citation analysis? Ethics Sci Environ Polit. 2008; (1):61-73. DOI: http://dx.doi.org/10.3354/esep00076
http://dx.doi.org/10.3354/esep00076...
, 1010. Jacso P. Metadata mega mess in Google Scholar. Online Inf Rev. 2009;34(1):175-91. DOI: http://dx.doi.org/10.1108/14684521011024191
http://dx.doi.org/10.1108/14684521011024...
O fato de a estimativa do índice-h depender de um número de publicações que é um pequeno percentual do total das publicações de um pesquisador ativo faz com que seja mais simples verificar as publicações e suas respectivas citações que entraram no cálculo do índice, excluindo as menções indevidas.

O conhecimento das vantagens e imperfeições de cada uma das fontes utilizadas permitirá o uso mais produtivo dos tais índices bibliométricos, explorando melhor o potencial de cada um. Isso pode evitar sua utilização como forma de controle acadêmico ou de criação de (falsas) hierarquias entre pesquisadores e instituições de pesquisa.

A variação do índice-h decorrente da fonte bibliográfica ou do engenho de busca em que é aplicado não é uma deficiência inerente a essa medida. Contudo, há insuficiências do próprio índice que são destacadas por alguns autores. Acumulam-se críticas sobre o uso desse indicador, sejam de caráter mais geral em relação ao uso de índices que tenham por base as citações como medida do impacto científico, sejam as relacionadas especificamente a esse indicador. As críticas mais gerais afirmam que o uso de citações pode ser afetado por fatores de diferentes ordens: sociais, políticos ou geográficos, e contestam a relação entre “popularidade” para gerar número elevado de citações e clara expressão da efetiva qualidade científica.1313. Lindsey D. Using citation counts as a measure of quality in science measuring what’s measurable rather than what’s valid. Scientometrics. 1989;15(3-4):189-203. DOI: http://dx.doi.org/10.1007/BF02017198
http://dx.doi.org/10.1007/BF02017198...
Em perspectiva mais radical, alguns arguem que o uso de métricas científicas, em especial as bibliometrias, é parte de um projeto maior que visa impor um quantified control das atividades acadêmicas.33. Burrows R. Living with the h-index? Metric assemblages in the contemporary academy. Sociol Rev. 2012;60(2):355-72. DOI: http://dx.doi.org/10.1111/j.1467-954X.2012.02077.x
http://dx.doi.org/10.1111/j.1467-954X.20...

Críticas mais específicas ao índice-h destacam o fato de ele ser dependente do tempo. Ele é cumulativo e tem relação com o número de citações, mas também com o número de publicações. Um autor com dez publicações com milhares de citações nunca terá um índice-h maior do que 10. Esse aspecto é importante e o próprio Hirsch99. Hirch JE. Does the h index have predictive power? Proc Natl Acad Sci USA. 2007;104(49):19193-8. DOI: http://dx.doi.org/10.1073/pnas.0707962104
http://dx.doi.org/10.1073/pnas.070796210...
(2007) definiu em artigo original que o índice serviria para avaliar pesquisadores em um mesmo estágio da carreira. O indice-h é útil para comparar os cientistas mais produtivos, que geralmente possuem maior tempo de atuação no seu campo, o que justificou a escolha pelos pesquisadores 1-A do CNPq.22. Bornmann L,Hans-Dieter D. What Do We Know About the h Index? J Am Soc Inf Sci Technol. 2007;58(9):1381-5. DOI: http://dx.doi.org/10.1002/asi.20609
http://dx.doi.org/10.1002/asi.20609...
Outra desvantagem do índice-h refere-se ao fato de poder ser manipulado por meio de autocitação ou outros mecanismos.

Outro aspecto relevante a comentar é a variação do índice-h entre áreas científicas. Uma comparação entre os índices-h dos membros das dez áreas científicas da Academia de Brasileira de Ciências mostrou que as médias mais altas dos índices-h, calculados com base na WoS, estavam nas áreas de Biomedicina, Saúde e Química (23, 20 e 19, respectivamente), médias baixas encontravam-se nas áreas de Ciências da Terra, Engenharias e Matemática (9, 8, e 7, respectivamente) e médias praticamente nulas na área de Ciências Humanas (1).1111. Kellner AW, Ponciano LC. H-index in the Brazilian Academy of Sciences: comments and concerns. An Acad Bras Cienc. 2008;80(4):771-81. DOI: http://dx.doi.org/10.1590/S0001-37652008000400016
http://dx.doi.org/10.1590/S0001-37652008...

A utilização de bases adequadas às especificidades de cada campo do conhecimento é fundamental. Isso possibilita tornar mais robusta a utilização do índice-h para informar a performance de pesquisadores, grupos e instituições de pesquisa e de orientar as promoções de cientistas, o fomento da pesquisa e a formação de pessoal.

REFERÊNCIAS

  • 1
    Bar-Ilan J. Which h-index? A comparison of WoS, Scopus and Google Scholar. Scienciometrics. 2008;74(2):257-71. DOI: http://dx.doi.org/10.1007/s11192-008-0216-y
    » http://dx.doi.org/10.1007/s11192-008-0216-y
  • 2
    Bornmann L,Hans-Dieter D. What Do We Know About the h Index? J Am Soc Inf Sci Technol. 2007;58(9):1381-5. DOI: http://dx.doi.org/10.1002/asi.20609
    » http://dx.doi.org/10.1002/asi.20609
  • 3
    Burrows R. Living with the h-index? Metric assemblages in the contemporary academy. Sociol Rev. 2012;60(2):355-72. DOI: http://dx.doi.org/10.1111/j.1467-954X.2012.02077.x
    » http://dx.doi.org/10.1111/j.1467-954X.2012.02077.x
  • 4
    Cronin B, Meho L I. Using the h-index to rank influential information scientists. J Am Soc Inf Sci Technol. 2006;57(9):1275-8. DOI: http://dx.doi.org/10.1002/asi.20354
    » http://dx.doi.org/10.1002/asi.20354
  • 5
    Dalgaard P. Introductory Statistics with R. 2 ed. New York: Springer Science; 2008.
  • 6
    Harzing AWK, Van-der-Wal R. Google Scholar: the democratization of citation analysis? Ethics Sci Environ Polit. 2008; (1):61-73. DOI: http://dx.doi.org/10.3354/esep00076
    » http://dx.doi.org/10.3354/esep00076
  • 7
    Harzing AW,Van-der-Wal R. A Google Scholar H-Index for journals: an alternative metric to measure journal impact in economics &business? J Am Soc Inf Sci Technol. 2009;60(1):41-6. DOI: http://dx.doi.org/10.1002/asi.20953
    » http://dx.doi.org/10.1002/asi.20953
  • 8
    Hirsch JE. An index to quantify an individual’s scientific research output. Proc Natl Acad Sci USA. 2005;102(46):16569-72. DOI: http://dx.doi.org/10.1073/pnas.0507655102
    » http://dx.doi.org/10.1073/pnas.0507655102
  • 9
    Hirch JE. Does the h index have predictive power? Proc Natl Acad Sci USA. 2007;104(49):19193-8. DOI: http://dx.doi.org/10.1073/pnas.0707962104
    » http://dx.doi.org/10.1073/pnas.0707962104
  • 10
    Jacso P. Metadata mega mess in Google Scholar. Online Inf Rev. 2009;34(1):175-91. DOI: http://dx.doi.org/10.1108/14684521011024191
    » http://dx.doi.org/10.1108/14684521011024191
  • 11
    Kellner AW, Ponciano LC. H-index in the Brazilian Academy of Sciences: comments and concerns. An Acad Bras Cienc. 2008;80(4):771-81. DOI: http://dx.doi.org/10.1590/S0001-37652008000400016
    » http://dx.doi.org/10.1590/S0001-37652008000400016
  • 12
    Lacasse JR, Hodge DR, Bean KF. Evaluating the productivity of social work scholars using the h-index. Res Soc Work Pract. 2011;21(5):599-607. DOI: http://dx.doi.org/10.1177/1049731511405069
    » http://dx.doi.org/10.1177/1049731511405069
  • 13
    Lindsey D. Using citation counts as a measure of quality in science measuring what’s measurable rather than what’s valid. Scientometrics. 1989;15(3-4):189-203. DOI: http://dx.doi.org/10.1007/BF02017198
    » http://dx.doi.org/10.1007/BF02017198
  • 14
    Norris M, Oppenheim C. Comparing alternatives to the Web of Science for coverage of the social sciences’ literature. J Informetr. 2007;1(2):161-9. DOI: http://dx.doi.org/10.1016/j.joi.2006.12.001
    » http://dx.doi.org/10.1016/j.joi.2006.12.001
  • 15
    Ouimet M, Bedard PO, Gelineau F. Are the h-index and some of its alternatives discriminatory of epistemological beliefs and methodological preferences of faculty members? The case of social scientists in Quebec. Scientometrics. 2011;88(1):91-106. DOI:http://dx.doi.org/10.1007/s11192-011-0364-3
    » http://dx.doi.org/10.1007/s11192-011-0364-3
  • 16
    Pereira JCR,Bronhara B. H-index of Collective Health professors in Brazil. Rev Saude Publica. 2011;45(3):599-606. DOI:http://dx.doi.org/10.1590/S0034-89102011005000027
    » http://dx.doi.org/10.1590/S0034-89102011005000027

  • Artigo disponível em português e inglês em: www.scielo.br/rsp
  • a
    Ministério de Ciência e Tecnologia. Conselho Nacional de Desenvolvimento Científico e Tecnológico. Resolução Normativa n° 9, de 24 de abril de 2009. Brasília (DF); 2009.
  • b
    Harzing AW. Publish or Perish. Version 3.0.3813. Londres; 2010 [citado 2013 jan]. Disponível em: www.harzing.com/pop.htm

Datas de Publicação

  • Publicação nesta coleção
    Jun 2013

Histórico

  • Recebido
    1 Set 2012
  • Aceito
    21 Fev 2013
Faculdade de Saúde Pública da Universidade de São Paulo São Paulo - SP - Brazil
E-mail: revsp@org.usp.br