Do ponto de vista dos usuários imediatos das revistas, isto é, autores e leitores, as bases de indexação são os meios mais eficientes de disseminação de resultados de pesquisas e de realização de levantamentos bibliográficos. Ao consultar uma dessas bases, além de acesso ao título e ao resumo de um determinado artigo, na maioria dos casos o leitor interessado também poderá obter o endereço dos autores, mesmo sem acesso à revista na qual o trabalho foi publicado. Portanto, pesquisadores de diferentes países interessados em um determinado tema, por mais que não tenham contato, têm a oportunidade de se comunicar, solicitar separatas e trocar informações.

Já para os editores, a indexação de um periódico nas principais bases de dados internacionais representa muito mais do que um veículo de disseminação de informação científica. A inclusão de revistas em determinadas bases consideradas como de maior prestígio tem sido percebida por número crescente de profissionais (tanto pesquisadores como aqueles ligados a atividades de fomento) como parâmetro indicativo da qualidade de um periódico e, por extensão, dos artigos neste publicados, gerando acirrada competição entre editores, autores e instituições financiadoras de pesquisa.

É importante indicar que a indexação da bibliografia científica não se constitui em "invenção" recente, fruto da era da informática. Tampouco foi criada com o objetivo de avaliar a qualidade de revistas e, muito menos, de artigos. A indexação bibliográfica teve início no final do século XIX e no início do XX, resultante da iniciativa de grupos de pesquisadores que, impossibilitados de acompanhar de seus bureaus a crescente quantidade de materiais que se publicava ao redor do mundo sobre um determinado assunto, viram-se impelidos a desenvolver sistemas que racionalizassem e facilitassem o acesso às informações. Por exemplo, em 1864, a Zoological Society of London e o British Museum of Natural History iniciaram a publicação do Zoological Records. Entre 1917 e 1918, surgiram o Abstracts of Bacteriology e o Botanical Abstracts, compilados, respectivamente, pela Society of American Bacteriologists e por um grupo de editores de revistas norte-americanas de botânica. O sucesso desses dois abstracts foi tamanho que, poucos anos depois de seus lançamentos, foram fundidos e vieram a constituir o Biological Abstracts, integrante da base BIOSIS, hoje com mais de 13 milhões de referências (vide http://www.biosis.org).

Na área das ciências da saúde em geral, o Index Medicus, compilado pela National Library of Medicine (Washington, D.C.) desde 1879, é a base bibliográfica mais utilizada em todo o mundo. A partir de meados dos anos 60, as referências passaram a ser informatizadas, vindo a constituir o sistema MEDLARS (Medical Literature Retrieval System), que atualmente integra cerca de quarenta bases de dados, dentre as quais a MEDLINE, que é a mais conhecida e utilizada. Desde 1997, o sistema MEDLINE passou a ter o seu acesso on-line gratuito, o qual, em sua totalidade, inclui cerca de nove milhões de referências bibliográficas (80% das quais em inglês), retrospectivas a 1966, oriundas de cerca de 3.900 revistas de mais de setenta países (vide http://www.ncbi.nlm.nih.gov).

Não é objetivo desse texto apresentar em detalhe cada uma das bases internacionais de informação bibliográfica potencialmente úteis à área das ciências da saúde. Dentre várias outras bases relevantes, em especial no que se refere à saúde pública/saúde coletiva, destacam-se, em ordem alfabética, CAB Abstracts, EMBASE/Excerpeta Medica, LILACS e Sociological Abstracts. A meu ver, o importante é destacar o fato de que, em seu conjunto, essas bases tornaram-se instrumentos essenciais na disseminação da informação científica. Da perspectiva dos autores, publicar em revistas indexadas nas bases mais amplamente utilizadas pelos pesquisadores de sua especialidade aumenta tremendamente as chances que seus trabalhos venham a ser lidos e citados. Da parte dos editores de revistas científicas, desde longa data, é inviável ignorar ou subestimar a relevância da indexação, tanto na divulgação do periódico, como na captação de trabalhos daqueles pesquisadores mais reconhecidos numa determinada área do conhecimento.

Ao longo do tempo e numa escala global, a inclusão de um título por parte dos indexadores ditos mais tradicionais passou a ser vista como atributo que confere prestígio à publicação. A avaliação da qualidade de um determinado periódico não foi uma intenção daqueles que iniciaram os sistemas de informação bibliográfica em ciência; contudo, nos dias de hoje, essa associação entre indexação e avaliação de qualidade está cada vez mais corrente. Historicamente, as bases tendiam a não ser seletivas, procurando incluir o maior número possível de itens sobre um determinado assunto. Com o passar do tempo, tornou-se cada vez mais difícil assegurar uma cobertura universal. Lembremo-nos de que, até muito pouco tempo, as várias etapas que compunham o processo de indexação eram feitas manualmente e incluíam, dentre outras tarefas, a datilografia (ou, mais modernamente, a digitação) de títulos, autores, endereços e resumos publicados em uma determinada revista. Ou seja, uma tarefa extremamente laboriosa, em custos e em tempo. O aumento exponencial do número de artigos produzidos anualmente e o contínuo surgimento de novas revistas tornaram inviáveis a compilação de indexes que englobassem toda a bibliografia mundial sobre um determinado tema, como anteviam os pioneiros da indexação no século XIX. Conseqüentemente, a depender dos objetivos específicos de cada sistema de informação bibliográfica (o que inclui sua especialidade temática, público etc.), critérios de seleção de periódicos a serem ou não incluídos foram desenvolvidos e implementados.

É enorme a polêmica em torno dos critérios de inclusão de periódicos nas principais bases de indexação. Para dizer o mínimo, a concepção e a implementação desses critérios têm gerado verdadeiras batalhas entre editores, pesquisadores/autores, técnicos de órgãos de fomento, bibliotecários, enfim, entre aqueles envolvidos nas diversas instâncias do processo de produção e divulgação de conhecimento científico. Algumas bases têm por política anunciar publicamente esses critérios. No caso do MEDLINE, por exemplo, um comitê técnico coordenado pela própria diretora da National Library of Medicine reúne-se periodicamente com o objetivo de avaliar novas propostas de inclusão de revistas ou a eventual retirada de títulos cobertos pela base. Dentre os vários pontos considerados na avaliação dos títulos a serem incluídos ou eliminados do MEDLINE, destacam-se mérito científico, regularidade, qualidade editorial, disponibilidade de bons resumos em inglês, aspectos técnicos gerais da publicação (tipo de papel utilizado, qualidade de impressão e acabamento, etc.), entre outros.

Por mais que se autodefina como uma base de informação bibliográfica internacional (e sua cobertura é certamente ampla comparada à de outras bases), na prática, o MEDLINE confere uma atenção especial às revistas médicas da América do Norte. Afinal, arquivar, indexar e disponibilizar a literatura médica norte-americana são atribuições institucionais da National Library of Medicine, que é ligada à agência federal National Institutes of Health. Não é motivo de surpresa, portanto, o fato de estarem indexadas no MEDLINE revistas norte-americanas de restritíssima circulação internacional, editadas por associações médicas de pouca expressão além de âmbitos estaduais e/ou regionais.

Realisticamente falando, não há por que esperar que o MEDLINE ou qualquer outra base de informação bibliográfica estrangeira tenham que, necessariamente, incluir a totalidade das revistas publicadas no mundo. A Inglaterra e a França, por exemplo, desenvolveram suas próprias bases, respectivamente os sistemas CAB e PASCAL, que se tornaram, à semelhança do MEDLINE, importantíssimos canais na disseminação da produção científica oriunda desses países. O caso do PASCAL merece ser destacado, pois, mesmo definindo-se como uma base de escopo internacional (inclui, por exemplo, 22 títulos publicados na América Latina), sua ênfase é na cobertura de publicações francesas, inclusive dissertações e teses. Essa base permite não apenas a realização de levantamentos bibliográficos, como também a realização de estudos bibliométricos (Patou, 1996/ 1997). Diversos outros países europeus e asiáticos criaram seus próprios sistemas de indexação e de alerta bibliográfico. Estes, sem a pretensão de atingir cobertura internacional, são importantes instrumentos que atendem a necessidades nacionais no que diz respeito à disseminação de informação e avaliação da produção científica (vide, por exemplo, Abstracts of Bulgarian Scientific Medical Literature, Index Medicus Yugoslavicus, China Medical Abstracts).

Mais recentemente, o projeto SciELO (http: //www.scielo.br), em desenvolvimento no Brasil mediante um consórcio envolvendo a FAPESP (Fundação de Amparo à Pesquisa do Estado de São Paulo) e a BIREME (Biblioteca Regional de Medicina/OPS), pretende disponibilizar textos completos de uma seleção de revistas científicas brasileiras em diferentes áreas do conhecimento, com o objetivo de maximizar sua disseminação. O projeto também visa à constituição de uma base bibliográfica nacional que permita, a médio e longo prazo, a realização de pesquisas bibliométricas e de "impacto"de citações, a exemplo dos estudos que se realizam com base nos indicadores fornecidos pelo Institute for Scientific Information (ISI).

É possível que nenhum outro produto gerado pelos sistemas de informação suscite tanta polêmica como aqueles oriundos das bases bibliográficas do ISI. Assim sendo, é importante tecer alguns comentários a respeito do uso e, freqüentemente, mau uso de certos índices bibliométricos derivados dessas bases. Na América Latina, a polêmica surge e se acirra a partir do momento em que instituições de pesquisa e de fomento, por não disporem de bases de informações bibliográficas nacionais adequadas, adotam os índices de citação e impacto gerados pelo ISI, através de seus Science Citation Index e Social Sciences Citation Index. O Journal Citation Reports, outro produto do ISI, também tem sido utilizado por alguns como o gold standard (padrão-ouro) para avaliação dos periódicos editados na região.

Os critérios de inclusão de periódicos adotados pelo ISI não são baseados na premissa de atingir uma cobertura representativa (no sentido estatístico) da ciência produzida nos diversos países e regiões do mundo. Por exemplo, revistas publicadas fora do eixo anglo-saxão, incluindo aquelas editadas em línguas como o espanhol e o português, estão pouquíssimo representadas nas bases bibliográficas deste Instituto (Sancho, 1992; Macias-Chapula, 1994; Spinak, 1995; Gil-Arnao et al., 1998). O próprio Eugene Garfield, diretor emérito do ISI, afirma que a constituição dessas bases não é orientada pelo princípio da representatividade geográfica. As revistas cobertas pelo Instituto constituem o que Garfield denomina como a "porção do leão" (the lion's share) da literatura científica mundial, isto é, aquelas revistas mais lidas, citadas e, supostamente, de maior "impacto" (Garfield, 1995:88). A idéia de impacto, que é aplicável ao trabalho de pesquisadores, instituições e/ou revistas, é derivada dos primeiros estudos realizados que valeram-se das bases bibliográficas disponibilizadas pelo ISI, vindo posteriormente a originar a idéia de literatura de "corrente principal", ou mainstream, ou seja, aquela que responderia pelo maior número de citações (Price, 1963). Obviamente, a quantidade de citações está relacionada, entre outros fatores, à língua na qual se publica, procedência do pesquisador e tamanho da comunidade de investigadores em um determinado campo científico.

Esse princípio do lion's share tem repercussões profundas no que diz respeito à indexação da bibliografia científica em saúde coletiva publicada na América Latina. A representação da região no ISI faz-se com apenas cerca de uma dúzia de periódicos, editados na Argentina, Brasil, Chile e México (Garfield, 1995). No que se refere à presença de autores da região, apenas 1,5% do total de artigos indexados anualmente pelo ISI são de pesquisadores oriundos da América Latina (Garfield, 1995). É, portanto, no mínimo questionável a adoção dos parâmetros ISI para a avaliação da produção científica (medida através do número de papers publicados em revistas indexadas pelo ISI) e da qualidade das revistas editadas na região.

A utilização dos fatores de impacto gerados pelo ISI para avaliar a qualidade da produção científica na América Latina resulta num quadro extremamente distorcido e incompleto, mas que não deixa de estar imbuído de importantes implicações políticas. É fundamental ficar claro que a utilização de tais fatores não tem o mesmo potencial de avaliação para as diversas áreas de conhecimento. O impacto está associado não somente à qualidade intrínseca do conhecimento científico gerado, como também a uma complexa configuração política e sociológica relacionada às possibilidades de incorporação de conhecimentos produzidos em contextos regionais/locais nas bases internacionais de indexação, cujos critérios têm suas próprias contingências. A área da saúde coletiva/saúde pública, tanto na América Latina, quanto em diversas outras partes do mundo, sob a óptica que norteia uma base como o ISI, ocupa e, arrisco dizer, sempre ocupará uma posição "periférica" em relação às áreas ditas básicas (biologia, química, medicina experimental, etc.).

Em relação à saúde pública latino-americana, há uma enorme variabilidade interna no que diz respeito às suas disciplinas constitutivas, o que vem associado a práticas de publicação e citação particulares. Para o editor de uma revista nessa área, lidar com um quadro de tamanha heterogeneidade representa, por si, um tremendo desafio. Não raro, num mesmo fascículo, são publicados artigos em ciências sociais, epidemiologia, avaliação nutricional, microbiologia de alimentos, toxicologia, política de medicamentos e controle de vetores, para mencionar somente uma fração dos temas eventualmente cobertos. Vale lembrar que essas diversas áreas apresentam "culturas" acadêmicas próprias. Por exemplo, se comparados a trabalhos em ciências sociais, aqueles em epidemiologia, principalmente os de orientação biomédica, proporcionalmente tendem a citar maior número de artigos publicados em revistas. As ciências sociais, por sua vez, tendem a citar mais freqüentemente livros, capítulos, teses e relatórios. Hicks (1999), dentre outros autores, recomenda cautela na utilização dos índices de citação do ISI para a realização de estudos bibliométricos em ciências sociais, pois cerca de 40% ou mais das citações nessa área referem-se a livros ou capítulos de livro (materiais que não são indexados).

Ademais, expressiva parcela da produção acadêmica latino-americana em saúde coletiva é constituída por trabalhos de orientação sócio-política ou sócio-antropológica, áreas do conhecimento que apresentam padrões de citação particulares. Não se pode, portanto, deixar de levar em consideração as inter-relações entre essas especificidades e os resultados obtidos a partir do cálculo de índices de impacto gerados através das bases do ISI, cuja lógica, como vimos, estrutura-se sobre outros pressupostos. Logo, ao contrário do que nos pode sugerir um índice de impacto de valor numérico x ou y atribuído a um determinado autor ou revista, não se está necessariamente próximo de uma caracterização imparcial e/ou objetiva do mérito de um trabalho e/ou publicação.

É interessante notar que essas reflexões não são particulares às revistas latino-americanas de saúde pública. Por exemplo, nenhuma revista estrangeira da área, como o American Journal of Public Health ou o International Journal of Epidemiology, figuram na lista das 50 mais citadas, que é periodicamente divulgada pelo ISI (a propósito, tampouco constam da lista das 100 mais citadas). Uma visita à página na internet do ISI revela que as revistas de saúde pública também não aparecem na badalada seção What's Hot in Research (http://www.isinet.com/hot/research/19990419/a.html). A título de curiosidade, o hot paper in medicine referente ao primeiro bimestre de 1999 diz respeito a um ensaio terapêutico anti-HIV publicado em 1997 no New England Journal of Medicine (o mesmo recebeu 35 citações num período de dois meses). Na área das ciências da vida, os artigos que mais comumente figuram nesse tipo de lista são oriundos de revistas como Cell Biology, Biochemistry, Genomics ou Genetics.

O impacto das revistas de saúde pública, em especial no que concerne à América Latina, há de ser medido ou avaliado por outros meios, não se limitando à ortodoxia quantitativista dos indicadores ISI. A avaliação do impacto é revestida de maior complexidade do que geralmente vem sido atribuída. Como adverte Velho (1986), no estudo da sociologia das citações não se pode deixar de considerar, além de fatores mais óbvios como língua e acessibilidade da publicação, o descrédito por parte de pesquisadores vinculados aos centros de excelência do Primeiro Mundo em relação às publicações oriundas de países cientificamente periféricos.

Segundo estudo bibliométrico realizado por Cruz (1995), que incluiu uma amostra de 45 revistas biomédicas latino-americanas no período compreendido entre 1985 e 1992, foram publicados 8.644 artigos, que, por sua vez, geraram 82.143 citações. O Boletín de la Oficina Sanitaria Panamerica (atualmente, Revista Panamericana de Salud Pública) foi a publicação mais citada (38% do total de citações). Vale notar que, no que pese sua comprovada importância para a disseminação dos resultados de pesquisa em saúde pública na região, o Boletín não é indexado pelo ISI (Cruz, 1995; Spinak, 1995). Ainda segundo Cruz (1995), o que poderíamos considerar como o hot paper em saúde pública no período foi um estudo sobre doença de Chagas transfusional, publicado em 1972, e que foi citado 18 vezes durante os oito anos compreendidos pela pesquisa. Dois importantes pontos derivam dessa observação. Primeiro, pode-se concluir que mesmo os hot papers em saúde pública apresentam uma taxa de citação infinitamente menor que seus equivalentes em medicina experimental e biologia (nessas áreas não é raro artigos virem a receber dezenas de citações em poucos meses). Obviamente, o tamanho das comunidades científicas e a velocidade de produção de informação estão intimamente associados ao número de citações que um artigo venha a receber. Em segundo lugar, um estudo sobre doença de Chagas jamais poderia vir a se tornar um hot paper do ISI, pois, simplesmente, trata-se de uma endemia que, essencialmente, diz respeito à América Latina e cujo estudo não está na pauta de prioridades de investigação dos centros europeus ou norte-americanos.

Em suma, alguns dos pontos que considero particularmente importantes em relação à indexação da literatura científica latino-americana, em especial na área da saúde pública, são os seguintes: (a) os editores de periódicos latino-americanos em saúde pública devem proceder estudos cuidadosos das publicações sob sua responsabilidade, com vistas a ampliar sua presença em sistemas de informação bibliográfica nacionais e internacionais; (b) em virtude da própria natureza da investigação em saúde pública, que não raro cobre temáticas locais/regionais e que apresenta padrões de citação particulares, não faz sentido nos lançarmos numa corrida desenfreada buscando aumentar os índices de impacto segundo o ISI; (c) critérios alternativos aos índices de impacto devem ser desenvolvidos visando a um melhor conhecimento da literatura e a um entendimento mais amplo do processo de produção científica na América Latina. Afinal, como amplamente sabido, a pesquisa em saúde pública pode ter impactos sobre políticas, planejamento de estratégias de intervenção e de programas de saúde, ou sobre a organização de serviços, que de muito extrapolam a mera quantificação de referências/citações bibliográficas.

Referências

CRUZ, A., 1995. Influencia de las publicaciones de la OPS en la producción científica en salud en América Latina y el Caribe. Boletín de la Oficina Sanitaria Panamericana, 119:515-528.         

GARFIELD, E., 1995. Quantitative analysis of the scientific literature and its implications for science policymaking in Latin America and the Caribbean. Bulletin of the Pan American Health Organization, 29:87-95.         

GIL-ARNAO, F.; RODULFODEGIL, E.; RIVERA, V. & MOLINA, J., 1998. El español en los índices SCI y SSCI. Lapso 1981-1995. Interciencia, 23:33-40.         

HICKS, D., 1999. The difficulty of achieving full coverage of international social science literature and the bibliometric consequences. Scientometrics, 44:193-215.         

MACIAS-CHAPULA, C. A., 1994. Non-SCI subject visibility of the Latin American scientific production in the health field. Scientometrics, 30:97-104.         

PATOU, C., 1996/97. The PASCAL and FRANCIS data bases of the Institut d'Information Scientifique et Technique (France): Presentation and statistics. Publishing Research Quarterly, 12:24-35.         

PRICE, D. S., 1963. Little Science, Big Science. New York: Columbia University Press.         

SANCHO, R., 1992. Misjudgments and shortcomings in the measurement of scientific activities in less developed countries. Scientometrics, 23:221-233.         

SPINAK, E., 1995. Quantitative analyses of scientific literature and their validity for judging Latin American Production. Bulletin of the Pan American Health Organization, 29:352-359.         

VELHO, L., 1986. The "meaning" of citation in the context of a scientifically peripheral country. Scientometrics, 9:71-89.