FÓRUM FORUM

Produção e citação em Saúde Coletiva: um olhar a partir dos periódicos Cadernos de Saúde Pública e Revista de Saúde Pública

Output and citation in Public Health: a perspective based on the journals Cadernos de Saúde Pública and Revista de Saúde Pública

Leandro Carvalho^I; Carlos E. A. Coimbra Jr.^I; Reinaldo Souza-Santos^I; Ricardo Ventura Santos^{I, II}

^IEscola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz, Rio de Janeiro, Brasil
^IIDepartamento de Antropologia, Museu Nacional, Universidade Federal do Rio de Janeiro, Rio de Janeiro, Brasil

Correspondência

RESUMO

O presente trabalho é um estudo bibliométrico comparativo entre as duas principais revistas científicas da área da Saúde Coletiva publicadas no Brasil: Cadernos de Saúde Pública (CSP) e Revista de Saúde Pública (RSP). Foram analisados 24 fascículos de cada periódico, publicados entre 1996 e 2003, construindo uma amostra de 819 artigos (496 de CSP e 323 de RSP). Os seguintes elementos dos artigos foram identificados e analisados: área temática do artigo e padrão de citações de publicações (artigos em periódicos, livros e/ou capítulos de livro, teses/dissertações, documentos de Internet, "literatura cinzenta" e outros tipos de publicações). Os dados encontrados mostram que a maioria dos artigos publicados é da subárea "epidemiologia". O padrão de citação identificado nas revistas foi de citações a artigos em periódico em maior número, seguidas das citações a livros e/ou capítulos de livro. Artigos na subárea "ciências sociais em saúde" publicados em CSP apresentam características distintas, com maior número de citações a livros e capítulos. Os autores argumentam que as informações são relevantes na caracterização da produção da área, com desdobramentos importantes no plano da avaliação acadêmico-científica da Saúde Coletiva no país.

Indicadores Bibliométricos; Publicações Periódicas; Comunicação e Divulgação Científica

ABSTRACT

This is a comparative bibliometric study of the two main scientific journals in the Public Health field in Brazil: Cadernos de Saúde Pública (CSP) and Revista de Saúde Pública (RSP). Twenty-four issues of each periodical were analyzed, published from 1996 to 2003, comprising a sample of 819 articles (496 from CSP and 323 from RSP). The following elements in the articles were identified and analyzed: thematic area of the article and citation pattern of publications (articles in periodicals, books and/or book chapters, theses/dissertations, Internet documents, "gray" literature, and other types of publications). The resulting data showed that the majority of the articles represent the sub-area of "epidemiology". The citation pattern in the journals showed articles in periodicals in first place, followed by citations of books and/or book chapters. Papers in the sub-area "social sciences in health" published in CSP are exceptions, since books and chapters are the most frequently cited. The authors discuss the implications of the findings for the characterization and evaluation of scientific output in Public Health in Brazil.

Bibliometric Indicators; Periodicals; Scientific Communication and Diffusion

Introdução

O presente artigo é uma análise comparativa do perfil de produção e do padrão de citação bibliográfica de dois periódicos científicos da área da Saúde Coletiva – Cadernos de Saúde Pública (CSP) e Revista de Saúde Pública (RSP), tomando por referência as três principais subáreas consideradas como seus alicerces no Brasil ¹: (i) epidemiologia, (ii) planejamento e políticas de saúde e (iii) ciências sociais em saúde. Atualmente, CSP e RSP constituem os periódicos brasileiros mais antigos dedicados à Saúde Coletiva que, desde seus lançamentos, vêm sendo publicados sem interrupção. São amplamente indexados nas principais bases bibliográficas internacionais e, juntos, lideram as estatísticas das revistas mais consultadas na base eletrônica SciELO (Scientific Eletronic Library Online; http://www.scielo.br). Ao longo dos anos, CSP e RSP consolidaram-se como os periódicos onde mais publicam os pesquisadores em Saúde Coletiva, detentores de bolsa de produtividade em pesquisa do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) ^2,3. Além disso, em CSP e RSP é publicada parcela expressiva da produção dos programas de pós-graduação em Saúde Coletiva no país ⁴.

A análise de citações em periódicos científicos pode apontar para as possíveis relações entre autores que integram distintas comunidades acadêmicas definidas segundo critérios como especialidade, nacionalidade, vinculação institucional, dentre outras ^5,6. Além disso, é útil na caracterização dos tipos de referências (artigos, livros ou qualquer outro material) citadas nas diversas áreas científicas ⁷.

Este estudo está estruturado em duas partes. Inicialmente é explorada a composição dos artigos publicados em CSP e RSP, segundo subáreas da Saúde Coletiva (epidemiologia; planejamento e políticas de saúde; ciências sociais em saúde). A seguir, conduz-se uma análise quantitativa descritiva dos padrões de citações dos artigos em cada uma das subáreas nos dois periódicos. Como veremos, os resultados permitem não somente uma apreciação sobre a produção em Saúde Coletiva, como também têm implicações na avaliação da área no país.

Metodologia

Amostra

Foram analisados trabalhos publicados em CSP e em RSP de 1996 a 2003 (volume 12 no caso de CSP e volume 30 no caso de RSP). À época do estudo (primeiro semestre de 2005), os dois periódicos tinham os fascículos dos anos consultados disponíveis eletronicamente na base SciELO. Até 2005, ambos os periódicos mantinham periodicidade bimestral. Foram selecionados aleatoriamente três fascículos regulares por volume de cada periódico, totalizando 24 de cada. Não foram considerados fascículos e suplementos temáticos, pois, por versarem sobre um único assunto, poderiam introduzir vieses na análise ⁸. Somente artigos de pesquisa foram incluídos na amostra. Em CSP, esses artigos são publicados nas seções "Artigo" e "Nota". Já em RSP, os mesmos se encontram nas seções "Artigos Originais" e "Notas e Informações". Os trabalhos publicados em outras seções foram excluídos da análise por serem revisões, resenhas, editoriais ou textos especiais (opiniões e debates) ^8,9.

Variáveis

Foi construída uma planilha eletrônica com as seguintes informações extraídas dos artigos: (1) título do periódico, (2) volume do periódico, (3) fascículo do periódico, (4) subárea temática do artigo, (5) quantidade de artigos de periódicos científicos citados, (6) quantidade de livros e capítulos de livro citados, (7) quantidade de teses e dissertações citadas, (8) quantidade de documentos da Internet citados, (9) quantidade de textos da chamada "literatura cinzenta" citados e (10) quantidade de citações feitas a outros tipos de publicações.

• Descrição das variáveis

As três primeiras variáveis (1-3) foram consideradas como as variáveis básicas da planilha.

No item 4, os artigos foram classificados em uma das seguintes subáreas: "epidemiologia", "planejamento e políticas de saúde", "ciências sociais em saúde". Os artigos que não se inseriam em uma delas foram classificados como "outras subáreas".

Na determinação da subárea temática do artigo, optou-se por seguir os descritores usados em sua indexação, segundo o vocabulário DeCS (Descritores em Ciências da Saúde), disponível na página da Internet da Biblioteca Virtual em Saúde (BVS; http://decs.bvs.br). O vocabulário DeCS é "estruturado em 17 categorias e sua estrutura hierárquica é fundamentada na divisão do conhecimento em classes e subclasses decimais, respeitando as ligações conceituais e semânticas, e seus termos apresentados em uma estrutura híbrida de pré e pós coordenação, com atualização anual" ¹⁰ (p. 153). Das 17 categorias, a mais importante para este trabalho é "Saúde Pública" (SP), que é subdividida em: SP1 – Administração e Planejamento em Saúde; SP2 – Prestação e Cuidados de Saúde; SP3 – Demografia; SP4 – Saúde Ambiental; SP5 – Epidemiologia e Bioestatística; SP6 – Nutrição; SP7 – Reforma do Setor Saúde; SP8 – Desastres; e SP9 – Direito Sanitário.

Para os fins desta análise os artigos foram reclassificados nas seguintes subáreas: (1) "epidemiologia" – aqueles indexados nas subcategorias SP3 (Demografia) e SP5 (Epidemiologia e Bioestatística), além dos artigos indexados com os seguintes qualificadores: estatística e dados numéricos, epidemiologia, mortalidade e prevenção e controle; (2) "planejamento e políticas de saúde" – aqueles indexados nas subcategorias SP1 (Administração e Planejamento em Saúde), SP2 (Prestação de Cuidados de Saúde) e SP7 (Reforma do Setor Saúde); (3) "ciências sociais em saúde" – aqueles indexados na sub-categoria SP9 (Direito Sanitário), além dos artigos classificados com descritores de outros grupos, tais como: economia, antropologia, sociologia, ética, história da saúde e educação em saúde; e (4) "outras subáreas" – aqueles indexados nas subcategorias SP4 (Saúde Ambiental), SP6 (Nutrição) e SP8 (Desastres), além dos artigos que não se encaixaram em nenhuma das subáreas anteriores.

Em cada artigo analisado foram quantificadas as citações aos seguintes tipos de referências (variáveis 5 a 10):

(a) quantidade de citações feitas a artigos em periódicos científicos;

(b) quantidade de citações feitas a livros e/ou a capítulos de livros;

(c) quantidade de citações feitas a teses e/ou dissertações;

(d) quantidade de citações feitas a documentos ou a arquivos presentes na Internet, isto é, textos completos ou não, disponíveis na Internet e que não sejam artigos publicados em periódicos;

(e) quantidade de citações feitas à chamada "literatura cinzenta". Ao contrário da literatura considerada de corrente principal, composta por livros e artigos ¹¹, a "literatura cinzenta", segundo Población ¹² (p. 244), inclui "relatórios de todos os tipos (internos, institucionais, técnicos, de pesquisa, de comissões e outros), as comunicações apresentadas em eventos, os anais e atas de reuniões, as conferências, pré-prints, publicações oficiais, teses, traduções, patentes, normas etc.". Para fins deste trabalho, "literatura cinzenta" foi definida por relatórios/projetos de pesquisa, textos mimeografados, impressões caseiras e apresentações em eventos sem subseqüente publicação em anais ou livro de resumos;

(f) quantidade de citações feitas a publicações não contempladas nos tipos de referências anteriores, tais como: publicações institucionais ou técnicas, leis, portarias e decretos, artigos em jornais diários, artigos em revistas não científicas (cujos artigos não são submetidos à revisão pelos pares), CD-ROM, programas de computador, mapas e anais de eventos. Neste trabalho, o conjunto desses documentos foi classificado como "outros tipos de publicações".

Análise dos dados

Para cada um dos periódicos analisados, foram calculadas as freqüências de artigos publicados segundo as subáreas da Saúde Coletiva determinadas para este estudo. No caso das citações, foram calculadas médias aritméticas e freqüências segundo subárea e tipo de referência.

Foi utilizado o programa Microsoft Excel versão 2002 (Microsoft Corp., Estados Unidos) para a construção da planilha eletrônica. As médias e as freqüências foram calculadas utilizando-se o programa SPSS for Windows, versão 12.0 (SPSS Corp., Chicago, Estados Unidos).

Resultados

Nos fascículos incluídos na amostra, CSP publicou 717 trabalhos, sendo selecionados para análise 496 artigos de pesquisa. Por sua vez, RSP publicou 384 trabalhos, dos quais foram selecionados 323 artigos de pesquisa. O mais elevado número de itens analisados em CSP deve-se à publicação de um maior número de artigos por fascículo no período analisado.

Em ambos os periódicos observou-se um incremento no número de artigos publicados ao longo do período (Tabela 1). Considerando-se os oito anos sob análise, CSP publicou 73% mais artigos no segundo quadriênio se comparado ao primeiro; no caso de RSP, o crescimento foi de 34%.

A seguir os resultados são apresentados em dois níveis: (i) características temáticas dos artigos e (ii) características das citações bibliográficas, segundo subáreas da Saúde Coletiva.

Características temáticas dos artigos

"Epidemiologia" foi a subárea mais representada em ambos os periódicos (Tabela 2). CSP teve 44,6% (221) de seus artigos classificados nesta subárea, e RSP 57,0% (184). "Planejamento e políticas de saúde" participou com 19,0% (94) dos artigos de CSP e 8,0% (26) em RSP. "Ciências sociais em saúde" correspondeu a 6,4% (32) dos artigos publicados em CSP e 2,8% (9) em RSP. Os artigos classificados em "outras subáreas" atingiram níveis semelhantes nos dois periódicos: 30,0% (149) em CSP e 32,2% (104) em RSP. Há diferenças estatisticamente significantes nas freqüências de artigos segundo subáreas entre os dois periódicos (c² = 27,5; g.l. = 3; p = 0,00).

Na análise da evolução temporal da participação das subáreas em CSP, somente em 1996 artigos em "epidemiologia" não tiveram a maior participação (Tabela 2). Os artigos classificados como "outras subáreas" foram freqüentes ao longo do período, variando de 20,4% a 41,5%. Houve a publicação de artigos na subárea "ciências sociais em saúde" em todos os anos, na maior parte deles entre 5% e 10% do total. Quanto aos artigos em "planejamento e políticas de saúde", o total no período alcançou 19,0%, atingindo mais de 20% em quatro dos oito anos analisados.

Quanto à RSP, a subárea "epidemiologia" teve a maior participação em todos os anos, seguida, em ordem decrescente, por "outras subáreas", "planejamento e políticas de saúde" e "ciências sociais em saúde" (Tabela 2). Artigos em "outras subáreas" variaram entre 20,6% e 40,0% do total da amostra analisada. Nos anos de 2001 e 2002 as subáreas "ciências sociais em saúde" e "planejamento e políticas de saúde" tiveram a mesma contribuição relativa (4,4%). Nos anos de 1996, 1997 e 2003 não foram publicados artigos em "ciências sociais em saúde" na amostra de fascículos analisada.

Características das citações

A Figura 1 mostra a média de referências citadas por cada subárea nos dois periódicos. A média total de referências citadas em CSP foi de 25,3, enquanto que em RSP foi de 18,5.

Em CSP, a subárea cujos artigos apresentaram mais citações foi a de "ciências sociais em saúde" seguida, em ordem decrescente, por "epidemiologia", "outras subáreas" e "planejamento e políticas de saúde" (Figura 1). Observou-se uma variação relativamente pequena entre as subáreas, de 28,4 a 22,6. Já em RSP, a subárea que mais concedeu citações foi "epidemiologia", seguida por "ciências sociais em saúde", "outras subáreas" e "planejamento e políticas de saúde" (Figura 1). Houve uma variação expressiva nas médias de citações, segundo subárea, de 20,1 a 4,8.

A Tabela 3 mostra as freqüências de citações concedidas por cada subárea por tipo de referência. Considerando os dois periódicos, foram analisadas 18.521 citações (12.560 em CSP e 5.961 em RSP). Nos artigos publicados em RSP, todas as subáreas citaram mais artigos em periódicos. Em segundo lugar, foram citados livros e capítulos de livros. Em CSP o padrão foi semelhante, à exceção da subárea "ciências sociais em saúde", na qual livros e capítulos de livros foram mais citados que artigos em periódicos. Nas duas revistas, teses e dissertações, documentos de Internet e "literatura cinzenta" constituíram, conjuntamente, menos de 10% das citações e não parece haver diferenças entre as subáreas.

Discussão

Segundo Paim & Almeida Filho ¹ (p. 63), "a Saúde Coletiva pode ser considerada como um campo de conhecimento de natureza interdisciplinar cujas disciplinas básicas são a epidemiologia, o planejamento/administração de saúde e as ciências sociais em saúde". A análise dos artigos publicados em CSP e RSP permite um olhar sobre a Saúde Coletiva no Brasil, já que estes são os periódicos da área de mais longa trajetória e consolidação no país. Tomando como referência dados da produção na pós-graduação (mestrado e doutorado) em Saúde Coletiva compilados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) para o triênio 2001-2004, 12,2% dos artigos foram publicados em CSP e 5,5% em RSP, que foram os periódicos com maior concentração de trabalhos publicados ⁴. Os dois periódicos também veiculam expressiva parcela das publicações dos pesquisadores-bolsistas de produtividade em pesquisa do CNPq, na área de Saúde Coletiva (18,0% em CSP e 8,5% em RSP) ³.

Os resultados deste trabalho mostram um crescimento no número de artigos publicados tanto em CSP como em RSP ao longo do tempo, o que deve estar associado à expansão da área da Saúde Coletiva, cuja uma das expressões é o crescimento da produção científica ⁴. Além disso, a conformação e a diversidade das subáreas analisadas estão expressas nas páginas de ambas as revistas. Não obstante, os resultados evidenciam algumas diferenças importantes entre os conteúdos dos dois periódicos. Por um lado, tanto em CSP (44,6%) como em RSP (57,0%), "epidemiologia" é a subárea com o maior número de artigos publicados. Por outro, se as subáreas de "planejamento e políticas de saúde" e "ciências sociais em saúde" constituem cerca de um quarto da produção de CSP, em RSP alcançam 11%.

As médias de referências citadas nos artigos divergiram entre CSP (25,3) e RSP (18,5). Estudo sobre indicadores bibliométricos de artigos sobre epidemiologia e saúde pública publicados em periódicos científicos espanhóis indicou uma média de 24,4 citações ¹³, que é um valor próximo daquele observado para CSP. O número médio expressivamente menor de citações verificado em RSP está associado à adoção de uma política editorial específica. Do fascículo 1 do volume 33 (fevereiro de 1999) até o fascículo 4 do volume 37 (agosto de 2003), RSP limitou o número de referências a 15 e este intervalo de tempo está incluído no período analisado no presente artigo.

Segundo dados obtidos na base SciELO (http://www.scielo.br, acessado em 19/Dez/2005; http://www.scielosp.org, acessado em 19/Dez/2005), outros periódicos latino-americanos de saúde pública e áreas afins apresentaram médias de citações por artigo próximas daquelas observadas para CSP e no estudo espanhol. Para o período 1997 a 2003, a Revista Panamericana de Salud Pública teve em média 21,5 citações por artigo; Revista do Instituto de Medicina Tropical de São Paulo, 25,0; Memórias do Instituto Oswaldo Cruz, 24,5; e Revista da Sociedade Brasileira de Medicina Tropical, 22,0.

O padrão de citação encontrado neste trabalho se baseou na investigação de mais de 18 mil citações. Considerando as subáreas conjuntamente, foi observado maior percentual de citação de artigos em periódicos do que a citação de livros e capítulos de livros. Esse cenário também foi observado em outros estudos sobre comportamento de citações na área da saúde em revistas estrangeiras. Burdick et al. ¹⁴, ao considerarem artigos publicados em dez revistas, encontraram um maior número de citações a artigos em periódicos, se comparado ao número de citações feitas a livros e/ou capítulos de livros. Vishwanatham ¹⁵, ao analisar outro conjunto de periódicos, encontrou o mesmo quadro: 56,9% das citações feitas a artigos em periódicos e 23,4% a livros e/ou capítulos de livros.

Se em um plano mais geral há semelhanças entre os dois periódicos brasileiros e o que se observa para revistas estrangeiras da área da saúde, análises mais pormenorizadas sinalizam para particularidades significativas nos padrões de citação interna à área da Saúde Coletiva no país. No caso de CSP foi observado um gradiente de maior número de citações a periódicos nos artigos da subárea "epidemiologia", seguido por aqueles em "planejamento e políticas de saúde". Já os artigos em "ciências sociais em saúde" publicados em CSP citam, proporcionalmente, mais livros e capítulos do que artigos em periódicos. O cenário que emerge da análise de RSP apresenta paralelos, mas com uma diferença substancial: os artigos da subárea "ciências sociais em saúde" não somente citam mais artigos que livros e capítulos, como a proporção é próxima daquela observada nos artigos de epidemiologia. Vale ressaltar que o número de artigos em "ciências sociais em saúde" de RSP é pequeno, apenas 9, de modo que quaisquer conclusões devem ser vistas com cautela. Deriva-se dessas análises que, na análise das citações, é fundamental desagregar os dados de modo a dar visibilidade à heterogeneidade interna à área da Saúde Coletiva.

Tanto em CSP como em RSP são proporcionalmente baixas as citações a teses e dissertações, documentos da Internet e à "literatura cinzenta", não alcançando 10% do total. A propósito, são citadas pelos artigos mais teses e dissertações que documentos da Internet, o que é um achado inesperado, considerando a expansão da Internet na última década.

Tal como conduzido neste trabalho, a análise de citações através de uma abordagem quantitativa constitui estratégia de "objetivar" uma realidade sócio-científica extremamente complexa. É importante estar atento para os limites de uma abordagem como essa. Por exemplo, mesmo que livros e capítulos, do ponto de vista quantitativo, sejam menos freqüentes nas citações de artigos na área de epidemiologia, de modo algum isto deve ser interpretado como se os mesmos tivessem uma menor relevância na área. Isso fica evidente no trabalho de Porta et al. ¹⁶, que investigou as citações de livros em artigos de epidemiologia a partir da base de dados do Institute for Scientific Information/Thomson Scientific. Ainda que livros e capítulos constituam uma pequena fração das citações, os mais citados são, em geral, de natureza metodológica e, conseqüentemente, centrais à subárea. Segundo Porta et al. ¹⁶ (p. 50), as análises sobre as citações de livros em artigos de epidemiologia "oferecem um rico retrato das influências acadêmicas e tendências de métodos epidemiológicos e interpretação em saúde pública, medicina clínica e outras ciências da saúde, da vida, e sociais (...) [Além disso] podem contribuir para avaliar os esforços dos epidemiologistas para demarcar a epidemiologia e afirmar sua autoridade epistemológica, e para analisar algumas influências históricas de forças econômicas, sociais e políticas sobre as pesquisas epidemiológicas".

As diferenças nos padrões de citação entre as subáreas, particularmente evidentes em CSP, têm implicações significativas. Há um importante e longo debate na comunidade da Saúde Coletiva no Brasil em relação à especificidade da área e também à sua heterogeneidade interna ^1,17,18,19. Na avaliação dos programas de pós-graduação, por exemplo, essa discussão assume contornos particularmente evidentes, já que um dos eixos norteadores é a análise da produção científica de pesquisadores e programas. Na Saúde Coletiva, assim como na área da saúde como um todo, tem sido atribuído maior peso à produção veiculada na forma de artigos em periódicos. Em decorrência, tem havido questionamentos quanto aos critérios de avaliação, devido à sua possível pouca sensibilidade para identificar e valorizar outras formas de veiculação da produção científica. Em anos recentes tem amadurecido propostas visando a qualificar, também, livros e capítulos como itens relevantes da produção científica em Saúde Coletiva ^4,20. Como destaca Barros ⁴ (p. 49), "é prioritário discutir questões voltadas à produção na forma de livros e capítulos e estudar com profundidade as diferentes bases de indexação e fontes de indicadores bibliométricos".

Em conclusão, a análise da produção e das citações em CSP e RSP evidenciou particularidades dos dois periódicos, ao mesmo tempo em que permitiu tecer considerações sobre o uso diferenciado de materiais bibliográficos, por meio de citações, nas principais subáreas da Saúde Coletiva no Brasil. São informações relevantes na caracterização da produção da área, com desdobramentos importantes no plano da avaliação acadêmico-científica da Saúde Coletiva no país.

Colaboradores

L. Carvalho realizou a coleta e análise de dados e redigiu o artigo. C. E. A. Coimbra Jr., R. Souza-Santos e R. V. Santos participaram da análise dos dados e revisaram as versões inicial e final do artigo.

Referências

1. Paim JS, Almeida Filho N. A crise da saúde pública e a utopia da saúde coletiva. Salvador: Casa da Qualidade Editora; 2000.        

2. Guimarães R, Lourenço R, Cosac S. A pesquisa em epidemiologia no Brasil. Rev Saúde Pública 2001; 35:321-40.        

3. Barata RB, Goldbaum M. Perfil dos pesquisadores com bolsa de produtividade em pesquisa do CNPq da área de saúde coletiva. Cad Saúde Pública 2003; 19:1863-76.        

4. Barros AJD. Produção científica em saúde coletiva: perfil dos periódicos e avaliação pela Capes. Rev Saúde Pública 2006; 40(N Esp):43-9.        

5. Schoonbaert D. Citation patterns in tropical medicine journals. Trop Med Int Health 2004; 9:1142-50.        

6. Pérez-Matos NE. La bibliografía, bibliometría y las ciencias afines. ACIMED 2002; 10(3). http://bvs.sld.cu/revistas/aci/vol10_3_02/Aci012002.htm (acessado em 10/Out/2005).        

7. Clements KW, Wang P. Who cites what? Econ Rec 2003; 79:229-44.        

8. Pérez-Andrés C, Estrada-Lorenzo JM, Villar-Álvarez F, Rebollo-Rodríguez MJ. Estudio bibliométrico de los artículos originales de la Revista Española de Salud Pública (1991-2000). Parte primera: indicadores generales. Rev Esp Salud Pública 2002; 76:659-72.        

9. Pardo C, Reolid M, Delicado M-V, Mallebrera E, García-Meseguer M-J. Nursing research in Spain: bibliometrics of references of research papers in the decade 1985-1994. J Adv Nurs 2001; 35:933-43.        

10. Pellizzon RF. Pesquisa na área da saúde. 1. Base de dados DeCS (Descritores em Ciências da Saúde). Acta Cir Bras 2004; 19:153-63.        

11. Población DA, Noronha DP. Produção das literaturas "branca" e "cinzenta" pelos docentes/doutores dos programas de pós-graduação em ciência da informação no Brasil. Ciênc Inf 2002; 31:98-106.        

12. Población DA. Literatura cinzenta ou não convencional: um desafio a ser enfrentado. Ciênc Inf 1992; 21:243-6.        

13. Álvarez-Solar M, López-González ML, Cueto-Espinar A. Indicadores bibliométricos, análisis temático y metodológico de la investigación publicada en España sobre epidemiología y salud pública (1988-1992). Med Clin (Barc) 1998; 111:529-35.        

14. Burdick AJ, Butler A, Sullivan MG. Citation patterns in the health sciences: implications for serials/monographic fund allocation. Bull Med Libr Assoc 1993; 81:44-7.        

15. Vishwanatham R. Citation analysis in journal rankings: medical informatics in the library and information science literature. Bull Med Libr Assoc 1998; 86:518-22.        

16. Porta M, Fernández E, Puigdomènech E. Book citations: influence of epidemiologic thought in the academic community. Rev Saúde Pública 2006; 40(N Esp):50-6.        

17. Caponi S, Rebelo F. Sobre juízes e profissões: a avaliação de um campo disciplinar complexo. Physis (Rio J) 2005; 15:59-82.        

18. Campos GWS. Saúde pública e saúde coletiva: campo e núcleo de saberes e práticas. Ciênc Saúde Coletiva 2000; 5:219-30.        

19. Kerr-Pontes LRS, Pontes RJS, Bosi MLM, Rigotto RM, Silva RM, Bezerra Filho JG, et al. Uma reflexão sobre o processo de avaliação das pós-graduações brasileiras com ênfase na área de saúde coletiva. Physis (Rio J) 2005; 15:83-94.        

20. Barros AJD, Santos RV. Avaliação da pós-graduação em saúde coletiva no Brasil. Cad Saúde Pública 2007; 23:254-5.        

Correspondência:
L. Carvalho
Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz.
Rua Leopoldo Bulhões 1480
Rio de Janeiro, RJ 21041-210, Brasil.
lfc@ensp.fiocruz.br

Recebido em 28/Jun/2006
Versão final reapresentada em 31/Jul/2007
Aprovado em 01/Set/2007