Resumos

Introdução

Na conjuntura brasileira atual, onde os conceitos de "produtividade", "controle de qualidade", "dicotomia público-privado" têm sido cada vez mais enfatizados, a avaliação das instituições de ciência e tecnologia deve ser colocada em destaque na agenda dos cientistas e tecnólogos, não como uma submissão ao projeto neo-liberal, mas como uma forma de superação do isolamento do setor público em relação à sociedade.

Nesse sentido, a difusão da produção científica pode ser vista como uma das dimensões utilizadas na avaliação do desenvolvimento científico em áreas específicas do conhecimento, podendo apresentar-se, simultaneamente, como um instrumento de alocação de recursos governamentais e servir para melhor entender como ocorre o desenvolvimento científico no interior de uma determinada área. Essa dupla preocupação encontra-se melhor desenvolvida na discussão realizada por Velho (1985)VELHO, L.M.L.S (1985) - Como Medir a Ciência? Revista Brasileira de Tecnologia 16(1):35-41. quanto à necessidade de indicadores de C&T para a formulação de políticas adequadas.

No caso específico da Saúde Coletiva, o conhecimento das características da forma como se dá a difusão da produção científica pode ajudar na compreensão de aspectos fundamentais sobre o intercâmbio dentro do próprio campo acadêmico, entre a área acadêmica e a de serviços, acerca da disseminação através da mídia e articulações com órgãos da sociedade civil.

Nesse sentido, o grupo de trabalho constituído pela ABRASCO para a "Avaliação da Pós-Graduação stricto sensu em Saúde Coletiva" sentiu a necessidade de examinar, e divulgar, ainda que de forma inicial, alguns aspectos da forma pela qual ocorre atualmente a difusão dessa produção, levando-se em conta seus vários formatos e o perfil do público ao qual se dirige.

A CAPES como Fonte de Informação

A base de dados da CAPES tem sido referida como uma importante fonte de informações entre os autores que se dedicam à avaliação de C&T no Brasil (Castro, 1987CASTRO, C.M. (1987) - Há Produção Científica no Brasil? Ciência e Cultura 7(7) supl.:165-186.; Guimarães & Humann, 1995GUIMARÃES, J.A. & HUMANN, M.C. (1995) - Training of Human Resources in Science and Technology in Brazil: the Importance of a Vigorous Post-graduate Program and its Impact on the Development of the Country. Scientometrics 34(1):101-119.; Lemos, 1982LEMOS, A.A.B. (1982) - As Revistas Brasileiras do Setor Saúde. Comunicação e Sociedade 7:85-100.; Leta & de Meis, 1996LETA, J. & de MEIS, L. (1996) - A Profile of Science in Brazil. Scientometrics 35(1):33-44.; Velho, 1985)VELHO, L.M.L.S (1985) - Como Medir a Ciência? Revista Brasileira de Tecnologia 16(1):35-41.. Foi a partir de sua cessão para a ABRASCO que foi possível elaborar esse artigo.

A CAPES, desde 1979, armazena - no banco denominado EXECAPES - informações sobre o desempenho dos cursos de Pós-Graduação stricto sensu em todas as áreas e para todo o país, fornecidas pelas respectivas coordenações. A utilização desses dados para estudos sobre a produção científica brasileira tem sido valorizada pelos autores citados, na medida em que a maior parte dessa produção ocorre no âmbito da Pós-Graduação, e acredita-se que seu registro venha sendo progressivamente aperfeiçoado. Neste trabalho foram analisados dados referentes ao período mais recente da história da Pós-Graduação em Saúde Coletiva, o período 1990-95, sendo que a cobertura só é completa para os cursos mais antigos. Entretanto, para se obter uma visão mais abrangente da área, foram incluídos dados dos cursos que entraram em atividade ao longo do período.

No caso específico da difusão da produção científica, a análise passa pelas publicações. No EXECAPES deve-se registrar cada artigo publicado segundo instituição, autor, palavras-chave e características da publicação, num total de 83 variáveis ou campos a serem preenchidos pelos informantes.

O sistema disponibiliza 24 códigos referentes aos diversos tipos de publicação que podem ser resumidos nas categorias utilizadas nas análises e indicadores gerados pela própria CAPES, a saber: artigos e capítulos publicados em revistas e livros nacionais, artigos e capítulos publicados em revistas e livros internacionais, livros no país, livros no exterior, trabalhos completos e resumos apresentados em congressos nacionais, trabalhos completos e resumos apresentados em congressos internacionais, relatórios técnicos e outras. Neste trabalho procurou-se manter esse mesmo padrão.

Apesar da importância dessa fonte de dados, uma primeira apreciação desse módulo evidenciou a existência de problemas referentes à abrangência, e dificuldades com o manuseio de conceitos.

No que se refere à abrangência, é preciso levar em consideração as dificuldades que as coordenações enfrentam para manter atualizado um registro sistemático de informações sobre a produção científica de um conjunto de professores, pesquisadores e alunos cuja vinculação institucional é muito variada. Sendo assim, é preciso ter em conta que a análise dos dados aqui apresentados está sendo influenciada pelo grau de importância dado pelos autores ao registro de suas publicações.

Por outro lado, a qualidade das informações depende, em grande parte, da compreensão que os responsáveis pela alimentação do sistema têm dos conceitos usados para descrever as publicações. Assim, por exemplo, a definição pouco precisa sobre a internacionalidade da publicação - vista às vezes pela sua indexação em bases de dados internacionais e outras pelo país de publicação - faz com que a mesma revista possa ser considerada nacional para alguns e internacional para outros. Outro aspecto que gera diferentes interpretações refere-se à publicação de resumos em anais de congressos, que em alguns cursos são classificados como artigos completos de revistas científicas.

Além disso, a utilização das informações do EXECAPES torna-se bastante difícil dada a falta de padronização da grafia e códigos referentes ao título do periódico, título do evento, linhas de pesquisa vinculadas e palavras-chave.

Tendo em vista que os dados cedidos pela CAPES são dados primários, verificou-se a possibilidade de submetê-los a um tratamento adequado visando a sua correção, sistematização e análise. Diante do volume de informações existente optou-se, inicialmente, pela padronização dos títulos dos periódicos, áreas temáticas e eventos científicos, deixando-se a dos autores para outra ocasião.

Produção Científica

Inicialmente os dados foram tabulados segundo instituição e ano-base de informação independentemente de sua categorização (Tabela 1). Nota-se um crescimento significativo, da ordem de 20,6% ao ano, ao longo do período analisado. Os 9 cursos mais antigos respondem por mais de 70% da produção em todos os anos.

A distribuição desses dados, segundo as categorias anteriormente descritas, revela que artigos e capítulos em publicações nacionais aparecem como a forma predominante (37,4%) de difusão (Tabela 2). Trabalhos e resumos apresentados em congressos nacionais representam 30,3% das publicações. A parte mais significativa das demais publicações encontra-se igualmente distribuída entre artigos e capítulos internacionais, trabalhos e resumos em congressos internacionais e outras publicações. Castro (op. cit.), ao analisar mesma base de dados no início da década de 80, estabeleceu uma relação entre artigos e comunicações de aproximadamente duas comunicações por artigo nas Ciências Biológicas, Exatas e da Terra; quatro artigos por comunicação nas Engenharias e Ciências Humanas; 16 artigos por comunicação nas Profissões Sociais. No caso da Saúde Coletiva essa relação é de 1,2 artigo por comunicação.

Sem levar em conta as diferenças entre os períodos analisados verifica-se que a relação observada distancia-se bastante dos valores encontrados por Castro para as diversas áreas. Uma comparação com dados mais atualizados poderia esclarecer se essa discrepância permanece, ou se é fruto de uma tendência mais geral de valorizar o congresso como forma de difusão.

Em termos relativos, a tendência predominante parece ser a da progressiva substituição de artigos e capítulos de livro por apresentações em congressos nacionais e internacionais (Tabela 2 e Gráfico 1). Essa mudança poderia estar relacionada com a introdução dos novos cursos que tenderiam a privilegiar essa forma de difusão.

Entretanto, quando o volume de artigos e apresentações em congresso é corrigido pelo número de docentes permanentes (Tabela 3), há indícios que apontam para uma discreta e progressiva elevação na produtividade por apresentações em congresso (IND2), o que não parece ser o caso da produtividade por artigo e capítulos (IND3).

Considerando-se todo o período analisado, a produtividade por docente permanente foi da ordem de 3 publicações anuais por docente, o que inclui também as publicações dos alunos (Tabela 3). No caso dos artigos e capítulos de livro, evidencia-se para todo o período um índice médio de 1,4 publicações anuais por docente, que sofreu pouca variação ao longo do período.

Uma outra evidência revelada por esses dados refere-se à elevada produtividade dos novos cursos, resultante na manutenção do indicador "publicações por docente" (IND1) nos anos mais recentes, o que leva a concluir que seu desempenho é semelhante ao dos cursos mais consolidados. A confirmação dessa situação pode ser verificada na Tabela 4.

Um aspecto importante que se observa é a grande variação que a produtividade, em termos de publicação por docente, pode apresentar, devido a eventos localizados (por exemplo, congressos) ou mudanças institucionais, que venham a alterar de maneira brusca o número de docentes vinculados a um dado curso (por exemplo, aposentadoria em massa, migração de docentes para outros departamentos). Nesse caso, as médias de séries históricas são indicadores mais confiáveis para avaliar esse desempenho.

Considerando-se o perfil da composição segundo formatos de publicação de um subconjunto de cursos que apresentam uma produção consistente ao longo do período analisado, nota-se que não há um padrão único e sim uma diversidade muito grande entre eles (Gráfico 2). De qualquer forma é importante notar que, em alguns casos, o peso das apresentações em congressos no conjunto da produção é muito grande.

Os dados da CAPES também permitem observar o perfil das publicações no que se refere ao número de autores por artigo ao longo do período analisado (Tabela 5). Observa-se que 45% dos artigos têm apenas um autor, 17% têm dois autores, 11% têm 3 autores e os restantes 27% têm 4 ou mais autores. Analisando-se a evolução ao longo dos 6 anos, a tendência mais evidente parece ser o crescimento contínuo dos artigos com 2 autores. A falta de padronização no preenchimento dos formulários impede aprofundar a análise voltada para a identificação de associações entre autores nacionais e internacionais.

Divulgação por Revistas

As revistas constituem o formato de difusão mais apropriado para a avaliação da quantidade e também da qualidade da produção científica permitindo verificar, entre outros aspectos, o estágio em que se encontram as várias áreas do conhecimento, o desempenho de centros de pesquisa, os principais autores em diferentes campos e padrões de colaboração científica. O desenvolvimento da cientometria - quantificação da ciência - nas últimas décadas, em parte devido ao próprio crescimento do volume de publicações e das inovações tecnológicas no campo da informática, resultou na criação, no âmbito do Institute for Scientific Information (ISI), nos Estados Unidos, da base de dados conhecida como Current Contents e do Science Citation Index (SCI). A primeira contém os autores e títulos dos artigos publicados, e o SCI inclui também as referências bibliográficas citadas pelos autores, a partir de um conjunto de revistas científicas selecionadas (em torno de 3000 títulos).

A busca bibliográfica que o SCI permite realizar é incomparavelmente superior às possibilidades de outras bases de dados, na medida em que a identificação de um artigo e suas referências constitui uma forma mais abrangente de mapear os principais interlocutores e instituições num determinado campo do conhecimento. Por outro lado, pela sua própria concepção, há uma limitação importante dada pela seletividade das revistas que o compõem, que pode fazer com que sua utilização, para efeitos cientométricos e mesmo de busca bibliográfica, seja inadequada em muitos casos onde as publicações de uma área não sejam representativas. Evidentemente, o processo de seletividade das publicações tende a configurar uma situação que é alvo de críticas generalizadas, já que a produção científica americana aparece com mais destaque do que a de outros países do primeiro mundo, a produção dos países periféricos está sub-representada, e a língua inglesa aparece como dominante (Colman et al., 1995COLMAN, A.N.; DHILLON, D. & COULTHARD, B. (1995) - A Bibliometric Evaluation of the Research Performance of British University Politics Departments: Publications in Leading Journals. Scientometrics 32(1):49-66.; Glänzel, 1996GLÄNZEL, W. (1996) - A Bibliometric Approach to Social Sciences. National Research Performances in 6 Selected Social Sciences Areas, 1990-1992. Scientometrics 35(3):291-307.; Macias-Chapula, 1995MACIAS-CHAPULA, C.A. (1995) - Primary Health Care in Mexico: a "non-ISI" Bibliometric Analysis. Scientometrics 34(1):63-71.; Nagpaul, 1995NAGPAUL, P.S. (1995) - Quasi-quantitative Measures of Research Performance: an Assessment of Construct Validity and Reliability. Scientometrics 33(2):169-185).

Neste artigo, a análise dos dados da CAPES para o período 1990-95 refere-se a 1748 artigos, equivalentes a 98,5% do total de artigos registrados. Na análise dos títulos foram consideradas duas categorias: revistas publicadas no país e revistas publicadas no exterior, que são as utilizadas pela CAPES. Evidentemente, essas categorias não são indicativas da abrangência nacional ou internacional da circulação das revistas, nem de sua qualidade. Foram necessárias algumas correções para manter a homogeneidade do conceito: artigos publicados no Brazilian Journal of Medical and Biological Research (2 casos) e na Revista de Saúde Pública (3 casos), que constavam como publicações no exterior, passaram para a categoria de publicação no país; artigos publicados no Boletín de la Oficina Panamericana (3 casos), que constavam como publicados no país, passaram para a categoria publicados no exterior. Todos os artigos publicados em revistas ou jornais de grande circulação, que estavam erroneamente incluídos em revistas científicas, foram realocados para a categoria "outras".

Os pesquisadores da área utilizaram, nesse período, 532 periódicos para a difusão de sua produção científica, cobrindo tanto áreas mais próximas ao campo da saúde coletiva como também revistas das áreas clínicas e biológicas (Tabela 6).

No caso das revistas publicadas no país foram identificados 335 títulos, sendo que, ao longo dos 6 anos, em apenas 40 delas foram publicados um ou mais artigos por ano (Tabela 7). Entre as revistas onde foram publicados mais de 20 artigos, ao longo dos 6 anos analisados, apenas duas delas, Revista de Saúde Pública e Memórias do Instituto Oswaldo Cruz, chegaram a ser incluídas na base de dados do ISI. Por outro lado, incluem-se entre as revistas analisadas aquelas de caráter estritamente acadêmico, ao lado de revistas de divulgação e informes técnicos. Nota-se também que há revistas mais voltadas para o campo multidisciplinar da Saúde Coletiva e revistas mais especificamente vinculadas ao campo das ciências biológicas. Além disso, há revistas onde só aparecem autores de uma determinada instituição ao lado de revistas que recebem autores de filiações diversas.

Refinar essa informação é uma tarefa necessária, porque nenhum estudioso do campo da cientometria discorda em relação a esta questão, ou seja, que a revista científica, para ser considerada como tal, tem de preencher determinadas formalidades, sendo as mais citadas dentre elas: revisão de pares como condição de publicação de um artigo, regularidade quanto à periodicidade da revista, aceitação de idioma além do idioma nacional e qualidade gráfica.

Entre as revistas estrangeiras verificou-se que em apenas 10 delas foram publicados um ou mais artigos por ano no período analisado (Tabela 8). As duas primeiras circulam principalmente em países da América Latina.

Ao se analisar a difusão da produção científica dos cursos de Pós-Graduação localizados em instituições que também são editoras de revistas científicas, nota-se uma expressiva tendência a que a divulgação ocorra nessas publicações. Essa tendência é evidenciada até mesmo no caso da FSP/USP e da ENSP/FIOCRUZ, onde a maior parte dos artigos é publicada em outros periódicos (Tabela 9). Esse fato deve receber a atenção dos editores na medida em que pode significar um isolamento dos pesquisadores e da instituição, e ausência de intercâmbio científico.

Conclusões

Os dados armazenados no sistema CAPES constituem importante instrumento para analisar a produção e a produtividade científica no campo da Saúde Coletiva, mas a falta de padronização de alguns campos (nome dos autores, títulos das revistas, títulos dos congressos, por exemplo) impede um uso mais preciso dos dados. No presente caso, a análise das publicações segundo áreas temáticas ressentiu-se de uma melhor definição das áreas de concentração dos cursos e de inconsistências na classificação das publicações nas linhas de pesquisa às quais estão vinculadas.

Uma análise detalhada dos artigos publicados nas duas revistas mais freqüentemente utilizadas pelos pesquisadores da área - Revista de Saúde Pública e Cadernos de Saúde Pública - permitiu identificar a magnitude de alguns problemas. Em primeiro lugar, chamou a atenção o fato de ter sido observado um sub-registro na base da CAPES da ordem de 42,5%, o que significa que o número de artigos por docente permanente encontra-se subestimado. Em segundo lugar, foram identificados erros em 37,8% das referências, tais como apresentadas e aceitas pelo sistema da CAPES. Esses erros incluíam: duplicação de registros (19,6% dos registros), códigos errados de publicações que não eram artigos científicos, como, por exemplo, resenhas (13,3%), referências erradas sem que tenha sido possível localizar o artigo nas revistas (8,3%), troca de autor principal por outro (5,3%), e artigos publicados em período anterior ao ano de 1990 (1,3%).

A superação desses problemas passa por um esforço conjunto a ser realizado tanto pelos responsáveis pelo gerenciamento do banco de dados como pelos coordenadores dos cursos e responsáveis pela alimentação do sistema. As medidas a serem tomadas devem ser no sentido de introduzir críticas que evitem as duplicações e padronizem os campos a serem preenchidos, para que a recuperação e análise dos dados possam ser feitas de forma correta.

Do ponto de vista metodológico seria importante realizar uma sistematização entre revistas científicas stricto sensu e revistas de divulgação, com e sem conselho editorial. Da mesma forma, seria ilustrativo distinguir as revistas segundo os vários tipos de editores (associações científicas, universidades, hospitais, laboratórios farmacêuticos e assim por diante) identificando-se a tiragem, periodicidade e indexação em bases de dados bibliográficos regionais e internacionais. Essa questão tem sido apontada há mais de uma década na literatura especializada (Lemos, 1982LEMOS, A.A.B. (1982) - As Revistas Brasileiras do Setor Saúde. Comunicação e Sociedade 7:85-100.).

Embora tenha-se tratado aqui da difusão da produção científica através das revistas, é preciso não esquecer da importância dos congressos como modalidade de difusão dos resultados das investigações feitas na área. Nesse caso, o sistema deveria gerar informações a partir dos dados relativos à periodicidade do evento, temas focalizados, participação de alunos e docentes segundo vinculação com o Mestrado ou o Doutorado, identificação de conferências, comunicações, posters e critérios de publicação dos Anais, bem como distinguir os eventos onde artigos científicos foram submetidos à revisão de pares.

Considerando-se a importância que a análise das citações vem recebendo para medir o impacto da produção científica, seria igualmente desejável a construção de novos instrumentos que pudessem facilitar essa tarefa. Uma primeira aproximação, ainda muito incipiente, analisando-se a bibliografia citada em quatro volumes dos Cadernos de Saúde Pública, que compreende pouco mais de cem artigos de autores vinculados à Pós-Graduação, demonstra algumas particularidades da área de Saúde Coletiva que devem ser pensadas (Tabela 10).

Para os 103 artigos publicados foram encontradas 2786 citações, correspondendo a 27 citações por artigo. Entretanto, é muito baixo o número de citações nas duas revistas mais importantes da área (em torno de 2,0%), o que pode representar uma limitação importante na construção de bases de dados que tenham as citações como principal objeto. Da mesma forma, apenas cerca de 60% dessas citações foram de volumes publicados no período 1990-96, o que remete à discussão existente na área da cientometria sobre o período adequado para a análise de impacto das revistas, que gira em torno de 3 anos para as ciências da vida, e 2 anos para as chamadas ciências duras. Uma impressão que permanece da leitura da bibliografia citada é que diferentes autores tendem a privilegiar determinado tipo de bibliografia (livros, artigos de revista, publicações técnicas), dependendo do tema abordado dentro da diversificada área da Saúde Coletiva. Se essa questão não merecer a devida atenção, pode ocorrer que, numa análise apressada, subáreas fundamentais para a questão da Saúde Pública acabem rotuladas como "improdutivas".

A análise dos dados aqui apresentados indica que a produção e a produtividade na área de Saúde Coletiva vêm crescendo ao longo dos anos 90, verificando-se, entretanto, indícios de um possível deslocamento, em termos relativos, dos artigos e capítulos de livros para apresentações em congresso. Essa constatação reveste-se de um aspecto positivo na medida em que as reuniões científicas constituem momentos importantes de divulgação e difusão de idéias e trocas de experiências, fortalecendo a área no cenário científico nacional e articulando a produção científica com a formulação de políticas públicas. Entretanto, seria importante refletir sobre a necessidade ou não de incluir as apresentações em congresso entre os indicadores de produção científica. Essa mesma preocupação vem sendo formulada por diversos autores na análise da produção científica de outras áreas do conhecimento (Bourke & Butler, 1996BOURKE, P. & BUTLER, L. (1996) - Standard Issues in a National Bibliometric Database: the Australian Case. Scientometrics 35(2):199-207.; Tijsen & Leeuwen, 1995)TIJSEN, R.J.W. & van LEEUWEN, TH.N. (1995) - On Generalising Scientometric Journal Mapping beyond ISI's Journal and Citation Databases. Scientometrics 33(1):93-116..

Quanto às revistas científicas mais comumente utilizadas, verificou-se que 80% da produção é veiculada em periódicos publicados no país, o que em parte é certamente devido ao fato de que os objetos trabalhados estejam voltados para questões nacionais. Embora esse fenômeno seja usual para a América Latina, estudos feitos para outras áreas têm mostrado que o Brasil vem adquirindo maior visibilidade internacional devido a fatores diversos, como, por exemplo, a política mais recente voltada para a pós-graduação e o aumento do trabalho colaborativo de brasileiros com autores estrangeiros (Leta & de Meis, 1996LETA, J. & de MEIS, L. (1996) - A Profile of Science in Brazil. Scientometrics 35(1):33-44.; Meneghini, 1996MENEGHINI, R. (1996) - The Key Role of Collaborative Work in the Growth of Brazilian Science in the Last 10 Years. Scientometrics 35(3):367-373.; Vessuri, 1995)VESSURI, H. (1995) - Recent Strategies for Adding Value to Scientific Journals in Latin America. Scientometrics 34(1):139-161.. O impacto desses fatores na área da Saúde Coletiva ainda não é visível.

Referências bibliográficas

Datas de Publicação