Resumos

INTRODUÇÃO

Em função do imenso esforço dedicado à investigação cientifica e para que seus resultados não fiquem apenas restritos aos “avanços no conhecimento”, espera-se que em algum momento os conhecimentos transformem-se em ações, traduzindo-se em benefícios concretos (materiais ou não materiais) para a sociedade. Esse longo e não linear processo entre conhecimento e ação, ainda que reconhecido e desejável, tem-se mostrado pouco factível e com dificuldades quanto à percepção, consenso, mensuração ou avaliação. Esse processo, genericamente denominado de transferência, tradução ou, mais recentemente, translação do conhecimento, ⁷7 . Guimarães R. Pesquisa Translacional: uma interpretação. Cienc Saude Coletiva. 2013;18(6):1731-44. DOI:10.1590/S1413-81232013000600024
https://doi.org/10.1590/S1413-8123201300... tem sido entendido e interpretado de várias formas. Para alguns, tem sido sempre tentadora a ideia de que o conhecimento produzido pode traduzir-se imediatamente em um fazer concreto, bastando que assim o desejemos. Essa versão voluntarista deixa de lado as distâncias cognitivas, epistemológicas e políticas entre o produzir o conhecimento e o produzir a ação.

Uma outra questão que frequentemente tem sido fonte de confusão refere-se às diferenças entre conhecimento e informação. O conhecimento científico envolve um processo de produção com várias etapas e que em última instância tem o objetivo de modificar o estado do conhecimento anterior disponível. No tocante à informação, o seu objetivo é o de apresentar um fato e como este se configura em um dado momento e contexto. A informação pode ser um conhecimento, porém não um conhecimento científico.

É nesse contexto, em que se misturam informações, conhecimentos, e ações, que estão situados nos programas de avaliação da performance acadêmica e, em especial, da produção do conhecimento científico. A configuração dos programas de avaliação científica deve evidentemente estar relacionada com a configuração dos seus objetos, os programas científicos. Porém, revendo-se os programas de avaliação existentes, observa-se que apenas algumas características centrais da atividade científica são incorporadas nos processos avaliativos, enquanto outras, não menos importantes, não o são ou são secundarizadas.

A ciência, qualquer que seja o seu domínio, é disseminada de forma escrita; qualquer novo conhecimento científico necessita ser escrito, revisto, comentado e verificado, para ser aceito pelos pares. Acrescente-se a isso o fato de que a evolução da ciência tem elementos cumulativos: cada novo projeto necessita registrar e citar o conhecimento antecedente necessário para fundamentar e justificar as novas proposições. Essas características foram as bases para o desenvolvimento dos sistemas de catalogação bibliográfica e, derivados destes, os sistemas para contagem de citações, os quais tornaram possível o desenvolvimento dos vários dos índices bibliométricos atualmente disponíveis (por exemplo, número de citações, fator de impacto e índice-h) e universalmente utilizados nos sistemas de avaliação científica. Com exceção dos sistemas de registros de patentes, que estão restritos a algumas áreas aplicadas da ciência que geram produtos patenteáveis, e que são utilizados na avaliação cientifica, nada mais foi desenvolvido para registrar sistematicamente potenciais efeitos da atividade nos diferentes campos científicos, alem dos efeitos bibliográficos. Não por acaso, a bibliometria, com os seus vários índices, tornou-se a referência da avaliação científica e a principal estratégia de medida “objetiva” do impacto científico de um indivíduo, instituição ou revista, passando a ser praticamente confundida com cienciometria. Isso acontece apesar de todos saberem da sua principal deficiência: o fato de que os índices mensuram apenas uma parte do modus operandi das ciências (publicar e citar), deixando de lado os seus potenciais e variados efeitos não bibliográficos sobre o mundo.

A quantidade e a forma com que se escreve e a intensidade com que se cita varia entre os campos científicos. Entretanto, é importante se reconhecer que não há ciência sem escrita nem ciência sem citação. Assim, a avaliação bibliométrica tornou-se de grande relevância para a avaliação cientifica em geral e central em alguns campos científicos ou modos de fazer ciência. ⁶6 . Gibbons M, Limoges C, Nowotny H, Schwartzmann S, Scott P, Trow M. The new production of knowledge: the dynamics of science and research in contemporary societies. London: Sage; 1994. Contudo, seria de se esperar que essa abordagem tivesse significado menor naqueles campos ou modos de fazer ciência em que se espera por produtos para além da produção ou citação bibliográfica. Essa diferença entre os modos de fazer ciências foi bem estabelecida por Gibbons, ⁶6 . Gibbons M, Limoges C, Nowotny H, Schwartzmann S, Scott P, Trow M. The new production of knowledge: the dynamics of science and research in contemporary societies. London: Sage; 1994. o qual separou a ciência acadêmica tradicional, baseada em disciplinas e centrada em um sistema de mérito que se baseia na publicação e nos seus efeitos detectados pela bibliometria (denominada modo 1), de uma prática científica orientada por problemas, não restrita a disciplinas específicas e cujos produtos vão além das publicações, sem evidentemente excluí-las (denominada modo 2). No entanto, apesar de proposições como a de Gibbons terem forte influência na forma em que se concebe a organização da ciência, o que também se observa é a tendência a não diferenciação dos processos de avaliação, que continuam pesadamente centrados na bibliometria.

Em 2000, em uma das primeiras tentativas de avaliar a excelência da pesquisa em uma área em que predomina o modo 2, a Real Academia de Engenharia da Inglaterra apresentou conjunto inovador de ideias em torno de uma forma de perceber e avaliar os impactos desse modo de fazer ciência. ⁹9 . Royal Academy of Engineering. Measuring excellence in engineering research. London; 2000. É interessante que reafirma a centralidade dos índices bibliométricos nas avaliações do modo 1 e, enquanto o considere necessário, retira a sua centralidade e importância para avaliação do modo 2 de fazer ciência. Para esse modo, são enfatizados elementos tais como os resultados práticos da pesquisa, considerados essenciais na avaliação da sua excelência.

Nessa mesma linha, e utilizando documento anterior como principal referência, em 2002 a Academia Real de Artes Ciências Holandesa publicou documento ¹⁰10 . Royal Netherlands Academy of Arts and Sciences, Council for Medical Sciences. The societal impact of applied health research: towards a quality assessment system. Amsterdam; 2002. em que claramente destaca a importância dos impactos não bibliométricos na avaliação da pesquisa aplicada em saúde. Em primeiro lugar, enfatiza a ampliação da abrangência do impacto bibliométrico para além das citações interpares, ou seja, exclusivamente entre os manuscritos científicos, para incluir outras formas de sua utilização, como, por exemplo, fundamentar documentos de políticas, normas e guias da prática profissional. Destaca a necessidade de focar o impacto da pesquisa aplicada em saúde sobre os provedores e os processos de organização do cuidado em saúde e sobre o processo de desenho, implementação e monitoramento de decisões. Para estabelecer mais claramente tais avanços, propõe discriminar o impacto potencial ( ex-ante ) – transformação das questões sociais em questões de pesquisa – do impacto efetivo ( ex-post ) – como as questões científicas estabelecidas na etapa anterior foram respondidas – e as conclusões científicas subsequentemente traduzidas em soluções práticas ou em implicações políticas.

Passada mais do que uma década do aparecimento desses documentos seminais, observa-se que pouco se avançou para dar concretude às propostas apresentadas. Com exceção da possibilidade de engenhos de busca (tipo Google acadêmico) que recuperam as citações bibliográficas sem as restringir às revistas científicas, ³3 . Barreto ML, Aragão E, Souza LEPF, Santana TM, Barata RB. Diferenças entre as medidas do índice-h geradas em distintas fontes bibliográficas e engenhos de busca. Rev Saude Publica. 2013;47(2):231-8. pouco se produziu para o avanço de novas propostas concretas de avaliação científica, especialmente nas áreas aplicadas, ou modo 2.

Se a avaliação do impacto científico internacionalmente tem sido focada em indicadores bibliométricos, no Brasil esse processo assume algumas características muito particulares. Aqui, a pesquisa acadêmica foi atrelada ao desenvolvimento da pós-graduação. Os programas de pós-graduação, enclausurados em universidades que, se não os rejeita, os mantêm como corpos estranhos, se tornaram os epicentros das atividades de investigação científica e fonte de prestígio da atividade acadêmica. Nos sistemas de avaliação científica, os indicadores bibliométricos (número de publicações, número de citações, fator de impacto das revistas científicas, índice-h dos pesquisadores ou das revistas, entre outros) têm sido avidamente assimilados pelo sistema de avaliação, em consonância com o cenário internacional, denominado por alguns como “quantified control” ⁴4 . Burrows R. Living with the h-index? Metric assemblages in the contemporary academy. Sociol Rev. 2012;60(2):355-72. DOI:10.1111/j.1467-954X.2012.02077.x.
https://doi.org/10.1111/j.1467-954X.2012... das atividades científicas e acadêmicas.

O principal sistema de avaliação científica do País encontra-se na Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e tem por unidade de avaliação os programas de pós-graduação e as atividades científicas realizadas no seu entorno. Talvez sejamos o único país do mundo a usar tal abordagem. Ainda que esse esforço de avaliação, iniciado há mais de 30 anos, tenha sido central para alavancar a pós-graduação no País e as atividades científicas que a fundamentam, surge a necessidade de mudanças substanciais que acompanhem as mudanças de enfoque dado pela sociedade ao desenvolvimento científico, passando a incluir como parâmetros avaliativos as aplicações e inovações geradas pela atividade científica. O enfoque atual baseado em número de artigos, fator de impacto ou índice-h das revistas apresenta imperfeições e insatisfações que já se expressam em termos até de manifestações públicas para o seu banimento como critério para avaliação científica. ¹1 . Alberts B. Impact factor distortions. Science . 2013;340(6134):787. DOI:10.1126/science.1240319 ^{, 5}5 . Ferreira RC, Antoneli F, Briones MRS. The hidden factors in impact factors:aperspective from Brazilian science. Frontiers in Genetics 2013; 4:130. DOI:10.3389/fgene.2013.00130
https://doi.org/10.3389/fgene.2013.00130...

No Brasil, ficam evidentes tanto a necessidade do desenvolvimento de novos parâmetros para avaliação científica que busquem capturar a contribuição dos diferentes modos de fazer ciência, comunidades, instituições e grupos científicos para avanços materiais ou não materiais esperados de ocorrer na sociedade, como uma clara necessidade de transformar esse processo avaliativo em uma atividade que inclua a perspectiva dos diversos financiadores diretos da investigação científica, das instituições que os executa (universidades e institutos de pesquisa) e das expectativas da sociedade em torno das atividades científicas.

Para um projeto de mudança ser realista, torna-se também necessário entender as bases sobre as quais se configurou e se configuram os projetos e as relações de poder no interior e entre as comunidades científicas no nosso país. Nesse sentido, Barata et al ²2 . Barata RB, Portela LE, Aragão E, Barreto ML. The configuration of the Brazilian scientific field. Ann Acad Bras Cienc. 2013. No prelo. mostram que, com base nos critérios atuais de avaliação, a área da saúde, apesar da sua importância para a vida da sociedade brasileira e do seu bom desempenho quando comparada a outras áreas científicas usando parâmetros tradicionais, tem sido historicamente uma das menos aquinhoadas com os investimentos para pesquisa. A proposta de construção do Sistema Único de Saúde, em cumprimento ao princípio estabelecido pela Constituição de 1988 de que a saúde é um direito de todo cidadão e um dever do Estado, gera um imenso desafio político, ⁸8 . Paim J, Travassos C, Almeida C, Bahia L, Macinko J. The Brazilian health system: history, advances, and challenges. Lancet . 2011;377(9779):1778-97. DOI:10.1016/S0140-6736(11)60054-8
https://doi.org/10.1016/S0140-6736(11)60... e também científico e tecnológico. ¹¹11 . Victora CG, Barreto ML, Leal MC, Monteiro CA, Schmidt MI, Paim J, et al. Health conditions and health-policy innovations in Brazil: the way forward. Lancet . 2011;377(9782):2042-53. DOI:10.1016/S0140-6736(11)60055-X
https://doi.org/10.1016/S0140-6736(11)60... Implica na busca de alternativas cientificamente embasadas para um conjunto diversificado de ações que vão do diagnóstico, cura e prevenção de uma variedade de problemas de saúde até a organização de uma macroestrutura capaz de dar amplo e igual acesso aos recursos demandados pela saúde da população. Esses são desafios complexos para os membros da comunidade científica da saúde no País, dos quais se exigirão competência e criatividade e, também, dos quais são esperados produtos que incluam, mas que certamente não poderão se restringir às publicações científicas.

REFERÊNCIAS

Datas de Publicação

Histórico