Resumos

INTRODUÇÃO

Ao considerar a engenhosidade dos critérios de meritocracia engendrados pela CAPES para qualificar programas de pós-graduação, é necessário tanto aperfeiçoar seus mecanismos quantitativos como explorar novas maneiras de avaliar impacto de pesquisadores e de programas.

Ao acompanhar um processo de credenciamento de mestrado como coordenador da pós-graduação, publiquei um artigo de opinião com o título: “Há muitos doutores, mas faltam ‘empreendedores sociais’”. ¹1 . Akerman M. Há muitos doutores, mas faltam empreendedores sociais. Diario Grande ABC. 2005 ago 7:13.

Empreender ou aventurar-se seria o resultado esperado da tríade “pesquisa-ensino-extensão” e que mecanismos combinados de avaliação necessitam ser colocados em prática. Como menciona Ribeiro, RJR, “a universidade se tornará verdadeiramente universidade, quando o príncipe (a pesquisa) beijar o sapo (a extensão)” (Almeida Filho, 2007). ⁸8 . Almeida Filho N. Universidade nova: textos críticos e esperançosos. Brasília/Salvador: Editora UnB/EDUFBA; 2007.

E como fazer isso? Talvez captando também quando a pesquisa “serve à humanidade e não apenas à ciência”.

Tomando-se emprestada a expressão de Packer, ^aaPacker A. Comunicação pessoal; 2012. de que “um médico pode ter lido um artigo científico e ter salvado duas vidas”, ao não informar isso de maneira sistematizada à comunidade científica, “ele ajudou a humanidade, mas não a ciência”. Dessa forma, o autor do artigo lido pelo médico jamais saberá desse impacto causado pelo artigo.

Ainda, Packer ^aaPacker A. Comunicação pessoal; 2012. (2012) afirma que a comunidade científica reconhece a necessidade desse tipo de qualificação da pesquisa ou de sua repercussão na vida de sujeitos, mas que, por não haver ainda uma metodologia validada, continuaremos a usar os métodos já consagrados de cienciometria ³3 . Akerman M, Bousquat A. Mapa de risco da violência das cidades de São Paulo, Curitiba, Salvador e Rio de Janeiro. Sao Paulo Perspec. 2000;13(4):112-20. DOI: 10.1590/S0102-88391999000400012
https://doi.org/ 10.1590/S0102-883919990... para avaliar o impacto de revistas, artigos e pesquisadores.

Essa tentativa de qualificar o impacto de uma pesquisa/artigo/pesquisador não seria subterfúgio de quem jamais conseguirá níveis quantitativos competitivos ao fazer uso de arroubos qualitativistas? Não chegamos a nenhuma conclusão quanto a essa insinuação. Segundo Packer ^aaPacker A. Comunicação pessoal; 2012. (2012), a “ciência das citações” também estaria suscetível à Lei de Pareto, conhecida como “princípio 80-20”, no qual 80% das citações estariam sempre sendo atribuídas a 20% dos pesquisadores. Coimbra Jr. ¹⁰10 . Coimbra Jr CEA. Produção científica em saúde pública e as bases bibliográficas internacionais. Cad Saude Publica. 1999;15(4):883-8. DOI: 10.1590/S0102-311X1999000400022
https://doi.org/ 10.1590/S0102-311X19990... discute que a área de saúde pública não está representada na “porção do leão” das revistas mais citadas, nem mesmo as revistas internacionais, como o American Journal of Public Health e o International Journal of Epidemiology .

Para aqueles 80% de pesquisadores, com número inferior de citações, estariam reservadas “migalhas” do fomento à pesquisa? Qual desse contingente de pesquisas tem maior potência de ajuda para a humanidade? Há outras formas de avaliar impacto de artigos que não apenas a cienciometria das citações?

O objetivo deste artigo foi sugerir possibilidades para uma análise qualitativa do impacto de uma produção científica.

POSSÍVEL PONTO DE PARTIDA

Em 1993 ampla pesquisa, realizada sobre “Saúde e Ambiente: estudo dos diferenciais intraurbanos em países em desenvolvimento, em Acra, capital de Gana, e São Paulo, Brasil”, ¹⁶16 . Stephens C, Timaeus I, Akerman M, Avle S, Maia PB, Campanário P, Harpham T. Field study: São Paulo, Brazil. In: Stephens C, organizador. Environment and health in developing countries: an analysis of intra-urban differentials using existing data. London: London School of Hygiene and Tropical Medicine; 1994. p. 49-80. mostrou a existência de um gradiente social em relação ao risco de morrer por algumas doenças crônicas selecionadas, causas externas, doenças respiratórias e enfermidades infecciosas quando se compararam diferentes áreas geográficas nas cidades estudadas. ⁷7 . Akerman M, Stephens C, Campanario P, Maia PB. Saúde e meio ambiente: uma análise de diferenciais intra-urbanos enfocando o Município de São Paulo, Brasil. Rev Saude Publica. 1994;28(4):320-5. DOI: 10.1590/S0034-89101994000400013
https://doi.org/ 10.1590/S0034-891019940... ^{, 14}14 . Stephens C, Akerman M, Maia PB. Health and environment in São Paulo, Brazil: methods of data linkage and questions for policy. World Health Stat Q. 1995;48(2):95-107. ^{, 15}15 . Stephens C, Akerman M., Avle S, Maia PB, Campanário P, Doe B, Tetteh D. Urban equity and urban health: using existing data to understand inequalities in health and environment in Accra, Ghana and Sao Paulo Brazil. Environ Urban. 1997;9(1):181-202.

Mais do que um estudo epidemiológico ecológico de diferenciais intraurbanos, praticou-se o exercício negociado de construção de indicadores compostos, ^bbAkerman M. Diferenciais intra-urbanos de saúde: estudo de caso de macrolocalização de problemas como estratégia de influenciar políticas públicas In: Equidade e saúde: contribuições da epidemiologia. Rio de Janeiro: ABRASCO; 1997. v.1, p. 177-86. , ^ccAkerman M. Metodologia de construção de indicadores compostos: um exercício de negociação intersetorial In: Condições de vida e saúde. Rio de Janeiro: ABRASCO; 1997. v.1, p. 95-113. que influenciou um conjunto de pesquisas em violência, qualidade de vida e exclusão/inclusão social. ⁴4 . Akerman M, Massei W, Cabral S, Broch A, Cremonese A, Alves TS, et al. A concepção de um projeto de observatório de qualidade de vida: relato de uma experiência realizada em Campinas. Saude Soc. 1997;6(2):83-100. DOI: 10.1590/S0104-12901997000200010
https://doi.org/ 10.1590/S0104-129019970...

5 . Akerman M. Qualidade de vida e exclusão: quanto custa incluir? Debates Socioambient. 1996;2(4):8-9. ^{- 6}6 . Akerman M, Bousquat A Mapa de risco da violência da cidade de São Paulo. São Paulo: Centro de Estudos de Cultura Contemporânea; 1996.

Uma dessas pesquisas foi o Mapa de Risco da Violência da cidade de São Paulo. ⁶6 . Akerman M, Bousquat A Mapa de risco da violência da cidade de São Paulo. São Paulo: Centro de Estudos de Cultura Contemporânea; 1996. Essa iniciativa e os mapas de Risco da Violência das cidades de Curitiba, PR, Rio de Janeiro, RJ, e Salvador, BA, ³3 . Akerman M, Bousquat A. Mapa de risco da violência das cidades de São Paulo, Curitiba, Salvador e Rio de Janeiro. Sao Paulo Perspec. 2000;13(4):112-20. DOI: 10.1590/S0102-88391999000400012
https://doi.org/ 10.1590/S0102-883919990... fizeram parte do esforço do Governo Federal para elaborar o Plano Nacional de Direitos Humanos, elaborado em 1996, pelo Ministério da Justiça.

Optou-se por divulgar os resultados desses mapas coloridos, em formato de boletim, de fácil leitura e divulgação como dispositivo para informar políticas e sensibilizar a sociedade para a magnitude da violência urbana.

Dentro dessa lógica, foi decidido divulgar os resultados do mapeamento da violência na cidade de São Paulo, com exclusividade, na imprensa paulista.

A matéria, com a manchete “Jardim Ângela é o lugar mais perigoso do mundo”, ^ddFolha de São Paulo. Jardim Ângela é o lugar mais perigoso do mundo, 1996, caderno cotidiano, página 3. introduzia a reportagem com os resultados da pesquisa baseando-se em um pequeno gráfico que comparava as taxas de mortalidade por homicídios em Cali e Medellín, Colômbia, com bairros da cidade de São Paulo, onde a taxa do Jardim Ângela superava as taxas das duas cidades colombianas, consideradas muito violentas naquela época.

Posteriormente, houve uma queda vertiginosa nas taxas de violência no bairro Jardim Ângela que perdura atualmente. Houve uma queda de 73,3% no índice de homicídios, conforme texto abaixo:

Não se pretende com essa narrativa estabelecer uma relação de causa-efeito direta entre a manchete provocada pela mídia em 1996 e a importante redução das taxas de homicídio em 2005. Entretanto, essa manchete repercute até hoje nos jornais e parece ter exercido um papel de marketing social, tendo influenciado a mobilização e o desencadeamento de ações dirigidas a esse território, o qual esteve na “berlinda”, empurrado pela manchete, nada mais tendo feito do que dar visibilidade para uma realidade que existia muito antes da manchete.

Parece que uma manchete de jornal, que não se encontra no escopo da ciência, indicou que a pesquisa poderia ter tido um “alto impacto para a humanidade”.

OUTRO TIPO DE IMPACTO

Quem já não ouviu a expressão “isto me causou um impacto enorme”? E com essa expressão o sujeito fala de algo que o afetou, algo que ele experimentou.

Segundo Bondía: ⁹9 . Bondia JL. Notas sobre a experiência e o saber da experiência. Rev Bras Educ. 2002;19(1):20-9. DOI: 10.1590/S1413-24782002000100003
https://doi.org/ 10.1590/S1413-247820020...

Assim, Bondía ⁹9 . Bondia JL. Notas sobre a experiência e o saber da experiência. Rev Bras Educ. 2002;19(1):20-9. DOI: 10.1590/S1413-24782002000100003
https://doi.org/ 10.1590/S1413-247820020... nos alerta que uma sociedade “constituída sob o signo da informação” dificulta a experiência.

E aqui não cabe o antagonismo entre conhecimento/informação e saber da experiência/sentido, cada par com seu propósito, sua ética e sua estética, mas há que se advogar por uma adequada tensão entre os dois pares.

Entretanto, Bondía ¹⁶16 . Stephens C, Timaeus I, Akerman M, Avle S, Maia PB, Campanário P, Harpham T. Field study: São Paulo, Brazil. In: Stephens C, organizador. Environment and health in developing countries: an analysis of intra-urban differentials using existing data. London: London School of Hygiene and Tropical Medicine; 1994. p. 49-80. comenta que a ciência moderna desconfia da experiência e criou caminho seguro traduzido pelo método que reduz a experiência ao experimento.

Se a lógica do experimento é o acordo, o consenso e a homogeneidade, no saber da experiência importam a diferença, a heterogeneidade e a singularidade. ⁹9 . Bondia JL. Notas sobre a experiência e o saber da experiência. Rev Bras Educ. 2002;19(1):20-9. DOI: 10.1590/S1413-24782002000100003
https://doi.org/ 10.1590/S1413-247820020...

Se a base da cienciometria ¹³13 . Pinto AC, de Andrade, JB. Fator de impacto de revistas científicas: qual o significado deste parâmetro? Quim Nova. 1999;22(3):448-53. DOI: 10.1590/S0100-40421999000300026
https://doi.org/ 10.1590/S0100-404219990... é o fator de impacto e outros indicadores bibliométricos produzindo resultados objetivos, regulares, repetíveis, comparáveis, impessoais, infinitos, universais, seria uma grande ousadia se pesquisadores brasileiros pudessem explorar o desenvolvimento de uma “experienciometria”, que produzisse resultados pessoais e comparáveis e que também contribuísse para o melhor entendimento do mecanismo de pesquisa científica como uma atividade social.

RESISTÊNCIA A UMA ELITIZAÇÃO ANUNCIADA?

Nos “considerandos” da lei do rodízio em São Paulo consta: “segundo a pesquisa do Prof. Pedro Jacobi que apontou a percepção do aumento da poluição na cidade pelas donas de casa de um bairro da cidade pela quantidade de fuligem que se formava nos lençóis pendurados nos varais”. ^ffCentro de Estudos de Cultura Contemporânea. Coordenadoria de Educação Ambiental. Respira São Paulo: resultado da pesquisa sobre a Operação Rodízio. São Paulo; 1997.

Ao ver isso descrito na lei, imediatamente se interpreta como se tratar de um genuíno impacto de uma pesquisa científica.

As universidades europeias vêm construindo maneiras de avaliar impacto que não se restrinjam apenas aos índices de citações, os quais frequentemente induziam opiniões de que o mundo acadêmico estava dividido entre aqueles que faziam “ciencinha” e outros que faziam ciência “de verdade” quando se comparavam os índices de citação de pesquisadores distintos.

O que deveríamos fazer é buscar formas para induzir/conceber um repertório mais ampliado de indicadores para avaliar a trajetória de um professor universitário, considerando-se outros campos de sua atividade medidos com o mesmo valor de sua capacidade de disseminação de seus artigos científicos de modo a não predominar somente o critério quantitativo das citações.

CONSIDERAÇÕES FINAIS

Primeiramente, é necessário reconhecer o caráter provisório do presente trabalho – tentativo e precário nas palavras de Deleuse & Guattarri: ¹¹11 . Deleuze G, Guatarri F. Mil Platôs. Rio de Janeiro: Editora 34; 1995.

Em segundo lugar, é necessário recuperar o contexto de vida acadêmica de modo a “tensionar” a meritocracia em pesquisa como determinante principal de avaliação da atuação acadêmica e advogar que outros âmbitos da atuação acadêmica possam também adquirir o mesmo grau de relevância avaliativa que tem a atividade de pesquisa e publicação.

Terceiro ponto a se destacar é: qual o propósito da ciência? Ajudar a humanidade ou se autorreproduzir entre seus pares? Como é possível saber se ela realmente está ajudando a humanidade? Temos por ora apenas métodos quantitativos já validados, oriundos da cienciometria, mas carecemos de métodos que possam também qualificar o impacto da ciência/pesquisa na direção de seu “aporte para a humanidade”. Ademais, o método mais consagrado – o fator de impacto medido pelo número de citações – padece de limites e críticas como, por exemplo, a que lhe atribuem Pinto & Andrade: ¹³13 . Pinto AC, de Andrade, JB. Fator de impacto de revistas científicas: qual o significado deste parâmetro? Quim Nova. 1999;22(3):448-53. DOI: 10.1590/S0100-40421999000300026
https://doi.org/ 10.1590/S0100-404219990...

Para alcançar essa aspiração de que pesquisas tenham como propósito principal a “ajuda à humanidade”, poderiam ser estabelecidos critérios indiretos, por exemplo, a capacidade potencial, ou realizada, de que uma pesquisa possa influenciar políticas públicas: (1) nível de participação de atores sociais no processo de elaboração da pesquisa; (2) estratégias de comunicação entre atores sociais envolvidos e pesquisadores; (3) clareza na definição dos objetivos; (4) visibilidade do processo de pesquisa e da disseminação dos resultados; (5) cumprimento de prazos; e (6) alcance dos objetivos previamente estabelecidos. ²2 . Akerman M. Examinado elementos que possam influenciar a formulação de políticas em estudos que utilizam indicadores compostos: o chão contra o cifrão. Cienc Saude Coletiva. 2000;5(1):115-24. DOI: 10.1590/S1413-81232000000100010
https://doi.org/ 10.1590/S1413-812320000...

Esses critérios são apenas uma aproximação inicial para avaliar os elementos constituintes de pesquisas que se propõem a influenciar políticas. Outros elementos favorecedores podem não ter sido identificados e outros estudos que explorem essas questões são bem-vindos, assim como a definição mais clara de indicadores que permitam atestar a associação entre esses elementos e a influência nas políticas públicas. A ênfase dessa discussão está no fato de que, caso haja “vontade científica” genuína de pesquisadores em influenciar políticas por meio de seus trabalhos, há que, de forma explícita e direta, incluir os critérios anteriormente citados no delineamento da pesquisa como elementos potenciais para influenciar a formulação de políticas públicas. ²2 . Akerman M. Examinado elementos que possam influenciar a formulação de políticas em estudos que utilizam indicadores compostos: o chão contra o cifrão. Cienc Saude Coletiva. 2000;5(1):115-24. DOI: 10.1590/S1413-81232000000100010
https://doi.org/ 10.1590/S1413-812320000...

Nesse sentido, esses elementos indicariam possibilidades para se buscar um modo de análise para apontar o “saber da experiência” da pesquisa em influenciar políticas públicas, trilhando caminhos para se constituir em uma “experienciometria” avaliativa.

Um quarto eixo de discussão, conectado ao anterior, propõe inserir “narrativas” (saber da experiência) percebidas e documentadas dos impactos da pesquisa, por exemplo, em sujeitos, grupos populacionais, territórios ou leis, como as que aqui foram exemplificadas: (1) no caso da “Lei do Rodízio” e da influência da pesquisa do Prof. Pedro Jacobi e (2) o caso do “Mapa de Risco da Violência da Cidade de São Paulo” e sua inter-relação com o “Jardim Ângela”.

Sendo assim, caberia ao pesquisador posicionar-se como um recolhedor da experiência, inspirado pela vontade de compartilhar impactos percebidos e observados da sua pesquisa. Tal exercício poderia inclusive ser estimulado por meio de roteiros pré-concebidos nos processos de avaliação e serem incorporados ao Coleta CAPES ou ao Currículo Lattes, por exemplo, e terem algum grau no peso das avaliações de programas de pesquisa, pós-graduação e pedidos de apoio às agências de fomento.

Grossman & Cardoso ¹²12 . Grossman E, Cardoso MHCA. As narrativas em medicina: contribuições à prática clínica e ao ensino médico. Rev Bras Educ Med. 2006;30(1):6-14. DOI: 10.1590/S0100-55022006000100002
https://doi.org/ 10.1590/S0100-550220060... dão alguns indícios que poderiam servir para a proposição desse roteiro ao afirmarem que as “narrativas estão estruturadas sobre cinco elementos, quais sejam: os fatos, as personagens, o tempo, o espaço e o narrador”. Adicionalmente, cabe sugerir a criação de um roteiro que fosse acompanhado de material documental para circunstanciar e sustentar os fatos.

REFERÊNCIAS

Datas de Publicação

Histórico