Resumo

O texto apresenta e discute os novos personagens que têm crescente presença no ambiente de pesquisa, quais sejam o pesquisador empreendedor e a universidade empreendedora. Discute ainda o cenário atual da difusão de conhecimento científico que apresenta crescentes problemas, com dificuldade de publicação de resultados e dificuldades de acesso a resultados de pesquisa publicados. Discute também o significado da estratégia da pesquisa translacional e apresenta e discute alguns desafios éticos relevantes que resultam da reorganização das relações entre ciência e negócio. Em particular trata dos conflitos de interesse e dos resultados da supercompetição entre cientistas e instituições em um cenário de encurtamento de apoio financeiro público à ciência.

Palavras-chave:
Política científica; Política tecnológica; Inovação; Ética aplicada

Abstract

The paper introduces and discusses the new players that now have a growing presence on the research scene, namely the entrepreneurial researcher and the entrepreneurial university. It also discusses the current scenario of the diffusion of scientific knowledge that presents increasing problems, with difficulty in publishing results and difficulties in accessing the results of published research. It also discusses the implications of the strategy of translational research and presents and discusses some relevant ethical challenges that result from the reorganization of the relationship between science and business. In particular, it deals with conflicts of interest and the results of excessive competition between scientists and institutions in a scenario of diminished public financial support for science.

Key words:
Scientific policy; Technological policy; Innovation; Applied ethics

A Universidade Empreendedora e o Pesquisador-Empreendedor: personagens em ascensão

A respeitabilidade social que o pertencimento à academia e aos institutos de pesquisa conferem ao conhecimento científico neles produzido e aos seus autores, bem como o aporte de recursos financeiros que agências de fomento governamentais a eles propiciam, na grande maioria dos casos não têm permitido uma diáspora científica formal de pesquisadores nessas instituições em direção às empresas. Naturalmente, há exemplos de pesquisadores que se tornaram exclusivamente empreendedores, alguns de muito sucesso. Mas, na grande maioria dos casos, a figura do tradicional pesquisador mertoniano, em tempo integral e exclusivamente voltado ao avanço do conhecimento científico, paulatinamente perde espaço para um profissional híbrido que se denomina pesquisador-empreendedor e que examinaremos a seguir. Esse personagem, cuja frequência aumenta com grande intensidade em muitas e importantes instituições de pesquisa pelo mundo, realiza atividade de pesquisa cujos resultados destinam-se à publicação e, nos mesmos tempo e local de trabalho, desenvolve projetos cujo resultados destinam-se a ser apropriados por empresas mediante contratos. Neste caso, resultados não publicáveis, portanto.

Em 2003, um dos pais-fundadores do modelo Triple-Helix de interpretação do progresso técnico e da organização das políticas para realiza-lo, Henry Etzkowitz, assinou um artigo intitulado “Research groups as ‘quasi-firms’: the invention of the entrepreneurial university”, cujo resumo está transcrito em seguida:

Academic entrepreneurship arose from internal as well as external impetuses. The entrepreneurial university is a result of the working out of an “inner logic” of academic development that previously expanded the academic enterprise from a focus on teaching to research. The internal organization of the Research University consists of a series of research groups that have firm-like qualities, especially under conditions in which research funding is awarded on a competitive basis. Thus, the Research University shares homologous qualities with a start-up firm even before it directly engages in entrepreneurial activities¹1 Etzkowitz H. Research groups as 'quasi-firms': the invention of the entrepreneurial university. Research Policy 32(2003):109-121. [acessado 2019 Fev 10]. Disponível em: http://www.ip-unilink.net/public_documents/Research%20groups%20as%20-quasi-firms-%20the%20invention%20of%20the%20entrepreneurial%20university.pdf
http://www.ip-unilink.net/public_documen... .

Neste artigo, Etzkovitz sintetiza uma linha de pensamento que vinha trilhando desde o início dos anos 1980 e que, originalmente focada nas universidades de pesquisa norte-americanas, veio a gerar interesse em outros países, com importante bibliografia oriunda de vários deles²2 Guerreno-Cano M, Hirby D, Urban D. A Literature Review On Entrepreneurial Universities: An Institutional Approach. Working paper presented at the 3rd Conference of Pre-communications to Congresses. Business Economic Department. Autonomous University of Barcelona. Barcelona, June 2006. [acessado 2019 Fev 27]. Disponível em: https://www.researchgate.net/publication/228657319_A_literature_review_on_entrepreneurial_universities_An_institutional_approach
https://www.researchgate.net/publication...

3 Peterka SO, Salihovic V. What is entrepreneurial university and why we need it?. Croatia. 2008. [acessado 2019 Fev 27]. Disponível em: http://cepor.hr/App%206-What%20is%20entrepreneurial%20university%20and%20why%20we%20need%20it.pdf
http://cepor.hr/App%206-What%20is%20entr...

4 Alexander U, Perevodchikov E. The Entrepreneurial University in Russia: from Idea to Reality. Procedia - Social and Behavioral Sciences 2012; 52:45-51. [acessado 2019 Fev 27]. Disponível em: https://www.sciencedirect.com/science/article/pii/S1877042812038955
https://www.sciencedirect.com/science/ar... ^-55 Volles BK, Gomes G, Parisotto RS. Universidade empreendedora e transferência de conhecimento e tecnologia. REAd 2017; 86(1):137-155. [acessado 2019 Fev 27]. Disponível em: http://www.scielo.br/pdf/read/v23n1/1413-2311-read-23-1-0137.pdf
http://www.scielo.br/pdf/read/v23n1/1413... . Etzkowitz sustenta que a universidade se transformou historicamente de uma instituição de ensino em uma instituição de pesquisa e, atualmente, vive uma nova transformação, com o advento das atividades empreendedoras como sua mais importante missão.

Etzkowitz leva em consideração eventuais zonas de atrito que possam ocorrer no deslocamento de um bem público para a esfera privada na Universidade Empreendedora e não foge da discussão do tema, que denomina de “conflitos de interesse”. Entende que eles podem ocorrer com maior intensidade nos primeiros tempos de implementação da universidade empreendedora e que podem ser controlados por diretrizes e mecanismos institucionais capazes de orientar e mediar disputas. Considera ainda existir neles uma positividade, que é a de indicar a intensidade e velocidade da transição de modelo institucional. Em outros termos, que esses conflitos podem ser vistos positivamente como um indicador do progresso da revolução em curso.

O que o fundamento teórico de Etzkowitz sugere é que a sua Universidade Empreendedora se sustenta em, no mínimo, três pilares. Dois deles à mostra, quais sejam: o objetivo aumento da carga de conhecimento científico, embutida nas inovações tecnológicas; e a também objetiva necessidade de as universidades reforçarem as suas receitas financeiras em uma conjuntura econômica global cambiante desde a década de 1970, cujo denominador comum tem sido o encurtamento do financiamento público à ciência, urbi et orbi. Mas há um terceiro pilar, ausente em sua argumentação, que é de caráter ideológico e que pode ser resumido como a convicção de que o mercado é o mais eficiente organizador da vida econômica e social e que a universidade deve organizar-se segundo suas diretrizes e necessidades⁶6 Garcia JL, Martins H. O ethos da ciência e suas transformações contemporâneas, com especial atenção à biotecnologia. Scientiæ Studia 2009; 7(1):88. [acessado 2019 Fev 27]. Disponível em: http://www.scielo.br/pdf/ss/v7n1/v7n1a05.pdf
http://www.scielo.br/pdf/ss/v7n1/v7n1a05... .

A Lei Bayh-Dole, que concede a titularidade da patente à instituição e não ao pesquisador (que pode usufruir dos royalties eventualmente auferidos por seu invento mediante acordo com a instituição), estimulou a alta administração das universidades a criar e/ou aperfeiçoar suas políticas voltadas ao desenvolvimento de interações entre a sua instituição e empresas, com vistas a incrementar receitas financeiras. Portanto, podemos dizer que foi a Universidade Empreendedora que, com essas políticas, ajudou a multiplicar seu principal ativo - Research groups, as ‘quasi-firms’ - e o seu líder, o pesquisador-empreendedor. A proposta de Etzkowitz e de seus seguidores tem se expandido para muitos países, inclusive alguns com tradição de pesquisa importante, a despeito de serem periféricos no impacto da mesma no campo da inovação produtiva, como é o caso do Brasil. Exemplo disso é o livreto Universidades Empreendedoras⁷7 Neves DP, Manços GR. O índice de Universidades Empreendedoras. São Paulo: Brasil Júnior, AIESEC, Brasas, Enactus, Rede CsF; 2016. [acessado 2019 Abr 20]. Disponível em: https://www.capes.gov.br/images/stories/download/diversos/17112016-Livro-Universidades-Empreendedoras.pdf
https://www.capes.gov.br/images/stories/... , publicado em 2016, patrocinado por várias organizações privadas e divulgado pela Capes. A Universidade Empreendedora é ali definida como “a comunidade acadêmica, inserida em um ecossistema favorável, que desenvolve a sociedade por meio de práticas inovadoras”.

Em outro artigo, publicado em 1998 - The norms of entrepreneurial science: cognitive effects of the new university-industry linkages⁸8 Etzkowitz H. The norms of entrepreneurial science: cognitive effects of the new university-industry linkages. Research Policy 1998; 27:823-833. [acessado 2019 Fev 24]. Disponível em: http://www.oni.uerj.br/media/downloads/1-s2.0-S0048733398000936-main.pdf
http://www.oni.uerj.br/media/downloads/1... cujo título sugere a reivindicação de um estatuto epistemológico para a universidade empreendedora, Etzkowitz sugere que esse emergente modelo institucional integra o desenvolvimento econômico e trata da “capitalização do conhecimento”, podendo assumir diferentes formas.

Tornando a Pierre Bourdieu, a entrepreneurial university, os research groups, as quasi-firms, os entrepreneurial scientists e, por fim, a entrepreneurial science, podem ser considerados a concretização, nessa fase de financeirização do capitalismo global, da sua proposta de organização da atividade científica como produtora de uma forma específica de capital simbólico - o capital científico - submetida a regras similares às outras formas de capital e passível de ser convertida em capital financeiro. Longe dos conceitos mertonianos de competição por primazia e prestígio apenas ao interior da “República da Ciência”⁹9 Polanyi M. The Republic of Science: Its Political and Economic Theory. [acessado 2019 Fev 24]. Disponível em: https://mitpress-request.mit.edu/sites/default/files/titles/content/9780262690201_sch_0001.pdf
https://mitpress-request.mit.edu/sites/d... , nessa nova “revolução” a organização da universidade e mesmo da ciência desloca essa competição do terreno do prestígio intelectual pelo sucesso financeiro. Ou dito de outro modo, considerada a manutenção do objetivo de obter prestígio científico, chegar a ele mediante uma métrica de prestígio financeiro. Mais ainda, a conversão do capital simbólico em capital financeiro no âmbito dessas novas formas de organização da atividade científica poderá tornar ainda mais nítido os desequilíbrios de poder entre as diversas instâncias envolvidas no processo, tais como pesquisador-agência financiadora, pesquisador-instâncias diretivas universitárias, pesquisador-empresas¹⁰10 Albert M, Kleinman DL. Bringing Pierre Bourdieu to Science and Technology Studies. Minerva 2011; 49:265. [acessado 2019 Jan 16]. Disponível em: https://www.researchgate.net/publication/225600551_Bringing_Pierre_Bourdieu_to_Science_and_Technology_Studiesn
https://www.researchgate.net/publication... .

Os mecanismos atuais de difusão do conhecimento científico

Há ainda um aspecto sobre a erosão do caráter público do conhecimento científico de interesse para este texto. Em 1955, o linguista e homem de negócios norte-americano Eugene Garfield criou uma organização chamada Institute of Science Information (ISI), originalmente sem fins lucrativos, cuja missão era construir uma base de dados a partir da indexação de todos os artigos científicos publicados em revistas especializadas e, daí, hierarquizar os artigos segundo indicadores de qualidade dos mesmos, com vistas ao que tornou-se mais tarde uma disciplina chamada de “cienciometria”¹¹11 Wikipedia. Eugene Garfield. [acessado 2019 Mar 13]. Disponível em: https://en.wikipedia.org/wiki/Eugene_Garfield
https://en.wikipedia.org/wiki/Eugene_Gar... . Em 1992, o ISI foi vendido à editora Thomson Reuters que passou a comercializar um produto chamado Web of Science, de grande penetração entre cientistas e instituições científicas. A divisão de propriedade industrial da Thomson Reuters transformou-se numa nova empresa em 2016, a Clarivate Analytics¹²12 Wikipedia. Web of Science. [acessado 2019 Mar 13]. Disponível em: https://en.wikipedia.org/wiki/Web_of_Science
https://en.wikipedia.org/wiki/Web_of_Sci... . Outras empresas com missão similar foram criadas, pelo menos duas delas tendo como proprietária grandes editoras de publicações científicas (Elsevier, ScienceDirect e Scopus; Springer, SpringerLink). O passo seguinte foi a proliferação de hierarquias institucionais (rankings), nas quais ao lado de indicadores de qualidade científica medidos por citações de autoria e de publicações, foram adicionados indicadores de valor de mercado das mesmas, em sintonia com o modelo da universidade empreendedora. De modo similar à facilitação da entrada de patentes no mundo da ciência, essas transformações no processo de difusão do conhecimento científico também contribuem para o que estamos denominando de reorganização das relações entre ciência e mercado e colaboram para uma complexificação do conceito de conhecimento como um bem público. Ao tempo em que promovem o ranqueamento de autores, revistas e instituições, o oligopólio das grandes editoras associadas a essas bases de dados, estabelecem cada vez maiores dificuldades para a difusão de conhecimento científico em razão de custos crescentes de publicação e da restrição do acesso a edições eletrônicas de artigos. Há um evidente paradoxo entre as dificuldades crescentes para a difusão do conhecimento científico e a revolução nas tecnologias de informação e comunicação. Esta propiciou, entre outros aspectos positivos, uma enorme diminuição dos custos envolvidos na produção e, principalmente, na difusão de informação. O paradoxo está em que o modo de apropriação da informação a ser difundida mediante o uso dessas tecnologias cada vez mais dificulta o usufruto dessa “democratização” no que diz respeito ao acesso à informação científica que, não custa sempre lembrar, é majoritariamente produzido com o concurso de suporte financeiro público. Nesse particular, em contraponto ao paradoxo, existem importantes debates e ativismo, genericamente denominados de iniciativas de Open Science, no sentido de ampliar a difusão de conhecimento científico. Em outros termos, no sentido de expandir o caráter de bem público do conhecimento científico. Recentemente, a Universidade da Califórnia anunciou o rompimento de relações com a editora Elsevier, decorrente dos preços impostos por esta ao acesso dos alunos e professores às revistas por ela publicadas¹³13 UC Office of the President. UC terminates subscriptions with world's largest scientific publisher in push for open access to publicly funded research. 2019. [acessado 2019 Mar 14]. Disponível em: https://www.universityofcalifornia.edu/press-room/uc-terminates-subscriptions-worlds-largest-scientific-publisher-push-open-access-publicly
https://www.universityofcalifornia.edu/p... . Universidades da Alemanha, Suécia e Noruega igualmente cancelaram suas assinaturas de periódicos com a Elsevier¹⁴14 Offord C. Norway Joins List of Countries Canceling Elsevier Contracts. The Scientist, Mar 13, 2019. [acessado 2019 Mar 20]. Disponível em: https://www.the-scientist.com/news-opinion/norway-joins-list-of-countries-canceling-elsevier-contracts-65594
https://www.the-scientist.com/news-opini... .

A estratégia translacional da pesquisa em saúde

Essa estratégia foi uma forma específica pela qual a reorganização das relações entre ciência e inovação tecnológica foi estendida à pesquisa em saúde humana. Foi discutida em maior profundidade em artigo de minha autoria já publicado¹⁵15 Guimarães R. Pesquisa Translacional: uma interpretação. Cien Saude Colet 2013; 18(6):1731-1744. [Acessado 2018 Dez 20]. Disponível em: http://www.scielo.br/pdf/csc/v18n6/24.pdf
http://www.scielo.br/pdf/csc/v18n6/24.pd... .

Os últimos dados consolidados disponíveis sobre os dispêndios globais com pesquisa e desenvolvimento em saúde humana são de 2005¹⁶16 Burke MA, Matlin SA, editors. Global Forum for Health Research, Monitoring Financial Flows for Health Research 2008, p.XV. Global Forum for Health Research, 2008. Published by the Global Forum for Health Research, November 2008.. Naquele ano estimava-se que US$ 160,3 bilhões haviam sido despendidos com P&D em saúde no mundo, sendo que a fonte de 51% foi privada, de 41% foi pública e de 8% foi da filantropia. Naquele mesmo ano, o orçamento do NIH, a principal fonte de recursos financeiros federais para a pesquisa científica nos EUA foi de US$ 27,8 bilhões¹⁷17 American Association for the Advancement of Science (AAS). R&D Budget and Policy Program. Guide to R&D Funding Data - Archives Fy. Washington: AAS; 2005. [acessado 2019 Jan 18]. Disponível em: http://www.aaas.org/spp/rd/fy05.htm
http://www.aaas.org/spp/rd/fy05.htm... . Esses números revelam que os Estados Unidos, através do NIH, foram responsáveis por 42,2% dos dispêndios públicos globais com pesquisa em saúde humana. No entanto, para um balanço mais preciso, torna-se necessário somar ao orçamento do NIH os dispêndios com pesquisa em saúde cujas fontes foram outras agências federais e os estados da federação norte-americana. Um levantamento também referente a 2005, feito por outra fonte¹⁸18 Research America. An Alliance for Discoveries in Health©. 2005 Investment in U.S. Health Research. [acessado 2019 Jan 18]. Disponível em: http://www.researchamerica.org/app/webroot/uploads/healthdollar2005.pdf
http://www.researchamerica.org/app/webro... , revela que US$ 11,51 bilhões foram oriundos de outras agências federais e estaduais. Somados aos recursos do NIH, temos que naquele ano os EUA foram a fonte de cerca de 60% de todos os recursos públicos globais destinados à pesquisa em saúde.

Em seu período inaugural, nos anos 1990, a estratégia translacional buscava “promover pesquisa interdisciplinar e acelerar a troca bidirecional entre ciência básica e clínica para mover os achados de pesquisa básica do laboratório para ambientes aplicados envolvendo pacientes e populações”¹⁹19 Advancing Translational Cancer Research. A Vision of the Cancer Center and SPORE Programs of the Future Report of the P30/P50. Ad Hoc Working Group February 2003. [acessado 2019 jan 18]. Disponível em: http://deainfo.nci.nih.gov/advisory/ncab/workgroup/p30-p50/P30-P50final12feb03.pdf
http://deainfo.nci.nih.gov/advisory/ncab... . Desde então a noção de pesquisa translacional foi incorporando mais e mais “etapas” na cadeia de conhecimento, transbordando de aspectos inerentes à pesquisa e desenvolvimento, chegando a englobar processos produtivos e mesmo a incorporação de novos produtos e processos nas práticas de cuidado à saúde.

Várias interpretações são possíveis em relação a essa pressão do NIH para que os pesquisadores no campo da saúde, em particular da área biomédica, sejam estimulados a mirar em processos e produtos novos no exercício de seu trabalho de pesquisa. Uma delas é supor que essa pressão tenha vindo de um dos mais poderosos setores industriais norte-americanos. Os Estados Unidos são líderes mundiais na descoberta, desenvolvimento, patenteamento, registro, produção e vendas de medicamentos. Em 2016, este mercado (45% do mercado global) registrou US$ 446 bilhões em vendas. No mesmo ano, dentre as dez maiores empresas biofarmacêuticas no mundo, cinco (Pfizer, Merck, Johnson & Johnson, Amgen e Gilead) eram norte-americanas e responderam por cerca de 20% do mercado global.

Mas, a despeito de seu poder e de sua histórica lucratividade, a indústria farmacêutica global vive uma crise importante desde a última década do século passado, cujos principais determinantes são o aumento exponencial de custos para o desenvolvimento de novas moléculas, em particular em suas fases mais tardias de pesquisa clínica e a queda da proteção patentária de medicamentos de grande retorno financeiro. O principal indicador da crise é a diminuição do número de registros de moléculas realmente inovadoras nos principais mercados, em particular os registros feitos no Food and Drug Administration. Essa crise gerou uma intensa disputa entre firmas pela conquista de pipelines promissores, em particular os pertencentes a empresas de biotecnologia, sendo este campo de conhecimento considerado o caminho alternativo à escassez de moléculas novas (desenvolvidas historicamente pela rota de síntese química). A disputa se expressou por uma grande onda de fusões e aquisições. Em 2014, estas alcançaram US$ 451,5 bilhões, em 2015, US$ 578 bilhões e em 2016 decresceram a US$ 325,8 bilhões²⁰20 Dierks RML, Bruyère O, Reginster JY. Critical analysis of valuation and strategical orientation of merger and acquisition deals in the pharmaceutical industry. Expert Review of Pharmacoeconomics & Outcomes Research 2018. p. 1-14. [acessado 2019 Fev 10]. Disponível em: https://orbi.uliege.be/bitstream/2268/219703/1/3rd%20paper%20FINAL.pdf
https://orbi.uliege.be/bitstream/2268/21... , em virtude da interdição pelo governo norte americano da compra da empresa irlandesa Allergan pela Pfizer, no valor de US$ 160 bilhões para evitar perdas de arrecadação fiscal.

A demanda de uma indústria farmacêutica poderosa e em crise, associada a dificuldades de outputs científicos em quantidade adequada para atendê-la pode muito bem estar exigindo a intervenção do governo norte-americano através do NIH. O objetivo essencial seria o de fomentar algum tipo de esforço adicional da comunidade científica para suprir uma demanda estratégica para o país. Como aventamos na primeira parte deste texto, algo parecido, muito embora em escala mais restrita, com as estratégias governamentais nos anos 1950, à época do Sputnik.

A família conceitual dos Sistemas Nacionais de Inovação preceitua que uma das características dos sistemas nacionais maduros é o seu caráter complexo, dinâmico e institucional, e isso expressa-se por um grande número de instituições que articulam a oferta de conhecimento científico e as potenciais inovações a ela associadas. São elas os bancos e agências de fomento científico e industrial, a regulação sanitária, a organização pública e privada do mercado de produtos e serviços, a política de propriedade intelectual, etc. É exatamente a existência dessa complexidade que sugere o caráter não linear do processo de inovação produtiva, sua rede de interações e as intensas retroalimentações nele existentes. Penso que a base conceitual da pesquisa translacional não valoriza esses dinamismo e complexidade e, implicitamente, sintetiza esse processo na melhora da oferta de conhecimento para o trânsito do conhecimento científico para as inovações produtivas.

Os desafios éticos na Ciência Empreendedora

A relativização do caráter de bem público do conhecimento científico, a emergência desse personagem em ascensão - o pesquisador-empreendedor - e o desenvolvimento da estratégia translacional na pesquisa são processos em curso, com diversas velocidades de implementação, não concluídos nem isentos de debate e contestação. Disso decorre que a discussão dos desafios éticos postos por essas transformações revista-se de algumas dificuldades para sua demonstração empírica. A primeira delas vem do fato dos pesquisadores-empreendedores serem personagens cujos projetos de pesquisa podem ou não ser publicados. Resultados de pesquisa objetos de segredo por força de contratos não são publicados, exceto aqueles que geram patentes, cuja contribuição das pesquisas que lhes deram origem pode ser apenas superficialmente conhecida após o período de embargo nos escritórios nacionais de patentes. Daí que, para os resultados de pesquisa não-publicados, as informações sobre questões éticas são escassas, esporádicas e indiretas. A fonte mais comum de informação deriva da presença de referências sobre pesquisas científicas mencionados na descrição de patentes depositadas²⁽¹1 Etzkowitz H. Research groups as 'quasi-firms': the invention of the entrepreneurial university. Research Policy 32(2003):109-121. [acessado 2019 Fev 10]. Disponível em: http://www.ip-unilink.net/public_documents/Research%20groups%20as%20-quasi-firms-%20the%20invention%20of%20the%20entrepreneurial%20university.pdf
http://www.ip-unilink.net/public_documen... .

Para os resultados de pesquisa publicados, existe maior espaço para discussão e importante fonte de informação para ela localiza-se no dimensionamento e estudo das várias modalidades de conflito de interesses. Nessa vertente de discussão, a principal fonte de dados está no estudo das políticas explícitas para a declaração desses conflitos em revistas científicas.

Uma definição sintética e geral do fenômeno reza que o conflito de interesses é um cenário de diversas instâncias no qual um julgamento profissional é indevidamente analisado, com base em interesses que não são os primários. Ocorre quando se dá preferência a um interesse secundário no resultado de determinada ação²²22 Wikipedia. Conflito de interesses. [acessado 2019 Fev 25]. Disponível em: https://pt.wikipedia.org/wiki/Conflito_de_interesses
https://pt.wikipedia.org/wiki/Conflito_d... . Os conflitos de interesse mais comuns no campo da pesquisa dizem respeito ao enviesamento do trabalho do pesquisador, conscientemente ou não, decorrente de relações do mesmo com instâncias extra científicas. Além de relações AD-HOC do pesquisador com essas instâncias, o conflito se estabelece quando da participação de autores como executivos, membros de conselhos e detentores de ações de empresas privadas com vinculação próxima ao tema do trabalho publicado.

Sobre esse tema há variada bibliografia entre as quais alguns trabalhos pioneiros, aqui sintetizados pelo último de três trabalhos publicados por Sheldon Krimsky. Krimsky e Rothemberg²³23 Krimsky S, Rothemberg LS. Conflict of Interests Policies in Science and Medical Journals: Editorial Practices and Author Disclosures. Science and Engineering Ethics 2001; 7:205-218. [acessado 2019 Fev 25]. Disponível em: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.732.649&rep=rep1&type=pdf
http://citeseerx.ist.psu.edu/viewdoc/dow... investigaram a presença dessas políticas para explicitação de conflitos de interesse em 1.396 revistas científicas de alto impacto, aí incluídas, mas não exclusivamente, revistas biomédicas. Seus achados revelaram que, naquele momento (1997), apenas 13% das revistas (181) detinham políticas explícitas para identificar conflitos de interesse. Dessas, 65,7% não tiveram qualquer explicitação de conflito de interesses em artigos nelas publicadas e em 20,4%, as declarações “positivas” de conflitos estiveram presentes em 1% ou menos dos trabalhos.

Bem mais recentemente (2016), Dunn et al.²⁴24 Dunn AG, Coiera E, Mandl KD, Bourgeois FT. Conflict of interest disclosure in biomedical research: a review of current practices, biases, and the role of public registries in improving transparency. Res Integr Peer Rev 2016; 1:1. [acessado 2019 Mar 2]. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC48 54425/
https://www.ncbi.nlm.nih.gov/pmc/article... publicaram extensa revisão sobre os conflitos de interesses na pesquisa biomédica e clínica, na qual mostram que, ao longo deste século, os conflitos de interesse continuam a ser um problema. Além disso, que as políticas de declaração de conflitos postas em prática pelas revistas científicas não têm sido capazes de mitigar o problema. Em resumo, lastreado em consistente bibliografia, Dunn mostra que os conflitos são comuns e que sua detecção é subnotificada. Estudos de prevalência mostram que, dependendo da fonte de informação, entre 29% e 69% de ensaios clínicos publicados contêm declarações de conflito e que outros estudos relatam que entre 43% e 69% de artigos falham em identificar conflitos.

Dunn seleciona também vários exemplos nos quais conflitos de interesse resultaram em decisões clínicas e de saúde pública equivocadas. O uso de Alteplase na fase aguda do acidente vascular cerebral, o risco cardiovascular ignorado no uso da Roziglitazona, o uso da Risperidona na psicose bipolar em crianças, os estudos sobre a segurança do uso dos antagonistas dos canais de Cálcio, a maciça disseminação da associação entre a vacina tríplice viral (MMR) e o autismo e o uso de medicamentos com Neuraminidase durante a epidemia de gripe H1N1 em 2009. Em todas essas situações foram identificados, a posteriori, conflitos de interesse de pesquisadores com as indústrias desenvolvedoras ou produtoras desses produtos.

A proposta de Dunn para a contenção desse problema é a constituição de uma plataforma global na qual seriam registrados todos os conflitos de interesse identificados ao longo do tempo. De um certo modo, a plataforma denominada Retraction Watch²⁵25 Retraction Watch. Tracking retractions as a window into the scientific process. [acessado 2019 Mar 2]. Disponível em: https://retractionwatch.com/
https://retractionwatch.com/... , lançada em 2010, tenta cumprir essa tarefa por outro caminho, que é o de tornar públicas as retratações de artigos científicos decorrentes não de conflitos de interesse, mas de falhas de origens diversas, sejam não intencionais, sejam fraudes. Inclusive conflitos de interesse. Mais adiante, voltaremos à Retraction Watch.

Outra medida, já em curso em muitos países desde o início deste século, tem sido a criação de sistemas de registro de pesquisas clínicas, nos quais toda e qualquer pesquisa com seres humanos deve ser registrada em sua proposição e em suas conclusões. A criação dos registros teve sua origem na Organização Mundial da Saúde em 2004 e, atualmente, muitos países, inclusive o Brasil (Plataforma Brasil, 2011) têm o seu sistema de registros. Aquele que detém o maior número de registros é o norte-americano (Clinical Trials.gov). Os sistemas de registro passaram a ter maior eficácia quando se articularam com as agências nacionais de regulação sanitária, que passaram a vincular o registro para a comercialização de um produto para humanos à existência de depósito dos ensaios clínicos em um sistema de registros, e com os editores de revistas científicas, cuja maioria atualmente não aceita publicar artigos em modelos humanos cujo projeto não esteja registrado em um sistema nacional. Há, no entanto, restrições dos registros em relação aos conflitos de interesse. O maior deles é que muitos ensaios clínicos, embora registrados, não têm suas conclusões incluídas por não terem produzido os resultados desejados pelos patrocinadores. Isso ocorre com maior frequência com ensaios patrocinados por indústrias farmacêuticas, mas não apenas. Outra restrição, é que o registro diz respeito apenas a pesquisas com seres humanos, deixando de fora as demais modalidades, inclusive todas as pesquisas com modelos animais, em número muito maior do que as pesquisas com humanos.

Além dos conflitos de interesse, os desafios éticos associados às novas relações entre pesquisa científica e inovação produtiva estão também relacionados ao ambiente de hipercompetição provocado pela proliferação de estímulos decorrentes das oscilações nos orçamentos nacionais de pesquisa e a busca por novas e maiores receitas financeiras. O tradicional conselho dado pelos pesquisadores mais velhos aos iniciantes - publish or perish - vem sendo radicalizado para a expressão funding or famine. Recompensas e estímulos estão vinculados ao conceito e às práticas da universidade empreendedora na medida em que, para a instituição, o sucesso na competição gera mais recursos para as pesquisas apoiadas que se traduzem em maiores overheads financeiros apropriados pelas mesmas e pela eventual mobilidade ascendente nos rankings institucionais. E essa ascensão nos rankings gera mais prestígio que traz mais estudantes que também aumentam suas receitas, melhores contratos com empresas que gerarão mais royalties, a possibilidade de contratar mais e melhores pesquisadores que emprestarão o seu já reconhecido prestígio para a nova instituição que se traduzirá em maior aprovação de projetos nas agências. De um modo sintético, é assim que o ciclo se fecha.

A evolução recente (2000-2018) dos dispêndios com pesquisa e desenvolvimento nos países da OCDE em relação ao PIB revela que, para o conjunto desses países, a variação no período foi de 11,8%. No país líder mundial, os EUA, foi de 6,5%, na União Europeia foi de 17,4% e os dois países que claramente divergem da tendência geral foram a República da Coreia, com 108,7% e a República Popular da China, com 139,3% de aumento²⁶26 Organisation for Economic Co-operation and Development (OECD). Science, Technology and R&D Statistics: Main Science and Technology Indicators. Disponível em: https://data.oecd.org/rd/gross-domestic-spending-on-r-d.htm [acessado 2019 Jan 15].
https://data.oecd.org/rd/gross-domestic-... . Para o NIH, o orçamento de 2017 praticamente repetiu o valor daquele de 2004²⁷27 American Association for the Advancement of Science (AAAS). Historical Trends in Federal R&D. Washington: AAAS; [acessado 2019 Jan 15]. Disponível em: https://www.aaas.org/programs/r-d-budget-and-policy/historical-trends-federal-rd
https://www.aaas.org/programs/r-d-budget... . Os números da OCDE referem-se a dispêndios nacionais, aí incluídos dispêndios públicos e privados, sendo que nos países líderes dos dois lados do Atlântico, os dispêndios privados são bem maiores do que os públicos. Para um período histórico em que a corrida pela produção de inovações de base científica vem se acirrando, penso que deveríamos esperar nos países líderes em pesquisa e em inovações produtivas uma evolução de dispêndios mais próxima das apresentadas por Coreia e China. Já no caso do NIH, trata-se exclusivamente de dispêndios públicos federais para pesquisa científica em saúde e essa trajetória de relativa estagnação sugere uma forte contenção do apoio financeiro público à pesquisa científica.

A estrutura atual dos mecanismos de difusão do conhecimento científico cristalizou métricas de avaliação de qualidade e impacto de pesquisas científicas quase exclusivamente em critérios quantitativos fundamentados em número de publicações, locais de publicações (fator de impacto) e citações de publicações por outros artigos (índice de citações). A impropriedade básica da ênfase absoluta nesses critérios decorre da “Lei” formulada pelo economista britânico Charles Goodhart que leva seu nome e que afirma que “Quando uma medida se torna uma meta (ou alvo), ela deixa de ser uma boa medida”²⁸28 Wikipedia. Lei de Goodhart. [acessado 2019 Jan 15]. Disponível em: https://pt.wikipedia.org/wiki/Lei_de_Goodhart
https://pt.wikipedia.org/wiki/Lei_de_Goo... .

Edwards e Roy²⁹29 Edwards MA, Roy S. Academic Research in the 21st Century: Maintaining Scienti?c Integrity in a Climate of Perverse Incentives and Hypercompetition. Environ Eng Sci 2017; 34(1):51-61. [acessado 2019 Jan 15]. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5206685/
https://www.ncbi.nlm.nih.gov/pmc/article... realizaram uma sistematização dos mecanismos de incentivo, seus efeitos esperados e os impactos reais que vêm provocando no metabolismo da pesquisa científica nos EUA, tanto no plano dos pesquisadores, quanto no das instituições que os abrigam. No que se refere aos pesquisadores, estes são atualmente premiados em função do número de artigos publicados, de citações dos mesmos e de sua capacidade de preparar e projetos para serem apresentados a agências financiadoras e os terem aprovados. O racional dessas recompensas é que elas aumentam a produtividade científica, o que pode ser um valor em si mesmo. Entretanto, os efeitos reais dessa iniciativa são muitas vezes a proliferação de artigos de má qualidade e o fatiamento de resultados de uma linha de pesquisa (salami publishing).

A estratégia da pesquisa translacional pode estar contribuindo para uma atitude de pensar a pesquisa numa perspectiva exageradamente de curto prazo, bem como quando é utilizada como um critério de avaliação, discriminante e valorativo, de propostas de financiamento. De acordo com Bruce Alberts e colaboradores;

One manifestation of this shift to short term thinking is the inflated value that is now accorded to studies that claim a close link to medical practice. Human biology has always been a central part of the US biomedical effort. However, only recently has the term “translational research” been widely, if unofficially, used as a criterion for evaluation. Overvaluing translational research is detracting from an equivalent appreciation of fundamental research of broad applicability, without obvious connections to medicine³⁰30 Alberts B, Kirschner MA, Tilghman S, Varmus H. Rescuing US biomedical research from its systemic flaws. PNAS 2014; 111(16):5773-5777. [acessado 2019 Jan 15]. Disponível em: https://www.pnas.org/content/111/16/5773
https://www.pnas.org/content/111/16/5773... .

O olhar translacional em um ambiente de hipercompetição pode também gerar desafios éticos no que se refere a escolha de temas de pesquisa que especulam com potenciais aplicações na clínica de seus futuros resultados, mesmo quando muito afastados de uma realidade plausível. Um exemplo foi nota publicada pela revista Nature sobre pesquisa que identificou um componente sérico cuja presença seria capaz de prever com muitos anos de antecedência o aparecimento de demência do tipo Alzheimer³¹31 Preische O, Schultz SA, Apel A, Kuhle J, Kaeser SA, Barro C, Gräber S, Kuder-Buletta E, LaFougere C, Laske C, Vöglein J, Levin J, Masters CL, Martins R, Schofield PR, Rossor MN, Graff-Radford NR, Salloway S, Ghetti B, Ringman JM, Noble JM, Chhatwal J, Goate AM, Benzinger TLS, Morris JC, Bateman RJ, Wang G, Fagan AM, McDade EM, Gordon BA, Jucker M; Dominantly Inherited Alzheimer Network. - Serum neurofilament dynamics predicts neurodegeneration and clinical progression in presymptomatic Alzheimer's disease. Nature Medicine 2019; 25:277-283. [acessado 2019 Mar 20]. Disponível em: https://www.nature.com/articles/s41591-018-0304-3
https://www.nature.com/articles/s41591-0... . Neste caso há três questões éticas envolvidas. A primeira é a perspectiva do pesquisador em anunciar o caráter translacional dos resultados como um “ativo” capaz de manter o financiamento de sua linha de pesquisa. A segunda é acenar com uma capacidade de absorção pela clínica de um achado que terá que ser validado por muitas etapas de pesquisa clínica. E a terceira, talvez a mais complexa é especular, em indivíduos sadios, com o aparecimento eventual de uma enfermidade para a qual não há, hoje em dia, alternativa terapêutica.

Atualmente ocorre uma explosão de artigos científicos retirados de circulação (retratados³²32 Houaiss A, Salles VM. Dicionário Houaiss da Língua Portuguesa. Rio de Janeiro: Objetiva; 2001.) após sua publicação e cuja intensidade permite denomina-la de uma epidemia. Em português, o verbo ‘retratar’ possui um duplo significado. Designa tanto o ato fazer (ou tirar) um retrato de alguém, quanto o ato de reconhecer um erro. O adjetivo ‘retratado’ admite o duplo significado. Finalmente, o substantivo ‘retratação’, a despeito de possuir a mesma raiz etimológica, só se refere ao segundo significado do ato. Em inglês, o verbo (to retract), o substantivo (retraction) e o adjetivo (retracted), significam exclusivamente o reconhecimento de um erro. Não é simples a dissecção do fenômeno em suas variadas modalidades, bem como a determinação de suas causas. A retratação de artigos pode ser devida a erros de boa-fé não detectados pelos revisores, pela não reprodutibilidade dos achados por outros pesquisadores, por plágio, por autoplágio e pela falsificação de dados.

Em 2010, Adam Marcus e Ivan Oransky lançaram um blog que recebeu o nome de Retraction Watch (retractionwatch.org), no qual são indexadas as retratações de artigos de todas as áreas do conhecimento e cujo principal objetivo é a publicização de artigos retratados, e cuja base de dados (http://retractiondatabase.org/RetractionSearch.aspx) pode ser livremente acessada na internet. A iniciativa dos autores do blog nasceu da constatação de que as retratações mantidas em sigilo eram um estímulo à sua persistência. Além disso, a publicidade contribui para pesquisadores que estão a fazer revisões bibliográficas possam abandonar a consulta a artigos retratados. Atualmente, estima-se que o blog tenha indexado cerca de 2/3 das retratações já ocorridas.

As retratações têm sido objeto de extensa bibliografia que explora os vários aspectos do problema. Com o objetivo de descrevê-lo, talvez o trabalho mais amplo e aprofundado seja o de Grieneisen e Zang³³33 Grieneisen ML, Zang M. A Comprehensive Survey of Retracted Articles from the Scholarly Literature. PLoS One 2012; 7(10):e44118. [acessado 2019 Mar 25]. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3480361/
https://www.ncbi.nlm.nih.gov/pmc/article... , no qual nos baseamos aqui para apresentar o contorno da epidemia de retratações. Esses autores recuperaram informações de 4.449 artigos retratados entre 2001 e 2011 a partir da busca em 42 bases de dados e em sítios de grandes editoras científicas de todas as áreas do conhecimento.

O número de retratações em relação ao total de publicações é muito pequeno. A partir dos dados desses autores, para 2010 ele foi de 35,5 artigos retratados para cada 100.000 publicados. Entretanto, o número correspondente para 2001 foi 2,61 artigos retratados para cada 100.000 publicados. Entre 2001 e 2010, o número total de artigos publicados no - Web of Science - cresceu por um fator de 1,4. As retratações cresceram por um fator de 19,06 no mesmo período. Trata-se, evidentemente, de um episódio epidêmico.

Com o objetivo de verificar as áreas disciplinares cobertas pela pesquisa, a base de dados PubMed, que reúne pesquisas em biociências e saúde foi objeto de consulta específica por Grieneisen e Zang. Essa base indexa cerca de 4.800 revistas e permite livre acesso. Entre 2003 e 2011, cerca de metade do total de retratações foi oriunda de trabalhos indexados no PubMed. Nesse mesmo período, para o conjunto das bases de dados estudadas, as áreas nas quais as retratações cresceram proporcionalmente mais do que o volume de publicações nas mesmas foram Medicina, Química, Ciências da Vida e Estudos Multidisciplinares.

Os autores dos artigos retratados segundo seus países de origem mostram que até cerca de 2005, os EUA e a União Europeia respondiam pela maior parte das retratações e a partir daí os números absoluto e relativo de retratações cresceram exponencialmente, devido a um crescimento explosivo de artigos de autores chineses, indianos e coreanos.

Finalmente, tem sido relatado que as revistas nas quais há maior quantidade de retratações são as mais prestigiosas no mercado da ciência. Em levantamento de 2012, notícia na revista Nature³⁴34 Corbyn Z. Misconduct is the main cause of life-sciences retractions. Nature 2012; 490:21. [acessado 2019 Mar 25]. Disponível em: https://www.nature.com/polopoly_fs/1.11507!/menu/main/topColumns/topLeftColumn/pdf/490021a.pdf
https://www.nature.com/polopoly_fs/1.115... revela que as cinco revistas com maior número de retratações são, pela ordem do número de retratações: Science, Proceedings of the National Academy of Science, Nature, The Journal of Clinic Investigation e Cell, todas com fator de impacto acima de 10,0.

Os debates no terreno dos determinantes da epidemia incluem estabelecer se o fenômeno decorre de maior vigilância das revistas nos processos de revisão por pares ou se há novas motivações para publicar. É bem possível que a resposta esteja numa mistura desses determinantes. Além disso, também se debate se o fenômeno ocorre por infrações de boa-fé e enganos menores ou se decorre de algum tipo de fraude. Quanto a esta última questão, as evidências mais recentes apontam para uma predominância de fraude (ou suspeita de fraude), expressa em fabricação de dados, não repetibilidade de resultados, plágio e autoplágio. Fang et al.³⁵35 Fang FC, Steen RG, Casadevall A. Misconduct accounts for the majority of retracted scienti?c publications. Proc Natl Acad 2012; 109(42):17028-17033. [acessado 2019 Jan 15]. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3479492/
https://www.ncbi.nlm.nih.gov/pmc/article... Fizeram a revisão de 2.047 artigos retratados e indexados no PubMed e concluíram que apenas 21,3% das retratações poderiam ser consequência de erro. Nas 67,4% restantes, a retratação foi atribuída a fraude ou suspeita de fraude (43,4%), a autoplágio (14,2%) e plágio (9,8%). Mostram ainda que entre 1975 e 2011 a incidência de retratações por fraude cresceu 10 vezes e que 3/4 das retratações por fraude ou suspeita de fraude ocorreram em publicações dos EUA, Alemanha, Japão e China.

Erros involuntários são inevitáveis, tanto aqueles que tenham origem nos manuscritos enviados às revistas quanto os originados de falhas no processo de revisão dos artigos nas editoras. Resta, no entanto, analisar os erros mais frequentes passíveis de retratação que, como vimos, são resultado de algum tipo de má-conduta. Embora não seja possível verificar empiricamente, há evidências de que as duas práticas nocivas mais comuns decorrentes da reorganização das relações entre ciência e inovação produtiva - o conflito de interesses e os efeitos perversos dos incentivos gerados pela universidade empreendedora - devem estar associados à epidemia de retratação de artigos científicos. A primeira evidência diz respeito à sincronia entre o desenvolvimento da estratégia translacional e da universidade empreendedora e o crescimento da onda epidêmica das retratações. São ambos produtos deste século, resultantes concretas de ideias que foram geradas aproximadamente no último quarto do século passado.

A segunda evidência diz respeito à intensa concentração das retratações no terreno da pesquisa em biociências e medicina, alvo original da estratégia translacional muito embora não da universidade empreendedora. O destacado lugar ocupado pela pesquisa biológica e pela imensa expressão tecnológica de suas descobertas no campo da saúde humana fizeram com que se estabelecesse um ambiente de intensa competitividade nesse terreno, conspirando para gerar infrações éticas.

A terceira evidência diz respeito à distribuição geográfica das retratações. Considerando o papel de liderança ocupado pelos EUA nesse terreno, numa conjuntura de encurtamento dos orçamentos públicos de apoio à pesquisa naquele país (e também na União Europeia), a competição pode, por vezes, ter ultrapassado limites éticos expressados em conflitos de interesse e inflação de estímulos para a publicação de pesquisa. Vale notar o recente crescimento da China, tanto no terreno da pesquisa biomédica, quanto no das infrações éticas dessa natureza.

Conclusões

Como já foi destacado na primeira parte deste texto, os sistemas nacionais e setoriais de inovação organizam-se a partir de uma articulação interinstitucional que compreende oferta de conhecimento, demanda por esse conhecimento e instituições que medeiam oferta e demanda nos dois sentidos. Muito embora a maioria absoluta das inovações produtivas realizem-se nas empresas, é um fato o aumento da participação de pesquisadores acadêmicos ou pertencentes a institutos de pesquisa no desenvolvimento das mesmas. Daí que as relações entre universidades ofertantes e empresas demandantes de conhecimento de base científica são essenciais para o amadurecimento desses sistemas.

Mas, compreender e apoiar essas relações não implica em abraçar acriticamente a ideia de uma Universidade Empreendedora, fruto de uma segunda revolução que teria deslocado seu principal componente de missão da produção de conhecimento científico para demandas originadas no mercado, mesmo que essas sejam involucradas em conhecimento científico. Assim como a primeira revolução na academia redefiniu esse vetor do ensino para a pesquisa sem deixar de lado sua anterior missão na formação de profissionais, essa segunda revolução pode, com prudência e regulação adequadas, incorporar novas missões sem perder sua identidade institucional de sítio de realização de pesquisa científica visando o avanço do conhecimento, aí incluído, conforme a formulação de Donald Stokes, o conhecimento fundamental inspirado pelo uso³⁶36 Stokes DE. O Quadrante de Pasteur: a ciência básica e a inovação tecnológica. Campinas: Editora da UNICAMP; 2005..

Não restam dúvidas de que a aproximação do mercado (e do Estado como contratante de projetos) da produção científica engendra novas relações entre ciência e inovação produtiva e isso tem contribuído para impulsionar as economias baseadas no conhecimento. Mas, se existe contribuição positiva nessa nova configuração, é certo que ela vem colocando diversos desafios, entre os quais alguns no campo da ética aplicada. Como foi discutido ao longo deste texto, a erosão do conceito de bem público tradicionalmente atribuído ao conhecimento científico, a emergência estimulada do pesquisador-empreendedor e a estratégia translacional de política pública para a pesquisa científica estão no centro, tanto dessa nova configuração, quanto dos novos desafios éticos colocados em cena.

As principais manifestações desses desafios têm sido os conflitos de interesse e as consequências do excesso de incentivos para a formulação de projetos e para a publicação de resultados, capazes de aumentar as chances de ter projetos aprovados em agências públicas de fomento. Entre outros, os danos provocados por essas práticas resultam na atual epidemia de artigos retratados, nos quais o principal motivo são fraudes de tipos variados.

Portanto, talvez seja conveniente na construção de políticas públicas uma posição de coexistência equilibrada entre o conhecimento científico produzido e difundido livremente e aquele que pode implicar em interesse comercial e proprietário. Nesse sentido, vale destacar a posição de Paul David, economista e professor emérito da Universidade Stanford.

Considered at the macro-level, open science and commercially oriented research and development (R&D) based on proprietary information constitute complementary sub-systems. The public policy problem, consequently, is to keep the two sub-systems in proper balance by public funding of open science research, and by checking excessive incursions of claims to private property rights over material that would otherwise remain in the public domain of scientific data and information³⁷37 David P. The Economic Logic of “Open Science” and the Balance between Private Property Rights and the Public Domain in Scientific Data and Information: A Primer. In: Esanu JM, Uhlir PF, editors. The Role Of Scientific And Technical Data And Information In The Public Domain: Proceedings Of A Symposium. Washington: The National Academies Press; 2003. p. 19-34. [acessado 2019 Mar 25]. Disponível em: http://www.nap.edu/catalog/10785.html
http://www.nap.edu/catalog/10785.html... .

Agradecimentos

O autor agradece a leitura cuidadosa do manuscrito e sugestões realizadas pela Dra. Marcia Oliveira Teixeira. Entretanto, o conteúdo publicado é de responsabilidade exclusiva do autor.

Referências

Datas de Publicação

Histórico