Avaliação de Tecnologias em Saúde: origem e desenvolvimento
A expansão dos sistemas de saúde nas décadas que se seguiram à Segunda Guerra Mundial - enquanto parte de políticas sociais de welfare state em países desenvolvidos, ao lado de intensos processos de desenvolvimento científico e tecnológico na área da saúde e crescimento do setor econômico voltado para a produção de bens e serviços destinados ao mercado - levou ao desenvolvimento de estratégias e políticas que buscavam ordenar a incorporação de tecnologias e serviços nos sistemas de saúde, com o objetivo de garantir segurança, eficácia e efetividade para os pacientes. Insere-se nesse movimento a criação de instâncias responsáveis pela Vigilância Sanitária e pela Avaliação de Tecnologias em Saúde (ATS) 11. Novaes HM. From production to evaluation of health systems technologies: challenges for the 21st century. Rev Saúde Pública 2006; 40 Spec no.: 133-40..
A ATS foi reconhecida como prática científica e tecnológica primeiramente nos sistemas de saúde dos países desenvolvidos da Europa Ocidental a partir do final dos anos 1970, notadamente naqueles com sistemas de saúde públicos e de cobertura universal (Holanda, Reino Unido e Suécia). Ainda que a definição do que se considerava “tecnologia de saúde” fosse ampla, o foco primeiro da ATS sempre foi, e ainda é, as tecnologias de produto, como medicamentos, materiais e equipamentos. Ao longo das últimas quatro décadas, a presença e a visibilidade da ATS também como parte da política de saúde se disseminaram na Europa, na América do Norte, na Austrália e, mais tardiamente, nos países em desenvolvimento 22. Banta D, Almeida RT. The development of health technology assessment in Brazil. Int J Technol Assess Health Care 2009; 25 Suppl 1:255-9..
Em uma perspectiva histórica, a expansão e difusão da ATS pode ser dividida em três fases: fortalecimento como campo científico (1978-1987), legitimação nas políticas (1988-2002) e institucionalização e desenvolvimento internacional (2003-2013) 33. Benoit C, Gorry P. Health technology assessment: the scientific career of a policy concept. Int J Technol Assess Health Care 2017; 33:128-34..
No período inicial, as atividades da ATS estiveram direcionadas ao desenvolvimento de metodologias de produção de novas formas (tecnologias) de utilização do conhecimento científico para viabilizar a imediata aplicação na gestão dos sistemas de saúde. O uso adequado e inovador do conhecimento científico e técnico garantiria sua legitimidade enquanto análise objetiva e neutra, com relação aos potenciais conflitos de interesse existentes, e a maximização dos benefícios para os pacientes e os sistemas de saúde. No entanto, ao longo do tempo e dadas as dificuldades enfrentadas pelas organizações responsáveis pela produção e pela disseminação dos estudos de ATS, houve o reconhecimento progressivo de que as decisões sobre a incorporação e a utilização de tecnologias nos sistemas de saúde são também sempre políticas. Essas decisões não se sustentariam unicamente em bases científicas e técnicas e deveriam ser apresentadas como decisões que buscam equilíbrio entre interesses concorrentes, apoiadas não apenas no conhecimento científico estrito senso, mas também em outros tipos de conhecimento, como as dimensões éticas, políticas e culturais 44. Lomas J, Culyer T, McCutcheon C, Law S, Tetroe J. Conceptualizing and combining evidence for health system guidance. Ottawa: Canadian Health Services Research Foundation; 2005.,55. Fournier MF. Knowledge mobilization in the context of health technology assessment: an exploratory case study. Health Res Policy Syst 2012; 10:10..
Desde a metade dos anos 1990, todos os sistemas de saúde dos países da Organização para Cooperação e Desenvolvimento Econômico (OCDE) e da maioria dos “países de renda média” utilizam a ATS nos processos de decisão para incorporação de tecnologias aos sistemas de saúde, com especificidades nacionais 66. Torbica A, Tarricone R, Drummond M. Does the approach to economic evaluation in health care depend on culture, values, and institutional context? Eur J Health Econ 2018; 19:769-74.. Ela foi institucionalizada por meio da criação de agências de ATS que assumiram a responsabilidade de fornecer aos gestores avaliações apoiadas em sínteses do conhecimento científico disponível sobre a eficácia, efetividade e eficiência de tecnologias oferecidas para o mercado 33. Benoit C, Gorry P. Health technology assessment: the scientific career of a policy concept. Int J Technol Assess Health Care 2017; 33:128-34.. Ocorreu importante processo de internacionalização da ATS, como pode ser observado pela criação de redes e pelo progressivo aumento do número de agências integrantes da International Network of Agencies for Health Technology Assessment (INAHTA), atualmente com 55 membros 77. International Network of Agencies for Health Technology Assessment. HTA resources, 2019 HTA resources, 2019 https://www.inahta.org/ (acessado em 12/Ago/2019).
https://www.inahta.org/... .
As agências estariam situadas na fronteira entre a pesquisa e a política, estando aptas a prover respostas cientificamente sólidas, transparentes e legítimas às demandas de diferentes setores da sociedade 88. Gauvin FP, Abelson J, Giacomini M, Eyles J, Lavis JN. "It all depends": conceptualizing public involvement in the context of health technology assessment agencies. Soc Sci Med 2010; 70:1518-26.. Afirma-se que sua participação nos processos de incorporação e utilização das tecnologias de saúde contribuiria para ampliar a equidade e o acesso aos serviços de saúde, oferecer maior eficiência na alocação de recursos, melhor efetividade e qualidade dos serviços e maior sustentabilidade financeira do sistema de saúde 99. Novaes HM, Soárez PC. Health technology assessment (HTA) organizations: dimensions of the institutional and political framework. Cad Saúde Pública 2016; 32 Suppl 2:e00022315.. Em razão da impossibilidade de fornecimento de provas contrafactuais, essa afirmação não pode ser comprovada; ainda assim, a ATS é um dos exemplos mais acabados de políticas que fundamentam sua legitimidade e força política na neutralidade do conhecimento científico, que se desenvolveram nos anos do pós-guerra, quando as concepções sobre o poder da ciência como alavanca para o desenvolvimento social e econômico se fortaleceram 1010. Drummond M. Twenty years of using economic evaluations for drug reimbursement decisions: what has been achieved? J Health Polit Policy Law 2013; 38:1081-102..
Ao longo dos últimos anos, a ATS apresentou desenvolvimento metodológico e expansão de sua influência no meio científico e entre os gestores em saúde. Enquanto prática institucionalizada, ela se propõe identificar e tornar explícitos conjuntos de critérios que podem contribuir para a decisão entre usos diferentes dos escassos recursos, em contextos específicos. Apoiando-se na ideia da racionalidade técnico-científica, considera evidência (informação ou conhecimento verdadeiro) especialmente o que tem base científica, define critérios para a avaliação e aplica métodos “padronizados” aos processos, buscando criar condições de legitimidade social para superar os conflitos de interesse sempre presentes na incorporação de tecnologias em sistemas de saúde. As tensões e as divergências entre os grupos de interesse (stakeholders) são constantes e inevitáveis. Esses grupos - pesquisadores, produtores, tomadores de decisão governamentais, reguladores, profissionais de saúde, hospitais, seguradoras privadas de saúde e consumidores - possuem perspectivas diferentes, muitas vezes irreconciliáveis, sobre a melhor maneira de equilibrar interesses conflitantes em orçamentos sempre finitos de sistemas de saúde e que devem, ao mesmo tempo, garantir acesso a tecnologias de saúde seguras, eficazes, custo-efetivas, de forma oportuna e socialmente aceitável 1111. Novaes H, De Soarez P. Avaliação de tecnologias em saúde: técnicas, práticas e políticas. In: Costa L, Bahia L, Gadelha C, organizadores. Saúde, desenvolvimento e inovação. Rio de Janeiro: Editora Fiocruz; 2015. p. 327-58..
As evidências utilizadas para a ATS de um novo produto para a prevenção ou tratamento de uma doença se referem ao perfil epidemiológico da população, à frequência e gravidade da doença e às tecnologias já disponíveis, como cenário de referência para a tecnologia em questão, analisada no que se refere ao benefício clínico (sobretudo segurança e eficácia), inovação (novidade e natureza do tratamento) e potencial impacto socioeconômico (impacto na saúde pública e na perda de produtividade). Adicionalmente, analisa-se também sua potencial eficiência (custo, relação de custo-efetividade) e são feitas considerações éticas e de equidade 1212. Angelis A, Lange A, Kanavos P. Using health technology assessment to assess the value of new medicines: results of a systematic review and expert consultation across eight European countries. Eur J Health Econ 2018; 19:123-52..
Face à importância atribuída ao benefício clínico na ATS, como etapa necessária para que uma tecnologia possa ser considerada, aconteceu uma aproximação com a prática médica por intermédio dos ensaios clínicos, etapa obrigatória para que medicamentos, particularmente, pudessem ser aprovados pela Vigilância Sanitária e disponibilizados no mercado. Nesse sentido, a ATS e a medicina baseada em evidências aproximaram-se tanto na pesquisa quanto na atuação política - por exemplo, no desenvolvimento de protocolos clínicos para os serviços e sistemas de saúde 11. Novaes HM. From production to evaluation of health systems technologies: challenges for the 21st century. Rev Saúde Pública 2006; 40 Spec no.: 133-40.,1111. Novaes H, De Soarez P. Avaliação de tecnologias em saúde: técnicas, práticas e políticas. In: Costa L, Bahia L, Gadelha C, organizadores. Saúde, desenvolvimento e inovação. Rio de Janeiro: Editora Fiocruz; 2015. p. 327-58.. Apesar de terem origens e formas de atuação distintas - a ATS com foco na gestão dos sistemas de saúde e a medicina baseada em evidências na qualidade da prática médica -, ambas têm como fundamento para sua legitimidade o conhecimento científico biomédico.
Mais recentemente, agências de ATS têm organizado a sua atuação por duas etapas, a de ATS propriamente dita, técnico-científica e com participação mais restrita e o que é denominado appraisal, quando há ampliação na participação da sociedade e são apresentadas também considerações de natureza ética, cultural e social 1313. Velasco Garrido M, Kristensen F, Nielsen C, Busse R. Health technology assessment and health policy-making in Europe. Current status, challenges and potential. Copenhagen: WHO Regional Office for Europe; 2008. (Observatory Studies Series, 14)..
Este texto objetiva discutir a implementação da política de ATS, evidenciando as questões relacionadas à legislação, à estrutura organizacional e a diretrizes metodológicas, à capacitação de recursos humanos e às decisões de recomendação de incorporação no Sistema Único de Saúde (SUS). Apresenta os desafios que os métodos tradicionais enfrentam para apreender o valor social das tecnologias. E finaliza com a reflexão sobre a interlocução da ATS com o campo da avaliação em saúde no Brasil.
Desenvolvimento e implementação da ATS no Brasil
A ATS foi discutida formalmente pela primeira vez no Brasil em 1983, em seminário promovido em parceria da Organização Pan Americana da Saúde/Organização Mundial da Saúde (OPAS/OMS) com o governo brasileiro, em Brasília 22. Banta D, Almeida RT. The development of health technology assessment in Brazil. Int J Technol Assess Health Care 2009; 25 Suppl 1:255-9.. No final da década de 1980, iniciaram-se atividades pontuais de ensino e pesquisa em ATS em algumas instituições universitárias 1414. Almeida R, Panerai R, Carvalho M, Lopes J. Utilização de tecnologias neonatais. Revista Brasileira de Engenharia - Caderno de Engenharia Biomédica 1987; 4:107-19.,1515. Novaes H. Consumo e demanda de tecnologia em saúde. Divulg Saúde Debate 1991; 3:42-4.,1616. Silva L. Technology assessment of different levels of neonatal care. Birmigham: University of Birmingham; 1992.. No final da década de 1990, o projeto governamental Reforço à Reorganização do Sistema Único de Saúde (REFORSUS), financiado pelo Banco Mundial e pelo Banco Interamericano de Desenvolvimento (BID), incluiu a avaliação de tecnologias na proposta de avaliação dos sistemas e serviços de saúde por recomendação dos agentes financiadores 1717. Novaes HMD, Elias FTS. Uso da avaliação de tecnologias em saúde em processos de análise para incorporação de tecnologias no Sistema Único de Saúde no Ministério da Saúde. Cad Saúde Pública 2013; 29 Suppl 1:S7-16..
A organização da prática institucional de ATS no Brasil se encontra fundamentalmente vinculada ao sistema público de saúde. Nos últimos 15 anos, várias iniciativas do Ministério da Saúde estimularam a utilização de evidências científicas nos processos de decisão política sobre incorporação de tecnologias no SUS. Apresentamos, de forma sumária os acontecimentos que caracterizam a implementação da política de ATS no Brasil, evidenciando as principais questões relacionadas à legislação, à estrutura organizacional e às diretrizes metodológicas, à capacitação de recursos humanos e às decisões de recomendação de incorporação no SUS.
Legislação, estrutura organizacional e diretrizes metodológicas
Em 2004, no primeiro governo de Luiz Inácio Lula da Silva, foi aprovada a Política Nacional de Ciência Tecnologia e Inovação em Saúde (PNCTS), que incluía a ATS como instrumento de aprimoramento da capacidade regulatória do Estado na incorporação de tecnologias nos sistemas de saúde. Nesse mesmo ano, foi criado o Departamento de Ciência e Tecnologia (DECIT) do Ministério da Saúde, responsável pela implantação e pela disseminação das ações de ATS no SUS, tanto na produção de conhecimento como na gestão da saúde. No ano seguinte, foi criada a Coordenação Geral de Avaliação de Tecnologias em Saúde com a missão de implementar, monitorar e difundir a ATS no SUS. Em 2006, por meio das Portarias nº 152/2006 e nº 3.323/2006, foi criada a Comissão para Incorporação de Tecnologias do Ministério da Saúde (CITEC), primeiro órgão responsável por gerenciar o processo de incorporação de tecnologias, elaborar rotinas, fluxos e recomendações para apoiar processos de decisão nos sistemas de saúde público e privado 1818. Departamento de Ciência e Tecnologia, Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Ministério da Saúde. Consolidação da área de avaliação de tecnologias em saúde no Brasil. Rev Saude Publica 2010; 44:381-3..
Em 2009, após um longo processo de elaboração e discussão com as instâncias interessadas, a Portaria nº 2.690 instituiu a Política Nacional de Gestão de Tecnologias em Saúde (PNGTS), instrumento norteador para os atores envolvidos na gestão dos processos de avaliação, incorporação, difusão, gerenciamento da utilização e retirada de tecnologias no sistema de saúde 1919. Departamento de Ciência e Tecnologia, Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Ministério da Saúde. Política Nacional de Gestão de Tecnologias em Saúde. Brasília: Ministério da Saúde; 2010.. Em 2011, a Lei nº 12.401/2011 que versa sobre a assistência terapêutica e a incorporação de tecnologias no SUS, criou a Comissão Nacional de Incorporação de Tecnologias no SUS (CONITEC).
Pode-se considerar que houve, ao longo dos anos, a construção de um arcabouço legal que instituiu o papel formal da ATS nos processos decisórios nacionais no SUS e permitiu o estabelecimento de um órgão público atuante de ATS, a CONITEC. Após a criação da CONITEC, demandas políticas levaram a mudanças operacionais e foram modificados os processos para submissão de pedidos (fluxo contínuo) e documentos a serem entregues pelo demandante e estabelecidos prazos para a análise dos processos (não superior a 180 dias) 2020. O que muda da antiga CITEC para a atual CONITEC no processo de incorporação de tecnologias no SUS. http://portal.saude.gov.br/portal/arquivos/pdf/conitec_doc_070212.pdf (acessado em 27/Fev/2012).
http://portal.saude.gov.br/portal/arquiv... . Em colaboração com instituições acadêmicas e centros de pesquisa, a CONITEC tem desenvolvido avaliações (assessment - processo técnico/científico de coleta e síntese de informação de aspectos relevantes da tecnologia) e conduzido às reuniões da Plenária, consideradas apreciações do tipo appraisal, em que são analisados, além das informações disponibilizadas nas avaliações, outros fatores e valores associados às novas tecnologias a serem incorporadas no SUS. Complementando as ações de âmbito federal, redes de pesquisa e instâncias de ATS das esferas estadual e municipal têm realizado estudos para apoiar as Secretarias de Saúde 2121. Vanni T, Leão L. Perspectivas em avaliação de tecnologias em saúde no Brasil. In: Toma TS, Pereira TV, Vanni T, JOM B, organizador. Avaliação de tecnologias de saúde & políticas informadas por evidência. São Paulo: Instituto de Saúde; 2017. p. 399-410..
Em 2010, foram instituídos 24 Núcleos de Avaliação de Tecnologias em Saúde (NATS) em Hospitais de Ensino de todas as regiões do país, visando introduzir a cultura de ATS nos hospitais. A criação dos NATS, atualmente presentes em cerca de 36 instituições, foi financiada pela Rede Brasileira de Avaliação de Tecnologias em Saúde (REBRATS) do Ministério da Saúde, que estimula a aproximação entre instituições acadêmicas e centros colaboradores para produzir informações necessárias aos processos de tomada de decisão de incorporação de tecnologias no SUS. No contexto hospitalar, porém, a institucionalização da avaliação de tecnologias ainda não é uma realidade no âmbito nacional. Embora existam algumas experiências bem-sucedidas, não se constitui, ainda, como uma atividade de fato parte da gestão hospitalar 2222. Francisco FR, Malik AM. Application of health technology assessment (HTA) in the decision-making in hospitals. J Bras Econ Saúde 2019; 11:10-7.,2323. Pereira CCA, Rabello RDS, Elias FTS. Hospital-based health technology assessment in Brazil: an overview of the initial experiences. Int J Technol Assess Health Care 2017; 33:227-31..
O Ministério da Saúde por meio da REBRATS tem tido um papel importante na proposição de como devem ser desenvolvidos os estudos de ATS e padronização de metodologias. Essa rede funcionou informalmente desde a sua criação, de 2008 a 2011, quando foi institucionalizada pela Portaria MS/GM nº 2.915/2011. Desde 2011, a REBRATS vem organizando o desenvolvimento e a publicação de várias diretrizes metodológicas, como, por exemplo, a diretriz para elaboração de estudos de avaliação econômica de tecnologias em saúde.
Capacitação de recursos humanos
Em 2008, em parceria com a Financiadora de Estudos e Projetos (FINEP) do Ministério da Ciência e Tecnologia, o DECIT iniciou Cursos de Especialização e de Mestrado Profissional em Gestão de Tecnologias em Saúde. Em 2009, enquanto parte de edital do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) para criação de Institutos Nacionais de Ciência e Tecnologia (INCT), foi aprovada a proposta do Instituto Nacional em Ciência e Tecnologia de Avaliação de Tecnologias em Saúde (IATS), com o objetivo de desenvolver, fomentar e disseminar a ATS no Brasil, sobretudo via apoio à formação de redes de pesquisa, parcerias institucionais e formação e capacitação de recursos humanos altamente qualificados. Foram oferecidos cursos de Especialização em ATS e vários cursos de curta duração sobre o assunto. Os grupos de pesquisa ligados ao IATS têm oferecido anualmente disciplinas relacionadas à ATS em seus respectivos programas de pós-graduação.
Em 2009, foi criado o Programa de Apoio ao Desenvolvimento Institucional do SUS (PROADI-SUS), financiado com recursos de isenção fiscal (Contribuição para o Financiamento da Seguridade Social - COFINS e cota patronal do INSS), concedidos aos hospitais filantrópicos de excelência reconhecidos pelo Ministério da Saúde, cinco atualmente, para apoiar “a promoção da melhoria das condições de saúde da população brasileira”. A partir de 2010, tais hospitais passaram a incluir entre seus projetos atividades de capacitação em ATS. Oferecem Cursos de Especialização em economia e avaliação de tecnologias em saúde, cursos de curta duração presenciais e na modalidade de ensino à distância para o desenvolvimento de revisões sistemáticas, avaliações econômicas, monitoramento do horizonte tecnológico, Pareceres-Técnicos e Científicos (PTC), Protocolos Clínicos e Diretrizes Terapêuticas (PCDT), dentre outros.
Em 2013, foi criado um mestrado profissional em avaliação de tecnologias em saúde; em 2017, um curso de Especialização em economia da saúde; e, em 2019, um curso de mestrado profissional em inovação e avaliação de tecnologias em cancerologia.
A partir de 2019, os hospitais integrantes do PROADI-SUS vêm oferecendo oficinas para produção de notas técnicas aos Núcleos de Apoio Técnico do Poder Judiciário (NAT-Jus), projeto do Conselho Nacional de Justiça (CNJ) para subsidiar os magistrados em ações judiciais na área de saúde.
Após 10 anos de investimento na capacitação de recursos humanos, formou-se no Brasil um grupo ampliado de conhecedores dos conceitos básicos e dos métodos utilizados nos estudos de ATS, bem como da contribuição potencial que a ATS pode trazer ao SUS. Contudo, a ATS ainda é frequentemente apresentada como apenas uma “ferramenta”, não reconhecida como parte de uma política de ciência e tecnologia em saúde, inserida na política de saúde. Essa situação pode ser avaliada como resultado da descentralização das atividades de ATS e progressiva participação de profissionais com vinculação ao setor privado hospitalar e produtivo. A contratação por produtos e a terceirização do desenvolvimento dos estudos, adotada pelo PROADI-SUS, criou um mercado de prestação de serviços, privilegiando grupos de diferentes tipos e com variados interesses na incorporação de tecnologias, e que não necessariamente priorizam a saúde pública. A autonomia dos hospitais do PROADI-SUS sobre os editais de contratação, sobre a avaliação e a qualidade dos produtos contratados tem sido questionada. Essas instituições têm se beneficiado dos recursos, por meio do treinamento de suas próprias equipes e são os maiores compradores ou elaboradores de produtos de ATS para o SUS. Ao mesmo tempo, a formação em ATS não tem sido priorizada nas instituições que formam profissionais para a atuação no setor público, como as universidades e institutos voltados para a formação em saúde pública e está praticamente ausente das pautas das associações de Saúde Pública e Saúde Coletiva.
A política de ATS e as análises e decisões de recomendação de incorporação no SUS
A ATS enquanto política de saúde contempla no Brasil, formalmente, todas as etapas consideradas essenciais, desde a identificação das tecnologias candidatas e sua priorização até a disseminação dos resultados e o monitoramento dos impactos da incorporação de tecnologias. A CONITEC estabeleceu claramente o fluxo de incorporação de tecnologia - com linha do tempo explícita para realização e finalização das avaliações e oportunidade para contribuição dos stakeholders via consulta pública - e tem disponibilizado a maioria dos relatórios de recomendação em seu sítio da internet. Desde a sua criação, a CONITEC se espelhou no National Institute for Health and Care Excellence (NICE), agência de ATS da Inglaterra e País de Gales, cujos processos e métodos são legitimados internacionalmente. Profissionais do Ministério da Saúde, da Secretaria de Ciência, Tecnologia, Inovação e Insumos Estratégicos em Saúde (SCTIE) e da CONITEC realizaram visitas técnicas e procuraram estabelecer cooperação entre as duas instituições. Um exemplo recente dessa inspiração foi a oficina realizada em março de 2020, sobre a adoção de um limiar de custo-efetividade no Brasil. O NICE é uma das poucas agências que adota um limiar explícito (GBP 20-30.000/QALY) nas decisões de incorporação. A oficina foi realizada ao largo do debate internacional em curso e as críticas em relação à adoção de limiares pelos países 2424. Soarez PC, Novaes HMD. Cost-effectiveness thresholds and the Brazilian Unified National Health System. Cad Saúde Pública 2017; 33:e00040717..
Tal como acontece com organizações em ATS de outros países 2525. Drummond M, Sorenson C. Nasty or nice? A perspective on the use of health technology assessment in the United Kingdom. Value Health 2009; 12 Suppl 2:S8-13., a CONITEC tem sido objeto de questionamentos quanto à sua atuação efetiva, no que se refere aos critérios de priorização utilizados, divergências entre o arcabouço legal e a prática no uso de evidências científicas, tratamento diferenciado entre as demandas internas e as externas ao Ministério da Saúde e transparência e a racionalidade nos critérios usados para julgar as evidências e a clareza das regras para apelo das decisões 2626. Yuba TY, Novaes HMD, De Soárez PC. Challenges to decision-making processes in the national HTA agency in Brazil: operational procedures, evidence use and recommendations. Health Res Policy Syst 2018; 16:40.. Como exemplo, recentemente uma análise do processo de incorporação do nusinersena, medicamento mais caro já incorporado ao SUS, sinalizou problemas na transparência do processo, orientado por uma decisão política, não sustentada pela evidência científica disponível. Mesmo que essa incorporação tenha sido referida como um marco na tomada de decisão no SUS, por ter sido viabilizada mediante acordo de partilha de risco, o relatório final de incorporação não apresenta os elementos constituintes de um contrato de partilha de risco 2727. Caetano R, Hauegen RC, Osorio-de-Castro CGS. A incorporação do nusinersena no Sistema Único de Saúde: uma reflexão crítica sobre a institucionalização da avaliação de tecnologias em saúde no Brasil. Cad Saúde Pública 2019; 35:e00099619..
Ainda com relação à transparência, a não publicização das plenárias da CONITEC, nem das instituições responsáveis pela elaboração dos relatórios técnicos tem sido alvo de críticas. A contratação por meio de cartas-acordo de apenas alguns centros de pesquisa, chamados de “parceiros”, é apontada como geradora de iniquidade na alocação dos recursos, ao privilegiar o desenvolvimento de poucos atores, já dominantes no campo da ATS.
Apesar de a principal estratégia de participação social adotada pela CONITEC ser a consulta pública e da sua obrigatoriedade, recomendações da CONITEC foram emitidas sem a realização de consultas públicas, em especial em demandas do próprio Estado, e não está claro o impacto que as consultas públicas têm sobre as suas decisões 2828. Silva AS, Sousa MSA, Silva EVD, Galato D. Social participation in the health technology incorporation process into Unified Health System. Rev Saúde Pública 2019; 53:109.. É sabido que há sempre uma distância entre o que uma política preconiza e busca alcançar e o seu efetivo processo de implantação, pois são muitos os interesses e setores envolvidos, o que implica a necessidade de constante acompanhamento por parte da sociedade e manifestação política quando necessário.
Uma questão importante adicional, considerando-se a dimensão do setor privado no sistema de saúde brasileiro, são as relações entre a incorporação de tecnologias no setor privado e no setor público e seus efeitos sobre as demandas colocadas para a CONITEC, e sobre a epidemia de judicialização na saúde, no setor público, e que têm sido objeto de estudos 2929. Borges DDCL. Individual health care litigation in Brazil through a different lens: strengthening health technology assessment and new models of health care governance. Health Hum Rights 2018; 20:147-62.. Por outro lado, são pouco estudadas as repercussões das decisões da CONITEC nas decisões de cobertura no setor privado. Em 2014, a Agência Nacional de Saúde Suplementar (ANS) criou o Comitê Permanente de Regulação da Atenção à Saúde (Cosaúde) para analisar as questões pertinentes à cobertura assistencial obrigatória a ser assegurada pelo Rol de Procedimentos e Eventos em Saúde Suplementar que recentemente reformulou seus processos. A regulamentação final, publicada na Resolução Normativa nº 439, de 3 de dezembro de 2018, preconiza a apresentação de estudos completos de ATS para solicitação de inclusão no Rol, nos mesmos moldes da legislação para incorporação de tecnologias no SUS e consulta pública, objetivando permitir a participação da sociedade.
Avaliação de Tecnologias em Saúde: desafios atuais
A ATS tem sofrido o impacto do desenvolvimento científico, tecnológico e de inovação na saúde e das mudanças sociais contemporâneas. Os procedimentos tradicionais da ATS não têm se mostrado capazes de apreender o valor social das tecnologias em geral e, em particular, para algumas doenças específicas, por exemplo, as doenças raras. Pesquisadores da área de ATS têm recomendado um desenvolvimento metodológico profundo para possibilitar a avaliação do valor social dessas tecnologias em saúde, articulando-as às dimensões habituais 3030. Sussex J, Rollet P, Garau M, Schmitt C, Kent A, Hutchings A. A pilot study of multicriteria decision analysis for valuing orphan medicines. Value Health 2013; 16:1163-9.,3131. Wagner M, Khoury H, Willet J, Rindress D, Goetghebeur M. Can the EVIDEM framework tackle issues raised by evaluating treatments for rare diseases: analysis of issues and policies, and context-specific adaptation. Pharmacoeconomics 2016; 34:285-301.,3232. Angelis A, Kanavos P. Multiple Criteria Decision Analysis (MCDA) for evaluating new medicines in health technology assessment and beyond: the advance value framework. Soc Sci Med 2017; 188:137-56.,3333. Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, et al. Multiple criteria decision analysis for health care decision making - an introduction: report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016; 19:1-13.. Nesse sentido, formas diferentes de pensar as evidências têm sido sugeridas - um exemplo são as abordagens baseadas em análise de decisão de multicritérios (multicriteria decision analysis - MCDA) para avaliar intervenções em doenças raras. Acredita-se que o MCDA - ao identificar, coletar e organizar a informação necessária para aqueles que fazem o julgamento durante o processo deliberativo, explicitando os critérios usados, sua importância relativa e seu impacto nos processos de decisão 3030. Sussex J, Rollet P, Garau M, Schmitt C, Kent A, Hutchings A. A pilot study of multicriteria decision analysis for valuing orphan medicines. Value Health 2013; 16:1163-9.,3131. Wagner M, Khoury H, Willet J, Rindress D, Goetghebeur M. Can the EVIDEM framework tackle issues raised by evaluating treatments for rare diseases: analysis of issues and policies, and context-specific adaptation. Pharmacoeconomics 2016; 34:285-301.,3232. Angelis A, Kanavos P. Multiple Criteria Decision Analysis (MCDA) for evaluating new medicines in health technology assessment and beyond: the advance value framework. Soc Sci Med 2017; 188:137-56. - pode melhorar a transparência e a consistência das decisões sobre o valor da tecnologia 3333. Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, et al. Multiple criteria decision analysis for health care decision making - an introduction: report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016; 19:1-13.. Contudo, sua implementação tem sido inadequada e sujeita a críticas, por ignorar os custos de oportunidade e não seguir as diretrizes de boas práticas, podendo levar a uma alocação insatisfatória dos recursos 3434. Baltussen R, Marsh K, Thokala P, Diaby V, Castro H, Cleemput I, et al. Multicriteria decision analysis to support health technology assessment agencies: benefits, limitations, and the way forward. Value Health 2019; 22:1283-8..
Considera-se que a adoção de processos deliberativos mais ampliados, baseados em evidências inseridas em estruturas de avaliação de valor, poderia ser um importante passo para as agências de ATS aperfeiçoarem a legitimidade de suas decisões e definição de prioridades. Projetos de pesquisa interdisciplinares, com inclusão de áreas das ciências humanas e sociais, poderiam desenvolver propostas para a melhor forma de implementação desses processos em contextos de decisão específicos 3535. Baltussen R, Jansen MPM, Bijlmakers L, Grutters J, Kluytmans A, Reuzel RP, et al. Value assessment frameworks for HTA agencies: the organization of evidence-informed deliberative processes. Value Health 2017; 20:256-60.,3636. Paulden M, Stafinski T, Menon D, McCabe C. Value-based reimbursement decisions for orphan drugs: a scoping review and decision framework. Pharmacoeconomics 2015; 33:255-69.. Iniciativas como as de “inovação responsável”, em desenvolvimento na União Europeia, podem apoiar e serem apoiadas pelas agências de ATS 3737. Stilgoe J, Owen R, Macnaghtencd P. Developing a framework for responsible innovation. Research Policy 2013; 42:1568-80..
A bioética tem sido chamada a contribuir para a compreensão desses desafios, e os princípios utilizados nas suas deliberações têm sido incluídos nos estudos de ATS 3838. Schlander M, Garattini S, Kolominsky-Rabas P, Nord E, Persson U, Postma M, et al. Determining the value of medical technologies to treat ultra-rare disorders: a consensus statement. J Mark Access Health Policy 2016; 4:10.3402/jmahp.v4.33039.. Os tomadores de decisão deveriam procurar identificar quais valores julgam relevantes para aquela decisão, as preferências de grupos tidos como prioritários, quais proposições de valor sustentam suas decisões e como construir um consenso entre todos os interessados - tarefa bastante complexa 3636. Paulden M, Stafinski T, Menon D, McCabe C. Value-based reimbursement decisions for orphan drugs: a scoping review and decision framework. Pharmacoeconomics 2015; 33:255-69.,3939. Baicker K, Chandra A. Evidence-based health policy. N Engl J Med 2017; 377:2413-5.. Será necessário construir uma articulação entre o respeito às demandas individuais, ou de grupos sociais minoritários, sem comprometer o atendimento às necessidades de grandes parcelas da população e, em particular, daquelas que se encontram em situação desfavorecida e com menor protagonismo político.
As dificuldades de aplicação da ATS às doenças raras, por exemplo, demonstram que a ATS se mantém atrelada, essencialmente, aos seus princípios fundadores, que fizeram sentido e permitiram sua relevância como política de saúde e social até aqui. Atualmente, ela tem dificuldade em reconhecer e incluir na sua prática as intensas mudanças ocorridas nas sociedades, nos sistemas de saúde e na ciência e no desenvolvimento tecnológico. Existe a necessidade de estabelecimento de processos deliberativos e participativos inovadores para que seja possível sair do seu lugar e buscar novas formas de compreender a ciência, a tecnologia e a inovação em saúde e garantir que a perspectiva do bem público seja mantida.
Na avaliação de todas as tecnologias, e especialmente nas avaliações das inovações tecnológicas (por exemplo, drogas para doenças raras, medicina personalizada, dentre outras), é fundamental compreender as novas relações que têm sido estabelecidas entre a academia, o mundo tecnológico e o industrial e de como essas relações impactam os mecanismos reguladores do Estado. A independência de especialistas nos processos de ATS tem representado um desafio cada vez maior, é difícil encontrar especialistas sem relações de interesses com a indústria 4040. Banta HD. Perspective: some conclusions from my life in health technology assessment. Int J Technol Assess Health Care 2018; 34:131-3..
Os desenvolvimentos e desafios atuais em uma perspectiva internacional e suas reverberações no contexto nacional sugerem que pode estar chegando a hora de mudança do “paradigma” da ATS enquanto campo científico, no sentido Kuhniano. As bases teóricas e metodológicas que orientaram a seleção, a avaliação e a crítica dos critérios relevantes a serem verificados nesses estudos devem ser revistas para se adequarem às novas demandas da sociedade 4141. Kuhn T. A estrutura das revoluções científicas. 12ª Ed. São Paulo: Perspectiva; 2013.. A aproximação interdisciplinar com outros campos de conhecimento (Filosofia, História, Política, Sociologia, Antropologia e Direito) poderá fortalecer sua fundamentação teórica e potencializar seu uso e, dependendo da intensidade de todas essas mudanças, elas poderão gerar uma revolução nesse campo científico. Essa dinâmica dependerá amplamente da formação de mecanismos de ação política e sociais negociados também pela comunidade de pesquisa. As mudanças paradigmáticas dependerão fortemente, portanto, de elementos exteriores à ciência 4141. Kuhn T. A estrutura das revoluções científicas. 12ª Ed. São Paulo: Perspectiva; 2013..
Ao longo dos últimos quarenta anos, a ATS se firmou como área produtora de conhecimento científico e técnico, apresentando desenvolvimento metodológico e expansão de sua influência no meio científico e entre os gestores em saúde, especialmente nos países desenvolvidos e com sistema público de saúde. Para que essa política deixe de ser uma ideia “fora de lugar” no Brasil, há necessidade de inseri-la de forma mais orgânica em perspectivas políticas amplas voltadas para o bem comum e a saúde pública para a população brasileira.
A ATS e o campo da avaliação em saúde no Brasil
A ATS tem tido até aqui pouca interlocução com as áreas de avaliação de serviços, programas e políticas de saúde, na prática científica bem como na gestão do SUS. Os agentes dessas áreas atuam em mundos paralelos, com referenciais teóricos e metodológicos e práticas profissionais e políticas distintas. Na Saúde Coletiva, a avaliação de programas se mostra dominante, e pode ser considerado revelador que a ATS não foi incluída até aqui como área de interesse da Comissão de Avaliação em Saúde da ABRASCO. Por mais que tenha sido institucionalizada em nível federal, nas gestões Lula e Dilma Rousseff, de forma bastante intensiva.
Algumas hipóteses podem explicar essa distância da ATS das avaliações de serviços, programas e políticas de saúde. Um primeiro aspecto pode ser o fato de a sua introdução formal no Brasil, nos anos 1990, ter sido por intermédio de agências como o Banco Mundial e BID, uma imposição externa. Outro aspecto importante pode ser ela ter o seu foco em tecnologias de produto com grande peso econômico e proximidade com o setor produtivo internacional, vistos pela Saúde Coletiva como ameaças potenciais ao cumprimento das diretrizes do SUS. Fato que foi reforçado pela expansão, na ATS, da avaliação econômica, que busca colocar em termos monetários o valor das tecnologias para a saúde da população. Internacional e nacionalmente, a racionalidade econômica proposta pela avaliação econômica foi frequentemente acusada de apenas levar ao racionamento e à restrição de acesso a uma atenção à saúde de boa qualidade. Sobretudo em um país como o Brasil, em que, de fato, os recursos para a saúde são insuficientes para garantir adequada atenção à saúde para toda a população, falar de uso racional de recursos econômicos não é bem aceito, poderia enfraquecer a luta política por mais recursos.
A ênfase na utilização do termo “evidência” pela ATS de forma muitas vezes restrita e reducionista também contribuiu para o distanciamento entre as análises de avaliações de programas e políticas, mais amplas e contextualizadas, e a ATS. Interessante constatar que internacionalmente o termo evidence não implica necessariamente uma abordagem simplificada da realidade, e houve um desenvolvimento importante de estudos na área de “evidence-based (ou informed) policy e de redes como a Evidence-Informed PolicyNetwork (EVIPNet) que promove o uso sistemático de evidências de pesquisa em saúde na formulação de políticas, especialmente em países de baixa e média renda 4242. Dobrow MJ, Goel V, Upshur RE. Evidence-based health policy: context and utilisation. Soc Sci Med 2004; 58:207-17.,4343. Chapman E. Evaluation of the Evidence Informed Policy Networks (EVIPNet). Washington, DC: Pan American Health Organization; 2013.. Várias organizações de ATS têm estimulado o desenvolvimento de políticas de saúde informadas pela evidência 4444. Lavis JN, Oxman AD, Moynihan R, Paulsen EJ. Evidence-informed health policy 1 - synthesis of findings from a multi-method study of organizations that support the use of research evidence. Implement Sci 2008; 3:53.. As limitações da evidence-based policy4545. Greenhalgh T, Russell J. Evidence-based policymaking: a critique. Perspect Biol Med 2009; 52:304-18. impulsionaram o desenvolvimento do conceito good governance of evidence, que pretende integrar os múltiplos princípios e valores considerados importantes para uso de evidências na formulação de políticas. Tal conceito propõe a institucionalização de estruturas, regras, processos e práticas que possam garantir o uso de evidências rigorosas, válidas e relevantes, por meio de processos transparentes e deliberativos, que informem decisões representativas e legítimas perante populações locais, melhorando o potencial da evidência em realizar os objetivos coletivos da política social 4646. Parkhurst J. The politics of evidence: from evidence-based policy to the good governance of evidence. Abinggdon: Routledge; 2017..
A oportunidade desse debate nos Cadernos de Saúde Pública neste momento é inquestionável, pois poderá contribuir para o reconhecimento mútuo das especificidades e interfaces de cada uma das avaliações no campo da Saúde Coletiva. O propósito comum dessas avaliações deveria ser o fortalecimento do campo da avaliação em saúde no Brasil, promovendo a capacitação de pesquisadores para conduzir e desenvolver avaliações de tecnologias, serviços, programas e políticas de saúde de forma articulada, desenvolvendo capacidades institucionais para potencializar a pesquisa no Brasil, estabelecer parcerias e colaborações internacionais nessa área de pesquisa e fortalecer o planejamento e gestão do SUS.
Referências
- 1Novaes HM. From production to evaluation of health systems technologies: challenges for the 21st century. Rev Saúde Pública 2006; 40 Spec no.: 133-40.
- 2Banta D, Almeida RT. The development of health technology assessment in Brazil. Int J Technol Assess Health Care 2009; 25 Suppl 1:255-9.
- 3Benoit C, Gorry P. Health technology assessment: the scientific career of a policy concept. Int J Technol Assess Health Care 2017; 33:128-34.
- 4Lomas J, Culyer T, McCutcheon C, Law S, Tetroe J. Conceptualizing and combining evidence for health system guidance. Ottawa: Canadian Health Services Research Foundation; 2005.
- 5Fournier MF. Knowledge mobilization in the context of health technology assessment: an exploratory case study. Health Res Policy Syst 2012; 10:10.
- 6Torbica A, Tarricone R, Drummond M. Does the approach to economic evaluation in health care depend on culture, values, and institutional context? Eur J Health Econ 2018; 19:769-74.
- 7International Network of Agencies for Health Technology Assessment. HTA resources, 2019 HTA resources, 2019 https://www.inahta.org/ (acessado em 12/Ago/2019).
» https://www.inahta.org/ - 8Gauvin FP, Abelson J, Giacomini M, Eyles J, Lavis JN. "It all depends": conceptualizing public involvement in the context of health technology assessment agencies. Soc Sci Med 2010; 70:1518-26.
- 9Novaes HM, Soárez PC. Health technology assessment (HTA) organizations: dimensions of the institutional and political framework. Cad Saúde Pública 2016; 32 Suppl 2:e00022315.
- 10Drummond M. Twenty years of using economic evaluations for drug reimbursement decisions: what has been achieved? J Health Polit Policy Law 2013; 38:1081-102.
- 11Novaes H, De Soarez P. Avaliação de tecnologias em saúde: técnicas, práticas e políticas. In: Costa L, Bahia L, Gadelha C, organizadores. Saúde, desenvolvimento e inovação. Rio de Janeiro: Editora Fiocruz; 2015. p. 327-58.
- 12Angelis A, Lange A, Kanavos P. Using health technology assessment to assess the value of new medicines: results of a systematic review and expert consultation across eight European countries. Eur J Health Econ 2018; 19:123-52.
- 13Velasco Garrido M, Kristensen F, Nielsen C, Busse R. Health technology assessment and health policy-making in Europe. Current status, challenges and potential. Copenhagen: WHO Regional Office for Europe; 2008. (Observatory Studies Series, 14).
- 14Almeida R, Panerai R, Carvalho M, Lopes J. Utilização de tecnologias neonatais. Revista Brasileira de Engenharia - Caderno de Engenharia Biomédica 1987; 4:107-19.
- 15Novaes H. Consumo e demanda de tecnologia em saúde. Divulg Saúde Debate 1991; 3:42-4.
- 16Silva L. Technology assessment of different levels of neonatal care. Birmigham: University of Birmingham; 1992.
- 17Novaes HMD, Elias FTS. Uso da avaliação de tecnologias em saúde em processos de análise para incorporação de tecnologias no Sistema Único de Saúde no Ministério da Saúde. Cad Saúde Pública 2013; 29 Suppl 1:S7-16.
- 18Departamento de Ciência e Tecnologia, Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Ministério da Saúde. Consolidação da área de avaliação de tecnologias em saúde no Brasil. Rev Saude Publica 2010; 44:381-3.
- 19Departamento de Ciência e Tecnologia, Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Ministério da Saúde. Política Nacional de Gestão de Tecnologias em Saúde. Brasília: Ministério da Saúde; 2010.
- 20O que muda da antiga CITEC para a atual CONITEC no processo de incorporação de tecnologias no SUS. http://portal.saude.gov.br/portal/arquivos/pdf/conitec_doc_070212.pdf (acessado em 27/Fev/2012).
» http://portal.saude.gov.br/portal/arquivos/pdf/conitec_doc_070212.pdf - 21Vanni T, Leão L. Perspectivas em avaliação de tecnologias em saúde no Brasil. In: Toma TS, Pereira TV, Vanni T, JOM B, organizador. Avaliação de tecnologias de saúde & políticas informadas por evidência. São Paulo: Instituto de Saúde; 2017. p. 399-410.
- 22Francisco FR, Malik AM. Application of health technology assessment (HTA) in the decision-making in hospitals. J Bras Econ Saúde 2019; 11:10-7.
- 23Pereira CCA, Rabello RDS, Elias FTS. Hospital-based health technology assessment in Brazil: an overview of the initial experiences. Int J Technol Assess Health Care 2017; 33:227-31.
- 24Soarez PC, Novaes HMD. Cost-effectiveness thresholds and the Brazilian Unified National Health System. Cad Saúde Pública 2017; 33:e00040717.
- 25Drummond M, Sorenson C. Nasty or nice? A perspective on the use of health technology assessment in the United Kingdom. Value Health 2009; 12 Suppl 2:S8-13.
- 26Yuba TY, Novaes HMD, De Soárez PC. Challenges to decision-making processes in the national HTA agency in Brazil: operational procedures, evidence use and recommendations. Health Res Policy Syst 2018; 16:40.
- 27Caetano R, Hauegen RC, Osorio-de-Castro CGS. A incorporação do nusinersena no Sistema Único de Saúde: uma reflexão crítica sobre a institucionalização da avaliação de tecnologias em saúde no Brasil. Cad Saúde Pública 2019; 35:e00099619.
- 28Silva AS, Sousa MSA, Silva EVD, Galato D. Social participation in the health technology incorporation process into Unified Health System. Rev Saúde Pública 2019; 53:109.
- 29Borges DDCL. Individual health care litigation in Brazil through a different lens: strengthening health technology assessment and new models of health care governance. Health Hum Rights 2018; 20:147-62.
- 30Sussex J, Rollet P, Garau M, Schmitt C, Kent A, Hutchings A. A pilot study of multicriteria decision analysis for valuing orphan medicines. Value Health 2013; 16:1163-9.
- 31Wagner M, Khoury H, Willet J, Rindress D, Goetghebeur M. Can the EVIDEM framework tackle issues raised by evaluating treatments for rare diseases: analysis of issues and policies, and context-specific adaptation. Pharmacoeconomics 2016; 34:285-301.
- 32Angelis A, Kanavos P. Multiple Criteria Decision Analysis (MCDA) for evaluating new medicines in health technology assessment and beyond: the advance value framework. Soc Sci Med 2017; 188:137-56.
- 33Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, et al. Multiple criteria decision analysis for health care decision making - an introduction: report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016; 19:1-13.
- 34Baltussen R, Marsh K, Thokala P, Diaby V, Castro H, Cleemput I, et al. Multicriteria decision analysis to support health technology assessment agencies: benefits, limitations, and the way forward. Value Health 2019; 22:1283-8.
- 35Baltussen R, Jansen MPM, Bijlmakers L, Grutters J, Kluytmans A, Reuzel RP, et al. Value assessment frameworks for HTA agencies: the organization of evidence-informed deliberative processes. Value Health 2017; 20:256-60.
- 36Paulden M, Stafinski T, Menon D, McCabe C. Value-based reimbursement decisions for orphan drugs: a scoping review and decision framework. Pharmacoeconomics 2015; 33:255-69.
- 37Stilgoe J, Owen R, Macnaghtencd P. Developing a framework for responsible innovation. Research Policy 2013; 42:1568-80.
- 38Schlander M, Garattini S, Kolominsky-Rabas P, Nord E, Persson U, Postma M, et al. Determining the value of medical technologies to treat ultra-rare disorders: a consensus statement. J Mark Access Health Policy 2016; 4:10.3402/jmahp.v4.33039.
- 39Baicker K, Chandra A. Evidence-based health policy. N Engl J Med 2017; 377:2413-5.
- 40Banta HD. Perspective: some conclusions from my life in health technology assessment. Int J Technol Assess Health Care 2018; 34:131-3.
- 41Kuhn T. A estrutura das revoluções científicas. 12ª Ed. São Paulo: Perspectiva; 2013.
- 42Dobrow MJ, Goel V, Upshur RE. Evidence-based health policy: context and utilisation. Soc Sci Med 2004; 58:207-17.
- 43Chapman E. Evaluation of the Evidence Informed Policy Networks (EVIPNet). Washington, DC: Pan American Health Organization; 2013.
- 44Lavis JN, Oxman AD, Moynihan R, Paulsen EJ. Evidence-informed health policy 1 - synthesis of findings from a multi-method study of organizations that support the use of research evidence. Implement Sci 2008; 3:53.
- 45Greenhalgh T, Russell J. Evidence-based policymaking: a critique. Perspect Biol Med 2009; 52:304-18.
- 46Parkhurst J. The politics of evidence: from evidence-based policy to the good governance of evidence. Abinggdon: Routledge; 2017.
Datas de Publicação
- Publicação nesta coleção
04 Set 2020 - Data do Fascículo
2020
Histórico
- Recebido
15 Jan 2020 - Revisado
24 Mar 2020 - Aceito
25 Mar 2020