Introdução

A avaliação de programas de saúde tem sido desenvolvida como um conjunto de saberes e práticas com influência de diversas disciplinas científicas e tradições teórico-metodológicas. Tendo em vista o envolvimento de agentes oriundos de diversos campos sociais ¹1. Furtado JP, Vieira-da-Silva LM. A avaliação de programas e serviços de saúde no Brasil enquanto espaço de saberes e práticas. Cad Saúde Pública 2014; 30:2643-55., pode ser considerada um espaço intercampos, no sentido de Bourdieu ²2. Bourdieu P. Sociologie generale. Paris: Seuil; 2016.. As trajetórias e posições ocupadas pelos autores têm produzido historicamente diferentes tipos de abordagem e polissemia conceitual ³3. Alkin MC. Evaluation roots: a wider perspective of theorists' views and influences. 2nd Ed. Los Angeles: Sage; 2013.^,44. Weiss CH. Evaluation research methods for assessing program effectiveness. New York: Prentice Hall; 1972.^,55. Scriven M. Evaluation thesaurus. 4th Ed. Thousand Oaks: Sage; 1991.. Há ênfases distintas nos aspectos teórico-metodológicos, na prestação de contas e no compromissos com a gestão, dentre outras questões, gerando debates duradouros e mesmo polarizações, sobretudo na produção especializada dos Estados Unidos, do Canadá e da Inglaterra, que concentram certas tradições e significativa produção prática e teórica da área ⁶6. Shadish Jr. WR, Cook TD, Leviton LC. Foundations of program evaluation: theories of practice. Newbury Park: Sage; 1999.. A delimitação de seu escopo comporta algum grau de arbitrariedade, tendo em vista que políticas, serviços, tecnologias e práticas de saúde ⁷7. Rossi PH. My views of evaluation and their origins. In: Alkin MC, editor. Evaluation roots: a wider perspective of theorists' views and influences. 2nd Ed. Los Angeles: Sage; 2013. p. 106-12.^,88. Mertens DM, Wilson AT. Program evaluation: theory and practice. 2nd Ed. New York: The Guilford Press; 2019., sob a denominação de avaliação de programas, têm sido tomados por objeto.

No Brasil, o desenvolvimento da avaliação em saúde ocorreu no interior do campo da Saúde Coletiva ⁹9. Vieira-da-Silva LM. O campo da Saúde Coletiva: gênese, transformações e articulações com a reforma sanitária brasileira. Rio de Janeiro: Editora Fiocruz/Salvador: EdUFBA; 2018. e ali se beneficiou de diversas influências ¹1. Furtado JP, Vieira-da-Silva LM. A avaliação de programas e serviços de saúde no Brasil enquanto espaço de saberes e práticas. Cad Saúde Pública 2014; 30:2643-55.. Trabalhos anteriores buscaram identificar convergências e diferenças entre os desenhos da pesquisa avaliativa e da epidemiologia ¹⁰10. Vieira-da-Silva LM, Formigli VLA. Avaliação em saúde: limites e perspectivas. Cad Saúde Pública 1994; 10:80-91., a avaliação de programas e tecnologias ¹¹11. Novaes HMD. Avaliação de programas, serviços e tecnologias em saúde. Rev Saúde Pública 2000; 34:547-9., entre as chamadas abordagens estruturadas e não estruturadas ¹²12. Hartz ZMA. Institutionalizing the evaluation of health programs and policies in France: cuisine internationale over fast food and sur mesure over ready-made. Cad Saúde Pública 1999; 15:229-60., e também entre a avaliação e a análise de políticas ¹³13. Furtado JP, Gasparini MFV. Há diferenças entre avaliar e analisar? Ciênc Saúde Colet 2019; 24:2933-8.. Análises comparativas a esse respeito, entre Brasil e Estados Unidos, mostram o expressivo crescimento das publicações sobre avaliação em saúde a partir dos anos 2000 ¹⁴14. Crumpton CD, Medeiros JJ, Ferreira VRS, Sousa MM, Najberg E. Avaliação de políticas públicas no Brasil e nos Estados Unidos: análise da pesquisa nos últimos 10 anos. Rev Adm Pública 2016; 50:981-1001., voltadas principalmente para a avaliação de políticas e programas do Sistema Único de Saúde (SUS) ¹⁵15. Furtado JP, Campos GWS, Oda WY, Campos RO. Planejamento e avaliação em saúde: entre antagonismo e colaboração. Cad Saúde Pública 2018; 34:e00087917..

Contudo, um aspecto pouco explorado tem sido a superposição de objetos, conceitos e metodologias que por vezes não estabelecem diálogo entre si. Também a persistência da diversidade de abordagens e modelos tem sido registrada. Em que medida tem havido uma incorporação das proposições teórico-metodológicas dos autores fundadores da disciplina nos trabalhos subsequentes? Em que medida esses modelos têm sido contestados e substituídos ou aperfeiçoados? O presente ensaio pretende contribuir com essas questões e oferecer uma melhor compreensão acerca do desenvolvimento do espaço da avaliação de programas de saúde, buscando atualizar o debate na área, por meio da análise e da discussão de algumas abordagens presentes na produção científica relacionada a essa temática.

Origens da avaliação em saúde como espaço de saberes e práticas (1960-1980)

Tendo em vista que a avaliação de programas de saúde tem um desenvolvimento muito ligado àquele da avaliação como disciplina acadêmica, uma análise acerca dessa problemática requer algumas considerações preliminares sobre a evolução das relações entre a disciplina da avaliação e os programas de saúde como um dos objeto possíveis.

Nessa perspectiva, pode-se dizer que, na área da saúde, a avaliação passou a ser considerada objeto de estudo e pesquisa a partir de três vertentes que emergiram nos anos 1960. A primeira, oriunda da clínica, estava representada pelas contribuições de Avedis Donabedian ¹⁶16. Donabedian A. Evaluating the quality of medical care. Milbank Mem Fund Q 1966; 44:166-206.^,1717. Donabedian A. Explorations in quality assessment and monitoring volume 1: the definition of quality and approaches to its assessment. Ann Arbor: Health Administration Press; 1980., que sistematizou as diversas abordagens propostas para avaliação da qualidade do cuidado médico. A segunda surgiu no interior da epidemiologia e passou a incorporar como objeto de análise a investigação em serviços de saúde, da qual a avaliação fazia parte ¹⁸18. Goldbaum M. Epidemiologia e serviços de saúde. Cad Saúde Pública 1996; 12 Suppl 2:S95-8.^,1919. Novaes HMD. Pesquisa em, sobre e para os serviços de saúde: panorama internacional e questões para a pesquisa em saúde no Brasil. Cad Saúde Pública 2004; 20 Suppl 2:S147-57.. Já a terceira vertente sofreu a influência das pesquisas avaliativas em educação e em psicologia, iniciadas a partir dos estudos de Campbell & Stanley ²⁰20. Campbell DT, Stanlley JC. Experimental and quasi experimental designs for research. Boston: Houghton Mifflin Company; 1963. e desenvolvidas posteriormente por grupos multidisciplinares reunidos em torno de associações, a exemplo da Fundação Russell Sage (Russell Sage Foundation), em 1967, e da Sociedade de Pesquisa em Avaliação (Evaluation Research Society), em 1978. Entre esses primeiros autores estavam Peter Rossi (Rossi & Freeman ²¹21. Rossi PH, Freeman HE. Evaluation: a systematic approach. 3rd Ed. Beverly Hills: Sage; 1985.), Thomas Cook (Cook & Campbell ²²22. Cook TD, Campbell DT. Quasi-experimentation: design and analysis issues for field settings. Boston: Houghton Mifflin; 1979.), Michael Scriven ⁵5. Scriven M. Evaluation thesaurus. 4th Ed. Thousand Oaks: Sage; 1991. e Carol Weiss ⁴4. Weiss CH. Evaluation research methods for assessing program effectiveness. New York: Prentice Hall; 1972.. Havia também pessoas vinculadas à burocracia governamental, além dos pesquisadores. Inicialmente voltado para o desenvolvimento de uma teoria da avaliação, logo o grupo dividiu-se entre os que compreendiam a avaliação como um guia para a gestão do setor público e aqueles que a concebiam como um recurso para a prestação de contas (accountability). Também se verificou uma especialização com a divisão do espaço dos estudos avaliativos entre disciplinas: educação, políticas públicas e gestão, economia, medicina e saúde pública ²³23. Mark MM, Caracelli V, McNall MA, Miller RL. The oral history of evaluation. Am J Eval 2018; 39:290-304.. Esta última vertente foi aquela em que a avaliação foi teorizada de forma mais sistemática e se desenvolveu como disciplina relativamente autônoma. Em coletânea denominada de raízes da avaliação, além dos autores acima mencionados como pioneiros ou fundadores, Christie e Alkin acrescentam Daniel Stufflebeam e mais duas dezenas de autores que, segundo eles, teriam contribuído com teorias ou modelos originais para a disciplina da avaliação ²⁴24. Christie CA, Alkin MC. An evaluating theory tree. In: Alkin MC, editor. Evaluation roots: a wider perspective of theorists' views and influences. 2nd Ed. Los Angeles: Sage; 2013. p. 11-57..

Algumas tendências na evolução das abordagens para avaliação de programas de saúde (1997-2019)

Entre 1997 e 2000, surgiram internacionalmente diversas propostas de esquemas ou quadros de referência (frameworks) voltadas para padronizar ou orientar a realização de avaliações de programas de saúde. Algumas foram desenvolvidas como proposições genéricas para a disciplina de avaliação e posteriormente incorporadas às avaliações de programas de saúde, e outras foram especificamente desenvolvidas para essas últimas. Essas propostas fundamentaram diversas avaliações realizadas nas primeiras décadas do século XXI ²⁵25. Pawson R. The science of evaluation: a realist manifesto. London: Sage; 2013.^,2626. Glasgow RE, Harden SM, Gaglio B, Rabin B, Smith ML, Porter GC, et al. RE-AIM planning and evaluation framework: adapting to new science and practice with a 20-year review. Front Public Health 2019; 7:64.^,2727. Craig P, Dieppe P, Macintyre S, Michie S, Nazareth I, Petticrew M. Developing and evaluating complex interventions: the new Medical Research Council guidance. BMJ 2008; 337:a1655.^,2828. Rivera Dommarco JA, González de Cosío T, García-Chávez CG, Colchero MA. The role of public nutrition research organizations in the construction, implementation and evaluation of evidence-based nutrition policy: two national experiences in Mexico. Nutrients 2019; 11:594.^,2929. Heitzman M, Weitzel J, Kroll S, Zabler B. Client experiences in a prenatal home visiting program: a prenatal care coordination program evaluation. Public Health Nurs 2019; 36:653-9..

A avaliação de programas denominada realista data de 1997 ³⁰30. Pawson R, Tilley N. Realistic evaluation. London: Sage; 1997., tendo posteriormente evoluído para se apresentar como ciência da avaliação ²⁵25. Pawson R. The science of evaluation: a realist manifesto. London: Sage; 2013.. Seu principal formulador, Ray Pawson ²⁵25. Pawson R. The science of evaluation: a realist manifesto. London: Sage; 2013., situa essa abordagem como parte das ciências sociais, embora defenda a especificidade e autonomia da disciplina da avaliação que permitiriam considerá-la como ciência. Justifica sua formulação, em 1997, em parceria com Tilley, a partir de uma crítica às limitações dos desenhos então dominantes na avaliação que, na sua opinião, ou eram quase experimentais importados dos ensaios clínicos ou descrições formativas de programas locais. A avaliação realista então foi proposta como uma alternativa que buscava explicar a teoria dos programas. A esse respeito, explicita sua filiação à escola denominada de avaliação centrada na teoria (theory-driven evaluation), remetendo sua inspiração à ideia da teoria de médio alcance de Merton e aos trabalhos de Campbell & Popper ²⁵25. Pawson R. The science of evaluation: a realist manifesto. London: Sage; 2013..

Embora considere que o realismo seja mais uma estratégia de pesquisa geral do que um procedimento técnico, Pawson explicita seus procedimentos metodológicos. Tem por ambição ampliar o objeto da avaliação para além do programa, buscando incorporar o contexto, a história e desvendar os mecanismos das intervenções. O objetivo desse tipo de avaliação seria identificar em um programa “o que funciona, para quem, em quais circunstâncias, a respeito do que, em qual duração (...) e por que” ²⁵25. Pawson R. The science of evaluation: a realist manifesto. London: Sage; 2013. (p. 14). Para isso, propõe analisar o que ele denomina de configuração, contexto, mecanismo e resultado (CMOc) ²⁵25. Pawson R. The science of evaluation: a realist manifesto. London: Sage; 2013.. Contexto seria o conjunto das características dos participantes individuais, suas interrelações, a localização institucional e a infraestrutura ao redor. Mecanismos seriam os processsos, e os resultados seriam os produtos esperados ²⁵25. Pawson R. The science of evaluation: a realist manifesto. London: Sage; 2013.. Propugna o uso de múltiplos métodos: evidências qualitativas para analisar os mecanismos, técnicas quantitativas para os resultados e análise histórica para os contextos ²⁵25. Pawson R. The science of evaluation: a realist manifesto. London: Sage; 2013.. Embora as semelhanças com a tríade donabediana de estrutura-processo-resultados sejam grandes, o autor não a inclui entre suas referências.

Uma segunda perspectiva corresponde ao esquema analítico proposto por Glasgow et al. ³¹31. Glasgow RE, Vogt TM, Boles SM. Evaluating the public health impact of health promotion interventions: the RE-AIM framework. Am J Public Health 1999; 89:1322-7., em 1999, denominado RE-AIM para avaliação do impacto de intervenções e programas de promoção à saúde. O modelo corresponde à ideia de que o impacto de um programa de Saúde Pública seria uma função de cinco fatores: cobertura, eficácia, adoção, implementação e manutenção (reach, efficacy, adoption, implementation and maintenance). Tendo como objetivo superar as limitações dos ensaios clínicos para avaliação de eficácia e visando a subsidiar as avaliações de efetividade e a pesquisa de disseminação, o RE-AIM reproduz a tradição de alguns estudos precursores relacionada à identificação das principais dimensões para avaliação de um programa de saúde ²¹21. Rossi PH, Freeman HE. Evaluation: a systematic approach. 3rd Ed. Beverly Hills: Sage; 1985.. O pressuposto da avaliação dessas dimensões, de forma articulada, é que todas as cinco concorreriam para o impacto de uma política e seriam frequentemente ignoradas em avaliações de eficácia tradicional. No componente eficácia, o modelo inclui tanto efeitos positivos como negativos. Inclui também outros tipos de efeitos, além dos fatores de risco, tanto para os pacientes, a exemplo de comportamentos, como para a equipe de profissionais e sua organização do processo de trabalho. O conceito de adoção está ligado ao número de unidades de saúde que aderem ao programa. Já a efetividade seria um produto da eficácia e da implementação que também é aferida ³¹31. Glasgow RE, Vogt TM, Boles SM. Evaluating the public health impact of health promotion interventions: the RE-AIM framework. Am J Public Health 1999; 89:1322-7.. O balanço feito, segundo seus principais idealizadores vinte anos depois, concluiu que houve uma consolidação desse modelo, apoiado nas citações do artigo seminal e em revisão de trabalhos que utilizaram essa metodologia ²⁶26. Glasgow RE, Harden SM, Gaglio B, Rabin B, Smith ML, Porter GC, et al. RE-AIM planning and evaluation framework: adapting to new science and practice with a 20-year review. Front Public Health 2019; 7:64..

Há uma terceira abordagem representada por pesquisadores vinculados aos MCR (Conselhos de Pesquisa Médica) da Inglaterra e do Canadá e a diversas universidades inglesas, a exemplo de Oxford e Cambridge. Os membros do conselho de pesquisa em serviços de saúde e saúde pública elaboraram um documento inicial, em 2000, que foi sumarizado em artigo de Campbell et al. ³²32. Campbell M, Fitzpatrick R, Haines A, Kinmonth AL, Sandercock P, Spiegelhalter D, et al. Framework for design and evaluation of complex interventions to improve health. BMJ 2000; 321:694-6.. Os principais aspectos do documento relacionam-se ao propósito de avaliação de intervenções complexas por meio de desenhos observacionais. As intervenções complexas, entre outras definições, dizem respeito a ações populacionais. O documento propõe cinco fases para o desenvolvimento de uma avaliação, inspiradas no modelo de estudos sobre medicamentos. Na atualização feita em 2006 a linearidade entre as fases foi criticada, e foi ressaltado pelo comitê que os desenhos experimentais, embora importantes, nem sempre são possíveis. Foi ainda conferida importância ao ajuste das intervenções complexas aos contextos locais ²⁷27. Craig P, Dieppe P, Macintyre S, Michie S, Nazareth I, Petticrew M. Developing and evaluating complex interventions: the new Medical Research Council guidance. BMJ 2008; 337:a1655..

Numa quarta proposição originada na epidemiologia, o Centro de Controle e Prevenção de Doenças (CDC), vinculado ao Departamento de Saúde e Serviços Humanos do governo americano, publicou um modelo para avaliação por meio do seu programa de epidemiologia ³³33. Centers for Disease Control and Prevention. Framework For Program Evaluation In Public Health. MMWR 1999; 48(RR-11):1-40.. A justificativa para a elaboração dessa proposição estava na constatação da ausência de um framework para avaliação em saúde pública, a despeito de toda evolução da avaliação como disciplina. O framework foi elaborado a partir de uma oficina de trabalho envolvendo especialistas em avaliação, gestores em diversos níveis e pesquisadores. Voltado para a incorporação da avaliação na rotina dos serviços de saúde, o modelo do CDC incorpora as etapas de envolvimento dos profissionais responsáveis pelo programa, definição do foco da avaliação e do desenho, elaboração de modelo lógico, entre outras ³³33. Centers for Disease Control and Prevention. Framework For Program Evaluation In Public Health. MMWR 1999; 48(RR-11):1-40..

Naquele mesmo ano, os epidemiologistas Habicht et al. ³⁴34. Habicht J, Victora CG, Vaughan JP. Evaluation designs for adequacy, plausibility and probability of public health programme performance and impact. Int J Epidemiol 1999; 28:10-8. publicaram um artigo em que analisavam as possíveis contribuições de desenhos alternativos ao experimental para a avaliação de intervenções populacionais. Os autores propuseram um esquema analítico para a escolha da estratégia de investigação sintonizado com a pergunta da avaliação que pode ser considerada como quinta proposição. A abordagem metodológica é composta de dois eixos: o primeiro diz respeito aos indicadores de interesse, a exemplo da utilização de serviços, cobertura ou medidas de impacto. O segundo eixo refere-se ao tipo de inferência a ser feita. A esse respeito, os autores introduzem dois conceitos além da probabilidade para a inferência: adequação e plausibilidade.

Alguns autores que se propõem a realizar avaliações de programas de saúde, a exemplo de Browson et al. ³⁵35. Brownson RC, Colditz CA, Proctor EK, editors. Dissemination and implementation research in health: translating science to practice. 2nd Ed. New York: Oxford University Press; 2018., situam-se nos desdobramentos da medicina e da saúde pública baseada em evidências que resultaram na denominada pesquisa de implementação e disseminação, da qual a avaliação é um capítulo ³⁶36. Chambers D. Foreword. In: Brownson RC, Colditz CA, Proctor EK, editors. Dissemination and implementation research in health: translating science to practice. 2nd Ed. New York: Oxford University Press; 2018. p. vii-ix.. Essa vertente, que partiu da constatação, nos anos 1990, da pequena incorporação da pesquisa nas práticas, tem o propósito de desenvolver-se como uma ciência, da qual a avaliação faria parte. Nessa última perspectiva, há uma tentativa, ainda que retórica, de considerar pertinentes diversas outras abordagens como possibilidades metodológicas para a avaliação voltada para a disseminação e implementação. Com esse objetivo, Gaglio & Glasgow ³⁷37. Gaglio B, Glasgow RE. Evaluation approaches for dissemination and implementation research. In: Brownson RC, Colditz CA, Proctor EK, editors. Dissemination and implementation research in health: translating science to practice. 2nd Ed. New York: Oxford University Press; 2018. p. 327-56. sintetizaram 11 diferentes modelos para avaliação, entre os quais está a avaliação realista, buscando identificar convergências e especificidades. Ressaltam, contudo, a necessidade de criar pontes entre as abordagens formativas ou de processos e as somativas ou de resultados ³⁷37. Gaglio B, Glasgow RE. Evaluation approaches for dissemination and implementation research. In: Brownson RC, Colditz CA, Proctor EK, editors. Dissemination and implementation research in health: translating science to practice. 2nd Ed. New York: Oxford University Press; 2018. p. 327-56..

Continuidades e mudanças nas abordagens para avaliação de programas

Como aspecto em comum entre essas diversas proposições, tem-se a preocupação com a avaliação das intervenções complexas ou da complexidade social como um dos problemas a serem equacionados. Os ensaios randomizados persistem como o contraponto para as abordagens que se propõem a superá-los, a exemplo da avaliação realista e também dos quadros de referência (frameworks) elaborados por grupos de pesquisadores vinculados a instituições de pesquisa, como é o caso do MRC do Reino Unido ³⁸38. Medical Research Council. A framework for the development and evaluation of RCTs for complex interventions to improve health. London: Medical Research Council; 2000.. Outro ponto em comum é o recurso às teorias do comportamento como quadro explicativo para as intervenções a serem avaliadas, bem como a incorporação da noção de contexto. Também é uma constante a articulação entre a avaliação e o momento da intervenção, com o planejamento e com a utilização dos resultados. Nesse sentido, pode-se considerar algumas dessas proposições como um desdobramento e atualização dos estudos clássicos, como os de Cook & Campbell ²²22. Cook TD, Campbell DT. Quasi-experimentation: design and analysis issues for field settings. Boston: Houghton Mifflin; 1979. sobre os desenhos quase experimentais e seu potencial analítico. Destaca-se também a importância da teoria na avaliação desenvolvida por Chen ³⁹39. Chen HT. Theory-driven evaluations. Beverly Hills: Sage; 1990., da utilização dos resultados da avaliação proposta por Patton ⁴⁰40. Patton MQ. Utilization-focused evaluation. 2nd Ed. Beverly Hills: Sage; 1986. e até mesmo a preocupação na incorporação do ponto de vista dos participantes (stakeholders) na avaliação, como analisaram Guba & Lincoln ⁴¹41. Guba EG, Lincoln YS. Fourth generation evaluation. Newbury Park: Sage; 1989. e Fetterman & Wandersman ⁴²42. Fetterman DM, Wandersman A. Empowerment evaluation: theories, principles, concepts and steps. In: Fetterman DM, Kaftarian S, Wandersman A, editors. Empowerment evaluation: knowledge and tools for self-assessment, evaluation capacity building, and accountability. Thousand Oaks: Sage; 2015. p. 20-42.. Além desses aspectos, nos modelos revisados por Gaglio & Glasgow ³⁷37. Gaglio B, Glasgow RE. Evaluation approaches for dissemination and implementation research. In: Brownson RC, Colditz CA, Proctor EK, editors. Dissemination and implementation research in health: translating science to practice. 2nd Ed. New York: Oxford University Press; 2018. p. 327-56., foram apontados como pontos convergentes, entre outros, que a avaliação precisa considerar fatores individuais, organizacionais, do staff e da situação, além de questões de custo e custo-efetividade. Contudo, um estudo empírico, a exemplo do que foi feito por Christie ⁴³43. Christie CA. What guides evaluation? A study of how evaluation practice maps onto evaluation theory. New Dir Eval 2003; 2003:7-36. sobre o papel de referência teórica na prática dos avaliadores, poderia identificar variações no interior das aparentes concordâncias em torno da concepção e uso de frameworks.

A elaboração de um corpo teórico e metodológico com pretensões à universalidade, revelada pelo uso da ciência como adjetivo conforme proposto por Pawson ²⁵25. Pawson R. The science of evaluation: a realist manifesto. London: Sage; 2013., guardadas as devidas dimensões, pode ser considerada como um movimento na mesma direção daquele, iniciado nos anos 1970, de desenvolvimento de uma teoria da avaliação e de sua autonomização como disciplina específica. Esse esforço tem sido renovado por alguns dos fundadores ainda atuantes e/ou pelos seus seguidores ³3. Alkin MC. Evaluation roots: a wider perspective of theorists' views and influences. 2nd Ed. Los Angeles: Sage; 2013.. Por outro lado, a progressiva incorporação da avaliação como componente do processo de implementação das intervenções no desenvolvimento da denominada “ciência” da implementação ⁴⁴44. Madon T, Hofman KJ, Kupfer L, Glass RI. Public health: implementation science. Science 2007; 318:1728-9., relacionada às outras áreas com grande intersecção com a pesquisa avaliativa, a exemplo da também rotulada “ciência” dos sistemas de saúde ⁴⁵45. Skochelak SE, Hawkins RE, Lawson LE, Starr SR, Borkan JM, Gonzalo JD. Health systems science. St. Louis: Elsevier; 2017., pode ser considerada como um movimento na direção contrária à autonomização desse espaço social.

As abordagens descritas oscilam entre a pesquisa avaliativa, em que os ensaios randomizados são considerados ainda como desenhos capazes de assegurar maior validade interna e externa, e proposições centradas na utilização e na avaliação formativa, com uso de desenhos pouco estruturados. Entre esses dois polos, haveria um gradiente de proposições que buscariam articular ambas as abordagens, usar métodos mistos, desenvolver desenhos quase experimentais e realizar avaliações centradas na teoria.

Cabe uma breve menção à relação entre alguns estudos brasileiros na área da avaliação e as tendências anteriormente mencionadas. À semelhança do ocorrido nos Estados Unidos e Reino Unido, durante os anos 1990, a avaliação no Brasil desenvolveu-se apoiada nos mesmos referenciais teóricos dos autores das três vertentes referidas na introdução, com uma influência adicional do grupo canadense da Universidade de Montreal ⁴⁶46. Brousselle A, Champagne F, Contandriopoulos A-P, Hartz ZMA, organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011.^,4747. Contandriopoulos A-P, Champagne F, Denis J-L, Avargues M. L'evaluation dans le domaine de la santé: concepts et méthodes. Rev Epidemiol Santé Publique 2000; (48):517-39.. Por seu turno, o framework desenvolvido pelo grupo canadense incorporava influências de Rossi & Freeman ²¹21. Rossi PH, Freeman HE. Evaluation: a systematic approach. 3rd Ed. Beverly Hills: Sage; 1985., Chen ³⁹39. Chen HT. Theory-driven evaluations. Beverly Hills: Sage; 1990., Patton ⁴⁰40. Patton MQ. Utilization-focused evaluation. 2nd Ed. Beverly Hills: Sage; 1986. e Guba & Lincoln ⁴¹41. Guba EG, Lincoln YS. Fourth generation evaluation. Newbury Park: Sage; 1989. entre outros. Os quadros avaliativos desenvolvidos por autores brasileiros ⁴⁸48. Hartz ZMA, Champagne F, Contandriopoulos A-P, Leal MC. Avaliação do Programa Materno-infantil: análise de implantação em sistemas locais de saúde no Nordeste do Brasil. In: Hartz ZMA, organizadora. Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997. p. 89-131.^,4949. Vieira-da-Silva LM, Hartz ZMA, Chave SCL, Silva GAP, Paim JS. Análise da implantação da gestão descentralizada em saúde: estudo comparado de cinco casos na Bahia, Brasil. Cad Saúde Pública 2007; 23:355-70.^,5050. Hartz ZMA, Vieira-da-Silva LM, organizadoras. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro: Editora Fiocruz; 2005. incorporam alguns elementos do modelo canadense, em particular a ênfase nas análises de implantação, mas também desenvolvem esquemas avaliativos semelhantes ao RE-AIM de Glasgow, concebidos praticamente ao mesmo tempo ¹⁰10. Vieira-da-Silva LM, Formigli VLA. Avaliação em saúde: limites e perspectivas. Cad Saúde Pública 1994; 10:80-91.^,4949. Vieira-da-Silva LM, Hartz ZMA, Chave SCL, Silva GAP, Paim JS. Análise da implantação da gestão descentralizada em saúde: estudo comparado de cinco casos na Bahia, Brasil. Cad Saúde Pública 2007; 23:355-70.^,5151. Vieira-da-Silva LM. Avaliação do processo de descentralização das ações de saúde. Ciênc Saúde Colet 1999; 4:331-9.. Essa concomitância também ocorreu no que diz respeito à incorporação das abordagens qualitativas e aos métodos mistos no Brasil ⁵²52. Minayo MCS, Cruz Neto O. Triangulación de métodos en la evaluación de programas y servicios de salud. In: Bronfman M, Castro R, organizadores. Salud, cambio social y política: perspectivas desde América Latina. Cor Del Valle: Edamex; 1999. p. 65-80. e abordagens construtivistas ⁵³53. Furtado JP. Um método construtivista para a avaliação em saúde. Ciênc Saúde Colet 2001; 6:165-81..

Comentários finais

A análise da evolução dessas abordagens selecionadas sobre a avaliação de programas de saúde revela uma tendência à proposição de novos quadros de referência (frameworks) para avaliação que, por vezes, não dialogam entre si e frequentemente recuperam elementos dos antecessores, sem estabelecer claramente a originalidade das proposições em relação às anteriores.

Dois movimentos aparentemente opostos foram identificados: por um lado, a busca de autonomização da avaliação como ciência; por outro, a sua incorporação em outras disciplinas. A avaliação de programas tanto aparece como uma area temática específica, com problemática e metodologia próprias, quanto como um dos objetos possíveis da temática da avaliação em saúde ao lado da avaliação de políticas, tecnologias e serviços de saúde. Todos esses objetos podem ser avaliados a partir da deliminação do objetivo da avaliação, que pode ser de eficácia, efetividade, qualidade, implantação, acesso entre outras ³3. Alkin MC. Evaluation roots: a wider perspective of theorists' views and influences. 2nd Ed. Los Angeles: Sage; 2013.^,77. Rossi PH. My views of evaluation and their origins. In: Alkin MC, editor. Evaluation roots: a wider perspective of theorists' views and influences. 2nd Ed. Los Angeles: Sage; 2013. p. 106-12..

A diversidade verificada pode ser produto da constituição de um espaço social com pequena autonomia relativa, em que o que está em jogo é a autoridade sobre as questões teórico-metodológicas da avaliação de programas de saúde, não apenas do ponto de vista do conhecimento mas também como mercado de consultorias. É um espaço social que, embora tenha surgido no interior da Saúde Pública, no âmbito internacional, e no campo da Saúde Coletiva no Brasil, é, ao mesmo tempo, dominado pelo campo médico e pelo espaço mais geral da avaliação de programas.

Embora a referência direta aos clássicos da avaliação esteja bastante reduzida em artigos dos últimos cinco anos, ela é mediada por esse conjunto de estudos do final dos anos 1990 e início do século XXI, acima sumarizados, cujos modelos teórico-metodológicos (frameworks) para avaliação de programas de saúde se apoiaram nos autores fundadores da avaliação como disciplina. Pode-se dizer que tanto a avaliação focada na utilização como as abordagens construtivistas foram englobadas nas duas vertentes que buscam a unificação da disciplina acadêmica. Assim, a implementation science incorpora o discurso da avaliação para a utilização e a proposta de uma ciência realista da avaliação, incorporando a teoria e as abordagens qualitativas.

Ainda que a relação da pesquisa avaliativa com as pesquisas em outras disciplinas, particularmente a pesquisa social, seja reconhecida pela maioria dos autores, há uma tendência ambivalente e recorrente de defini-la como uma disciplina autônoma e com especificidades. A proposição de Pawson de uma ciência da avaliação é relativamente recente e passível de críticas que fogem ao escopo desse artigo, porém podem ser indicadas. A principal crítica é a subordinação da avaliação às disciplinas das ciências humanas e sociais que, até o momento, não dispõem de uma teoria unificada do social, e sim, de tradições teóricas ⁵⁴54. Bourdieu P, Chamboredon J-C, Passeron J-C, Teixeira GJF. A profissão do sociólogo: preliminares epistemológicas. Petrópolis: Editora Vozes; 1999.. Outro aspecto não menos relevante é a ausência de diálogo com as teorias sociológicas das práticas sociais clássicas e contemporâneas para explicar os programas de saúde e sua implantação.

Dessa forma, a busca da consolidação da avaliação como campo de saberes e práticas relativamente autônomo, no sentido usado por Bourdieu ⁵⁵55. Bourdieu P. As regras da arte: gênese e estrutura do campo literário. Lisboa: Presença; 1996., tem ocorrido concomitantemente com a persistência da tendência histórica à fragmentação e pulverização das abordagens e frameworks, bem como de sua incorporação a outras disciplinas. A dinâmica entre esses dois movimentos pode ser produto não só da composição desse espaço social situado entre os campos científico e burocrático, entre a academia e os serviços de saúde, mas também da natureza do objeto da avaliação, que implica julgamento sobre políticas, governos e governantes ⁵⁶56. Carol HW. Rooting for evaluation: digging into beliefs. In: Alkin MC, editor. Evaluation roots: a wider perspective of theorists' views and influences. 2nd Ed. Los Angeles: Sage; 2013. p. 130-43.. A avaliação de programas de saúde como componente desse espaço social mais amplo sofre influência dessas mesmas tendências. A realização de revisões sistemáticas sobre a temática poderá dimensionar a magnitude dessas diferentes propostas teórico-metodológicas, bem como identificar outras. Também uma análise das trajetórias dos fundadores e autores mais influentes, das redes de relações e das condições históricas de possibilidade poderá contribuir para uma melhor compreensão desses processos.

Agradecimentos

Os autores agradecem a Wagner Y. Oda, que contribuiu com a revisão preliminar e elaboração do banco de dados que subsidiou a análise.

Referências

Datas de Publicação

Histórico