Resumo

Políticas de promoção da saúde em diversos países propõem a prática de atividade física em suas diretrizes. Avaliar os resultados dessas intervenções, ao mesmo tempo em que se constitui em importante apoio às decisões, pode ser desafiador. Para este estudo, utilizou-se uma avaliação baseada na teoria, a análise da contribuição. Foi explicitada a cadeia de resultados da intervenção e a teoria da mudança (TM), para analisar os elementos relacionados à sustentabilidade dos resultados do Programa Academia da Cidade (PAC) do município de Recife-PE, entre 2002 e 2016. Para validação da TM, procedeu-se a entrevistas com dez informantes-chave e realização de quatro grupos focais de junho a agosto de 2016. O teste da TM deu-se pela integração dos dados qualitativos produzidos, assim como a revisão de documentos provenientes da literatura e documentos oficiais e técnicos. Empregou-se a análise de conteúdo temática. Os resultados indicaram que a maior parte dos pressupostos foi confirmada na presença de outros fatores de influência (contextuais e explicações rivais). A testagem da TM revelou plausabilidade e validade da teoria do programa, permitindo concluir que a sustentabilidade de fatores estruturantes para o PAC contribuiu na manutenção dos resultados esperados, apesar da instabilidade ocorrida entre os anos de 2012 e 2016.

Palavras-chave:
Avaliação em saúde; Análise da contribuição; Teoria da mudança; Análise de resultados; Promoção da saúde.

Abstract

Health promotion policies in several countries propose the practice of physical activity in their guidelines. Assessing the results of these interventions, while providing important decision support, can be challenging. For this study, a theory-drive-evaluation was used, analysis of the contribution. The intervention results chain, the theory of change (ToC), was explained to analyze the elements related to the sustainability of the results of a program called Academia da Cidade (PAC), from 2002 to 2016. For ToC validation, interviews with ten key informants were carried out, and four focus groups were held from June to August 2016. The ToC test was carried out by integrating the qualitative data produced, as well as by performing a literature review and the review of official and technical documents. Thematic content analysis was used. The results indicated that most of the assumptions were confirmed in the presence of other influencing factors (contextual and rival explanations). ToC testing revealed the plausibility and validity of the program’s theory, allowing us to conclude that the sustainability of PAC structuring factors contributed to the maintenance of the expected outcomes, despite the instability that occurred from 2012 to 2016.

Keywords:
Health evaluation; Contribution analysis; Theory of change; Analysis of results; Health promotion.

Introdução

Desde a publicação da Carta de Ottawa, em 1986, o debate sobre promoção da saúde (PS) passou por transformações que a tornaram um campo aplicado de conhecimentos e intervenções multifocais e inovadoras voltadas a mudanças sociais abrangentes e sustentáveis (POTVIN; GENDRON; BILODEAU, 2012POTVIN, L.; GENDRON, S.; BILODEAU, A. Trois conceptions de la nature des programmes: implications pour l’évaluation de programmes complexes en santé publique. La Revue Canadienne d’Évaluation de Programme, v. 26, n. 3, p. 91-104, 2012. ), como o Programa Academia da Cidade (PAC) do município do Recife-PE. Esse campo, em constante construção, pauta-se pelo conceito ampliado da saúde, tendo como focos os determinantes sociais, a participação social, a intersetorialidade e a educação em saúde emancipadora. Os documentos de referência na área foram incorporados aos princípios e diretrizes do Sistema Único de Saúde - SUS (WESTPHAL, 2012WESTPHAL, M. M. Promoção da saúde e prevenção de doenças. In: CAMPOS, G.W.S. et al. (Orgs.). Tratado de Saúde Coletiva. 2. ed. São Paulo: Hucitec, 2012. p. 635-669.) e à Política Nacional de Promoção da Saúde, da qual a alimentação adequada e saudável e a atividade física são temas prioritários.

Intervenções/programas de PS resultam das ações dos agentes e suas percepções - conforme seus valores e crenças - em constantes interações com mecanismos estruturais presentes na sociedade, que atuam sobre a situação julgada problemática, sendo assim, consideradas sistemas de ação complexos (HAWE; SHIELL; RILEY, 2009HAWE, P.; SHIELL, A.; RILEY, T. Theorising interventions as events in systems. American Journal of Community Psychology, v. 43, p. 267-276, 2009. ; POTVIN; GENDRON; BILODEAU, 2012POTVIN, L.; GENDRON, S.; BILODEAU, A. Trois conceptions de la nature des programmes: implications pour l’évaluation de programmes complexes en santé publique. La Revue Canadienne d’Évaluation de Programme, v. 26, n. 3, p. 91-104, 2012. ).

A produção de evidências sobre resultados de intervenções de PS traz inúmeros desafios. Há tanto dificuldades epistemológicas na definição do que se constitui evidência no campo, quanto na utilização dessa mesma evidência no planejamento, execução e avaliação de ações (POTVIN , 2005POTVIN, L. et al. Integrating Social Theory Into Public Health Practice. American Journal of Public Health, v. 95, n. 4, p. 591-595, 2005.; POTVIN; MCQUEEN, 2009POTVIN, L.; MCQUEEN, D. V. Practical dilemmas for health promotion evaluation. In: POTVIN, L.; MCQUEEN, D.V. (ed.). Health Promotion Evaluation Practices in the Americas: Values and Research. New York: Springer, 2009. p. 25-45.). Assim, a avaliação de intervenções dessa natureza deve reconhecer as múltiplas concepções existentes, em que os métodos e abordagens empregados deem conta da complexidade envolvida (RILEY , 2018RILEY, B. L. et al. Using contribution analysis to evaluate the impacts of research on policy: Getting to ‘good enough’. Research Evaluation, v. 27, n. 1, p. 16-27, 2018.; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ; O'CATHAIN , 2019O'CATHAIN, A.; CROOT, L.; DUNCAN, E. Guidance on how to develop complex interventions to improve health and healthcare. BMJ Open, v. 9, p. e029954, 2019.).

Entre as alternativas para enfrentar essas questões sem afetar o rigor metodológico, tem-se a avaliação baseada na teoria, como a análise da contribuição (AC), por exemplo (BEFANI; MAYNE, 2014BEFANI, B.; MAYNE, J. Process Tracing and Contribution Analysis: A Combined Approach to Generative Causal Inference for Impact Evaluation. IDS Bulletin, v. 45, n. 6, p. 17-36, 2014.; LEEUW; DONALDSON, 2015LEEUW, F. L.; DONALDSON, S. I. Teoria em avaliação: reduzindo a confusão e encorajando o debate. Evaluation, v. 21, n. 4, p. 467-480, 2015.; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ). A AC, que evoluiu desde sua primeira apresentação em 2001 (MAYNE, 2001MAYNE, J. Addressing attribution through contribution analysis: Using performance measures sensibly. Canadian Journal of Program Evaluation, v. 16, n. 1, p. 1-24, 2001.), vem se mostrando adequada para avaliar resultados de intervenções complexas, nas quais nem sempre é possível ou apropriado utilizar desenhos avaliativos experimentais (MAYNE, 2015MAYNE, J. Useful Theory of Change Models. Canadian Journal of Program Evaluation, v. 30, p. 119-142, 2015.; RILEY , 2018RILEY, B. L. et al. Using contribution analysis to evaluate the impacts of research on policy: Getting to ‘good enough’. Research Evaluation, v. 27, n. 1, p. 16-27, 2018.; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ).

Na AC não há pretensão de demonstrar a atribuição dos resultados à intervenção, mas fornecer evidências que demostrem sua contribuição para os desfechos observados, e de que forma o faz. Com isso, pode-se estabelecer associação entre a intervenção e seus resultados observados (JOLY , 2015JOLY, P. B. et al. ASIRPA: A comprehensive theory-based approach to assessing the societal impacts of a research organization. Research Evaluation, p. 1-14, 2015.; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ). Essa potencialidade tem tornado crescente o interesse nesse tipo de análise, cujo debate internacional vem se impulsionando (BEFANI; MAYNE, 2014BEFANI, B.; MAYNE, J. Process Tracing and Contribution Analysis: A Combined Approach to Generative Causal Inference for Impact Evaluation. IDS Bulletin, v. 45, n. 6, p. 17-36, 2014.; BIGGS , 2014BIGGS, J. S. et al. A practical example of Contribution Analysis to a public health intervention. Evaluation, v. 20, n. 2, p. 214-229, 2014.; RILEY , 2018RILEY, B. L. et al. Using contribution analysis to evaluate the impacts of research on policy: Getting to ‘good enough’. Research Evaluation, v. 27, n. 1, p. 16-27, 2018.; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ).

Um dos aspectos centrais da AC refere-se ao desenvolvimento e à testagem de uma postulada teoria da mudança (TM) (ou theory of change - ToC, na língua inglesa) da intervenção estudada. A TM identifica os pressupostos e mecanismos gerativos que pretendem explicar como a intervenção está organizada para alcançar as mudanças propostas, e os riscos relacionados a esses pressupostos (LEMIRE , 2012LEMIRE, S. T.; NIELSEN, S. B.; DYBDAL, L. Making contribution analysis work: A practical framework for handling influencing factors and alternative explanations. Evaluation, v. 18, n. 3, p. 294-309, 2012. ; MAYNE, 2012MAYNE, J. Contribution analysis: Coming of age? Evaluation, v. 18, n. 3, p. 270-280, 2012.; BIGGS , 2014BIGGS, J. S. et al. A practical example of Contribution Analysis to a public health intervention. Evaluation, v. 20, n. 2, p. 214-229, 2014.; MAYNE, 2015; REINHOLZ; ANDREWS, 2020REINHOLZ, D. L.; ANDREWS, T. C. Change theory and theory of change: what’s the difference anyway? International Journal of STEM Education, v. 7, n. 2, p. 1-12, 2020. ). Ademais, ela requer a identificação de outros fatores de influência (ou contextuais) e das possíveis explicações rivais. Estas últimas seriam mecanismos concorrentes que, separadamente, poderiam levar aos resultados esperados podendo, assim, desafiar a teoria geral/pressupostos. Já os fatores que influenciam podem inibir ou permitir a ativação de mecanismos na condução da mudança pretendida (BEFANI; MAYNE, 2014BEFANI, B.; MAYNE, J. Process Tracing and Contribution Analysis: A Combined Approach to Generative Causal Inference for Impact Evaluation. IDS Bulletin, v. 45, n. 6, p. 17-36, 2014.; MAYNE, 2015MAYNE, J. Useful Theory of Change Models. Canadian Journal of Program Evaluation, v. 30, p. 119-142, 2015.; REINHOLZ; ANDREWS, 2020REINHOLZ, D. L.; ANDREWS, T. C. Change theory and theory of change: what’s the difference anyway? International Journal of STEM Education, v. 7, n. 2, p. 1-12, 2020. ).

O desenvolvimento da TM não expressa a intervenção em si, mas as respostas geradas pelas atividades propostas (MAYNE, 2012MAYNE, J. Contribution analysis: Coming of age? Evaluation, v. 18, n. 3, p. 270-280, 2012.; ²⁰¹⁵MAYNE, J. Useful Theory of Change Models. Canadian Journal of Program Evaluation, v. 30, p. 119-142, 2015.; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ). Inicia-se pela análise do problema em questão, suas causas e determinantes, utilizando teorias sociais e evidências existentes. Essa revisão permite a identificação tanto dos fatores que podem influenciar nos resultados, como a exploração de explicações rivais (MAYNE, 2012MAYNE, J. Contribution analysis: Coming of age? Evaluation, v. 18, n. 3, p. 270-280, 2012.; ²⁰¹⁵MAYNE, J. Useful Theory of Change Models. Canadian Journal of Program Evaluation, v. 30, p. 119-142, 2015.; MAYNE; JOHNSON, 2015MAYNE, J.; JOHNSON, N. Using theories of change in the CGIAR Research Program on Agriculture for Nutrition and Health. Evaluation, v. 21, n. 4, p. 407-428, 2015.; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ).

Ao explicitar e testar a TM de uma intervenção, esta abordagem auxilia na análise de teorias ultrapassadas, pouco realistas ou frágeis, que seriam insuficientes ou inadequadas para promover as mudanças desejadas, independentemente do quão bem esteja implementada (REINHOLZ; ANDREWS, 2020REINHOLZ, D. L.; ANDREWS, T. C. Change theory and theory of change: what’s the difference anyway? International Journal of STEM Education, v. 7, n. 2, p. 1-12, 2020. ; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ).

Visando ampliar as possibilidades de uso dessa abordagem, propôs-se, no presente estudo, utilizar a AC para apreciar os elementos implicados na sustentabilidade de um programa de PS: o PAC Recife, no período de 2002 (concepção do programa) a 2016. Trata-se de uma intervenção de base comunitária composta por 42 polos instalados em espaços públicos de diversos bairros da cidade. Objetiva estimular a prática regular de atividade física, orientada por avaliação e profissionais de educação física; a alimentação saudável; a inclusão social, por meio de jogos esportivos e populares, e atividades de educação em saúde, para todas as faixas etárias (RECIFE, 2014RECIFE. Secretaria Municipal de Saúde. Plano Municipal de Saúde 2014-2016. Recife: Prefeitura do Recife, 2014.).

O estudo dividiu-se em dois tipos de análise: sustentabilidade e contribuição do PAC. A primeira fase, apresentada em um trabalho anterior (CAZARIN , 2019CAZARIN, G. et al. Análise da sustentabilidade de uma intervenção de promoção da saúde no município de Recife, Pernambuco. Physis Revista de Saúde Coletiva, v. 29, n. 3, p. 1-23, 2019.), analisou o percurso de eventos relativos à sustentabilidade (PLUYE , 2005PLUYE, P. et al. Program sustainability begins with the first events. Evaluation Program Plan, v. 28, p. 123-137, 2005.) do programa. A segunda fase, descrita neste artigo, apresenta a testagem da TM do PAC, analisando-a segundo sua contribuição para o alcance sustentável de seus efeitos esperados. Tal interface permite compreender como os eventos da sustentabilidade de uma intervenção produzem seus efeitos em longo prazo de maneira contínua (BIGGS , 2014BIGGS, J. S. et al. A practical example of Contribution Analysis to a public health intervention. Evaluation, v. 20, n. 2, p. 214-229, 2014.; JOLY , 2015JOLY, P. B. et al. ASIRPA: A comprehensive theory-based approach to assessing the societal impacts of a research organization. Research Evaluation, p. 1-14, 2015.; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ).

Os resultados da primeira fase do estudo indicaram ocorrência de 14 eventos relativos à sustentabilidade, na sua maior parte com consequências positivas para a continuidade do programa no período estudado (CAZARIN , 2019CAZARIN, G. et al. Análise da sustentabilidade de uma intervenção de promoção da saúde no município de Recife, Pernambuco. Physis Revista de Saúde Coletiva, v. 29, n. 3, p. 1-23, 2019.). No presente estudo, partiu-se do argumento de que o desenvolvimento sustentável do programa contribui no alcance dos efeitos esperados. O PAC Recife foi tomado como voltado à PS por meio, principalmente, do estímulo à atividade física, lazer e convivência. Objetivou-se analisar fatores teóricos e práticos favoráveis ou dificultadores para esse alcance, por meio da testagem da TM. Espera-se, com este estudo, avançar na produção científica de avaliações baseadas na teoria, pois, apesar do crescente interesse na AC como um tipo de avaliação teórica útil, há escassos estudos sobre sua aplicação e metodologia, de modo a atingir todo seu potencial (LEMIRE , 2012LEMIRE, S. T.; NIELSEN, S. B.; DYBDAL, L. Making contribution analysis work: A practical framework for handling influencing factors and alternative explanations. Evaluation, v. 18, n. 3, p. 294-309, 2012. ; BIGGS , 2014BIGGS, J. S. et al. A practical example of Contribution Analysis to a public health intervention. Evaluation, v. 20, n. 2, p. 214-229, 2014.; RILEY , 2018RILEY, B. L. et al. Using contribution analysis to evaluate the impacts of research on policy: Getting to ‘good enough’. Research Evaluation, v. 27, n. 1, p. 16-27, 2018.).

Métodos

Foi realizada pesquisa avaliativa qualitativa focada na análise da contribuição dos eventos de sustentabilidade do PAC Recife no alcance dos seus efeitos esperados, no período de 2002 a 2016. Adotou-se o referencial teórico de avaliação baseada na teoria, com desenvolvimento, explicitação, análise e testagem da TM do programa em estudo, conforme proposto por Mayne (2015MAYNE, J.; JOHNSON, N. Using theories of change in the CGIAR Research Program on Agriculture for Nutrition and Health. Evaluation, v. 21, n. 4, p. 407-428, 2015.).

O estudo de caso único com níveis de análise imbricados (usuários, profissionais de educação física, e gestores: âmbito local, regional e central das Secretarias de Saúde) foi utilizado como estratégia de pesquisa. A definição do caso obedeceu à recomendação de ser peculiar, em que uma amostra representativa de casos seria inviável (YIN, 2015YIN, R.K. Estudo de caso: planejamento e métodos. 5. ed. Porto Alegre: Bookman, 2015.).

A coleta dos dados primários, realizada de maio a agosto de 2016, empregou diversos procedimentos: entrevistas semiestruturadas, grupos focais, revisão de documentos oficiais e técnicos, além de documentos obtidos por meio de revisão de literatura sobre avaliação de intervenções comunitárias de promoção da atividade física (CAZARIN , 2020CAZARIN, G. et al. Meta-avaliação de intervenções comunitárias de promoção da atividade física. Journal of Management Primary Health Care, v. 12, p. 1-22, 2020.). Foram realizadas dez entrevistas individuais com: coordenação do PAC; gestor municipal de Atenção Primária à Saúde e de Vigilância em Saúde; gestor estadual da Secretaria de Vigilância em Saúde e da Secretaria das Cidades; representante de entidade de classe (Associação dos Profissionais de Educação Física de Pernambuco -APEF); representantes de instituição local de ensino e pesquisa (2); e profissionais de polo diferenciado (Projeto Bom Dia) (2). Os informantes-chave foram eleitos intencionalmente de acordo com sua experiência com o programa.

Os grupos focais (4) ficaram assim distribuídos: dois grupos com usuários (cada um com 6 integrantes), um grupo com coordenadores técnico-pedagógicos distritais (6 integrantes) e um grupo focal com profissionais de educação física dos polos (7 integrantes), totalizando 19 participantes. Como critério de inclusão nesses grupos, tivemos o tempo de atuação/participação no programa (pelo menos um ano). Os integrantes dos grupos focais foram identificados de forma intencional, segundo seu protagonismo no programa e representação dos diversos Distritos Sanitários municipais (8). Identificaram-se os usuários com o auxílio dos profissionais do programa, utilizando os mesmos critérios elencados anteriormente.

Para o grupo focal com os profissionais de educação física atuando nos polos, além dos critérios acima, buscou-se mesclar os sujeitos conforme seus turnos (manhã e tarde); atuação somente no polo, e no polo e extrapolo (Centro de Apoio Psicossocial, unidade básica de saúde e comunidade). Após a nomeação dos potenciais integrantes, esses foram convidados via contato telefônico. Os grupos focais tiveram duração média de duas horas cada sessão.

Documentos e normas oficiais do PAC foram utilizados na elaboração de TM preliminar, organizada em três macrocomponentes, descritos no item Resultados. Para cada componente, foi desenhada uma cadeia de resultados, contendo os pressupostos sobre como deveriam funcionar para atingir os resultados previstos (MAYNE, 2015MAYNE, J.; JOHNSON, N. Using theories of change in the CGIAR Research Program on Agriculture for Nutrition and Health. Evaluation, v. 21, n. 4, p. 407-428, 2015.; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ). Objetivou-se explicitar um conjunto de explicações primárias (que devem ser definidas previamente à coleta de dados), contribuintes no alcance sustentável dos resultados esperados. As explicações, representadas pelos pressupostos, derivaram de aspectos que influenciam a sustentabilidade de intervenções (PLUYE , 2005PLUYE, P. et al. Program sustainability begins with the first events. Evaluation Program Plan, v. 28, p. 123-137, 2005.).

A TM inicial foi reconstruída com base na análise do material empírico coletado. Nessa etapa foi aplicada a análise temática de conteúdo adaptada, considerando as categorias conceituais preestabelecidas, presentes nos instrumentos de coleta de dados (HSIEH; SHANNON, 2005HSIEH, H-F.; SHANNON, S. E. Three Approaches to Qualitative Content Analysis. Qualitative Health Research, v. 15, p. 1277-1288, 2005.). Isso permitiu verificar a plausibilidade da TM inicialmente proposta.

Na etapa seguinte, elaborou-se matriz de análise contendo as demais categorias (além do pressuposto), preconizadas por Mayne (2015MAYNE, J.; JOHNSON, N. Using theories of change in the CGIAR Research Program on Agriculture for Nutrition and Health. Evaluation, v. 21, n. 4, p. 407-428, 2015.), para a testagem da TM: a) riscos: fatores contraditórios que, caso ocorram, podem comprometer o funcionamento da intervenção; b) explicações rivais: outros fatores externos capazes de concorrer para explicar a ocorrência dos resultados observados, além da influência da intervenção; e c) fatores que influenciam: condições contextuais que podem inibir ou ativar os mecanismos na condução da mudança pretendida.

Após a confirmação dos elementos da TM, foi realizada sua análise para compreender os mecanismos que impulsionaram, os que se tornaram obstáculos ou ausências para o alcance dos resultados do programa de modo sustentável. Essa análise é considerada o cerne da AC, onde devem ser analisados: a validade dos pressupostos quanto ao seu potencial explicativo, a influência dos fatores contextuais nos resultados e a comprovação de que os resultados encontrados não são devidos a explicações rivais (MAYNE, 2015MAYNE, J.; JOHNSON, N. Using theories of change in the CGIAR Research Program on Agriculture for Nutrition and Health. Evaluation, v. 21, n. 4, p. 407-428, 2015.; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ).

Para a análise, os pressupostos foram testados quanto ao seu potencial explicativo: caso sua validade não fosse confirmada, esses poderiam constituir um risco ao elo da cadeia envolvida, podendo chegar a comprometer a manutenção dos resultados a ela relacionados. Os riscos foram entendidos como situações que criaram obstáculos à realização do pressuposto (MAYNE, 2015MAYNE, J.; JOHNSON, N. Using theories of change in the CGIAR Research Program on Agriculture for Nutrition and Health. Evaluation, v. 21, n. 4, p. 407-428, 2015.). Dessa forma, a coluna “risco”, na matriz de análise, apresenta os dados coletados da forma como se expressaram: como ratificação do pressuposto, ou como risco à sua confirmação. A coluna “explicações rivais” foi utilizada do mesmo modo que a de “risco”: confirmando-as ou não (LEMIRE , 2012LEMIRE, S. T.; NIELSEN, S. B.; DYBDAL, L. Making contribution analysis work: A practical framework for handling influencing factors and alternative explanations. Evaluation, v. 18, n. 3, p. 294-309, 2012. ; MAYNE, 2015MAYNE, J. Useful Theory of Change Models. Canadian Journal of Program Evaluation, v. 30, p. 119-142, 2015.; RILEY , 2018RILEY, B. L. et al. Using contribution analysis to evaluate the impacts of research on policy: Getting to ‘good enough’. Research Evaluation, v. 27, n. 1, p. 16-27, 2018.).

Os fatores contextuais foram analisados segundo seu potencial como fatores de apoio ou não na direção da mudança pretendida. Na coluna “implicações”, sumarizou-se o grau de influência que os elementos da TM tiveram sobre a cadeia de resultados envolvida (LEMIRE , 2012LEMIRE, S. T.; NIELSEN, S. B.; DYBDAL, L. Making contribution analysis work: A practical framework for handling influencing factors and alternative explanations. Evaluation, v. 18, n. 3, p. 294-309, 2012. ). Ao final, na coluna “meios de verificação”, foram elencadas as fontes de dados que subsidiaram a AC por componente da TM.

As evidências coletadas foram dispostas na referida matriz segundo o meio de verificação (entrevistas, grupos focais, revisão de documentos, revisão da literatura), para testar a validade da TM. O rigor desse atributo é dado por sua identificação como significativo na consistência da teoria do programa - entre teorias sociais e teorias derivadas dos atores envolvidos - numa ampla gama de fontes de dados (LEMIRE , 2012LEMIRE, S. T.; NIELSEN, S. B.; DYBDAL, L. Making contribution analysis work: A practical framework for handling influencing factors and alternative explanations. Evaluation, v. 18, n. 3, p. 294-309, 2012. ; RILEY , 2018RILEY, B. L. et al. Using contribution analysis to evaluate the impacts of research on policy: Getting to ‘good enough’. Research Evaluation, v. 27, n. 1, p. 16-27, 2018.; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ).

O estudo obedeceu às recomendações presentes na Resolução nº 466/2012 do Conselho Nacional de Saúde, tendo sido aprovado pelo Comitê de Ética em Pesquisa do Instituto de Medicina Integral Prof. Fernando Figueira (IMIP), sob parecer consubstanciado nº 1.393.190/2016.

Resultados e Discussão

Como primeira etapa, o modelo da intervenção foi organizado nos seguintes componentes: cogestão e intersetorialidade; teoria e práticas do PAC; e educação, pesquisa e comunicação. A análise dos dados revelou coerência entre os eixos definidos preliminarmente para a pesquisa e os componentes finais da TM do PAC, mantendo-se os três macros componentes. A TM propôs uma cadeia de resultados por componente, integradas por meio dos nexos entre elas. Cada cadeia de resultados sintetizou as atividades, os resultados esperados conforme o tempo para seu alcance (imediatos, intermediários, finais e impacto), os pressupostos relacionados e os fatores macrocontextuais (figura 1).

A apreciação por componente da TM evidenciou que os pressupostos relacionados ao componente de cogestão e intersetorialidade tiveram dificuldades para sua confirmação (quadro 1). Os pressupostos 1 (recursos organizacionais e materiais) e 2 (incentivos à equipe) constituíram riscos a cadeia, principalmente para os resultados imediatos e intermediários, com destaque para o alcance dos recursos organizacionais adequados e suficientes (SÁ , 2016SÁ, G. B. A. R. et al. O Programa Academia da Saúde como estratégia de promoção da saúde e modos de vida saudáveis: cenário nacional de implementação. Ciência & Saúde Coletiva, v. 21, n. 6, p. 1849-1859, 2016.), implementação de políticas de valorização do trabalhador e satisfação de profissionais e usuários (HALLAL , 2010HALLAL, P. C. et al. Avaliação do programa de promoção da atividade física Academia da Cidade de Recife, Pernambuco, Brasil: percepções de usuários e não-usuários. Cadernos de Saúde Pública, v. 26, n. 1, p. 70-78, 2010. ).

Já o pressuposto 4 (alinhamento aos objetivos da organização) foi parcialmente confirmado, pois tal alinhamento esteve mais fortalecido entre os anos de 2003, a partir da implantação das novas diretrizes de PS, e 2011. Desse período em diante, com as trocas de gestão municipal, iniciou-se desarticulação entre os discursos organizacionais e os do programa. Por outro lado, o pressuposto 3 (inserção do programa nas regras/normas organizacionais) foi identificado como um potente contribuinte na regulamentação e integração institucional do PAC (SÁ , 2016SÁ, G. B. A. R. et al. O Programa Academia da Saúde como estratégia de promoção da saúde e modos de vida saudáveis: cenário nacional de implementação. Ciência & Saúde Coletiva, v. 21, n. 6, p. 1849-1859, 2016.).

O componente de “Teoria e Práticas” do programa (quadro 2) foi se reinventando ao longo do tempo com adaptação à cultura local, assim como transformação de seus objetivos em práticas. Os pressupostos 5 (transformação ao contexto local) e 6 (compartilhamento de valores) foram confirmados pela adequação às necessidades comunitárias, e sua divulgação/disseminação e reconhecimento interno e externo, respectivamente. Entretanto, uma de suas importantes diretrizes ainda permanecia incipiente: desenvolvimento de ações compartilhadas em rede. Isso resultou em compatibilidade técnica e prática insuficiente à organização (pressuposto 7) e, consequentemente, influência negativa nos resultados propostos para essa cadeia, principalmente no que se referiu ao resultado imediato da gestão integrada do cuidado (PAJEÚ , 2016PAJEÚ, R. B. et al. Interaction between the Family Health Units and the Academia da Cidade Program in Recife, Northeastern Brazil. Revista Brasileira de Atividade Física e Saúde , v. 21, n. 5, p. 410-419, 2016.; GUARDA , 2016GUARDA, F. R. B. et al. Self-perception of the objective, object and work products of Physical Education Professionals belonging to the Academia Saúde Program. Revista Brasileira de Atividade Física e Saúde , v. 21, n. 5, p. 400-409, 2016.) e ao resultado final “estímulo à alimentação saudável”.

Os pressupostos presentes no componente “Educação, Pesquisa e Comunicação” (quadro 3) foram ratificados por fatores favoráveis à manutenção de equipe qualificada (pressuposto 8) (OLIVEIRA; BRITO; TASSITANO, 2016DRAPER, C. E.; KOLBE-ALEXANDER, T. L.; LAMBERT, E. V. A retrospective evaluation of a community-based physical activity health promotion program. Journal of Physical Activity Health, v. 6, n. 5, p. 578-588, 2009.) e ao compartilhamento de informações e evidências sobre o programa (pressuposto 9). A potencialidade desse componente pode ter resultado no fortalecimento da participação social e empoderamento dos envolvidos, com conformação de rede de aliados interinstitucionais e engajamento de lideranças. Este, segundo a literatura, é considerado como um fator estratégico na condução de mudanças pretendidas pelos programas (DRAPER; KOLBE-ALEXANDER; LAMBERT, 2009DRAPER, C. E.; KOLBE-ALEXANDER, T. L.; LAMBERT, E. V. A retrospective evaluation of a community-based physical activity health promotion program. Journal of Physical Activity Health, v. 6, n. 5, p. 578-588, 2009.; OLIVEIRA , 2015OLIVEIRA, S. R. A.; POTVIN, L.; MEDINA, M. G. Sustentabilidade de intervenções em promoção da saúde: uma sistematização do conhecimento produzido. Revista Saúde e Debate, v. 39, n. 107, p. 1149-1131, 2015.). Fortaleceu-se, assim, a hipótese de que os resultados imediatos e intermediários, propostos para essa cadeia, obtiveram êxito para seu alcance.

A AC revelou plausibilidade e validade da TM, a partir da complementaridade dos dados oriundos de diversas perspectivas (informantes-chave, grupos focais, documentos oficiais e técnicos, e da literatura). Isso permitiu considerar a confiabilidade e limitações da TM proposta, aumentando a credibilidade da história da contribuição sobre os resultados esperados (MAYNE, 2015MAYNE, J.; JOHNSON, N. Using theories of change in the CGIAR Research Program on Agriculture for Nutrition and Health. Evaluation, v. 21, n. 4, p. 407-428, 2015.; RILEY , 2018RILEY, B. L. et al. Using contribution analysis to evaluate the impacts of research on policy: Getting to ‘good enough’. Research Evaluation, v. 27, n. 1, p. 16-27, 2018.; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ).

A maior parte dos pressupostos foi confirmada (5 dos 9), o que sugere que programa sustentado proporciona efeitos duradouros em longo prazo (PLUYE ., 2005PLUYE, P. et al. Program sustainability begins with the first events. Evaluation Program Plan, v. 28, p. 123-137, 2005.). Ainda, a teoria base deste estudo apresentou coerência e consistência. As evidências sugeriram que a sustentabilidade do PAC foi importante no desenvolvimento dos resultados, apesar da instabilidade ocorrida de 2012 a 2016, mesmo na presença de outros fatores de influência (contextuais e explicações rivais). Isso sugere grande possibilidade de seus resultados previstos estarem sendo alcançados devido ao programa no período em estudo (LEMIRE , 2012LEMIRE, S. T.; NIELSEN, S. B.; DYBDAL, L. Making contribution analysis work: A practical framework for handling influencing factors and alternative explanations. Evaluation, v. 18, n. 3, p. 294-309, 2012. ; MAYNE, 2015MAYNE, J.; JOHNSON, N. Using theories of change in the CGIAR Research Program on Agriculture for Nutrition and Health. Evaluation, v. 21, n. 4, p. 407-428, 2015.; KOLEROS; MAYNE, 2019KOLEROS, A.; MAYNE, J. Using Actor-Based Theories of Change to Conduct Robust Evaluation in Complex Settings. Canadian Journal of Program Evaluation, v. 33, special issue, p. 292-315, 2019. ).

Os resultados apontam que o PAC tem contribuído para o aumento da prática de atividade física orientada e alimentação saudável de modo continuado no município. Conforme estudos realizados com usuários do PAC Recife, identificaram-se efeitos positivos no desenvolvimento de capacidades comunitárias, favorecendo mudanças orientadas para escolhas saudáveis e na percepção sobre melhorias na saúde, tais como: diminuição do uso de medicamentos, modificação na alimentação (FEITOSA , 2016FEITOSA, W. M. N.; GUARDA, F.R.B.; KONRAD, L.M., et al. Users' perception of actions, improvement in quality of life and satisfaction with the Academia da Cidade Program. Revista Brasileira de Atividade Física e Saúde, v. 21, n. 5, p. 461-469, 2016.; LEMOS , 2016LEMOS, E. C. et al. Factors associated with adherence to the Academia da Cidade Program in Recife. Revista Brasileira de Atividade Física e Saúde , v. 21, n. 5, p. 470-482, 2016.), no bem-estar e prazer pela prática de atividade física, e no convívio social (HALLAL , 2010HALLAL, P. C. et al. Avaliação do programa de promoção da atividade física Academia da Cidade de Recife, Pernambuco, Brasil: percepções de usuários e não-usuários. Cadernos de Saúde Pública, v. 26, n. 1, p. 70-78, 2010. ).

Com relação ao impacto previsto na TM (redução de doenças crônicas não transmissíveis-DCNT), a literatura aponta a prática de atividade física regular como potente na prevenção e no tratamento dessas doenças (RODRIGUES , 2012RODRIGUES, R. W. P. et al. Relação entre doenças crônicas não transmissíveis e atividade física em indivíduos senescentes de meia idade e idosos. The FIEP Bulletin, v. 82, p. 58-61, 2012.; NORWOOD , 2014NORWOOD, P. et al. Active travel intervention and physical activity behaviour: an evaluation. Society Science Medicine, v. 113, p. 80-58, 2014.; REIS , 2014REIS, R. S. et al. Promoting physical activity and quality of life in Vitoria, Brazil: evaluation of the Exercise Orientation Service (EOS) program. Journal Physical Activity Health, v. 11, n. 1, p. 38-44, 2014.; FERNANDES , 2017FERNANDES, A. P. et al. Programa academias da saúde e a promoção da atividade física na cidade: a experiência de Belo Horizonte, MG, Brasil. Ciência & Saúde Coletiva, v. 22, n. 12, p. 3903-3914, 2017.), reforçando a coerência de como, na TM proposta, os resultados finais contribuem no alcance do impacto (BEFANI; MAYNE, 2014BEFANI, B.; MAYNE, J. Process Tracing and Contribution Analysis: A Combined Approach to Generative Causal Inference for Impact Evaluation. IDS Bulletin, v. 45, n. 6, p. 17-36, 2014.; RILEY , 2018RILEY, B. L. et al. Using contribution analysis to evaluate the impacts of research on policy: Getting to ‘good enough’. Research Evaluation, v. 27, n. 1, p. 16-27, 2018.). Estudos (GIRALDO , 2013GIRALDO, A. E. D. et al. Influência de um programa de exercícios físicos no uso de serviços de saúde na Atenção Básica de Saúde do município de Rio Claro, SP. Revista Brasileira de Atividade Física e Saúde, v. 18, n. 2, p. 186-196, 2013. ; DRAPER; KOLBE-ALEXANDER; LAMBERT, 2009DRAPER, C. E.; KOLBE-ALEXANDER, T. L.; LAMBERT, E. V. A retrospective evaluation of a community-based physical activity health promotion program. Journal of Physical Activity Health, v. 6, n. 5, p. 578-588, 2009.; BYRNE , 2019BYRNE, L. et al. Mixed-method evaluation of a community-wide physical activity program in Launceston, Australia. Health Promotion Journal Australian, v. 30, supl. 11, p. 1-12, 2019. ) demonstraram que as pessoas ativas, mesmo não estando dentro do recomendado, têm vidas mais longas, bem-estar, menos depressão e taxas mais baixas de tabagismo, por exemplo.

Os resultados finais e o impacto apontados na TM foram coincidentes com a literatura, que indica que investimentos em intervenções políticas e ambientais, com estruturação de locais acessíveis para atividade física (ex.: ciclovias, parques, praças, pistas de caminhada), por si só favorecem seu incremento comunitário (HALLAL , 2010HALLAL, P. C. et al. Avaliação do programa de promoção da atividade física Academia da Cidade de Recife, Pernambuco, Brasil: percepções de usuários e não-usuários. Cadernos de Saúde Pública, v. 26, n. 1, p. 70-78, 2010. ; SALLIS , 2016SALLIS, J. F. et al. Physical activity in relation to urban environments in 14 cities worldwide: a cross-sectional study. Lancet, v. 28, n. 387, p. 2207-2217, 2016.; ANDRADE , 2018ANDRADE, A. C. S. et al. Neighborhood-based physical activity differences: Evaluation of the effect of health promotion program. PLoSOne, v. 13, n. 2, p. e0192115, 2018.). No entanto, esse incremento é potencializado pela implantação, nesses espaços, de programas sistematizados de atividade física orientada por profissionais (MENDONÇA , 2010MENDONÇA, B. C. et al. Exposure to a community-wide physical activity promotion program and leisure-time physical activity in Aracaju, Brazil. Journal of Physical Activity Health, v. 7, supl. 2, p. 223-228, 2010.; NORWOOD , 2014NORWOOD, P. et al. Active travel intervention and physical activity behaviour: an evaluation. Society Science Medicine, v. 113, p. 80-58, 2014.; SIMÕES , 2016SIMÕES, E. J. et al. 2016. Effectiveness of a scaled up physical activity intervention in Brazil: A natural experiment. Preventive Medicine. Acesso em: 21 mar. 2019. Disponível em: http://dx.doi.org/10.1016/j.ypmed.2016.09.032.
https://doi.org/10.1016/j.ypmed.2016.09.... ) como por exemplo, o PAC Recife (HALLAL , 2010HALLAL, P. C. et al. Avaliação do programa de promoção da atividade física Academia da Cidade de Recife, Pernambuco, Brasil: percepções de usuários e não-usuários. Cadernos de Saúde Pública, v. 26, n. 1, p. 70-78, 2010. ), o Serviço de Orientação e Exercício - SOE (REIS , 2014REIS, R. S. et al. Promoting physical activity and quality of life in Vitoria, Brazil: evaluation of the Exercise Orientation Service (EOS) program. Journal Physical Activity Health, v. 11, n. 1, p. 38-44, 2014.), e o PAC Belo Horizonte (FERNANDES , 2017FERNANDES, A. P. et al. Programa academias da saúde e a promoção da atividade física na cidade: a experiência de Belo Horizonte, MG, Brasil. Ciência & Saúde Coletiva, v. 22, n. 12, p. 3903-3914, 2017.).

Apesar da importância do atendimento aos resultados finalísticos e impacto, pelo caráter inovador do PAC Recife não se pode deixar de considerar a importância dos efeitos imediatos e intermediários, cuja abrangência extrapola a redução de fatores de risco para DCNT. Entre esses efeitos estão: qualificação e potencialização de espaços públicos; fortalecimento da participação social; cidadania; inclusão social (HALLAL , 2010HALLAL, P. C. et al. Avaliação do programa de promoção da atividade física Academia da Cidade de Recife, Pernambuco, Brasil: percepções de usuários e não-usuários. Cadernos de Saúde Pública, v. 26, n. 1, p. 70-78, 2010. ); empoderamento; universalidade do acesso, e configuração de rede social de apoio, convívio e lazer (FEITOSA , 2016FEITOSA, W. M. N.; GUARDA, F.R.B.; KONRAD, L.M., et al. Users' perception of actions, improvement in quality of life and satisfaction with the Academia da Cidade Program. Revista Brasileira de Atividade Física e Saúde, v. 21, n. 5, p. 461-469, 2016.; LEMOS , 2016LEMOS, E. C. et al. Factors associated with adherence to the Academia da Cidade Program in Recife. Revista Brasileira de Atividade Física e Saúde , v. 21, n. 5, p. 470-482, 2016.). Nesses casos é comum a formação de rede socioafetiva, principalmente em comunidades vulneráveis (DRAPER; KOLBE-ALEXANDER; LAMBERT, 2009DRAPER, C. E.; KOLBE-ALEXANDER, T. L.; LAMBERT, E. V. A retrospective evaluation of a community-based physical activity health promotion program. Journal of Physical Activity Health, v. 6, n. 5, p. 578-588, 2009.).

Pesquisas sobre intervenções comunitárias de promoção de atividade física nacionais demonstraram que elas captam um perfil de usuários bem definido (REIS , 2014REIS, R. S. et al. Promoting physical activity and quality of life in Vitoria, Brazil: evaluation of the Exercise Orientation Service (EOS) program. Journal Physical Activity Health, v. 11, n. 1, p. 38-44, 2014.; LEMOS , 2016LEMOS, E. C. et al. Factors associated with adherence to the Academia da Cidade Program in Recife. Revista Brasileira de Atividade Física e Saúde , v. 21, n. 5, p. 470-482, 2016.; SIMÕES , 2016SIMÕES, E. J. et al. 2016. Effectiveness of a scaled up physical activity intervention in Brazil: A natural experiment. Preventive Medicine. Acesso em: 21 mar. 2019. Disponível em: http://dx.doi.org/10.1016/j.ypmed.2016.09.032.
https://doi.org/10.1016/j.ypmed.2016.09.... ): mulheres, idosos, indivíduos com morbidades crônicas e de menor poder socioeconômico. Isso traduz sua capacidade de ampliar acesso à atividade física a grupos com poucas oportunidades, reforçando a potencialidade desses programas na redução de iniquidades (DRAPER; KOLBE-ALEXANDER; LAMBERT, 2009DRAPER, C. E.; KOLBE-ALEXANDER, T. L.; LAMBERT, E. V. A retrospective evaluation of a community-based physical activity health promotion program. Journal of Physical Activity Health, v. 6, n. 5, p. 578-588, 2009.; REIS , 2014REIS, R. S. et al. Promoting physical activity and quality of life in Vitoria, Brazil: evaluation of the Exercise Orientation Service (EOS) program. Journal Physical Activity Health, v. 11, n. 1, p. 38-44, 2014.; NORWOOD , 2014NORWOOD, P. et al. Active travel intervention and physical activity behaviour: an evaluation. Society Science Medicine, v. 113, p. 80-58, 2014.; FERNANDES , 2017FERNANDES, A. P. et al. Programa academias da saúde e a promoção da atividade física na cidade: a experiência de Belo Horizonte, MG, Brasil. Ciência & Saúde Coletiva, v. 22, n. 12, p. 3903-3914, 2017.).

Considerações finais

Ao concordar com a afirmativa de que intervenções semelhantes podem conduzir a resultados distintos em cenários mais ou menos favoráveis à sua sustentabilidade - a adoção da avaliação baseada na teoria -, a análise da contribuição permitiu testar se a teoria de mudança (TM) da intervenção estudada funcionou e como funcionou ao longo do período em análise. Como vantagem da AC, temos a possibilidade de ela, além de identificar e testar a TM da intervenção, analisar a influência de fatores contextuais e explicações rivais nos resultados esperados para a intervenção.

A análise da validade e da plausibilidade dos pressupostos e mecanismos que ligaram processos a resultados contínuos mostrou-se adequada e pertinente na captação da dinâmica inerente à trajetória do programa. Isto porque os dados coletados tiveram sua influência analisada no alcance dos efeitos esperados da intervenção ao longo do período de implementação estudado.

Considerando a testagem da TM e as evidências encontradas na revisão sistematizada na literatura, podemos dizer que o PAC Recife é uma intervenção inovadora de PS, e que os eventos relativos à sua sustentabilidade tiveram importante contribuição na manutenção de seus efeitos em longo prazo esperados, como: o aumento da prática de atividade física orientada e a alimentação saudável.

Embora a AC realizada não possa afirmar em que medida os efeitos do programa foram decorrentes das cadeias de resultados do PAC, pode-se, contudo, afirmar que os achados apresentam potencial de generalização da TM e das lições aprendidas. A TM proposta pode ser útil em apontar problemas na base teórica de intervenções que objetivem resultados similares, ou mesmo analisar a contribuição e a sustentabilidade de intervenções em outros contextos, que compartilhem da mesma teoria do PAC Recife.

Com base nos resultados encontrados, considera-se que o investimento nessas intervenções são alternativas promissoras, principalmente em países em desenvolvimento, onde há opções limitadas de ambientes para a prática de atividade física. A qualificação e a requalificação de espaços públicos para esse fim são especialmente relevantes em localidades vulneráveis, com baixos indicadores socioeconômicos.

Ressalta-se, porém, que não obstante a relevância dessa prática na saúde e bem-estar de populações vulneráveis, essas intervenções extrapolam apenas a atividade física, focando na agregação de outros aspectos preconizados pelo campo da PS. Elas apoiam e estimulam a autonomia dos envolvidos, buscando a superação de modelagens direcionadas apenas à adoção de comportamentos saudáveis, tais como o estabelecimento de vínculo socioafetivo entre profissionais e usuários em uma perspectiva de troca de saberes, participação social e empoderamento, como observado pelo estudo no PAC Recife.¹1G. Cazarin e A. C. Figueiró: concepção e planejamento, análise e interpretação dos dados. S. Dias: elaboração do rascunho e revisão crítica do conteúdo Z. Hartz: aprovação da versão final do artigo.

Agradecimentos

As autoras agradecem à equipe da Secretaria Municipal de Saúde do município do Recife-PE, pela colaboração na produção deste trabalho.

Referências

Datas de Publicação

Histórico