RESUMO

OBJETIVO

Confirmar o diagrama dos caminhos de impacto do programa e funções centrais da Estratégia Amamenta e Alimenta Brasil (EAAB) e determinar indicadores para avaliação da EAAB.

MÉTODOS

Trata-se de um estudo qualitativo, inserido no campo da pesquisa de implementação. A coleta de dados incluiu dois grupos focais com implementadores da EAAB, análise documental e revisão da literatura. A análise incluiu revisão das sugestões dos participantes e duas etapas de revisão do diagrama e dos nomes dos caminhos de impacto e funções centrais. Em seguida, foram construídas questões para a avaliação da EAAB com base no diagrama confirmado. Os indicadores do framework RE-AIM (reach, effectiveness, adoption, implementation, maintenance) foram adaptados para o contexto da EAAB. As questões de avaliação foram revisadas segundo domínios RE-AIM e, por fim, foram determinados indicadores para cada questão de avaliação.

RESULTADOS

Este estudo avançou na análise de implementação da EAAB, definindo 22 indicadores para seu monitoramento e avaliação. A maioria dos indicadores já são utilizados na implementação, entretanto, a análise com o framework RE-AIM permitiu atualizar os indicadores para serem mais específicos, mensuráveis e relevantes para os objetivos desejados.

CONCLUSÃO

Os resultados do estudo apoiam a aplicação pragmática da avaliação RE-AIM em programas de saúde e incentivam o planejamento de indicadores de avaliação de outros programas de saúde e desenvolvimento infantil na atenção primária.

Aleitamento Materno; Fenômenos Fisiológicos da Nutrição do Lactente; Atenção Primária à Saúde; Ciência da Implementação

INTRODUÇÃO

No Brasil, a atenção primária é a porta de entrada da população ao Sistema Único de Saúde (SUS), o qual oferece acesso universal a uma rede de cuidados para proteção, promoção e apoio à saúde¹1. Ministério da Saúde (BR). Portaria nº 2.436, de 21 de setembro de 2017. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes para a organização da Atenção Básica, no âmbito do Sistema Único de Saúde (SUS). Diário Oficial União. 22 set 2017.. Grande número de famílias são atendidas na atenção primária: em 2020, 54.105 equipes de saúde atuavam em mais de 44 mil unidades básicas de saúde (UBS) e atendiam 76,1% da população do Brasil, equivalente a mais de 159,9 milhões de pessoas²2. Ministério da Saúde (BR). Desempenho da Atenção Primária à Saúde no Brasil é alvo de pesquisa inédita. Brasília, DF: Ministério da Saúde; 2020[cited 2023 June 10] Available from: https://aps.saude.gov.br/noticia/10136
https://aps.saude.gov.br/noticia/10136... ,³3. Ministério da Saúde (BR). E-Gestor. Cobertura da Atenção Básica; Brasília, DF: Ministério da Saúde; 2021[cited 2023 June 10] Available from: https://egestorab.saude.gov.br/paginas/acessoPublico/relatorios/relHistoricoCoberturaAB.xhtml
https://egestorab.saude.gov.br/paginas/a... . A alimentação infantil adequada e saudável é uma das diretrizes de saúde promovidas na atenção primária. Dados do Estudo Nacional de Alimentação e Nutrição Infantil (Enani-2019) mostraram 45,8% das crianças brasileiras menores de seis meses em aleitamento materno exclusivo e 86,3% entre seis a oito meses em introdução alimentar⁴4. Universidade Federal do Rio de Janeiro. Aleitamento materno: prevalência e práticas de aleitamento materno em crianças brasileiras menores de 2 anos. ENANI 2019. Rio de Janeiro: UFRJ, 2021[cited 2024 Abr 3]. Available from: https://enani.nutricao.ufrj.br/index.php/relatorios/
https://enani.nutricao.ufrj.br/index.php... ,⁵5. Universidade Federal do Rio de Janeiro. Alimentação infantil I: prevalência de indicadores de alimentação de crianças menores de 5 anos. ENANI 2019. Rio de Janeiro: UFRJ, 2021[cited 2024 Abr 3]. Available from: https://enani.nutricao.ufrj.br/index.php/relatorios/
https://enani.nutricao.ufrj.br/index.php... . A prevalência de sobrepeso em crianças menores de cinco anos era de 7,0%, enquanto 18,3% das crianças estavam em risco de sobrepeso⁶6. Universidade Federal do Rio de Janeiro. Estado nutricional antropométrico da criança e da mãe: prevalência de indicadores antropométrico de crianças brasileiras menores de 5 anos de idade e suas mães biológicas. ENANI 2019. Rio de Janeiro, RJ: UFRJ, 2022[cited 2024 Apr 3]. Available from: https://enani.nutricao.ufrj.br/index.php/relatorios/
https://enani.nutricao.ufrj.br/index.php... . Elevar os índices de aleitamento materno e melhorar a qualidade da introdução de alimentos nos primeiros anos de vida é fundamental para combater o excesso de peso e promover o desenvolvimento das crianças em seu potencial máximo. Para obter esses desfechos, o Ministério da Saúde do Brasil implementa, desde 2013, a Estratégia Amamenta e Alimenta Brasil (EAAB) na atenção primária⁷7. Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Estratégia nacional para promoção do aleitamento materno e alimentação complementar saudável no Sistema Único de Saúde: manual de implementação. Brasília, DF: Ministério da Saúde; 2015..

A EAAB visa qualificar ações de promoção e apoio ao aleitamento materno e práticas de alimentação complementar nas UBS. A EAAB é implementada com uma governança multinível por gestores no Ministério da Saúde e coordenadores em todos os estados e municípios do Brasil⁷7. Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Estratégia nacional para promoção do aleitamento materno e alimentação complementar saudável no Sistema Único de Saúde: manual de implementação. Brasília, DF: Ministério da Saúde; 2015.,⁸8. Melo D, Venancio S, Buccini G. brazilian strategy for breastfeeding and complementary feeding promotion: a program impact pathway analysis. Int J Environ Res Public Health. 2022 Aug;19(16):9839. https://doi.org/10.3390/ijerph19169839
https://doi.org/10.3390/ijerph19169839... . A partir da educação permanente em cascata de profissionais da atenção primária, a EAAB forma tutores para liderarem oficinas de trabalho com as equipes de saúde nas UBS. As equipes desenvolvem um plano de ação para atender famílias de crianças menores de dois anos. Como resultado, a EAAB apoia a capacitação dos profissionais nas UBS e promove melhor acompanhamento dos marcadores do consumo alimentar das crianças menores de dois anos⁹9. Relvas GR, Buccini G, Potvin L, Venancio S. Effectiveness of an educational manual to promote infant feeding practices in primary health care. Food Nutr Bull. 2019 Dec;40(4):544-61. https://doi.org/10.1177/0379572119855308
https://doi.org/10.1177/0379572119855308... ,¹⁰10. Bonini TP, Lino CM, Sousa ML, Mota MJ. Implantação e efeitos da Estratégia Amamenta Alimenta Brasil nas Unidades de Saúde de Piracicaba/SP. Res Soc Develop. 2021;10(14):e91101421528 https://doi.org/10.33448/rsd-v10i14.21528
https://doi.org/10.33448/rsd-v10i14.2152... .

Em 2018, estavam formados mais de 5,5 mil tutores, que realizaram mais de 3,1 mil oficinas de trabalho nas UBS¹¹11. Ministério da Saúde (BR). Coordenação-Geral de Alimentação e Nutrição. Área Técnica de Saúde da Criança e Aleitamento Materno. Estratégia amamenta e alimenta Brasil: relatórios. 2023[cited 2023 Apr 23]. Available from: http://sisaps.saude.gov.br/eaab/Relatorios/relatorios.php
http://sisaps.saude.gov.br/eaab/Relatori... . Considerando que havia mais de 50 mil equipes de saúde no país³3. Ministério da Saúde (BR). E-Gestor. Cobertura da Atenção Básica; Brasília, DF: Ministério da Saúde; 2021[cited 2023 June 10] Available from: https://egestorab.saude.gov.br/paginas/acessoPublico/relatorios/relHistoricoCoberturaAB.xhtml
https://egestorab.saude.gov.br/paginas/a... , esses resultados demonstraram que expansão da EAAB estava aquém do esperado. Assim, o Ministério da Saúde iniciou um projeto de fortalecimento da implementação com estratégias em escala nacional em quatro eixos: apoio aos coordenadores; expansão da formação de tutores; monitoramento da implementação nos municípios; e pesquisa e avaliação¹²12. Venancio SI, Relvas GR, Melo DS, Souza CB, Moreira HOM, Veras JJP, et al. Implementation strategies for a brazilian policy aimed at promoting breastfeeding and healthy complementary feeding in primary care. Glob Implement Res Appl. 2023;3(4):355-66. https://doi.org/10.1007/s43477-023-00098-z
https://doi.org/10.1007/s43477-023-00098... . Como parte do eixo pesquisa e avaliação, foi conduzida uma análise dos caminhos para alcançar o impacto da EAAB. Pesquisadores desenvolveram interativamente um diagrama da teoria dos caminhos de impacto do programa e analisaram barreiras e facilitadores para a implementação. Os resultados documentaram seis pontos críticos de controle da implementação da EAAB, premissas, facilitadores e fatores contextuais, descritos em outra publicação⁸8. Melo D, Venancio S, Buccini G. brazilian strategy for breastfeeding and complementary feeding promotion: a program impact pathway analysis. Int J Environ Res Public Health. 2022 Aug;19(16):9839. https://doi.org/10.3390/ijerph19169839
https://doi.org/10.3390/ijerph19169839... . A análise desses elementos apontou sete funções centrais da implementação, ou seja, atividades planejadas que precisam ser seguidas para garantir a implementação bem-sucedida em larga escala⁸8. Melo D, Venancio S, Buccini G. brazilian strategy for breastfeeding and complementary feeding promotion: a program impact pathway analysis. Int J Environ Res Public Health. 2022 Aug;19(16):9839. https://doi.org/10.3390/ijerph19169839
https://doi.org/10.3390/ijerph19169839... .

Especialistas recomendam que, após conduzir a análise do diagrama dos caminhos de impacto do programa, é importante considerar a implementação de um sistema sólido de avaliação de impacto que permita uma compreensão objetiva se o programa está atingindo as metas declaradas e se está seguindo os caminhos descritos no diagrama¹³13. Pérez-Escamilla R, Segura-Pérez S, Damio G. Applying the Program Impact Pathways (PIP) evaluation framework to school-based healthy lifestyles programs: Workshop Evaluation Manual. Food Nutr Bull. 2014 Sep;35(3 Suppl):S97-107. https://doi.org/10.1177/15648265140353S202
https://doi.org/10.1177/15648265140353S2... . A escolha de indicadores deve ser informada pela análise dos caminhos de impacto do programa e pode utilizar estruturas/frameworks conceituais que apoiem a operacionalização dos indicadores¹³13. Pérez-Escamilla R, Segura-Pérez S, Damio G. Applying the Program Impact Pathways (PIP) evaluation framework to school-based healthy lifestyles programs: Workshop Evaluation Manual. Food Nutr Bull. 2014 Sep;35(3 Suppl):S97-107. https://doi.org/10.1177/15648265140353S202
https://doi.org/10.1177/15648265140353S2... . O framework de avaliação RE-AIM (reach, effectiveness, adoption, implementation, maintenance), por exemplo, tem um longo histórico de uso para o planejamento e avaliação de programas de saúde¹⁴14. Glasgow RE, Harden SM, Gaglio B, Rabin B, Smith ML, Porter GC, et al. RE-AIM planning and evaluation framework: adapting to new science and practice with a 20-year review. Front Public Health. 2019 Mar;7:64. https://doi.org/10.3389/fpubh.2019.00064
https://doi.org/10.3389/fpubh.2019.00064... . Em síntese, o domínio “reach” avalia o quanto o programa alcança a população beneficiária; o domínio “effectiveness” analisa quais são os benefícios produzidos para a população beneficiária; o domínio “adoption” verifica onde e quem adota o programa, com maior foco nos implementadores, comunidades, organizações e sistemas; o domínio “implementation” afere a consistência da implementação, dos custos e das adaptações na entrega das ações; por fim, o domínio “maintenance” analisa a sustentabilidade dos resultados ao longo do tempo, tanto para a população beneficiária quanto no nível organizacional¹⁴14. Glasgow RE, Harden SM, Gaglio B, Rabin B, Smith ML, Porter GC, et al. RE-AIM planning and evaluation framework: adapting to new science and practice with a 20-year review. Front Public Health. 2019 Mar;7:64. https://doi.org/10.3389/fpubh.2019.00064
https://doi.org/10.3389/fpubh.2019.00064... ,¹⁵15. Breitenstein SM, Gross D, Garvey CA, Hill C, Fogg L, Resnick B. Implementation fidelity in community-based interventions. Res Nurs Health. 2010 Apr;33(2):164-73. https://doi.org/10.1002/nur.20373
https://doi.org/10.1002/nur.20373... . Nesse tipo de análise é importante observar os indicadores já em uso pelos programas, os quais podem ser consultados com revisão da literatura e discussão com trabalhadores e tomadores de decisão do programa. Também é útil sugerir novos indicadores necessários, utilizando modelos e estruturas de avaliação para facilitar a identificação sistematizada de indicadores de implementação, efetividade e sustentabilidade¹⁶16. Grembowski D. The practice of health program evaluation. 2nd ed. Thousand Oaks: Sage; 2015..

O investimento em pesquisa de implementação da EAAB nos últimos anos ajudou a esclarecer os caminhos e as atividades centrais para o sucesso da sua implementação. Visando avançar na análise de implementação da EAAB, este estudo teve como objetivo: 1) confirmar o diagrama dos caminhos de impacto do programa e funções centrais da EAAB e 2) definir indicadores para monitoramento e avaliação para compor um esquema robusto de avaliação da EAAB com base no framework RE-AIM.

MÉTODOS

A descrição das etapas metodológicas foi guiada pelo Standards for Reporting Implementation Studies (StaRI)¹⁷17. Pinnock H, Barwick M, Carpenter CR, Eldridge S, Grandes G, Griffiths CJ, et al. Standards for Reporting Implementation Studies (StaRI) Statement. BMJ. 2017 Mar;356. https://doi.org/10.1136/bmj.i6795
https://doi.org/10.1136/bmj.i6795... e Consolidated criteria for reporting qualitative research (COREQ)¹⁸18. Tong A, Sainsbury P, Craig J. Consolidated criteria for reporting qualitative research (COREQ): a 32-item checklist for interviews and focus groups. Int J Qual Health Care. 2007 Dec;19(6):349-57. https://doi.org/10.1093/intqhc/mzm042
https://doi.org/10.1093/intqhc/mzm042... .

Desenho do Estudo

Trata-se de um estudo observacional qualitativo, inserido no campo da pesquisa de implementação. A coleta de dados incluiu dois grupos focais com implementadores da EAAB, análise documental e revisão da literatura. A Figura 1 descreve as etapas da coleta e análise de dados nas duas fases do estudo: 1) confirmação dos caminhos de impacto e funções centrais da EAAB e 2) definição de indicadores para avaliação da EAAB. Esta pesquisa foi aprovada pelo Comitê de Ética em Pesquisa da Faculdade de Saúde Pública da Universidade de São Paulo (USP), sob protocolo de número 15184019.2.0000.5421. Todos os participantes assinaram um Termo de Consentimento Livre e Esclarecido para registrarem sua intenção de participação.

Confirmação dos Caminhos de Impacto e Funções Centrais da EAAB

Seleção dos Participantes

Foram selecionados informantes-chave implementadores da EAAB no Ministério da Saúde, estados e municípios das cinco macrorregiões do país (Norte, Nordeste, Centro-Oeste, Sudeste e Sul). Foi selecionada uma amostra não probabilística intencional. Para captar as perspectivas de diferentes implementadores, foram excluídos informantes-chave que já haviam participado do estudo de análise dos caminhos de impacto do programa⁸8. Melo D, Venancio S, Buccini G. brazilian strategy for breastfeeding and complementary feeding promotion: a program impact pathway analysis. Int J Environ Res Public Health. 2022 Aug;19(16):9839. https://doi.org/10.3390/ijerph19169839
https://doi.org/10.3390/ijerph19169839... . Os critérios de inclusão e participantes selecionados são descritos no Quadro 1. Foram selecionados estados e municípios com características de estágios avançados de implementação por terem mais experiência na implementação das oficinas de trabalho e certificação das UBS. As pessoas selecionadas foram convidadas por e-mail para participar da pesquisa. Apenas um município da região Nordeste não tinha disponibilidade na data, assim foram convidados informantes-chave do segundo município com estágio mais avançado da EAAB naquela região.

Relações com os Participantes

Duas autoras, D.S.M. e S.I.V. fizeram parte do projeto nacional de fortalecimento da EAAB e participaram de reuniões remotas com implementadores da EAAB nos estados e municípios de todo o país, no período entre 2020 e 2022¹²12. Venancio SI, Relvas GR, Melo DS, Souza CB, Moreira HOM, Veras JJP, et al. Implementation strategies for a brazilian policy aimed at promoting breastfeeding and healthy complementary feeding in primary care. Glob Implement Res Appl. 2023;3(4):355-66. https://doi.org/10.1007/s43477-023-00098-z
https://doi.org/10.1007/s43477-023-00098... .

Coleta dos Dados

Foram conduzidos dois grupos focais online em novembro de 2022, sendo um grupo com coordenadores do Ministério da Saúde e de estados, e outro grupo com coordenadores municipais e tutores. Ao total participaram do primeiro grupo nove pessoas e, do segundo grupo, seis pessoas, além de uma moderadora (D.S.M.), uma observadora (S.I.V) e uma apoiadora técnica (C.B.S.) experientes em metodologia qualitativa. Foi utilizado um guia de discussão, elaborado por uma coautora (D.S.M) e revisado por três coautoras (D.S.M., S.I.V. e G.B.). Os grupos foram conduzidos em dois momentos: 1) confirmar o diagrama dos caminhos e 2) confirmar as funções centrais. Para facilitar a confirmação das atividades descritas no diagrama dos caminhos de impacto do programa da EAAB identificado em estudo prévio⁹9. Relvas GR, Buccini G, Potvin L, Venancio S. Effectiveness of an educational manual to promote infant feeding practices in primary health care. Food Nutr Bull. 2019 Dec;40(4):544-61. https://doi.org/10.1177/0379572119855308
https://doi.org/10.1177/0379572119855308... , optou-se por adaptar as informações em seis diagramas: 1) caminhos das articulações e financiamento da EAAB, 2) caminhos para a formação de tutores, 3) caminhos do apoio dos tutores às equipes das UBS, 4) caminhos para o monitoramento da EAAB, 5) caminhos dos critérios de certificação e 6) caminhos do processo de certificação das UBS. Foram apresentados os quatro primeiros diagramas dos caminhos de impacto do programa da EAAB, e os diagramas 5 e 6 não foram apresentados por se tratar de atividades temporariamente suspensas na implementação da EAAB no momento da pesquisa. Num segundo momento, foi apresentado um quadro das funções centrais da EAAB: 1) presença de coordenadores nos três níveis de governo e articulação interfederativa e intersetorial; 2) alocação de recursos para a implementação da EAAB; 3) planejamento da implementação nas três esferas de governo; 4) estabelecimento de um grupo de facilitadores nacionais, formação de tutores e dos profissionais das UBS; 5) desenvolvimento de atividades para obter a certificação; 6) monitoramento e avaliação da implementação; 7) disseminação da EAAB. Após a apresentação de cada diagrama e do quadro de funções centrais, os participantes confirmaram se as descrições estavam adequadas ou se necessitavam de modificações.

Análise dos Dados

As anotações e os registros de áudio e vídeo dos dois grupos focais foram revisados pela primeira autora para destacar as sugestões apontadas pelos informantes-chave nos diagramas dos caminhos de impacto do programa e funções centrais da EAAB. Duas coautoras (D.S.M. e S.I.V.) revisaram mais uma vez os materiais para polir os textos. Em seguida, três coautoras (D.S.M., S.I.V. e G.B.) organizaram a formatação do diagrama final e os nomes dos caminhos da implementação da EAAB e das funções centrais.

Determinação de Indicadores para Monitoramento e Avaliação da EAAB

Análise Documental

Foi feita análise documental visando identificar os indicadores já utilizados para avaliar a EAAB. Foram consultados o Manual de Implementação da EAAB⁷7. Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Estratégia nacional para promoção do aleitamento materno e alimentação complementar saudável no Sistema Único de Saúde: manual de implementação. Brasília, DF: Ministério da Saúde; 2015., os relatórios de monitoramento do projeto de fortalecimento da EAAB em 2021 e 2022¹²12. Venancio SI, Relvas GR, Melo DS, Souza CB, Moreira HOM, Veras JJP, et al. Implementation strategies for a brazilian policy aimed at promoting breastfeeding and healthy complementary feeding in primary care. Glob Implement Res Appl. 2023;3(4):355-66. https://doi.org/10.1007/s43477-023-00098-z
https://doi.org/10.1007/s43477-023-00098... , a Portaria n^o 1.124, de 19 de maio de 2022 (que estabeleceu novos indicadores para monitoramento da EAAB)¹⁹19. Ministério da Saúde (BR). Portaria GM/MS nº 1.124, de 19 de maio de 2022. Institui, em caráter excepcional e temporário, o incentivo financeiro de custeio para as ações de promoção, proteção e apoio ao aleitamento materno e da alimentação complementar adequada e saudável para crianças menores de 2 (dois) anos de idade no âmbito da Estratégia Amamenta e Alimenta Brasil (EAAB), na Atenção Primária à Saúde (2022). Diário Oficial União. 20 maio 2022., e as fichas de monitoramento da atenção básica para registro de marcadores de consumo alimentar e estado nutricional e atividades individuais e coletivas nas UBS²⁰20. Ministério da Saúde (BR). Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Orientações para avaliação de marcadores de consumo alimentar na atenção básica. Brasília, DF: Ministério da Saúde; 2015..

Revisão de Literatura

O framework de avaliação RE-AIM foi escolhido para apoiar a determinação dos indicadores de monitoramento e avaliação da EAAB por ter um longo histórico de uso para o planejamento e avaliação de programas de saúde¹⁴14. Glasgow RE, Harden SM, Gaglio B, Rabin B, Smith ML, Porter GC, et al. RE-AIM planning and evaluation framework: adapting to new science and practice with a 20-year review. Front Public Health. 2019 Mar;7:64. https://doi.org/10.3389/fpubh.2019.00064
https://doi.org/10.3389/fpubh.2019.00064... . Foi realizada revisão da literatura para identificar definições dos domínios RE-AIM com o objetivo de adaptá-las para avaliar a EAAB. Foram incluídos artigos revisados por pares, textos complementares e checklists oficiais disponíveis no website: https://re-aim.org/assessments/²¹21. Glasgow RE, Estabrooks PE. Pragmatic applications of RE-AIM for health care initiatives in community and clinical settings. Prev Chronic Dis. 2018 Jan;15:170271. https://doi.org/10.5888/pcd15.170271
https://doi.org/10.5888/pcd15.170271... .

Análise

O diagrama confirmado dos caminhos de impacto da EAAB (Figura 2) e os indicadores utilizados para avaliar a EAAB foram consultados para guiar a construção de questões para avaliação da EAAB. As questões de avaliação foram rascunhadas em um processo interativo de discussões considerando três estruturas principais do diagrama: o processo de implementação, os desfechos no serviço e os desfechos na população. Em seguida, em um processo interativo de discussões, as autoras adaptaram as definições dos indicadores de desfechos de implementação RE-AIM para o contexto da EAAB. Então, as questões de avaliação foram revisadas e alocadas nos domínios do RE-AIM na ordem: adoção, implementação, alcance, efetividade e manutenção. Por fim, os indicadores já utilizados na EAAB foram reorganizados, alguns agrupados, outros excluídos ou adaptados, e assim foram definidos indicadores para cada questão de avaliação e organizados em níveis: organizacional (estados, municípios e UBS), dos profissionais (tutores e equipes de saúde), e individual (população alvo beneficiária)²²22. Holtrop JS, Estabrooks PA, Gaglio B, Harden SM, Kessler RS, King DK, et al. Understanding and applying the RE-AIM framework: clarifications and resources. J Clin Transl Sci. 2021 May;5(1):e126. https://doi.org/10.1017/cts.2021.789
https://doi.org/10.1017/cts.2021.789... .

RESULTADOS

Confirmação dos Caminhos de Impacto e Funções Centrais da EAAB

O diagrama dos caminhos de impacto do programa da EAAB após confirmação e revisão (Figura 2) é organizado em três estruturas: “processo de implementação”, “desfechos no serviço” e “desfechos na população”. Dentro dessas estruturas são destacadas as atividades de “entradas”, “processos”, “saídas” (que incluem resultados de curto prazo e intermediários) e “impactos” os quais são os resultados esperados no longo prazo. Então são detalhados no diagrama quatro caminhos de impacto: 1) caminhos das articulações entre coordenadores, planejamento e financiamento da implementação EAAB; 2) caminhos do treinamento para formação de tutores e oficinas de trabalho; 3) caminhos das atividades complementares e promoção da alimentação infantil saudável; e 4) caminhos para o monitoramento, avaliação e disseminação da EAAB. Por fim, são apresentados os facilitadores na base do diagrama de cada caminho, que são atividades ou contextos que facilitam obter sucesso na implementação.

Os participantes concordaram com as definições das sete funções centrais da EAAB. Visando deixar os nomes das funções centrais mais objetivos, sem comprometer o seu conteúdo, as funções centrais foram reorganizadas em oito itens: 1) governança multinível, 2) apoio político e legislativo, 3) financiamento e recursos, 4) planejamento e metas, 5) treinamento e oficinas de trabalho, 6) entrega e promoção, 7) pesquisa, monitoramento e avaliação e 8) comunicação social. Essa reorganização teve como referência o modelo das engrenagens para o sucesso de programas de promoção da amamentação em países de baixa e média renda²⁵25. Pérez-Escamilla R, Curry L, Minhas D, Taylor L, Bradley E. Scaling up of breastfeeding promotion programs in low- and middle-income countries: the "breastfeeding gear" model. Adv Nutr. 2012 Nov;3(6):790-800. https://doi.org/10.3945/an.112.002873
https://doi.org/10.3945/an.112.002873... . As funções centrais da EAAB são objetivos estruturais e atividades importantes para o sucesso da implementação, portanto, elas foram incorporadas aos diagramas dos quatro caminhos de impacto, como apresentado na Figura 2.

Determinação de Indicadores para Monitoramento e Avaliação da EAAB

Foram identificados 11 indicadores no Manual de Implementação da EAAB, 11 nos relatórios do projeto de fortalecimento da EAAB e três na Portaria n^o 1.124/2022. A maioria dos indicadores foi mantida com adaptações em sua descrição para serem mais específicos e mensuráveis. Apenas três deles foram excluídos por se tratar de atividades específicas de critérios de certificação de ações nas UBS. Um novo indicador foi acrescentado, que se trata da avaliação dos estágios de implementação da EAAB. Como resultado, foram determinados 22 indicadores para avaliar as atividades que estão em vigor na implementação da EAAB. O Quadro 2 descreve: a definição dos indicadores RE-AIM adaptados para avaliação da EAAB, as questões para avaliação, os indicadores de avaliação e as fontes dos dados. No domínio “adoção” foram determinados quatro indicadores relacionados à formação de tutores e à presença de coordenadores nos estados e municípios. No domínio “implementação”, foram determinados sete indicadores referentes aos recursos financeiros, ao estágio de implementação e à consistência da implementação para a proteção, a promoção e o apoio da alimentação infantil saudável nas UBS. No domínio “alcance”, foram determinados três indicadores, focando na cobertura da população alvo de crianças menores de dois anos com as ações da EAAB. Para avaliar o domínio “efetividade” foram determinados dois indicadores do percentual de registro e da prevalência anual dos marcadores da alimentação infantil. Por fim, no domínio “manutenção” foram determinados seis indicadores que avaliam a institucionalização da implementação da EAAB nos municípios, a continuidade da atuação dos tutores e a contínua melhoria dos indicadores de efetividade.

DISCUSSÃO

Este estudo avançou na análise dos caminhos de impacto do programa da EAAB, confirmando interativamente as atividades e funções centrais da implementação com implementadores de diferentes níveis e locais de atuação. Os resultados da análise inicial e o framework de avaliação RE-AIM orientaram a determinação inédita de indicadores de adoção, implementação, alcance, efetividade e manutenção da EAAB.

A confirmação interativa do diagrama dos caminhos de impacto do programa é descrita na literatura como uma estratégia importante para que os coordenadores de programas de saúde tenham um conhecimento comum das atividades do programa do nível macro ao local¹³13. Pérez-Escamilla R, Segura-Pérez S, Damio G. Applying the Program Impact Pathways (PIP) evaluation framework to school-based healthy lifestyles programs: Workshop Evaluation Manual. Food Nutr Bull. 2014 Sep;35(3 Suppl):S97-107. https://doi.org/10.1177/15648265140353S202
https://doi.org/10.1177/15648265140353S2... ,²⁶26. Slater E, Lasco ML, Capelli J, Pen G. Health in action program, Brazil: a Program Impact Pathways (PIP) analysis. Food Nutr Bull. 2014 Sep;35(3 Suppl):S108-16. https://doi.org/10.1177/15648265140353S203
https://doi.org/10.1177/15648265140353S2... ,²⁷27. Mukhina M, Novikova I. BeHealthy Charities Aid Foundation Program, Russia: a Program Impact Pathways (PIP) analysis. Food Nutr Bull. 2014 Sep;35(3 Suppl):S139-44. https://doi.org/10.1177/15648265140353S207
https://doi.org/10.1177/15648265140353S2... . Em consonância com resultados descritos em outros estudos²⁶26. Slater E, Lasco ML, Capelli J, Pen G. Health in action program, Brazil: a Program Impact Pathways (PIP) analysis. Food Nutr Bull. 2014 Sep;35(3 Suppl):S108-16. https://doi.org/10.1177/15648265140353S203
https://doi.org/10.1177/15648265140353S2... ,²⁷27. Mukhina M, Novikova I. BeHealthy Charities Aid Foundation Program, Russia: a Program Impact Pathways (PIP) analysis. Food Nutr Bull. 2014 Sep;35(3 Suppl):S139-44. https://doi.org/10.1177/15648265140353S207
https://doi.org/10.1177/15648265140353S2... , na presente pesquisa o processo de interação entre pesquisadores e implementadores ajudou a confirmar as atividades centrais do programa e ter uma compreensão dos indicadores para mensurar os objetivos.

Este estudo contribuiu com ajustes nas definições dos caminhos de impacto, funções centrais e indicadores, alinhando a taxonomia recomendada na ciência da implementação²⁸28. Proctor EK, Landsverk J, Aarons G, Chambers D, Glisson C, Mittman B. Implementation research in mental health services: an emerging science with conceptual, methodological, and training challenges. Adm Policy Ment Health. 2009 Jan;36(1):24-34. https://doi.org/10.1007/s10488-008-0197-4
https://doi.org/10.1007/s10488-008-0197-... . Assim, os 22 indicadores propostos permitem monitorar e avaliar processos de implementação (existência de coordenadores e formação de tutores), desfechos no serviço (operacionalização das oficinas de trabalho e ações nas UBS) e desfechos na população (registro e melhoria dos marcadores da amamentação e alimentação complementar). Conceituar e medir os resultados da implementação, como apresentado em nossa pesquisa, é uma etapa crítica para a compreensão dos processos de implementação, para aumentar a efetividade na pesquisa sobre implementação, e para abrir caminhos para estudos comparativos sobre as estratégias de implementação²⁹29. Proctor E, Silmere H, Raghavan R, Hovmand P, Aarons G, Bunger A, et al. Outcomes for implementation research: conceptual distinctions, measurement challenges, and research agenda. Adm Policy Ment Health. 2011 Mar;38(2):65-76. https://doi.org/10.1007/s10488-010-0319-7
https://doi.org/10.1007/s10488-010-0319-... .

Este estudo apresentou uma descrição compreensiva do passo a passo metodológico para determinar indicadores para a EAAB. Essa é uma importante contribuição para a literatura, por ser observada uma escassez de publicações que demonstram o detalhamento dos métodos utilizados na determinação de indicadores de avaliação a partir da análise dos caminhos de impacto do programa²⁶26. Slater E, Lasco ML, Capelli J, Pen G. Health in action program, Brazil: a Program Impact Pathways (PIP) analysis. Food Nutr Bull. 2014 Sep;35(3 Suppl):S108-16. https://doi.org/10.1177/15648265140353S203
https://doi.org/10.1177/15648265140353S2... ,²⁷27. Mukhina M, Novikova I. BeHealthy Charities Aid Foundation Program, Russia: a Program Impact Pathways (PIP) analysis. Food Nutr Bull. 2014 Sep;35(3 Suppl):S139-44. https://doi.org/10.1177/15648265140353S207
https://doi.org/10.1177/15648265140353S2... . Nesse sentido, em nosso estudo, a utilização do framework de avaliação RE-AIM para guiar a definição dos indicadores, garantiu robustez dos métodos e dos resultados e confirmou a utilidade e aplicabilidade desse framework para guiar a avaliação de programas em larga escala como a EAAB³⁰30. Lee RE, Galavíz KI, Soltero EG, Rosales Chavez J, Jauregui E, Lévesque L, et al. Applying the RE-AIM conceptual framework for the promotion of physical activity in low- and middle-income countries. Rev Latino-Am Enfermagem. 2017;25:e2923. https://doi.org/10.1590/1518-8345.1894.2923
https://doi.org/10.1590/1518-8345.1894.2... .

O framework RE-AIM é uma ferramenta útil para determinar ajustes e estabelecer metas durante o processo de implementação de projetos de melhoria de serviços de saúde³¹31. Glasgow RE, Battaglia C, McCreight M, Ayele RA, Rabin BA. Making implementation science more rapid: use of the RE-AIM framework for mid-course adaptations across five health services research projects in the Veterans Health Administration. Front Public Health. 2020 May;8:194. https://doi.org/10.3389/fpubh.2020.00194
https://doi.org/10.3389/fpubh.2020.00194... . Entretanto, os estudos são predominantemente de países de alta renda e a aplicação do framework tem sido mais pragmática, ou seja, geralmente não são avaliados todos os domínios RE-AIM³²32. D'Lima D, Soukup T, Hull L. Evaluating the application of the RE-AIM planning and evaluation framework: an updated systematic review and exploration of pragmatic application. Front Public Health. 2022 Jan;9:755738. https://doi.org/10.3389/fpubh.2021.755738
https://doi.org/10.3389/fpubh.2021.75573... . Estudos demonstraram que, durante o planejamento de programas, a maioria dos implementadores dão maior foco para os domínios “alcance” e “implementação” e menor atenção para os domínios “efetividade” e “manutenção”³¹31. Glasgow RE, Battaglia C, McCreight M, Ayele RA, Rabin BA. Making implementation science more rapid: use of the RE-AIM framework for mid-course adaptations across five health services research projects in the Veterans Health Administration. Front Public Health. 2020 May;8:194. https://doi.org/10.3389/fpubh.2020.00194
https://doi.org/10.3389/fpubh.2020.00194... ,³³33. Kwan BM, McGinnes HL, Ory MG, Estabrooks PA, Waxmonsky JA, Glasgow RE. RE-AIM in the Real World: Use of the RE-AIM Framework for program planning and evaluation in clinical and community settings. Front Public Health. 2019 Nov;7:345. https://doi.org/10.3389/fpubh.2019.00345
https://doi.org/10.3389/fpubh.2019.00345... , sendo esse último considerado pelos membros como o menos importante para propor ajustes durante a implementação dos projetos. O presente estudo preenche essas lacunas ao determinar indicadores dos cinco domínios RE-AIM para planejar a avaliação de um programa de promoção da alimentação infantil em larga escala em um país de média renda.

Foram definidos indicadores para monitorar e avaliar a EAAB que em sua maioria já estavam sendo utilizados. A análise permitiu atualizar os indicadores para serem mais específicos, ou seja, mais claros para capturar as mudanças desejadas em desfechos-chave, como recomendado na literatura¹³13. Pérez-Escamilla R, Segura-Pérez S, Damio G. Applying the Program Impact Pathways (PIP) evaluation framework to school-based healthy lifestyles programs: Workshop Evaluation Manual. Food Nutr Bull. 2014 Sep;35(3 Suppl):S97-107. https://doi.org/10.1177/15648265140353S202
https://doi.org/10.1177/15648265140353S2... . Especialistas recomendam que os indicadores informados pela análise dos caminhos de impacto do programa sejam específicos, mensuráveis, alcançáveis, relevantes e temporais, observando se já estão em uso pelo programa ou se são planejados¹³13. Pérez-Escamilla R, Segura-Pérez S, Damio G. Applying the Program Impact Pathways (PIP) evaluation framework to school-based healthy lifestyles programs: Workshop Evaluation Manual. Food Nutr Bull. 2014 Sep;35(3 Suppl):S97-107. https://doi.org/10.1177/15648265140353S202
https://doi.org/10.1177/15648265140353S2... . Um exemplo foi a atualização do indicador “número de tutores formados” para “número de tutores no município em relação ao número de tutores planejados no plano de implementação”, assim o indicador é mais específico para a adoção no nível municipal e mede a existência de um plano de formação de tutores.

Alguns indicadores da EAAB eram específicos de critérios de certificação que estavam sob revisão pelo Ministério da Saúde. Estudo prévio demonstrou que as equipes das UBS tinham dificuldade de organizar e enviar os documentos comprobatórios de determinadas atividades para a certificação e o Ministério da Saúde tinha sobrecarga de tarefas que atrasava a análise dos documentos enviados⁸8. Melo D, Venancio S, Buccini G. brazilian strategy for breastfeeding and complementary feeding promotion: a program impact pathway analysis. Int J Environ Res Public Health. 2022 Aug;19(16):9839. https://doi.org/10.3390/ijerph19169839
https://doi.org/10.3390/ijerph19169839... . Portanto, justificou-se manter no domínio “implementação” indicadores dos critérios de certificação mensuráveis (quantitativos e com rastreamento do progresso ao longo do tempo) e alcançáveis (realisticamente mensuráveis com os dados e recursos disponíveis)³⁴34. Center for Disease Control and Prevention. Writing SMART objectives. 2018 [cited 2024 July 3]. Available from: https://www.cdc.gov/healthyyouth/evaluation/pdf/brief3b.pdf
https://www.cdc.gov/healthyyouth/evaluat... .

Aoki et al.³⁵35. Aoki A, Mochida K, Kuramata M, Sadamori T, Bhandari AK, Freitas HR, et al. The RE-AIM framework-based evaluation of the implementation of the Maternal and Child Health Handbook program in Angola: a mixed methods study. BMC Health Serv Res. 2022 Aug;22(1):1071. https://doi.org/10.1186/s12913-022-08454-9
https://doi.org/10.1186/s12913-022-08454... utilizaram 14 indicadores baseados no framework RE-AIM para avaliar o estágio de implementação de um programa de promoção da saúde materno-infantil em instituições de saúde em Angola. As instituições foram classificadas em grupos de implementação ideal ou sub ótima, enquanto entrevistas permitiram complementar a avaliação e identificar barreiras e facilitadores da implementação. Em contraste, a EAAB passou primeiro por uma análise de barreiras e facilitadores para a implementação e teve documentado suas estratégias de implementação. Essas pesquisas geraram resultados positivos, especialmente na governança multinível e formação de tutores⁸8. Melo D, Venancio S, Buccini G. brazilian strategy for breastfeeding and complementary feeding promotion: a program impact pathway analysis. Int J Environ Res Public Health. 2022 Aug;19(16):9839. https://doi.org/10.3390/ijerph19169839
https://doi.org/10.3390/ijerph19169839... ,¹²12. Venancio SI, Relvas GR, Melo DS, Souza CB, Moreira HOM, Veras JJP, et al. Implementation strategies for a brazilian policy aimed at promoting breastfeeding and healthy complementary feeding in primary care. Glob Implement Res Appl. 2023;3(4):355-66. https://doi.org/10.1007/s43477-023-00098-z
https://doi.org/10.1007/s43477-023-00098... . Entende-se que os indicadores determinados nesse estudo poderão ser futuramente utilizados para avaliar estágios de implementação e identificar municípios prioritários para monitoramento tanto da qualidade quanto da efetividade da implementação da EAAB.

Uma fortaleza do quadro de indicadores apresentado nesse estudo é que ele favorece a aplicação do framework RE-AIM no mundo real, concordando com especialistas da área que incentivam a ampliação do uso do RE-AIM em programas de base comunitária³¹31. Glasgow RE, Battaglia C, McCreight M, Ayele RA, Rabin BA. Making implementation science more rapid: use of the RE-AIM framework for mid-course adaptations across five health services research projects in the Veterans Health Administration. Front Public Health. 2020 May;8:194. https://doi.org/10.3389/fpubh.2020.00194
https://doi.org/10.3389/fpubh.2020.00194... . No Brasil, poucos estudos utilizaram o framework RE-AIM para avaliar programas e políticas de saúde em larga escala³⁶36. Buccini G, Gubert MB, Palmeira PA, Godoi L, Santos LD, Esteves G, et al. Scaling up a home-visiting program for child development in Brazil: a comparative case studies analysis. Lancet Reg Health Am. 2024 Jan;29:100665. https://doi.org/10.1016/j.lana.2023.100665
https://doi.org/10.1016/j.lana.2023.1006... ,³⁷37. Buccini G, Venancio SI, Pérez-Escamilla R. Scaling up of Brazil's Criança Feliz early childhood development program: an implementation science analysis. Ann N Y Acad Sci. 2021 Aug;1497(1):57-73. https://doi.org/10.1111/nyas.14589
https://doi.org/10.1111/nyas.14589... . Sabe-se que o financiamento para a aplicação do RE-AIM é, muitas vezes, dependente de recursos externos dos programas, como de agências nacionais, da cooperação entre acadêmicos e serviços de saúde e de fundações³³33. Kwan BM, McGinnes HL, Ory MG, Estabrooks PA, Waxmonsky JA, Glasgow RE. RE-AIM in the Real World: Use of the RE-AIM Framework for program planning and evaluation in clinical and community settings. Front Public Health. 2019 Nov;7:345. https://doi.org/10.3389/fpubh.2019.00345
https://doi.org/10.3389/fpubh.2019.00345... . O presente estudo foi conduzido como parte de pesquisa de doutorado sob financiamento de uma agência nacional de fomento à pesquisa. Assim, foi possível dedicar tempo para uma análise profunda dos caminhos de impacto do programa e dos domínios RE-AIM e propor uma estrutura de avaliação sistemática da EAAB. Portanto, salienta-se a importância da cooperação entre academia e tomadores de decisão de políticas públicas e programas complexos de saúde, para, assim, tornar factível a aplicação pragmática do RE-AIM.

Esse estudo tem limitações e fortalezas. Os dados coletados nos grupos focais são limitados às percepções dos participantes que compareceram nos encontros, e que eram apenas de municípios com contexto de implementação avançada. O segundo grupo focal teve ausência do coordenador municipal e tutor da Região Nordeste e ausência de tutores das regiões Norte e Sul. Em compensação, no processo interativo de confirmação do diagrama dos caminhos de impacto, observou-se que a maioria das sugestões do segundo grupo eram similares as do primeiro grupo, demonstrando saturação e robustez dos resultados apresentados. Alguns dos indicadores determinados para a EAAB demandam do Ministério da Saúde o envio periódico de formulários online para os municípios, pois eles não estão disponíveis em sistemas de informação oficiais da atenção primária à saúde. Entende-se que podem ser necessárias adaptações futuras nas fontes dos dados desses indicadores. Apesar dessa limitação, consideramos que esses indicadores devem ser mantidos como parte do sistema de avaliação da EAAB, pois se referem à existência de coordenadores, ao financiamento e ao plano de implementação, os quais são pontos críticos para controle, identificados em estudo prévio de análise da implementação da EAAB⁸8. Melo D, Venancio S, Buccini G. brazilian strategy for breastfeeding and complementary feeding promotion: a program impact pathway analysis. Int J Environ Res Public Health. 2022 Aug;19(16):9839. https://doi.org/10.3390/ijerph19169839
https://doi.org/10.3390/ijerph19169839... .

CONCLUSÕES

Esse estudo avançou na análise de implementação da EAAB ao determinar indicadores para avaliação tendo como referência teorias e frameworks da pesquisa de implementação. A teoria dos caminhos de impacto e as funções centrais confirmados funcionam como engrenagens para guiar a implementação da EAAB em larga escala de forma consistente e alcançar implementação bem-sucedida. Os conhecimentos obtidos por meio da interação com os coordenadores da EAAB das cinco macrorregiões do país apoiam a generalização dos resultados. Foram definidos indicadores para monitorar e avaliar a EAAB que, em sua maioria, já estavam sendo utilizados na implementação, entretanto, a análise com o framework RE-AIM permitiu atualizar os indicadores para serem mais específicos, mensuráveis e relevantes para os objetivos desejados. Em geral, os resultados do estudo apoiam a aplicação pragmática da avaliação RE-AIM em programas de saúde e incentiva o planejamento de indicadores de avaliação de outros programas de saúde e desenvolvimento infantil na atenção primária.

Referências bibliográficas

Datas de Publicação

Histórico