RESUMO

Objetivo

Descrever as etapas do estudo de avaliabilidade do Programa Nacional de Suplementação de Vitamina A (PNSVA) no Brasil.

Métodos

Estudo com abordagem qualitativa que adotou como referencial o sistema de sete elementos proposto por Thurston e Ramaliu. Foram realizados análise de documentos, revisão teórica sobre o PNSVA e encontros com referências técnicas para a elaboração da linha do tempo e modelos teórico e lógico do Programa. O modelo lógico subsidiou a elaboração de dois questionários a serem utilizados para avaliar a implantação do PNSVA. Foi realizada a validação de conteúdo das perguntas avaliativas dos questionários por meio da técnica Delphi.

Resultados

O estudo possibilitou compreender a evolução das estratégias para prevenção e controle da deficiência de vitamina A no país, além do funcionamento do PNSVA e seu contexto externo. O modelo lógico revelou-se uma ferramenta valiosa para identificar áreas específicas que devem ser priorizadas em avaliações futuras. A validação dos questionários indicou que esses instrumentos abordam questões necessárias para a avaliação da implantação do Programa em municípios. A etapa da técnica Delphi foi de grande importância para guiar ajustes pertinentes quanto ao conteúdo e à forma de apresentação de algumas questões, o que certamente aumentará o poder analítico da ferramenta.

Conclusão

O estudo de avaliabilidade apontou a possibilidade de avaliações posteriores do PNSVA. Espera-se que os resultados desta investigação auxiliem futuras avaliações em países que adotam ações semelhantes às do Brasil.

Palavras-chave
Avaliação em saúde; deficiência de vitamina A; vitamina A; política de saúde; Brasil

ABSTRACT

Objective

To describe the steps of the Brazilian Vitamin A Supplementation Program (PNSVA) evaluability assessment.

Method

The present qualitative study employed the seven-element system proposed by Thurston and Ramaliu. The study involved document analysis, conceptual review of PNSVA, and meetings with technical experts to assemble a time line and the Program's theoretical and logical frameworks. The logical framework supported the elaboration of two questionnaires to be used for PNSVA evaluation. The questionnaires were validated using the Delphi method.

Results

The analysis revealed the evolution of vitamin A control and prevention strategies in the country, and provided information on the functioning of PNSVA and on its external context. The logical framework was found to be an invaluable tool for detecting specific priority areas for future assessments. The validation of the questionnaires indicated that they did in fact cover topics that are necessary to evaluate the implementation of PNSVA in municipalities. The Delphi step was essential to guide adjustments regarding question content and format, which served to increase the analytic power of the instruments.

Conclusion

The evaluability assessment indicated that future PNSVA evaluations will be possible. It is expected that the present results may be useful in countries developing similar initiatives as the one described in Brazil.

Keywords
Health evaluation; vitamin A deficiency; vitamin A; health policy; Brazil

RESUMEN

Objetivo

Describir las etapas del estudio de evaluación del Programa Nacional de Suplementación de Vitamina A (PNSVA) en Brasil.

Métodos

Estudio con enfoque cualitativo que adoptó como marco de referencia el sistema de siete elementos propuesto por Thurston y Ramaliu. Se realizó análisis de documentos, revisión teórica del PNSVA y reuniones con expertos técnicos para la elaboración del cronograma y los marcos teórico y lógico del Programa. El modelo lógico ayudó a elaborar dos cuestionarios para ser utilizados en la evaluación del PNSVA. Los cuestionarios fueron validados utilizando el método Delphi.

Resultados

El estudio permitió comprender la evolución de las estrategias para prevenir y controlar la deficiencia de vitamina A en el país, además del funcionamiento del PNSVA y su contexto externo. El modelo lógico representó una herramienta valiosa para identificar áreas específicas que deben ser priorizadas en evaluaciones futuras. La validación de los cuestionarios indicó que estos instrumentos abordan temas necesarios para la evaluación de la implantación del Programa en los municipios. La aplicación del método Delphi fue muy importante para guiar los ajustes pertinentes en cuanto al contenido y la forma de presentación de algunos temas, lo que con certeza aumentará el poder analítico de la herramienta.

Conclusión

El estudio de evaluación señaló la posibilidad de evaluaciones futuras del PNSVA. Se espera que los resultados de esta investigación ayuden a futuras evaluaciones en países que adopten acciones similares a las de Brasil.

Palabras clave
Evaluación en salud; deficiencia de vitamina A; vitamina A; política de salud; Brasil

A deficiência de vitamina A (DVA) é uma das carências nutricionais mais prevalentes em todo mundo, atingindo grande parte da população infantil em países em desenvolvimento, principalmente crianças menores de 5 anos de idade (¹1. Ministério da Saúde. Manual de condutas gerais do Programa Nacional de Suplementação de Vitamina A. Brasília: Ministério da Saúde; 2013.).

Observa-se tendência de declínio na prevalência mundial de DVA, tendo sido relatadas reduções significativas no período de 1991 a 2013 no leste e sudeste da Ásia e Oceania, de 42% para 6%, e na América Latina e Caribe, de 21% a 11%. Entretanto, em vários países latino-americanos, a DVA ainda é considerada um grave problema de saúde pública, como é o caso de México, Jamaica, Haiti e Colômbia (²2. Galicia L, Grajeda R, López de Romaña D. Nutrition situation in Latin America and the Caribbean: current scenario, past trends, and data gaps. Rev Panam Salud Publica. 2016;40(2):104–13.). As taxas na África subsaariana e no sul da Ásia permaneceram altas e praticamente inalteradas, em 48% e 44%, respectivamente (³3. Stevens GA, Bennett JE, Hennocq Q, De-Regil LM, Rogers L, Danaei G, et al. Trends and mortality effects of vitamin A deficiency in children in 138 low-income and middle-income countries between 1991 and 2013: a pooled analysis of population-based surveys. Lancet Glob Health. 2015; 3(9):528–36. doi: 10.1016/S2214-109X(15)00039-X.
https://doi.org/10.1016/S2214-109X(15)00... ). Em regiões onde há redução da prevalência de DVA, essa redução é frequentemente atribuída a ações governamentais, em especial à administração em massa de altas doses de vitamina A às crianças nos últimos 20 anos (⁴4. Mason J, Greiner T, Shrimpton R, Sanders D, Yukich J. Vitamin A policies need rethinking. International Journal of Epidemiology. 2015; 44(1): 283–92. doi: 10.1093/ije/dyu194
https://doi.org/10.1093/ije/dyu194... ).

No Brasil, estudos têm identificado prevalências de 10% a 20% de níveis de retinol sérico abaixo de 0,70 μmol/L, condição que caracteriza a hipovitaminose A como problema moderado a grave de saúde pública (⁵5. Lima DB, Damiani LP, Fujimori E. Deficiência de vitamina a em crianças brasileiras e variáveis associadas. Rev Paul Pediatr. 2018;36(2): 176–185. doi: 10.1590/1984-0462/;2018;36;2;00013.
https://doi.org/10.1590/1984-0462/;2018;... –⁷7. De Queiroz D, Paiva AA, Pedraza DF, Cunha MAL, Esteves GH, Luna JG, Diniz AS. Deficiência de vitamina A e fatores associados em crianças de áreas urbanas. Rev Saúde Pública. 2013; 47(2): 248–56.). Com o objetivo de prevenir e controlar a DVA, o Ministério da Saúde adota, desde 1983, a distribuição em massa de megadoses da vitamina A para crianças de 6 a 59 meses de vida. Ao longo dos anos, as ações de controle da DVA foram expandidas e fortalecidas. Essas ações são, atualmente, regulamentadas pelo Programa Nacional de Suplementação de Vitamina A (PNSVA) (⁸8. Ministério da Saúde. PORTARIA Nº 729/GM Em 13 de maio de 2005: Institui o Programa Nacional de Suplementação de Vitamina A e dá outras providências. Brasília: Ministério da Saúde; 2005.), organizado de forma semelhante em todas as unidades federativas do país.

As evidências de DVA no país e os esforços do governo para a prevenção dessa deficiência apontam para a necessidade e a importância de avaliar a implantação do PNSVA. A incorporação da avaliação à rotina dos serviços em todos os níveis do sistema de saúde, passando pela avaliação da situação de saúde da população, dos serviços e dos resultados das ações é uma das ferramentas de suporte para a consolidação do Sistema Único de Saúde (SUS) (⁹9. Denis JL. Institucionalização da avaliação na administração pública. Rev Bras Saude Mater Infant. 2010; 10(1): 229–333., ¹⁰10. Tanaka OU, Tamaki EM. O papel da avaliação para a tomada de decisão na gestão de serviços de saúde. Ciência & Saúde Coletiva. 2012; 17(4): 821–8.).

O estudo de avaliabilidade, etapa anterior à avaliação propriamente dita, é uma importante estratégia, pois permite compreender a intervenção em profundidade e planejar, previamente, a forma e o foco das avaliações posteriores: um dos objetivos do estudo de avaliabilidade é identificar as áreas críticas a serem priorizadas na avaliação (¹¹11. Thurston WE, Ramaliu A. Evaluability assessment of a survivors of torture program: lessons learned. The Canadian Journal of Program Evaluation. 2005; 20(2):1–25.).

O presente estudo teve por objetivo descrever as etapas do estudo de avaliabilidade do PNSVA, tendo em vista que esse Programa ainda não teve uma avaliação anterior. O estudo de avaliabilidade abrangeu a exploração do processo histórico das ações de controle e prevenção da DVA no país, os contextos interno e externo do Programa, a modelagem até o planejamento e a verificação da possibilidade da avaliação de sua implantação em municípios do estado de Minas Gerais. Espera-se que os resultados deste estudo possam subsidiar investigações de ações que visem a prevenir e a controlar a DVA em regiões em que a DVA ainda representa um importante problema de saúde pública.

MATERIAIS E MÉTODOS

Realizou-se um estudo de avaliabilidade com abordagem qualitativa, baseado no sistema dos sete elementos proposto por Thurston e Ramaliu (¹¹11. Thurston WE, Ramaliu A. Evaluability assessment of a survivors of torture program: lessons learned. The Canadian Journal of Program Evaluation. 2005; 20(2):1–25.): a) descrição do programa, identificando as metas, os objetivos e as atividades que o constituem; b) identificação e revisão dos documentos disponíveis no programa; c) modelagem (modelo lógico do programa, dos recursos disponíveis, atividades pretendidas, impactos esperados e conexões causais presumidas); d) supervisão do programa, ou obtenção de um entendimento preliminar sobre como o programa opera; e) desenvolvimento de um modelo teórico da avaliação (MTA); f) identificação de usuários da avaliação e outros principais envolvidos; e g) obtenção de um acordo quanto ao procedimento da avaliação.

Para a descrição do PNSVA foram realizadas a análise de documentos técnicos e do arcabouço legal, disponíveis em sites governamentais na Internet, compreendendo o período de 1988 (ano de criação do SUS) a 2016, além de revisão de literatura científica. Concomitantemente, foram realizadas quatro visitas à Secretaria de Estado de Saúde de Minas Gerais (SES/MG) para verificar como é a operacionalização do Programa nos municípios e identificar os interessados (stakeholders) que poderiam contribuir e apoiar a avaliação. Esse conjunto de procedimentos subsidiou a sistematização do conhecimento disponível no período mencionado para a elaboração dos modelos teórico e lógico do PNSVA e para a obtenção de um acordo quanto ao procedimento do estudo de avaliabilidade.

A modelagem do PNSVA, desenvolvida a partir do modelo lógico (¹²12. Champagne A, Hartz Z, Contandriopoulos AP, Denis JL A Análise de Implantação. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz ZMA, organizadores. Avaliação em saúde: conceitos e métodos. Rio de Janeiro: Fiocruz; 2011:217–238.), que sintetiza os principais componentes do Programa em uma imagem de como o sistema deve supostamente funcionar, garantiu a identificação dos componentes e das relações causais presumidas, permitindo a identificação de perguntas avaliativas para a investigação do Programa nos municípios de Minas Gerais. O modelo foi estruturado em: 1) componentes, identificados a partir dos objetivos específicos do PNSVA; 2) subcomponentes, ações necessárias dentro de cada componente para que se alcance o impacto desejado; 3) estrutura, ou seja, recursos físicos, organizacionais ou simbólicos necessários à operacionalização do PNSVA; 4) atividades, que são os meios utilizados em cada subcomponente para atingir resultados específicos; 5) resultados intermediários; e 6) impacto do PNSVA.

Com o objetivo de identificar indicadores de interesse para a avaliação do Programa, foram definidas perguntas avaliativas a partir do modelo lógico. Foram selecionadas perguntas referentes a estrutura, atividades e resultados de todos os subcomponentes identificados. As perguntas selecionadas foram classificadas de acordo com os critérios de relevância: prioridade, utilidade, capacidade de gerar informações importantes e viabilidade.

Considerando-se a necessidade da participação de diferentes atores envolvidos com o PNSVA em nível municipal para responder as perguntas, estas foram dispostas em dois questionários: um direcionado à gestão do Programa (a ser respondido por um profissional da saúde referência técnica do PNSVA no município), contemplando 43 questões, e outro à assistência (profissionais da atenção primária à saúde), com 49 questões.

Para a validação de conteúdo dos questionários utilizou-se a técnica de Delphi (¹³13. Pereira RDM, Alvim NAT. Técnica Delphi no diálogo com enfermeiros sobre a acupuntura como proposta de intervenção de enfermagem. Esc Anna Nery. 2015; 19(1): 174–80.). Foram convidados a participar do painel de juízes 22 indivíduos, dentre eles: doutores e especialistas no campo da nutrição e representantes do Programa no Ministério da Saúde, na SES/MG, nas Gerências Regionais de Saúde e em municípios de Minas Gerais.

Utilizando-se o software LimeSurvey, foi solicitado a cada um dos juízes que avaliassem cada questão dos questionários quanto a pertinência, necessidade e clareza do enunciado, classificando a questão em uma escala de opinião: CP: concordo plenamente, C: concordo, NN: não discordo nem concordo, D: discordo, DP: discordo plenamente. Os membros do painel poderiam, ainda, sugerir novos critérios ou modificações àqueles apresentados.

O grau de concordância das respostas foi encontrado a partir do percentual de questões classificadas na escala CP e C. Foi considerado como ponto de corte para obtenção do consenso um valor acima de 70% (¹³13. Pereira RDM, Alvim NAT. Técnica Delphi no diálogo com enfermeiros sobre a acupuntura como proposta de intervenção de enfermagem. Esc Anna Nery. 2015; 19(1): 174–80.).

O projeto de avaliação do PNSVA no Estado de Minas Gerais foi aprovado pelo Comitê de Ética em Pesquisa do Instituto René Rachou, Fiocruz Minas (CAAE: 57957316.6.0000.5091). Aos participantes foi apresentado o termo de consentimento livre e esclarecido, sendo o anonimato garantido por meio do uso de códigos para a identificação dos mesmos.

RESULTADOS

A partir da análise dos elementos a) descrição do Programa, identificando as metas, os objetivos e as atividades que o constituem e b) identificação e revisão dos documentos disponíveis, verificamos que a expansão das ações de controle da DVA se deu com a criação, em 1994, pelo Ministério da Saúde, do Programa Nacional de Controle da DVA (¹⁴14. Ministério de Saúde. Portaria nº. 2.160, Cria, no Instituto Nacional de Alimentação e Nutrição, o Programa Nacional de Controle das Deficiências de Vitamina A e dá outras providências. Brasília: Ministério de Saúde; 1994.). No ano de 2001 houve a ampliação da suplementação de vitamina A para as puérperas, e em 2005 foi instituído o PNSVA, sendo as ações de controle da DVA intensificadas, culminando em 2012 na expansão do Programa para todo território nacional. Destaca-se que em julho de 2016 a suplementação de puérperas foi suspensa em todo o país após extenso debate com especialistas que consideraram que, apesar de a suplementação aumentar a disponibilidade de vitamina A no leite materno, não havia evidências contundentes quanto aos benefícios em relação à saúde materna e infantil (¹⁵15. Ministério da Saúde. Nota técnica n° 135/2016: Encerramento da suplementação de puérperas com megadoses de vitamina A no Programa Nacional de Suplementação de Vitamina A. Brasília: Ministério da Saúde; 2016.).

Na figura 1 está representada uma linha do tempo onde é possível observar alguns marcos do PNSVA e as estratégias adotadas para a prevenção da DVA no país. O PNSVA foi regulamentado em 2005, porém o Brasil iniciou as ações de suplementação de vitamina A para crianças de 6 a 59 meses já em 1983, durante os dias nacionais de vacinação em áreas consideradas de alto risco para a deficiência (¹⁶16. Martins MC, Santos LMP, Santos SMC, Araújo MPN, Lima AP, Santana LAA. Avaliação de políticas públicas de segurança alimentar e combate à fome no período 1995–2002. 3 _ O Programa Nacional de Controle da Deficiência de Vitamina A. Cad Saúde Pública. 2007; 23(11): 2081–93.).

No modelo teórico do PNSVA, esquematizado na figura 2, é possível obervar o contexto externo do Programa.

O PNSVA é um dos programas inserido na estratégia de Prevenção e Controle de Agravos Nutricionais da Política Nacional de Alimentação e Nutrição (PNAN), responsabilidade da Coordenação Geral de Alimentação e Nutrição (CGAN), hierarquicamente subordinada ao Departamento de Atenção Básica (DAB) do Ministério da Saúde.

O DAB coordena no país outras ações, programas e estratégias que, apesar de fazerem parte do contexto externo ao PNSVA, têm em sua essência objetivos correlatos de apoio a educação alimentar e nutricional e melhora nas condições de saúde de crianças. São estas: a Estratégia Amamenta e Alimenta Brasil, Programa Bolsa Família, conjunto de estratégias da Promoção da Saúde e da Alimentação Adequada e Saudável, Política Nacional de Atenção Integral à Saúde da Criança (PNAISC), Programa Saúde na Escola (PSE), Vigilância Alimentar e Nutricional, Estratégia Saúde da Família (ESF), Núcleos de Apoio à Saúde da Família (NASF), Consultório na Rua e Unidade Básica de Saúde Fluvial (UBSF).

Modelo lógico, recursos, atividades, impactos e conexões causais e entendimento preliminar de como o PNSVA opera

Quanto aos elementos c) modelagem (modelo lógico do Programa) dos recursos disponíveis, atividades pretendidas, impactos esperados e conexões causais presumidas e d) supervisão do PNSVA, ou obtenção de entendimento preliminar de como o PNSVA opera, para alcançar o objetivo do Programa são planejadas atividades direcionadas a dois componentes distintos. O primeiro é a suplementação profilática medicamentosa de vitamina A, ação que deve ser adotada por curto prazo. O segundo é a promoção da alimentação saudável para prevenção da DVA, medida que deve ser utilizada a médio e longo prazo. O modelo lógico, apresentado na figura 3, subsidiou a elaboração dos questionários a serem utilizados para avaliar a implantação do PNSVA, contribuindo, assim, para o plano de avaliação.

Desenvolvimento de modelo teórico da avaliação, identificação de usuários da avaliação e procedimento da avaliação

Quanto aos elementos e) desenvolvimento de um MTA; f) identificação de usuários da avaliação e outros principais envolvidos; e g) obtenção de um acordo quanto ao procedimento de uma avaliação, este estudo foi proposto e conduzido por pesquisadores do Instituto René Rachou da Fundação Oswaldo Cruz (Fiocruz Minas) e teve adesão de 15 interessados, engajados em diferentes níveis de atuação no PNSVA. O grupo de 15 interessados incluiu pesquisadores e referências técnicas do Programa em nível estadual e regional. Ademais, houve reconhecimento de outros interessados na avaliação, como os profissionais da atenção primária à saúde (APS) (referência técnica municipal, enfermeiros e nutricionistas) e os usuários do Programa (crianças de 6 meses a 5 anos de idade).

Dos 22 convidados a participar da técnica Delphi, oito realizaram a avaliação dos questionários. O grau de concordância encontrado na validação de conteúdo foi de 92,7% quanto à pertinência e necessidade das questões e de 86,5% quanto à clareza para o questionário destinado à assistência do PNSVA. Para o questionário destinado à gestão do Programa, o grau de concordância foi de 97,84% para a pertinência e necessidade das questões e 92,97% para a clareza.

De forma geral, os juízes relataram que ambos os questionários são claros e de fácil compreensão. As principais observações foram referentes ao número de questões. Alguns avaliadores consideraram os questionários extensos e sugeriram a condensação de algumas perguntas, a melhoria de alguns enunciados quanto a clareza e a inserção de outras questões que julgavam pertinentes.

Após as modificações consideradas pertinentes, o questionário destinado à gestão, que tinha 43 questões, passou a ter 29. Dentre essas questões, uma abordou a estrutura do Programa, 11 abordaram o processo e 17 foram destinadas especificamente às atividades relacionadas à suplementação com megadoses de vitamina A. Já o questionário destinado à assistência, que tinha 49 questões, passou a ter 37, das quais cinco contemplaram a estrutura, 11 abordaram a promoção da alimentação saudável para a prevenção da DVA e 21 foram destinadas à suplementação com megadoses de vitamina A. Os questionários estão disponíveis aos interessados mediante contato com o autor correspondente do presente artigo.

DISCUSSÃO

A presente investigação apontou que o estudo de avaliabilidade foi um instrumento útil para explorar a teoria, propósitos e objetivos do PNSVA na elaboração de modelos capazes de esclarecer os contextos interno e externo e para verificar a plausibilidade das relações entre o problema, a estrutura do Programa, as suas atividades e os resultados esperados a curto, médio e longo prazo. O estudo de avaliabilidade do PNSVA possibilitou ainda o desenvolvimento de um plano para avaliações posteriores.

No campo das ações políticas, inclusive das políticas de saúde, a avaliação vem ganhando centralidade nas discussões. O reconhecimento da necessidade de sistemas e estratégias capazes de retroalimentar de forma ágil, eficiente e oportuna tanto os programas quanto os serviços de saúde vem favorecendo a crescente pressão social para o desenvolvimento da cultura de avaliação no Brasil (¹⁷17. Campos RO, Furtado JP. Desafios da avaliação de programas e serviços em saúde. Campinas, SP. Editora: Unicamp. 2011: 278p.). Isso explica, ao menos em parte, o crescimento relevante de publicações sobre avaliação em saúde no país, sobretudo a partir de meados dos anos 2000 (¹⁸18. Furtado JP, Campos GWSC, Onocko-Campos WYR. Planejamento e Avaliação em Saúde: entre antagonismo e colaboração. Cad Saúde Pública. 2018; 34 (7) 23.).

Pesquisas avaliativas têm sido utilizadas para gerar informações que apoiem e orientem a tomada de decisão, favorecendo a compreensão da realidade no cotidiano do trabalho, transformando as ideias e práticas. Nesse contexto, o estudo de avaliabilidade é considerado uma importante estratégia para verificar em que medida uma intervenção pode ser avaliada, favorecendo a elaboração de um plano de avaliação mais consistente e com maior credibilidade (¹¹11. Thurston WE, Ramaliu A. Evaluability assessment of a survivors of torture program: lessons learned. The Canadian Journal of Program Evaluation. 2005; 20(2):1–25.). Com este objetivo, no contexto da APS, é crescente o interesse de pesquisadores em realizar essa abordagem avaliativa (¹⁹19. Dias MSA, Oliveira IP, Silva LMS, Vasconcelos MIO, Franklin MFASM, Forte DS, Silva LCC. Política Nacional de Promoção da Saúde: um estudo de avaliabilidade em uma região de saúde no Brasil. Ciênc Saúde colet. 2018; 23 (1).–²¹21. Silva RN, Guarda FRB, Petrônio PCH, Martelli JL. Avaliabilidade do Programa Academia da Saúde no Município do Recife, Pernambuco, Brasil. Cad Saúde Pública. 2017; 33 (4). doi: 10.1590/0102-311X00159415.
https://doi.org/10.1590/0102-311X0015941... ).

O modelo lógico foi essencial para compreender as premissas teóricas do PNSVA, permitindo a identificação das perguntas avaliativas, fundamentais para a condução da avaliação. Por meio dele foram identificados dois componentes distintos com o objetivo comum de reduzir a DVA em crianças menores de 5 anos: a suplementação profilática medicamentosa com vitamina A e a promoção da alimentação saudável.

Ressalta-se que a suplementação profilática medicamentosa é o foco central de ação na maior parte dos 80 países que têm programas de controle da DVA (²²22. United Nations Children's Fund. Vitamin A Supplementation: A Decade of Progress. New York, NY: United Nations Children's Fund; 2007.). A administração em massa de altas doses de vitamina A em crianças nos últimos 20 anos é frequentemente relacionada à redução mundial de sua deficiência ao longo do tempo, especialmente em regiões carentes (⁴4. Mason J, Greiner T, Shrimpton R, Sanders D, Yukich J. Vitamin A policies need rethinking. International Journal of Epidemiology. 2015; 44(1): 283–92. doi: 10.1093/ije/dyu194
https://doi.org/10.1093/ije/dyu194... ). Porém, estudos apontam que a cobertura e a sustentabilidade desses programas são um desafio constante (²³23. Palmer AC, Diaz T, Noordam AC, Dalmiya N. Evolution of the Child Health Day strategy for the integrated delivery of child health and nutrition services. Food Nutr Bull. 2013; 34(4):412–9.–²⁵25. Engle-Stone R, Nankap M, Ndjebayi AO, Vosti SA, Brown KH. Estimating the Effective Coverage of Programs to Control Vitamin A Deficiency and Its Consequences Among Women and Young Children in Cameroon. Food Nutr Bull. 2015; 36(3): 149–71.), reforçando a importância de sua avaliação. Apesar de os programas de suplementação de vitamina A terem contribuído para reduzir as taxas de mortalidade em menores de 5 anos, acredita-se que, enquanto ação isolada, não abordam o problema subjacente da ingestão alimentar inadequada da VA e de sua deficiência crônica em crianças em idade pré-escolar em países em desenvolvimento (²⁶26. Klemm RDW, Palmer AC, Greig A, Engle-Stone R, Dalmiya N. A Changing Landscape for Vitamin A Programs: Implications for Optimal Intervention Packages, Program Monitoring, and Safety. Food Nutr Bull. 2016; 37 (2):75–86.), justificando a necessidade de avaliação do segundo componente do Programa apresentado pelo modelo lógico, a promoção da alimentação saudável.

Ao investigar a trajetória da educação alimentar e nutricional nos programas oficiais de controle da DVA no país, Rodrigues e Roncada (²⁷27. Rodrigues LPF, Roncada MJ. A educação nutricional nos programas oficiais de prevenção da deficiência da vitamina A no Brasil. Rev Nutr Campinas. 2010;23 (2): 297–305.) revelaram que, ao longo dos últimos 40 anos, essas ações não se efetivaram ou sofreram interrupções, ocorrendo de forma temporária e sem avaliação. Os autores assumiram, porém, que o PNSVA apresenta importantes avanços ao considerar que a educação alimentar e nutricional deve acontecer paralelamente à suplementação, não devendo ser considerada como uma medida pontual.

Além da exploração do contexto da intervenção, outro item relevante na avaliação em saúde é identificar se os resultados serão utilizados e se há indicativo de sustentabilidade da intervenção (²⁸28. Wholey JS. Evaluability assessment. In: Rutman, L. (Ed.). Evaluation research methods: A base guide. Beverly Hills CA: Sage. 1977. p. 41–56.). Para isso, a avaliação em saúde não pode ser realizada apenas pela gestão.

A cooperação efetiva dos envolvidos no processo de implantação de uma intervenção contribui, desde os primeiros achados do estudo, para a análise e interpretação dos dados do estudo de avaliabilidade, podendo gerar subsídios para a melhoria do Programa (¹¹11. Thurston WE, Ramaliu A. Evaluability assessment of a survivors of torture program: lessons learned. The Canadian Journal of Program Evaluation. 2005; 20(2):1–25.). Para tanto, desde sua idealização, a presente investigação contou com a parceria da gestão do PNSVA do estado de Minas Gerais. Houve ainda preocupação na identificação e inclusão de demais partes interessadas na avaliação, em especial por meio da técnica Delphi.

A negociação entre os atores interessados e envolvidos em processos avaliativos é uma importante característica do que Guba e Lincoln (²⁹29. Guba EG, Lincoln YS. Fourth Generation Evaluation. Newbury Park; CA; Sage Publications, Chapter 1: The Coming of Age of Evaluation, pp.21–49; Chapter 7: The Methodology of Fourth Generation Evaluation. 1989; p.184–227.) denominam de avaliação de quarta geração, que se contrapõe às gerações anteriores à década de 1980. O engajamento de pessoas interessadas na avaliação constitui-se na abordagem mais desejável para identificar problemas e explicações do objeto avaliado, favorecendo a incorporação dos resultados na tomada de decisão para aperfeiçoar, ampliar ou alterar a intervenção (¹⁰10. Tanaka OU, Tamaki EM. O papel da avaliação para a tomada de decisão na gestão de serviços de saúde. Ciência & Saúde Coletiva. 2012; 17(4): 821–8.).

Tanaka e Tamaki (¹⁰10. Tanaka OU, Tamaki EM. O papel da avaliação para a tomada de decisão na gestão de serviços de saúde. Ciência & Saúde Coletiva. 2012; 17(4): 821–8.) relatam que, para estruturar um processo avaliativo que tenha a capacidade de apoiar a tomada de decisão da gestão em saúde e responda aos anseios das partes interessadas, é necessário que um conjunto de princípios seja levado em consideração: 1) utilidade: garantia da abordagem de questões relevantes; 2) factibilidade e viabilidade: a avaliação deve ter boa relação de custo-benefício; 3) propriedade: garantia da ética e 4) precisão: garantia de que os achados possam ser considerados corretos. A inclusão dos interessados é uma maneira de garantir uma avaliação de qualidade, atendendo os padrões da avaliação, em especial a utilidade e a propriedade.

O padrão de utilidade foi garantido, também, durante a validação das ferramentas de coleta de dados por meio da técnica Delphi. A seleção das perguntas avaliativas é um ponto crucial no processo de avaliação. Quando não há clareza nessas perguntas, o produto não é uma avaliação, e sim um diagnóstico. A ausência dessa clareza acarretará no acúmulo de dados e de informações que poderão não ser úteis na tomada de decisão para alterar determinada situação de saúde da população (¹⁰10. Tanaka OU, Tamaki EM. O papel da avaliação para a tomada de decisão na gestão de serviços de saúde. Ciência & Saúde Coletiva. 2012; 17(4): 821–8.).

A avaliação do painel de juízes indicou que as questões elaboradas abordam aspectos necessários para a compreensão da implantação do PNSVA nos municípios. Esta etapa foi de grande importância para guiar ajustes pertinentes quanto ao conteúdo e à forma de apresentação de algumas questões, o que certamente aumentará o poder analítico da ferramenta.

Pode-se considerar que uma limitação do estudo foi a utilização de questionários on-line para realizar a técnica Delphi. Apesar de possibilitar maior alcance de potenciais respondentes, esse formato leva a perdas amostrais consideráveis.

O estudo de avaliabilidade confirmou a possibilidade de realizar uma avaliação sistemática de caráter mais extenso. A apropriação do processo histórico das ações de prevenção da DVA e dos modelos teórico e lógico do PNSVA poderão contribuir para verificar se a estrutura disponível, as atividades planejadas e os produtos gerados são suficientes para atender aos objetivos propostos. Ademais, a partir desse estudo, foram construídas, com a participação de atores interessados na avaliação, perguntas avaliativas oportunas para a avaliação da implantação do Programa, a ser realizada futuramente no estado de Minas Gerais. O plano de avaliação fortalece o poder da ferramenta de avaliação e a utilização de seus achados pela gestão, tanto em nível nacional, estadual, regional quanto municipal.

Pretende-se que o presente estudo enriqueça o debate sobre a necessidade de metodologias de avaliação que possibilitem investigar aspectos que vão além da cobertura e efetividade do Programa e que sejam capazes também de explorar a relação entre os componentes do Programa e desses com o contexto. Portanto, sugere-se que pesquisadores de outras regiões que se propõem a investigar ações de prevenção da DVA realizem estudos de avaliabilidade como este para garantir que sua avaliação seja capaz de desvelar a efetividade ou não das ações, elencando suas fragilidades e fortalezas.

Agradecimentos

Os autores agradecem o apoio do Programa de Pós-Graduação em Saúde Coletiva do Instituto René Rachou – FIOCRUZ Minas e da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES).

REFERÊNCIAS

Datas de Publicação

Histórico