Resumo

Trata-se de um Estudo de Avaliabilidade (EA) do Programa de Vigilância e Controle da Leishmaniose Visceral (PVCLV), com vistas à construção de bases para uma futura avaliação. Utilizou-se uma abordagem descritivo-qualitativa em quatro etapas: (1) Delimitação do programa; (2) Construção do modelo lógico, com a explicitação dos recursos necessários, atividades a serem desempenhadas e resultados esperados, bem como das matrizes avaliativas, com as dimensões de análise, categorias e indicadores; (3) Identificação de perguntas avaliativas e escolha do desenho da avaliação; (4) Recomendações dos autores sobre o PVCLV e a pertinência da realização da avaliação do programa. Este EA concluiu que a intervenção está apta a ser avaliada, porque foi possível identificar o delineamento da intervenção; o consenso entre os especialistas sobre ela; e a identificação de perguntas avaliativas que subsidiam uma posterior avaliação. Destaca-se a importância da participação de atores-chave em todas as etapas de desenvolvimento do estudo, os quais têm papel central no processo de desenvolvimento do programa nos diversos níveis de gestão. Espera-se que esta pré-avaliação contribua para identificação de prioridades e redirecionamento das ações, de modo a assegurar factibilidade na avaliação do PVCLV, gerando ações de intervenção em tempo oportuno.

Palavras-Chave:
Avaliação em saúde; Leishmaniose visceral; Planos e programas de saúde

Abstract

This is an Evaluability Study (ES) of the Visceral Leishmaniasis Surveillance and Control Program, with a view to building bases for a future evaluation. A descriptive-qualitative approach was used in four steps: (1) Delimitation of the program; (2) Construction of the logical model, with the explanation of the necessary resources, the activities to be performed and the expected results, as well as the evaluative matrices, with the dimensions of analysis, categories and indicators; (3) Identification of evaluative questions and choice of evaluation design; (4) Authors' recommendations on Visceral Leishmaniasis Surveillance and Control Program and the pertinence of carrying out an evaluation of the program. This ES concluded that the intervention was able to be evaluated, because it was possible to identify the intervention design; the consensus among specialists about it; and the identification of evaluative questions that support a subsequent evaluation. It highlights the importance of the participation of key actors in all stages of the study's development, which have a central role in the program's development process at the various management levels. It is expected that this pre-assessment will contribute to identifying priorities and redirecting actions, to ensure feasibility in the assessment of Visceral Leishmaniasis Surveillance and Control Program, generating intervention actions promptly

Keywords:
Health evaluation; Visceral leishmaniasis; Health plans and programs

Introdução

A leishmaniose visceral (LV) é reconhecida pela Organização Mundial da Saúde (OMS) como um importante problema de saúde pública e está entre as seis endemias consideradas prioritárias no mundo (Brasil, 2014BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Vigilância Epidemiológica. Manual de vigilância e controle da leishmaniose visceral. Brasília: MS, 2014.). Tipicamente de áreas tropicais e subtropicais, é endêmica em mais de 76 países, porém negligenciada, atingindo, em sua maioria, países em desenvolvimento (Brasil/MS, 2022BRASIL. Ministério da Saúde. Saúde de A a Z, 2022. Disponível em: <https://www.gov.br/saude/pt-br/assuntos/saude-de-a-a-z/l/leishmaniose-visceral/situacao-epidemiologica-da-leishmaniose-visceral>. Acesso em: 5 jan. 2023.
https://www.gov.br/saude/pt-br/assuntos/... ). Nas Américas, está presente em 13 países, nos quais foram registrados 67.922 casos novos de 2001 a 2021 com incidência de 3,0 por 100 mil habitantes (OPAS, 2021ORGANIZAÇÃO PAN AMERICANA DA SAÚDE (OPAS). Leishmanioses: informe epidemiológico das Américas [Internet]. n. 10, dez. 2021. Washington, D.C.: OPS; 2021. Disponível em: https://iris.paho.org/handle/10665.2/51742.
https://iris.paho.org/handle/10665.2/517... ). Em 2021 do total de casos, 97,0% foram reportados pelo Brasil, com registros em todas as regiões administrativas (OPAS, 2021ORGANIZAÇÃO PAN AMERICANA DA SAÚDE (OPAS). Leishmanioses: informe epidemiológico das Américas [Internet]. n. 10, dez. 2021. Washington, D.C.: OPS; 2021. Disponível em: https://iris.paho.org/handle/10665.2/51742.
https://iris.paho.org/handle/10665.2/517... ).

No Brasil, a visão preponderante é de que a transmissão da LV é essencialmente zoonótica, sendo o cão doméstico o principal reservatório no meio urbano e o flebotomíneo Lutzomyia longipalpis o vetor de maior importância epidemiológica (Zuben; Donalisio, 2016). Nesse sentido, o programa nacional de controle da LV, criado em ¹⁹⁶³BRASIL. Ministério da Saúde. Decreto nº 51.838, 14 de março de 1963. Baixa Normas Técnicas Especiais para o Combate às Leishmanioses. Disponível em: http://www.planalto.gov.br/ccivil_03/decreto/1950-1969/D51838.htm. Acesso em: 23 maio 2018.
http://www.planalto.gov.br/ccivil_03/dec... , já apontava para a importância do diagnóstico precoce e do tratamento dos casos humanos, da redução da população de flebotomíneos e da eliminação de reservatórios infectados (Brasil, 1963BRASIL. Ministério da Saúde. Decreto nº 51.838, 14 de março de 1963. Baixa Normas Técnicas Especiais para o Combate às Leishmanioses. Disponível em: http://www.planalto.gov.br/ccivil_03/decreto/1950-1969/D51838.htm. Acesso em: 23 maio 2018.
http://www.planalto.gov.br/ccivil_03/dec... ). Esses pilares ainda regem o Programa de Vigilância e Controle da Leishmaniose Visceral (PVCLV) do Ministério da Saúde (MS) (Brasil, 2014BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Vigilância Epidemiológica. Manual de vigilância e controle da leishmaniose visceral. Brasília: MS, 2014.), o qual incorporou um conjunto de ações integradas de vigilância, educação em saúde e manejo ambiental, priorizadas conforme a frequência de casos humanos nos municípios (Brasil, 2006BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde, Departamento de Vigilância Epidemiológica. Manual de vigilância e controle da leishmaniose visceral. Brasília: MS, 2006.). O programa também passou a ter um novo enfoque: incluir estados e municípios silenciosos na vigilância de casos (Brasil, 2014BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Vigilância Epidemiológica. Manual de vigilância e controle da leishmaniose visceral. Brasília: MS, 2014.).

Em que pesem os esforços empenhados, as evidências apontam dificuldades no controle da LV, especialmente devido à urbanização da doença. Antes restrita a áreas rurais do país, a década de 1980 culminou com a instalação definitiva da endemia nas grandes cidades brasileiras (Werneck, 2010WERNECK, G. L. Expansão geográfica da leishmaniose visceral no Brasil [editorial]. Cad Saúde Pública, v. 26, n. 4, p. 644-5, 2010.; ²⁰¹⁶WERNECK, G. L. Controle da leishmaniose visceral no Brasil: o fim de um ciclo? Cad Saúde Pública, v. 32, n. 6, 2016. Disponível em: http://www.scielo.br/pdf/csp/v32n6/1678-4464-csp-32-06-eED010616.pdf Acesso em: 30 set 2018.
http://www.scielo.br/pdf/csp/v32n6/1678-... ; Marcondes, 2010MARCONDES, M.; ROSSI, C. N. Leishmaniose visceral no Brasil. Braz J Vet Res Anim Sci., v. 50, n. 5, p. 341-52, 2013.), conferindo maior complexidade às ações de controle de vetores e de reservatórios. Assim, a necessidade de um melhor entendimento sobre o comportamento do vetor no cenário urbano, as dificuldades operacionais para a realização das atividades em tempo oportuno e o alto custo para sua implementação figuram como os maiores desafios para o controle da doença na atualidade (Maia-ElkhuryMAIA-ELKHURY, A. N. S. et al. Visceral leishmaniasis in Brazil: trends and challenges. Cad Saúde Pública, v. 24, n. 12, 2008. Disponível em: http://www.scielo.br/pdf/csp/v24n12/24.pdf. Acesso em: 23 set. 2018.et al., 2018; Dantas-Torres, 2012DANTAS-TORRES, F. et al. Canine leishmaniosis in the Old and New 33 Worlds: unveiled similarities and differences. Trends Parasitol., v. 28, n. 12, p. 531-8, 2012. Disponível em: https://doi.org/10.1590/0103-1104201811802.
https://doi.org/10.1590/0103-11042018118... ; Nascimento, 2018NASCIMENTO, E. L. T. et al. Forum: geographic spread and urbanization of visceral leishmaniasis in Brazil. Postscript: new challenges in the epidemiology of Leishmania chagasi infection. Cad Saúde Pública, v. 24, n. 12, p. 2964-7, 2008.; Barbosa, 2016BARBOSA, M. N.; GUIMARÃES, E. A. A.; LUZ, Z. M. P. Avaliação de estratégia de organização de serviços de saúde para prevenção e controle da leishmaniose visceral. Epidemiol Serv Saúde, v. 25, n. 3, p. 563-574, 2016.), bem como para efetiva implantação do PVCLV nos municípios.

Diante do cenário descrito, destaca-se a importância da avaliação de políticas ou programas de saúde, sobretudo no que diz respeito a sua implantação, pois evidencia o quanto a intervenção encontra-se adequadamente operacionalizada (WerneckWERNECK, G. L. et al. Effectiveness of insecticide spraying and culling of dogs on the incidence of Leishmania infantum infection in humans: a cluster randomized trial in Teresina, Brazil. PLoS Negl Trop Dis., v. 8, n. 10, 2014. Disponível em: https://journals.plos.org/plosntds/article/file?id=10.1371/journal.pntd.0003172&type=printable. Acesso em: 25 set 2018.
https://journals.plos.org/plosntds/artic... et al., 2008). No Brasil, alguns estudos de avaliação sobre as ações de vigilância e controle da LV foram realizados, focalizando no impacto dessas ações (Dantas-Torres, 2006DANTAS-Torres, F.; Brandão-Filho, S. P. Visceral leishmaniasis in Brazil: revisiting paradigms of epidemiology and control. Rev Inst Med Trop., v. 48, n. 3, p. 151-6, 2006.; NunesNUNES, W. S.; ARAÚJO, S. R.; CALHEIROS, C. M. L. Epidemiological profile of leishmaniasis at a reference service in the State of Alagoas, Brazil, from January 2000 to September 2008. Braz J Infect Dis., v. 14, n. 4, p. 342-5, 2010.et al., 2010; Costa, 2011COSTA, C. H. N. How effective is dog culling in controlling zoonotic visceral leishmaniasis? A critical evaluation of the science, politics and ethics behind this public health policy. Rev Soc Bras Med Trop., v 44, n. 2, p. 232-42, 2011.; Souza ., 2008SOUZA, V. M. M. et al. Ensaio comunitário para avaliação da efetividade de estratégias de prevenção e controle da leishmaniose visceral humana no Município de Feira de Santana, Estado da Bahia, Brasil. Epidemiol Serv Saúde, v. 17, n. 2, p. 97-106, 2008.; Morais, 2015MORAIS, M. H. E. et al. Avaliação das atividades de controle da leishmaniose visceral em Belo Horizonte, Minas Gerais, 2006-2011. Epidemiol Serv Saúde, v. 24, n. 3, 2015. Disponível em: http://www.scielo.br/pdf/ress/v24n3/2237-9622-ress-24-03-00485.pdf. Acesso em: 23 set. 2018.; Werneck, 2014WERNECK, G. L. Calazar canino como fator de risco para ocorrência de calazar humano: implicações para a definição de estratégias de controle. Rev Soc Bras Med Trop., v.35, supl. III, p. 82-6, 2002.; Moreira; Souza, 2004MOREIRA, E. D. et al. Assessment of an optimized dog-culling program in the dynamics of canine Leishmania transmission. Vet Parasitol., v. 122, n. 4, p. 245-52, 2004.; Ribas ., 2013RIBAS, L. M. et al. Estimating the Optimal Control of Zoonotic Visceral Leishmaniasis by the Use of a Mathematical Model. Scientific World Journal, 2013. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3748747/ Acesso em: 23 set 2018.
https://www.ncbi.nlm.nih.gov/pmc/article... ; WerneckWERNECK, G. L. et al. Avaliação da efetividade das estratégias de controle da leishmaniose visceral na cidade de Teresina, Estado do Piauí, Brasil: resultados do inquérito inicial – 2004. Epidemiol Serv Saúde, v. 17, n. 2, p. 87-96, 2008., 2022; Sena, 2011SENA, J. M. Vigilância entomológica do Programa de Leishmaniose Visceral: limites e possibilidades para o monitoramento das ações Dissertação. Rio de Janeiro: Escola Nacional de Saúde Pública Sergio Arouca, Fiocruz, 2011.; Maia-Elkhury et al, 2008). Porém, entende-se que se faz necessário avaliar a implantação do programa, neste caso o PVCLV, uma vez que esse tipo de avaliação permite conhecer a intervenção em sua totalidade, quanto à validade do seu conteúdo e aos fatores que explicam possíveis inconsistências entre o que foi efetivamente planejado e a execução das ações (Leviton et al., 2011).

Sabe-se que a busca por novos conhecimentos e alternativas para o controle da LV no país tem feito parte da agenda do PVCLV desde a sua implementação. Logo, torna-se necessário a realização de estudos de avaliação com o intuito de verificar se o programa está conseguindo atingir os objetivos propostos, contribuindo na identificação de melhorias e dificuldades relacionadas à sua organização e ao seu funcionamento. Desse modo, pretende-se realizar um Estudo de Avaliabilidade (EA) do PVCLV, com vistas à construção de bases para uma futura avaliação, a partir da descrição da intervenção por meio da modelagem avaliativa, e favorecer avaliações oportunas, relevantes e de interesse para tomadores de decisão e para a sociedade (Mendes ., 2010MENDES, M. F. M. et al. Avaliabilidade ou pré-avaliação de um programa. In: SAMICO, I. et al. (Orgs.). Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook, 2010. p. 57-64.196p).

O EA é um tipo de estudo do processo avaliativo que pode ser utilizado como uma pré-avaliação de um programa e, por viabilizar a participação de stakeholders (interessados na avaliação), permite-lhes ampliar seu empoderamento e melhorar a compreensão acerca do programa e seu progresso, aspectos que facilitam a ocorrência de mudanças (Thurston; Potvin, 2003THURSTON, W. E.; POTVIN, L. Evaluability assessment: a tool for incorporating evaluation in social change programmes. Evaluation, v. 9, n. 4, p. 453-69, 2003.; Thurston; Ramaliu, 2005THURSTON, W. E.; RAMALIU, A. Evaluability Assessment of a Survivors of Torture Program: Lessons Learned. Can J Progr Eval., v. 20, n. 2, p. 1-25, 2005.; Trevisan; Walser, 2015TREVISAN, M. S.; WALSER, T. M. Evaluability Assessment: improving evaluation quality and use. London: Sage Publications, 2015.).

Método

Utilizou-se uma abordagem descritivo-qualitativa, em quatro etapas (Thurston; Ramaliu, 2005THURSTON, W. E.; RAMALIU, A. Evaluability Assessment of a Survivors of Torture Program: Lessons Learned. Can J Progr Eval., v. 20, n. 2, p. 1-25, 2005.): (1) Delimitação do programa; (2) Construção do modelo lógico, com os recursos necessários, as atividades a serem desempenhadas e os resultados esperados, bem como das matrizes avaliativas, com as dimensões de análise, categorias e indicadores; (3) Identificação de perguntas avaliativas e escolha do desenho da avaliação; e, por fim (4) Recomendações dos autores sobre o PVCLV e a pertinência da realização da avaliação do programa. A estratégia de investigação foi o estudo de caso único, que descreve e explica a dinâmica de forma global das organizações, ou funcionamento de programas, sem que seja preciso atentar para os componentes específicos do objeto de estudo (Champagne ., 2011CHAMPAGNE, F. et al. A análise de implantação. In: BROUSSELLE, A. et al. (orgs.). Avaliação, conceitos e métodos. Rio de Janeiro: Fiocruz; 2011. p. 217-38.; Hartz, 1999HARTZ, Z. M. A. Avaliação dos programas de saúde: perspectivas teórico-metodológicas e políticas institucionais. Ciên Saúde Coletiva, v. 4, n. 2, p. 341-353, 1999.).

A coleta de dados deste estudo deu-se entre janeiro e setembro de 2020, e o local foi o estado de Pernambuco, Nordeste do Brasil, composto por 12 Regiões de Saúde. Possui uma área territorial de 9.912 km2, com uma densidade demográfica de 15.000.000 hab. (IBGE, 2018Instituto Brasileiro de Geografia e Estatística (IBGE). Pernambuco: panorama. Rio de Janeiro: IBGE, 2017. Disponível em: http://cidades.ibge.gov.br/brasil/pe/panorama. Acesso em: 10 nov. 2018.
http://cidades.ibge.gov.br/brasil/pe/pan... ).

A primeira etapa de “delimitação do programa” contou com a participação de seis especialistas, atores-chave no desenvolvimento do programa, sendo 01 da Secretaria Municipal de Saúde (SMS) de um município endêmico do estado; 01 da instância regional da Secretaria Estadual de Saúde (SES); 02 do nível central da SES; 01 da instância federal, da Secretaria de Vigilância em Saúde (SVS) do MS; e 01 da área acadêmica (Quadro 1). Esses especialistas foram consultados, por meio eletrônico, a respeito de quatro questões (Rossi; Lipsey; Freeman, 2004): qual o problema que o PVCLV em Pernambuco pretende resolver? Os objetivos e metas do Programa são consistentes com esse problema? Quais são as atividades desenhadas para resolver esse problema? E na sua percepção, que aspectos do Programa necessitam ser avaliados? Essas informações foram descritas numa matriz de análise, na qual foram elencadas as convergências e divergências nas respostas.

A construção do modelo lógico do PVCLV (etapa 2) teve como propósito visualizar e sistematizar, com clareza, os pressupostos que norteiam o programa. Essa necessidade se deve ao fato de que, por vezes, os documentos institucionais apresentam pouca clareza a respeito da teoria dos programas/políticas de saúde, além da falta de consenso entre os atores envolvidos na sua operacionalização (Bezerra; Cazarin; Alves, 2010BEZERRA, L. C. A.; CAZARIN, G.; ALVES, C. K. A. Modelagem de programas: da teoria à operacionalização In: SAMICO, I. et al. (Orgs.). Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook, 2010. p.65-78.). Assim, um modelo lógico inicial foi elaborado a partir da análise dos documentos técnicos oficiais a seguir: Nota Técnica nº 52, de outubro de 2011 (Brasil, 2011); Manual de Vigilância e Controle da Leishmaniose Visceral (Brasil, 2014BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Vigilância Epidemiológica. Manual de vigilância e controle da leishmaniose visceral. Brasília: MS, 2014.); Plano Integrado de Ações para o Enfretamento às Doenças Negligenciadas no Estado de Pernambuco (Pernambuco, 2015PERNAMBUCO. Secretaria Estadual de Saúde. Secretaria Executiva de Vigilância em Saúde. Plano Integrado de Ações para o Enfretamento às Doenças Negligenciadas no Estado de Pernambuco: Programa SANAR 2015-2018. Recife, 2015.); e Nota Informativa nº 3, de 01 de fevereiro de 2018 (Brasil, 2018). Posteriormente, esse modelo também foi encaminhado para um conjunto de especialistas por meio eletrônico para análise e aprovação em consenso.

Na primeira rodada de consulta, o modelo lógico foi encaminhado para oito especialistas: 01 da SMS do município anteriormente mencionado; 04 da SES (níveis regional e central); 01 da SVS/MS e 02 da área acadêmica (Quadro 1). As contribuições foram analisadas e consolidadas pelos pesquisadores e o modelo foi novamente encaminhado aos especialistas. Na segunda rodada, os mesmos especialistas foram consultados e as contribuições foram mais uma vez analisadas e consolidadas pelos pesquisadores. O modelo foi reenviado pela terceira e última vez para os especialistas, quando se obteve o consenso acerca da sua versão final.

Com base no modelo lógico final e no modelo de avaliação sistêmica de Donabedian (2003DONABEDIAN, A. Formulating criteria and standards. In: DONABEDIAN, A. (ed.). An introduction to quality assurance in health care. Oxford: Oxford University Press, 2003.), foi proposta uma matriz avaliativa contendo as dimensões de análise, indicadores, padrões e suas respectivas técnicas de coleta, para o município e para a região de saúde, uma vez que se observam atribuições comuns e distintas entre os níveis.

A partir do modelo lógico, procedeu-se a elaboração das perguntas avaliativas (etapa 3), em duas fases, uma divergente e outra convergente. Na fase divergente, foram selecionadas perguntas mais amplas, inicialmente formuladas no projeto de pesquisa, sem o intuito de filtrar prioridades. A partir delas, procedeu-se à fase convergente, na qual as perguntas foram direcionadas para o foco da avaliação (implantação do PVCLV). Foram estabelecidos critérios de prioridade, utilidade, relevância e viabilidade e os especialistas anteriormente mencionados (Quadro 1) foram entrevistados a partir de um roteiro com questões abertas, que continha os seguintes questionamentos: que perguntas ou preocupações a respeito do PVCLV você gostaria que uma futura avaliação respondesse? Que informações seriam úteis para você administrar e/ou operacionalizar melhor o programa? (Worthen et al., 2004).

Por fim, a quarta e última etapa, com a proposição de recomendações sobre o PVCLV e a pertinência da realização da avaliação do programa, foi realizada.

Este estudo faz parte da pesquisa “Programa de Vigilância e Controle da Leishmaniose Visceral: Avaliação da Implantação em área endêmica de Pernambuco, 2018” e foi aprovado pelo Comitê de Ética em Pesquisa (CEP) do Instituto de Medicina Integral Professor Fernando Figueira (IMIP), sob parecer nº 10593419.8.0000.5201.

Resultados e Discussão

Delimitação do programa

Após pré-análise, exploração do material e interpretação das respostas dos especialistas sobre questões inerentes ao PVCLV, uma matriz de convergências e divergências temáticas foi elaborada (Quadro 2).

Ao serem questionados sobre qual o problema que o PVCLV em Pernambuco pretende resolver, os participantes destacaram o diagnóstico clínico da doença de forma precoce; a redução da letalidade, por meio da vigilância do óbito; a sustentabilidade das ações quanto ao manejo dos reservatórios e controle vetorial; e o fortalecimento da vigilância entomológica e de reservatórios. Apenas um especialista reconheceu a importância da qualificação das informações nos sistemas de informação como sendo objeto de intervenção do PVCLV. Cabe destacar que a garantia de uma informação de qualidade é condição essencial para a análise objetiva de uma situação sanitária, sobretudo para a tomada de decisões baseadas em evidências e para a programação de ações de saúde (OPAS, 2002ORGANIZAÇÃO PAN AMERICANA DA SAÚDE (OPAS). Rede Interagencial de Informações para a Saúde. Indicadores básicos de saúde no Brasil: conceitos e aplicações. Brasília: OPAS, 2002.). Nesse sentido, a confiabilidade, a validade, a cobertura e a completitude são dimensões fundamentais da qualidade dos sistemas de informação que precisam ser, rotineiramente, avaliadas (Lima ., 2009LIMA, C. R. A. et al. Revisão das dimensões de qualidade dos dados e métodos aplicados na avaliação dos sistemas de informação em saúde. Cadernos de Saúde Pública, v. 25, n. 10, p. 2095-2109, 2009. Disponível em: <https://doi.org/10.1590/S0102-311X2009001000002>. Acesso em: 29 nov. 2022.). Para o PVCLV, a análise das duplicidades, por exemplo, precisa fazer parte da rotina, pois repetidas notificações de um mesmo caso pode superestimar a incidência e/ou prevalência do agravo, ao passo que municípios silenciosos, ou seja, aqueles com presença do vetor e sem notificação de casos humanos e/ou caninos autóctones, também precisam ser monitorados.

Sabe-se que a atenção à LV é uma atividade complexa e um grande desafio para o sistema de saúde no Brasil, pois perpassa por ações diversas que vão desde a redução da população de vetores e controle do reservatório, até o diagnóstico e tratamento das pessoas infectadas (Barbosa, 2016). Além disso, o diagnóstico clínico da LV não é simples e a doença pode cursar com diferentes manifestações clínicas, comuns a outras enfermidades (Herwaldt, 2010HERWALDT, B. L. Leishmaniasis. Lancet, v. 354, n. 9185, p. 1191-99, 2010.).

Todos os especialistas consultados afirmaram que os objetivos e metas do programa são consistentes com os problemas apontados, ressaltando-se a necessidade de que as atividades sejam ajustadas ao contexto de cada município, uma vez que o estado possui um território bastante heterogêneo. Para que as ações do programa obtenham êxito, é preciso atuar de forma a incorporar as particularidades de cada território, bem como criar processos dialógicos e participativos entre os membros da comunidade, os serviços de saúde e outros setores que terão de ser acionados, considerando a complexidade da doença (Luz, 2016LUZ, Z. M. P. Debate sobre o artigo de von Zuben & Donalísio. Cad. Saúde Pública, v. 32, n. 6, eCO020616, 2016.).

Sobre as atividades desenhadas para resolver os problemas elencados, os especialistas responderam que o assessoramento técnico, por parte da gestão estadual, às unidades de saúde; a capacitação dos profissionais; a descentralização do diagnóstico laboratorial, por meio do teste rápido humano; a discussão dos óbitos; e o monitoramento dos indicadores são fundamentais para o enfrentamento do agravo. Um especialista destacou, ainda, a importância da construção do Plano Estadual e Municipal das Ações de Vigilância e Controle da LV para a definição das atividades e posterior monitoramento e avaliação das mesmas. Essas atividades podem minimizar as tradicionais dificuldades encontradas no processo de execução do controle da doença, tais como a recusa da população em relação ao controle químico e à eutanásia dos cães como medida de controle; o alto custo financeiro para realização das ações de controle do vetor e do cão; e o pouco envolvimento de outros setores de fora do setor saúde (Zuben; Donalisio, 2016ZUBEN, A. P. B.; DONALÍSIO, M. R. Dificuldades na execução das diretrizes do Programa de Vigilância e Controle da Leishmaniose Visceral em grandes municípios brasileiros. Cad Saúde Pública, v. 32, n. 6, 2016. Disponível em: http://www.scielo.br/scielo.php?pid=S0102311X2016000600401&script=sci_abstract&tlng=pt. Acesso em: 23 set. 2018.
http://www.scielo.br/scielo.php?pid=S010... ).

Quanto aos aspectos do programa que necessitam de avaliação, todos os especialistas consultados mencionaram a vigilância e o controle dos reservatórios; a vigilância entomológica e o controle vetorial; as medidas de controle adotadas, para saber se o que é realizado gera impacto no controle da doença; e a avaliação e o monitoramento de indicadores de estrutura, processo e resultados do programa. Esse último aponta para o interesse por parte dos envolvidos em uma futura avaliação do programa. Outras questões também foram sugeridas, mas sem consenso entre os especialistas: a aceitabilidade da população às atividades propostas pelo programa; o impacto do assessoramento técnico nas unidades de saúde; se a implementação das atividades tem se dado de forma integrada (Vigilância em Saúde e Atenção Primária); o impacto da vigilância do óbito por LV na prática dos profissionais de saúde e nos serviços; e os critérios para estratificação das áreas de risco quando na ocorrência de casos humanos.

A existência de um problema é o motivo pelo qual se elaboraram e se implementam intervenções de saúde. Portanto, é extremamente relevante conhecer a percepção dos envolvidos no PVCLV, nos diversos níveis de gestão sobre as questões acima descritas, para a definição dos objetivos, metas e atividades a serem desenvolvidos. Por vezes, os profissionais e gestores possuem um amplo conhecimento sobre o agravo, porém desconhecem ou têm pouca informação sobre a natureza ou objetivos do programa, ou ainda existe certo grau de discordância ou de ambiguidade entre os interessados, o que pode prejudicar a avaliação da intervenção (Rossi; Lipsey; Freeman, 2004; Trevisan, 2007; Mendes ., 2010MENDES, M. F. M. et al. Avaliabilidade ou pré-avaliação de um programa. In: SAMICO, I. et al. (Orgs.). Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook, 2010. p. 57-64.196p).

E ainda, diante de um mundo em constante transformação, tomadores de decisão, não raro, se debruçam sobre diretrizes e melhores práticas em saúde, oriundas de locais adjacentes, com a pretensão de impactar suas próprias políticas locais de saúde, sem ao menos reconhecer que os resultados em saúde variam de acordo com os diversos cenários e contextos (Madon ., 2007MADON, T. et al. Public health. Implementation science. Science, v. 318, n. 5857, p. 1728-9, 2007. Disponível em: https://www.ncbi.nlm.nih.gov/pubmed/18079386. Acesso em: 25 abr. 2018.).

Diante das respostas dos entrevistados, é possível perceber a existência de certa convergência de opiniões sobre o PVCLV e os caminhos a serem trilhados por uma futura avaliação.

Construção do modelo lógico

O modelo lógico corresponde a um esquema visual que expõe o funcionamento do programa, no intuito de conhecer e discutir os recursos disponíveis, as atividades necessárias e os efeitos esperados, fornecendo uma base objetiva a respeito da relação causal entre seus elementos, ou seja, como eles se articulam para resolver o problema que o originou (Samico ., 2010SAMICO, I. et al. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook, 2010.; Brousselle; Champagne; Hartz, 2016BROUSSELLE, A.; CHAMPAGNE, A. P.; HARTZ, Z. (orgs.). Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz, 2016.). No entanto, é importante ressaltar que uma das limitações da modelagem é não considerar as possíveis barreiras para a execução do programa (Fontenele ., 2017FONTENELE, R. M. et al. Construção e validação participativa do modelo lógico do Programa Saúde na Escola. Saúde debate, v. 41, esp., p. 167-179, 2017. Disponível em: https://doi.org/10.1590/0103-11042017s13. Acesso em: 28 abr. 2021.
https://doi.org/10.1590/0103-11042017s13... ), o que pode ser minimizado por meio da construção de consensos sobre seus componentes Neste estudo, o consenso, obtido por meio da consulta a atores-chave no processo de desenvolvimento do PVCLV, foi fundamental para o alcance de uma decisão compartilhada (Andrade, 2017ANDRADE, F. R. Conflitos éticos em um inquérito populacional em saúde bucal. Saúde debate, v. 41, n. 114, p. 848-859, jul-set 2017. Disponível em: http://www.saudeemdebate.org.br/UserFiles_Padrao/File/RSD114-web%20final.pdf. Acesso em: 10 out. 2017.), o que proporciona um melhor entendimento do programa, auxilia na sua divulgação de maneira mais objetiva e demonstra a importância de cada ator envolvido nos processos de planejamentos e execução do programa (Araujo ., 2018ARAUJO, R. F. et al. Avaliabilidade da compatibilização de indicadores e metas dos instrumentos de planejamento do Ministério da Saúde. Saúde em Debate, v. 42, n. 118, p. 566-578, 2018.).

Um total de oito especialistas aceitou o convite para contribuir com o modelo lógico inicialmente elaborado. Algumas mudanças relacionadas à estrutura necessária para o funcionamento do programa foram apontadas, tais como a inclusão dos tópicos “recursos financeiros”; “espaço físico”, importante para a realização adequada das atividades de eutanásia e vigilância entomológica; e “normas”, que se referem aos documentos oficiais do MS.

No que diz respeito às atividades, as seguintes sugestões foram realizadas: inclusão do item “adoção de normas técnicas e protocolos instituídos para o PVCLV”, necessária para o alcance das metas estabelecidas; inclusão dos insumos, junto à aquisição de materiais; e da periodicidade mensal, na análise da qualidade do banco do Sinan (duplicidade, consistência e completude), que tem como objetivo melhorar a oportunidade das ações de organização e planejamento do programa. Também sugeriu-se uma alteração na escrita do item “realização de testagem rápida para LV em pacientes com suspeita da doença”; e a exclusão das seguintes atividades, que estavam propostas no modelo lógico inicial: “realização de busca ativa de cães com suspeita clínica”, pois os especialistas compreenderam que essa atividade já estava contemplada em “realização do inquérito sorológico canino”; “realização do exame de LV em todos os pacientes com HIV”, tendo em vista que essa atividade é uma demanda especifica de outro programa; e “realização do atendimento adequado de referência e contrarreferência em pacientes com LV”, uma vez que não existe um documento oficial que indique serviços de saúde de referência para pacientes com LV.

Quanto aos produtos, foram incluídas as palavras “adotadas” e “insumos”, referentes às normas técnicas e materiais adquiridos, respectivamente; e a periodicidade “trimestralmente”. Também foram adicionados os itens “avaliação anual realizada”, com relação às metas do PVCLV; bem como “participação nas reuniões realizadas dos conselhos municipais de saúde”. Nos resultados intermediários, que são de curto prazo, ocorreu a substituição do item “aumento das parcerias com instituições e ONG”, por “maior integração com instituições e ONG para o desenvolvimento das ações de prevenção e controle da LV”.

Na segunda rodada, todos os especialistas que participaram da primeira responderam ao convite, equivalendo a 100,0% de retornos. Uma terceira e última rodada fez-se necessária, na qual todos os itens obtiveram consenso e foram incluídos no modelo lógico em sua versão final consensuada (Figura 1).

A inclusão ou exclusão dos itens sugeridos pelos especialistas no modelo lógico final representa o consenso dos atores sobre o programa, o que é fundamental para que o trabalho interdisciplinar seja efetivamente desenvolvido (Vianna, 2017VIANNA, L. C. R. Vigilância em Saúde do Trabalhador: um estudo à luz da portaria nº 3.120/98. Saúde debate, v. 41, n. 114, p. 786-800, jul-set 2017. Disponível em: http://www. saudeemdebate.org.br/UserFiles_Padrao/File/ RSD114-web%20final. Acesso em: 10 out. 2017.).

Elaboração das matrizes de indicadores

Os julgamentos esperados de uma avaliação em saúde são observados a partir da comparação de critérios e indicadores com padrões ou parâmetros, e essa comparação é primordial para atribuir ou não à intervenção, ou a parte dela, as mudanças na situação problemática. Assim, estabelecer critérios, indicadores e parâmetros ou padrões é condição imprescindível para avaliação, pois permitem não só descrever o programa, como também realizar um juízo de valor sobre a intervenção. Numa avaliação, esses elementos, quando dispostos em matrizes, auxiliam na análise e interpretação das informações (Alves ., 2010ALVES, C. K. A. et al. Interpretação e análise das informações: o uso de matrizes, critérios, indicadores e padrões. In: SAMICO, I. et al. (Orgs.). Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook, 2010. p. 89-108.). Desse modo, com base no modelo lógico final consensuado, foi elaborada uma matriz de análise e julgamento, referente às atividades municipais e regionais (Quadro 3).

Essa matriz contempla, por componente, a identificação de indicadores, os padrões e a fonte de verificação. Também foram acrescentados às matrizes os indicadores de resultado. Ressalta-se que para cada indicador de resultado, fez-se necessário o estabelecimento de metas/padrões e valores de referência normativamente derivados, tais como: qualidade da informação - consistência, completude e duplicidade; percentual de óbitos por LV investigado em tempo oportuno; percentual de casos de LV encerrados oportunamente no Sinan; e prevalência canina. E ainda, aqueles baseados em experiências prévias, balizadas por resultados anteriores: percentual de cura clínica de pacientes com LV; coeficiente de incidência de LV; e taxa de letalidade. Na ausência de normas de referência ou resultados anteriores, fez-se necessário que a meta do indicador ‘índice de infestação domiciliar’ fosse estabelecida junto ao grupo de especialistas consultados.

Identificação de perguntas avaliativas e escolha do desenho da avaliação

Os especialistas que participaram da etapa de delimitação do programa (n=6) responderam ao questionamento sobre que aspectos do PVCLV necessitam ser avaliados, apontando a vigilância entomológica e controle vetorial; o controle do reservatório; a avaliação e o monitoramento dos indicadores de estrutura, processo e resultados; a avaliação das medidas de controle; e para a avaliação do impacto das ações realizadas no controle da doença. Assim, concluiu-se que a avaliação do programa deveria ser realizada por meio de estudo de caso, contemplando as perguntas: (a) qual o grau de implantação do PVCLV em Pernambuco? (b) e nas regiões de saúde do estado? (c) os elementos dos contextos socioeconômico, ambiental e político influenciaram na implantação do programa? (d) o grau de implantação do PVCLV influencia nos resultados do programa? (e) de que maneira?

Ressalta-se que a identificação das perguntas é fundamental para um possível processo avaliativo futuro, visto que elas servirão para delimitar o que será avaliado, articulando o foco da avaliação (Araújo ., 2018ARAÚJO, R. F. et al. Avaliabilidade da compatibilização de indicadores e metas dos instrumentos de planejamento do Ministério da Saúde. Saúde debate, v. 42, n. 118, p. 566-578, 2018. Disponível em: https://doi.org/10.1590/0103-1104201811802. Acesso em: 28 abr. 2021.
https://doi.org/10.1590/0103-11042018118... ).

Recomendações dos autores sobre o PVCLV e a pertinência da realização da avaliação do programa

Diante da revisão do arcabouço técnico e normativo do PVCLV que foi realizada, bem como das respostas dos especialistas consultados, é possível perceber a necessidade premente de adequação dos objetivos e metas do programa às condições concretas dos contextos de desenvolvimento das atividades, sobretudo devido à heterogeneidade de realidades vivenciadas no Brasil. Nesse sentido, recomenda-se a intensificação das práticas de gestão referentes ao monitoramento e avaliação dos indicadores epidemiológicos e operacionais de estrutura, processo e resultado, visando à discussão e resolução dos entraves encontrados. Além disso, destaca-se a importância da implementação do Plano Anual de Ações de Vigilância e Controle da LV, integrado às diversas áreas técnicas do sistema de saúde, com utilização de indicadores epidemiológicos e operacionais na sua elaboração, submetendo-o às instâncias de controle social.

Identificou-se que a atenção à saúde aos usuários com LV, com destaque para a regulamentação da rede de referência e contrarreferência, é um componente do programa que carece de melhoria e possui atividades que precisam ser mais desenvolvidas. Com relação ao componente da vigilância (epidemiológica; entomológica e controle do vetor; e controle do reservatório), é importante que haja a qualificação das ações e dos profissionais que nela atuam, especialmente no tocante à base de dados. A avaliação da adequação da estrutura física e da suficiência de insumos para as ações de prevenção e controle da LV também se mostram relevantes.

Portanto, considera-se que o momento é bastante oportuno para uma subsequente avaliação do programa, considerando seu percurso de implantação e o tempo de publicação do último Manual de Vigilância e Controle de LV, em 2006, e sua reedição em 2014 (Brasil, 2014BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Vigilância Epidemiológica. Manual de vigilância e controle da leishmaniose visceral. Brasília: MS, 2014.). Recomenda-se que ela integre os componentes apresentados neste estudo, que são imprescindíveis ao sucesso do programa.

Considerações finais

Com o aumento da popularidade dos estudos de EA no campo da saúde em anos recentes, esses estudos passaram a contribuir com a melhoria dos programas, à medida em que podem fornecer às equipes comentários rápidos e construtivos sobre sua operacionalidade; auxiliar as principais funções de planejamento e contribuir para a viabilidade das ações propostas no âmbito da saúde pública, ajudando a desenvolver objetivos realistas e fornecer feedback rápido e de baixo custo sobre a implementação; traduzir a pesquisa na prática, examinando a viabilidade, aceitabilidade e adaptação de práticas baseadas em evidências em novos contextos e populações; bem como traduzir a prática na pesquisa, identificando novas abordagens promissoras para alcançar os objetivos do programa (Leviton ., 2010LEVITON, L. C. et al. Evaluability Assessment to Improve Public Health Policies, Programs, and Practices. Annu Rev Public Health, v. 31, n. 1, p. 213-33, 2010.).

Assim, o presente EA se propôs a construir as bases para uma futura avaliação do PVCLV. Conclui-se que a intervenção está apta a ser avaliada, isto porque foi possível identificar o delineamento da intervenção; o consenso entre os especialistas sobre ela; e a identificação de perguntas avaliativas que subsidiam uma posterior avaliação. Destaca-se a importância da participação efetiva dos atores-chave em todas as etapas do estudo, os quais têm um papel central no desenvolvimento do programa em diversos espaços de atuação.

Na delimitação do programa, os especialistas responderam a questões acerca da situação problemática que o PVCLV pretende resolver e da coerência entre esse problema e os objetivos e metas planejados, bem como sobre as atividades programadas e os aspectos do programa que necessitam de avaliação. A partir das convergências identificadas nas respostas, ficou claro que os objetivos e metas do programa são consistentes com os problemas apontados, mas que é essencial ajustar as atividades desenvolvidas ao contexto local. Sabe-se que a LV possui determinantes socioeconômicos e ambientais que contribuem para a prevalência da doença no Brasil (Gontijo; Melo, 2004GONTIJO, C. M. F.; MELO, M. N. Leishmaniose visceral no Brasil: quadro atual, desafios e perspectivas. Rev Bras Epidemiol., v. 7, n. 3, 2004. Disponível em: http://www.scielo.br/pdf/rbepid/v7n3/11.pdf Acesso em: 30 set. 2018.), que justifica a realização de uma análise de implantação. Esta tem por objetivo apreciar o modo como, em um contexto particular, uma intervenção provoca mudanças (Champagne ., 2011CHAMPAGNE, F. et al. A análise de implantação. In: BROUSSELLE, A. et al. (orgs.). Avaliação, conceitos e métodos. Rio de Janeiro: Fiocruz; 2011. p. 217-38.). O recorte estudado numa região de saúde permitiu conhecer os desafios dos macro e micro movimentos vivenciados na implementação do PVCLV em nível local.

Além disso, a modelização é uma etapa primordial na avaliação, sobretudo por proporcionar uma reflexão sobre as teorias que embasaram a intervenção. Assim, a elaboração do modelo lógico do PVCLV possibilitou a identificação de elementos do programa que precisam ser aperfeiçoados, a exemplo do componente da atenção à saúde, e aqueles que estão mais bem desenvolvidos considerando o estágio de implementação, como a vigilância. No entanto, ressalta-se a necessidade de qualificação das ações e dos profissionais que nela atuam, especialmente no tocante à base de dados.

A principal limitação deste estudo refere-se à dificuldade de mobilizar um maior número de informantes-chave, em parte porque alguns convidados não aceitaram participar da pesquisa, mas também devido à alta rotatividade de profissionais nas SMS e SES.

Este estudo apontou para a necessidade de revisão, por parte do MS, do Manual de Vigilância e Controle da Leishmaniose Visceral, cuja última versão data de 2014. Espera-se que esta pré-avaliação contribua para identificação de prioridades e redirecionamento das ações com a identificação de indicadores de estrutura, processo e resultados, de modo a assegurar factibilidade na avaliação do PVCLV, gerando ações de intervenção em tempo oportuno.

Referências

Datas de Publicação

Histórico