RESUMO
Este estudo tem o objetivo de apresentar a avaliação de um projeto de capacitação em serviço para profissionais de saúde nas ações de prevenção e controle da hanseníase, problematizando o modelo de avaliação adotado, com foco na utilização para a gestão em saúde. Foi realizada uma avaliação ex-post em 18 municípios prioritários brasileiros participantes das capacitações. Empregou-se a estratégia Rapid Evaluation Methods (REM), priorizando: a) abordagem colaborativa; b) técnicas qualitativas; e c) enfoque conceitual da translação do conhecimento. Foram realizadas 24 entrevistas grupais, envolvendo 278 participantes. A abordagem de ensino em serviço foi importante para revalorização das ações de prevenção e controle da hanseníase e para conferir um lugar privilegiado de discussão técnica, de reflexão e de mudanças na atenção primária e em sua relação com a especializada. Conclui-se que o modelo de avaliação possibilitou que as controvérsias e convergências surgissem, assim como as recomendações para ajustes da intervenção junto à gestão em tempo oportuno.
PALAVRAS-CHAVES
Avaliação em saúde; Hanseníase; Capacitação em serviço; Grupos focais
ABSTRACT
This study aims to present the evaluation of an in-service training project for health professionals in leprosy prevention and control actions, questioning the adopted evaluation model, focusing on its use for health management. An ex-post evaluation was carried out in 18 priority Brazilian municipalities participating in the training project. Rapid Evaluation Methods (REM) strategy was employed, prioritizing: a) a collaborative approach; b) qualitative techniques; and c) a conceptual approach to knowledge translation. Twenty-four group interviews were carried out, involving 278 participants. The in-service teaching approach was important for revaluing leprosy prevention and control actions and to provide a privileged place for technical discussion, reflection and changes in primary health care and in its relationship with specialized care. It can be concluded that the evaluation model enabled controversies and convergences to emerge, as well as recommendations for managers to adjust the intervention timely.
KEYWORDS:
Health evaluation; Leprosy; Inservice training; Focus groups
Introdução
Este artigo visa a apresentar a avaliação de um projeto integrado de capacitação em serviço para profissionais de saúde nas ações de prevenção, diagnóstico e tratamento de hanseníase, problematizando o modelo de avaliação adotado. Os processos avaliativos têm o compromisso de dialogar e responder às necessidades de informação e de conhecimento dos envolvidos com a intervenção, ampliando sua análise, reflexão, compreensão e utilização. A avaliação, assim, deve estimular a aprendizagem e ser relevante para os diversos interessados, favorecendo a tomada de decisão sobre os possíveis rumos da intervenção e sua prestação de contas à sociedade11 Silva RR, Joppert MP, Gasparini MFV, organizadores. Diretrizes para a prática da avaliação no Brasil. [Brasília, DF]: Rede Brasileira de Monitoramento e Avaliação; 2020..
A delimitação do problema
A hanseníase, doença transmissível de caráter infeccioso, persiste como um grave problema de saúde pública no Brasil, podendo atingir pessoas de qualquer faixa etária e sexo. O País é considerado de alta endemicidade para a doença. Diferentes estudos apontam os determinantes sociais da doença relacionados à sua persistência, tais como escolaridade, renda e condições de moradia, o que indica a necessidade de políticas públicas e sociais efetivas para o seu controle22 Monteiro LD, Mota RMS, Martins-Melo FR, et al. Determinantes sociais da hanseníase em um estado hiperendêmico da região Norte do Brasil. Rev. Saúde Pública. 2017; (51):70.. Os estados das regiões Norte, Nordeste e Centro-Oeste estão entre os que apresentam as maiores taxas de detecção, inclusive entre os menores de 15 anos, o que representa focos de infecção ativa22 Monteiro LD, Mota RMS, Martins-Melo FR, et al. Determinantes sociais da hanseníase em um estado hiperendêmico da região Norte do Brasil. Rev. Saúde Pública. 2017; (51):70..
A doença apresenta uma evolução lenta e progressiva, que pode provocar deformidades e incapacidade física, além de reações de discriminação e estigmatização dos sujeitos acometidos. Apesar dos avanços no Sistema Único de Saúde, o manejo da hanseníase continua sendo um importante desafio no Brasil, dadas as dificuldades de detecção precoce da doença e de prevenção de incapacidades, o que exige uma atenção especial nas ações de controle por parte dos gestores e profissionais de saúde33 Brasil. Ministério da Saúde, Secretaria de Vigilância em Saúde. Boletim Epidemiol. Hanseníase. 2021; (esp):1..
A intervenção avaliada
O Projeto ‘Abordagens inovadoras para intensificar esforços para um Brasil livre de Hanseníase’ teve como objetivo principal contribuir para a redução de carga da doença em municípios hiperepidêmicos, por meio da realização de capacitações integradas in loco, ou seja, nos serviços da Atenção Primária à Saúde (APS), promovendo a melhoria da detecção de casos nas formas iniciais da doença e evitando o comprometimento físico dos pacientes acometidos pela hanseníase. A iniciativa durou de 2017 a 2019, tendo como objetivos específicos: 1. aumentar a detecção de novos casos nas áreas selecionadas em 30%, 20% e 15%, respectivamente, no primeiro, segundo e último ano do projeto, tendo como base os dados de 2015 de cada município selecionado; 2. promover a educação permanente em hanseníase para os profissionais da APS, fortalecer os centros de referência e ampliar e qualificar a descentralização do programa de hanseníase; 3. reduzir a proporção de casos novos de hanseníase com grau 2 de incapacidade física (GIF2) no diagnóstico de 6,0% para 3,9%, em três anos, nas áreas selecionadas por meio de diagnóstico precoce e ações de prevenção de incapacidades; e 4. promover a prevenção do estigma e da discriminação contra as pessoas acometidas pela hanseníase na comunidade e empoderar a população sobre as questões relacionadas à doença44 Brasil. Ministério da Saúde, Secretaria de Vigilância em Saúde, Departamento de Vigilância das Doenças Transmissíveis. Protocolo de campo do projeto Abordagens inovadoras para intensificar esforços para um Brasil livre de hanseníase. Relatório técnico do Projeto NIPPON Ano 1. Brasília, DF: MS; 2018. 24 p..
As capacitações envolveram profissionais de saúde de diferentes categorias (médicos, enfermeiros, fisioterapeutas, terapeutas ocupacionais, Agentes Comunitários de Saúde – ACS, dentistas e assistentes sociais), sendo realizadas em Unidades Básicas de Saúde (UBS) e na Estratégia Saúde da Família (ESF), no período de uma semana, por consultores indicados pelo Ministério da Saúde (MS). Inicialmente, foram priorizados três eixos temáticos: a. clínica médica, incluindo a investigação de contatos; b. prevenção de incapacidades, com a avaliação neurológica simplificada, a qual identifica o grau de incapacidade física; c. mobilização social, em parceria com integrantes do Movimento de Reintegração das pessoas afetadas pela hanseníase (Morhan). Com as capacitações em curso, um quarto eixo temático foi incorporado, sobre a abordagem do estigma e da discriminação, com a aplicação de um instrumento que mede a percepção do estigma pelos pacientes e os efeitos desse estigma em suas vidas: a escala de estigma – EMIC. Ademais, foram realizadas campanhas focais de localização de casos (mutirão), com envolvimento dos gestores locais44 Brasil. Ministério da Saúde, Secretaria de Vigilância em Saúde, Departamento de Vigilância das Doenças Transmissíveis. Protocolo de campo do projeto Abordagens inovadoras para intensificar esforços para um Brasil livre de hanseníase. Relatório técnico do Projeto NIPPON Ano 1. Brasília, DF: MS; 2018. 24 p.,55 Brasil. Ministério da Saúde, Secretaria de Vigilância em Saúde, Departamento de Vigilância das Doenças Transmissíveis. Innovative Approches to intensify efforts towards a Brazil free of Hansen’s Disease. Relatório técnico do Projeto NIPPON Ano 2. Brasília, DF: MS; 2019. 30 p..
Foram contemplados 20 municípios com alta carga da doença, de seis estados das regiões Norte, Nordeste e Centro-Oeste, conforme quadro 1, sendo utilizados como critérios de seleção dos municípios: o maior número de crianças menores de 15 anos diagnosticadas em 2015, a disponibilidade dos serviços e dos profissionais de saúde, além do compromisso político das autoridades de saúde locais55 Brasil. Ministério da Saúde, Secretaria de Vigilância em Saúde, Departamento de Vigilância das Doenças Transmissíveis. Innovative Approches to intensify efforts towards a Brazil free of Hansen’s Disease. Relatório técnico do Projeto NIPPON Ano 2. Brasília, DF: MS; 2019. 30 p..
Segundo os relatórios técnicos, entre as dificuldades encontradas nos municípios, constatou-se uma fragilidade em realizar busca ativa e exames de contatos conforme a recomendação. Entre os pontos positivos, observou-se aumento de 6,6% na detecção de casos novos no ano de 2017 e de mais 6,6% em 201844 Brasil. Ministério da Saúde, Secretaria de Vigilância em Saúde, Departamento de Vigilância das Doenças Transmissíveis. Protocolo de campo do projeto Abordagens inovadoras para intensificar esforços para um Brasil livre de hanseníase. Relatório técnico do Projeto NIPPON Ano 1. Brasília, DF: MS; 2018. 24 p.,55 Brasil. Ministério da Saúde, Secretaria de Vigilância em Saúde, Departamento de Vigilância das Doenças Transmissíveis. Innovative Approches to intensify efforts towards a Brazil free of Hansen’s Disease. Relatório técnico do Projeto NIPPON Ano 2. Brasília, DF: MS; 2019. 30 p..
De forma a compreender os efeitos do processo de capacitação, não tangíveis de mensuração por indicadores e metas pactuadas, foi solicitada por parte do MS uma avaliação que possibilitasse capturar os fatores que influenciaram a implementação da iniciativa em cada um dos municípios envolvidos. Este artigo, ao apresentar a avaliação realizada, busca analisar e problematizar se o modelo de avaliação adotado promoveu respostas adequadas em tempo real, contemplando o envolvimento e o compromisso dos atores diretamente vinculados à intervenção; identificar os usos potenciais da avaliação; e gerar recomendações para o aprimoramento da iniciativa.
Material e métodos
Foi realizada uma avaliação ex-post – a partir de uma intervenção já realizada –, que foi conduzida por seis avaliadores, no período de seis meses, em 18 dos 20 municípios que participaram do processo de capacitação. Os municípios localizavam-se em regiões de importante dispersão geográfica, o que configurou um desafio metodológico e empírico. A avaliação empregou a estratégia REM (Rapid Evaluation Method)66 Anker M, Guidotti RJ, Orzeszyna S, et al. Rapid evaluation methods (REM) of health services performance: methodological observations. Bulletin WHO. 1993; 71(1):15., na qual são priorizados a rapidez e o uso de múltiplas técnicas e fontes de evidências, de baixo custo, podendo ser adaptada às necessidades e condições de cada local, tornando-se importante nos processos de gestão e planejamento77 Natal S, Oliveira LGD, Machado MT. O método rápido de avaliação de programas de saúde. Revista de APS. 2014; 17(1)..
O percurso metodológico, acordado entre avaliadores e demandantes, empregou: a) uma abordagem colaborativa entre a equipe de avaliação e os demandantes da avaliação; b) a utilização de técnicas qualitativas; c) um enfoque conceitual translacional.
A avaliação colaborativa pressupõe uma aliança entre avaliadores e atores estratégicos, ou stakeholders, sendo os avaliadores os responsáveis pela condução do processo avaliativo. O envolvimento dos stakeholders ocorre preferencialmente desde o início da avaliação, contribuindo para o desenho avaliativo, reforçando a coleta e a análise dos dados e ampliando a capacidade de compreensão dos achados, de forma a promover sua utilização e sua influência88 Rodríguez-Campos L, Rincones-Gómez R. Collaborative evaluations: step-by-step. Stanford: Stanford University Press; 2012.. Além disso, propicia para todos um aprendizado pessoal, profissional e organizacional99 Morabito SM. Evaluator roles and strategies for expanding evaluation process influence. Am. J. Evaluat. 2002; 23(3):321-30..
Com relação às técnicas qualitativas, foram privilegiadas a análise documental, com destaque ao projeto e seus relatórios, e as técnicas de entrevistas grupais, especialmente os Grupos Focais (GF). A análise documental propiciou uma visão compartilhada da intervenção, por meio da modelização da teoria de mudança e da construção da sua linha do tempo. Ressaltase que a modelização da teoria de mudança diz respeito à representação visual da operacionalização da intervenção, bem como ao contexto no qual está inserida, ao problema a ser modificado, aos atores envolvidos, aos pressupostos que a fundamentam e aos efeitos que se espera alcançar por meio dessa intervenção. Já as entrevistas grupais são úteis na busca de informações e na compreensão da visão dos atores em processo de capacitação e de educação em saúde1010 Kitzinger J. Grupos focais. In: Pope C, Mays N, organizadores. Pesquisa qualitativa na atenção à saúde. Porto Alegre: Artmed Editora; 2009.,1111 Westphal MF, Bógus CM, Mello FM. Grupos focais: experiências precursoras em programas educativos em saúde no Brasil. Boletín Ofic. Sanit. Panameric. 1996; 120(6)., devido à possibilidade de se pensar coletivamente uma temática com certo nível de profundidade em um curto período de tempo.
Os GF configuram uma técnica de coleta de informações por meio de entrevistas e interações em grupo, que geralmente possui entre oito (8) e quinze (15) participantes1212 Trad LAB. Grupos focais: conceitos, procedimentos e reflexões baseadas em experiências com o uso da técnica em pesquisas de saúde. Physis. 2009; 19(3):777-796.. O roteiro para a condução desses grupos foi elaborado pela equipe de avaliadores e validado com os demandantes, sendo baseado na cadeia de efeitos esperados para a intervenção, ou seja, se as capacitações haviam atendido às expectativas; mudado ou não a prática profissional e as condições de trabalho; e a sustentabilidade da proposta. Foram, também, realizados GF com os coordenadores estaduais e municipais dos programas de hanseníase, nas capitais dos seis estados envolvidos, a fim de potencializar as reflexões no âmbito do planejamento e da gestão. Os grupos foram conduzidos por duas pesquisadoras, uma moderando e outra apoiando e observando. As entrevistas grupais foram gravadas e transcritas e duraram, em média, 01h30-2h.
A triangulação e a complementariedade de fontes (relatórios, documentos do programa, profissionais de saúde e gestores) e técnicas de coleta (análise documental e entrevistas grupais) permitiram checar a pertinência e a validade das evidências, contribuindo para a compreensão e robustez de sua análise1313 Greene JC, Benjamin L, Goodyear L. The merits of mixing methods in evaluation. Evaluation. 2001; 7(1):25-44..
A avaliação adotou o referencial analítico da translação do conhecimento, ancorando-se na Teoria do Ator-Rede (TAR)1414 Latour B. Reassembling the social: An introduction to actor-network-theory. Oxford: Oxford university press; 2005.,1515 Callon M. Éléments pour une sociologie de la traduction: la domestication des coquilles Saint-Jacques et des marins-pêcheurs dans la baie de Saint-Brieuc. L’Année sociologique (1940/1948-). 1986; (36):169-208. e nas práticas translacionais em pesquisas participativas1414 Latour B. Reassembling the social: An introduction to actor-network-theory. Oxford: Oxford university press; 2005.. As operações de translação envolvem: o mapeamento das convergências e divergências; a negociação de interesses entre os atores na procura de um alinhamento na resolução das controvérsias e divergências; o enredamento ou envolvimento dos atores humanos e não humanos (actantes); e a mobilização dos atores na proposta de soluções. Clavier et al.1616 Clavier C, Sénéchal Y, Vibert S, et al. A theory-based model of translation practices in public health participatory research. Sociol. health illness. 2012; 34(5):791-805. propõem que essas operações de translação se expressam por meio de práticas cognitivas (o que foi problematizado em termos de conhecimento?); estratégicas (quais foram as atividades e competências mobilizadas para manter o envolvimento dos atores?); e logísticas (como foram coordenadas e operacionalizadas as ações?). Desse modo, os pesquisadores (ou implementadores, neste caso) devem conduzir o processo (capacitação) e manter os atores da rede (profissionais e gestores) mobilizados e motivados para que a translação ocorra1717 Abreu DMF. Usos e influências de uma avaliação de desempenho do Programa de Controle da Tuberculose em três municípios brasileiros. [tese]. Rio de Janeiro: Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz; 2018. 125 p..
Conforme apresentado no quadro 2, a análise levou em consideração o que foi problematizado nos cursos, de que forma os atores foram sensibilizados e quais foram as soluções ou os arranjos propostos, dos pontos de vista cognitivo, estratégico e logístico.
A autorização para realização da avaliação foi formalizada por meio de Carta de Anuência dos Coordenadores Estaduais e/ou Municipais de Hanseníase e da autorização formal para participação nos GF pelos profissionais de saúde e gestores. A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa da Escola Nacional de Saúde Pública Sergio Arouca (CEP-Ensp), sob parecer número 4.033.289.
Resultados
Foram realizados 17 GF (entre 8 e 15 participantes), quatro rodas de conversa (mais de 15 participantes) e três entrevistas coletivas (entre 2 e 7 participantes), totalizando 24 entrevistas grupais, envolvendo 278 participantes (59 gestores e 211 profissionais). Destacam-se o perfil multiprofissional e a predominância dos profissionais de enfermagem, tanto nos grupos de gestores quanto de profissionais, assim como do sexo feminino, de cerca de 80%. Ressalta-se a pouca participação de fisioterapeutas e de terapeutas ocupacionais nos grupos.
Seguindo a proposta de abordagem colaborativa da avaliação, foram realizadas três reuniões entre a equipe de avaliadores e os demandantes da avaliação para consolidação e validação dos achados dos grupos e dos documentos analisados, assim como a elaboração das recomendações. Os resultados são apresentados segundo a visão dos grupos de gestores e de profissionais.
A perspectiva dos gestores
As capacitações foram apreciadas positivamente pelos gestores, tendo a maioria aprovado seus possíveis efeitos, tanto com relação à ampliação e à atualização de conhecimentos (domínio cognitivo) quanto ao seu papel na reformulação de fluxos (domínio estratégico), por exemplo, dos processos de trabalho, com melhoria da atenção especializada e do referenciamento do paciente.
A interação in loco facilitou a aprendizagem em torno das boas práticas profissionais, propiciando o diálogo técnico-profissional e a troca de experiências entre profissionais e especialistas. No domínio estratégico, essa troca propiciou uma maior visibilidade à hanseníase, reposicionando o problema na agenda estratégica dos municípios. A intervenção possibilitou uma maior sinergia das ações desenvolvidas nas coordenações da atenção básica e da vigilância epidemiológica, seja no seu planejamento ou na sua implementação. Ainda no domínio estratégico, duas questões emergiram: o fortalecimento de parcerias com universidades e institutos de pesquisas locais; e a necessidade de ampliação do nível de conhecimento e informação sobre o agravo na comunidade por meio de campanhas.
Uma questão interessante trazida foi a visibilidade que o ensino em serviço confere às condições de trabalho e dos serviços. Ao mesmo tempo que estimula possíveis arranjos locais para o enfrentamento da doença, também aponta para os problemas crônicos ou emergenciais de rotatividade de profissionais, da carência de material diagnóstico, dos sistemas de informação e registro, da precariedade do sistema de transporte sanitário e de adequação dos serviços às necessidades especiais do paciente com hanseníase. Nesse sentido, a capacitação em serviço parece potencializar, na visão dos gestores, análises situacionais mais robustas e soluções mais adequadas e realistas.
As capacitações em serviço também propiciaram um maior envolvimento entre gestores e profissionais. Um ponto ressaltado foi a intensificação da participação dos ACS, bem como a valorização desses atores considerados estratégicos na detecção e no tratamento junto à população.
Com relação à expansão das ações de prevenção e informação na comunidade, os grupos apresentaram sugestões de campanhas de promoção da saúde, integradas com a comunicação social, com ampla disseminação em redes sociais e outras mídias, para a divulgação dos sinais e sintomas da hanseníase, bem como a redução do estigma e da discriminação, a exemplo das campanhas de divulgação de agravos como tuberculose e sarampo.
O grupo de gestores sinalizou alguns pontos problemáticos no formato (grande número de participantes e a duração das capacitações) e na condução dessas atividades, como o não alinhamento de conteúdos ofertados por alguns especialistas com relação ao recomendado pelo MS. Também sinalizaram a não inclusão da área de vigilância em saúde, embora a investigação de contatos, principal atividade de vigilância na hanseníase, tenha ocorrido ao longo do desenvolvimento do projeto. O material didático sobre o manejo da hanseníase e os insumos utilizados na capacitação foram considerados satisfatórios, especialmente os empregados para a condução do diagnóstico e do manejo do paciente.
No que diz respeito à educação em saúde, os gestores consideraram que as capacitações em mobilização social e identificação do estigma, realizadas em parceria com integrantes do Morhan, foram de grande importância por favorecerem as relações com os movimentos sociais e o envolvimento e a sensibilização de outros profissionais na equipe, como os psicólogos e assistentes sociais.
A perspectiva dos profssionais de saúde
O principal tema problematizado no domínio cognitivo foi a proposta pedagógica de reunir capacitação e ações em serviço. A abordagem, o diagnóstico e a condução terapêutica em diálogo presente com o especialista não só permitiram a mobilização do conhecimento, mas uma abordagem diferente do paciente. Foi praticamente unânime entre os grupos a constatação de que essa experiência dialógica provocou não apenas uma mudança de conhecimento técnico, mas uma mudança de atitude com relação à hanseníase, compreendendo-a como um objeto de manejo multidisciplinar. Exemplos citados ilustram que dúvidas são comuns durante o atendimento dos casos, especialmente para avaliação do grau de incapacidade. Segundo os participantes, apesar de o conteúdo já ser conhecido, a metodologia utilizada nas capacitações foi apropriada, reforçando a necessidade de um olhar mais cuidadoso sobre casos suspeitos.
A periodicidade das capacitações foi questionada por alguns grupos. Esse aspecto aponta para uma demanda reprimida, o que geraria um grande número de participantes em cada capacitação, prejudicando as atividades compartilhadas, especialmente as práticas. Foi sugerida a incorporação de capacitações no planejamento anual de atividades do programa, de forma que os conhecimentos sejam fixados e atualizados.
No domínio estratégico, várias questões foram problematizadas, desde a necessidade de ampliação de determinadas capacitações, como de identificação de casos, para outros grupos profissionais, incluindo os ACS e as categorias que compõem o Nasf (Núcleo de Apoio à Saúde da Família), até a importância da divulgação de informações sobre a doença para a população, preferencialmente, pelos ACS e redes de organizações locais. As capacitações reforçaram a integração intersetorial, permitindo o estreitamento de laços entre programas estratégicos, como a Saúde Bucal, Imunização e junto aos profissionais dos Nasf.
A realização das capacitações integrando as diferentes categorias profissionais foi objeto de controvérsia. Houve quem considerasse que deveriam ser realizadas para categoriais específicas, outros enfatizaram a necessidade de buscar alternativas para superação da fragmentação entre profissionais.
Com relação à busca ativa de contatos, dois aspectos foram levantados: o reforço e a intensificação de capacitações para os ACS, questões demandadas por todos os grupos, e a discussão de formas alternativas de busca dos usuários com hanseníase ou em risco de contágio. Uma das estratégias mencionadas foi o Programa Saúde na Escola (PSE).
Entre as capacitações do projeto, receberam destaque as direcionadas à aplicação da escala de estigma – EMIC, às avaliações dermatoneurológicas e à busca de contatos. As capacitações influenciaram de imediato a melhoria do atendimento realizado junto à população. Contudo, a aplicação da escala de estigma levantou algumas críticas. Ao mesmo tempo que resgata o sofrimento do paciente como parte da experiência da doença, a forma de apresentação das perguntas pareceria induzir a uma determinada visão de mundo e de crenças, por exemplo, que prevê a restrição dos arranjos familiares e das relações afetivas, assim como da percepção da sexualidade.
A logística para a realização das capacitações, bem como os insumos disponibilizados para a condução das atividades e as condições para a realização das ações em serviço foram pouco problematizados. Equipamentos, como os estesiômetros, foram fornecidos às unidades após as capacitações, entre outras melhorias nas condições de trabalho. Foi evidenciado pelos grupos o diferencial entre a disponibilidade de insumos e instalações adequadas para as capacitações em comparação aos disponibilizados na rotina dos serviços.
De um modo geral, os participantes foram unânimes em reconhecer a importância estratégica das capacitações e o seu papel no reposicionamento do tema da hanseníase nas agendas decisórias locais. Adicionalmente, sinalizaram que iniciativas como essa tem papel na sensibilização dos estados e municípios para o cumprimento de metas pactuadas nas respectivas Programações Anuais de Saúde (PAS), relacionadas ao enfrentamento da doença.
Para futuras iniciativas de capacitação, os participantes sugeriram aprimoramentos concentrados em dois aspectos: 1) capacitações em grupos menores; e 2) maior padronização dos conteúdos e técnicas abordados.
Discussão
Para Patton1818 Patton MQ. The challenges of making evaluation useful. Ensaio: avaliação e políticas públicas em Educação. 2005; (13):67-78., a utilização é a força motora da avaliação. Para que a utilização ocorresse, o envolvimento e a participação dos principais demandantes dessa avaliação foram parte do desenho escolhido e da abordagem colaborativa para sua realização, o que implicou uma interação fecunda entre o grupo dos demandantes do MS e os avaliadores, visando a apoiar os processos de gestão e o aperfeiçoamento da intervenção1919 Shulha LM, Whitmore E, Cousins JB, et al. Introducing evidence-based principles to guide collaborative approaches to evaluation: Results of an empirical process. Am. J. Evaluat. 2016; 37(2):193-215.,2020 Santos EM, Oliveira EA, Cardoso GCP, et al. Avaliações inclusivas: uma reflexão sobre possibilidades e implicações de abordagens participativas para a prática em avaliação. Revista de Salud Ambiental. 2018; 18(2):172-81.,2121 Cardoso GCP, Oliveira EA, Casanova AO, et al. Participação dos atores na avaliação do Projeto QualiSUS-Rede: reflexões sobre uma experiência de abordagem colaborativa. Saúde debate. 2019; 43(120):54-68.,2222 Al Hudib H, Cousins JB. Evaluation Policy and Organizational Evaluation Capacity Building: Application of an Ecological Framework across Cultural Contexts. J. MultiDiscipl. Evaluat. 2020; 16(36):37-56.. Para isso, procurou-se valorizar o lugar de fala de cada ator, focando na aprendizagem institucional e no aperfeiçoamento das práticas. Ademais, a abordagem colaborativa visou à construção conjunta da racionalidade da intervenção e sua linha do tempo, assim como o passo a passo do processo avaliativo de forma clara e explícita, com o intuito de favorecer a aplicação dos achados da avaliação e de implementação de suas recomendações por parte do MS1818 Patton MQ. The challenges of making evaluation useful. Ensaio: avaliação e políticas públicas em Educação. 2005; (13):67-78..
A avaliação evidenciou que as capacitações foram importantes estratégias de revalorização das ações de prevenção e controle da hanseníase ao conferir a essas ações um lugar privilegiado de discussão técnica, de reflexão e de mudança na atenção primária e em sua relação com a especializada. A incorporação de uma abordagem inovadora de ensino em serviço em saúde, com a simultaneidade do ensino-aprendizado de conteúdos e habilidades técnicas no contexto das interações interprofissionais, em contexto de mundo real, mostrou-se gratificante para os envolvidos.
A premissa pedagógica do processo de capacitação baseou-se no ensino-aprendizado reflexivo e mobilizador do conhecimento, o que potencializa a prática transformadora em situação, favorecendo a mobilização e a utilização de soluções de maneira integrada, e o fortalecimento do trabalho interdisciplinar2323 Cyrino EG, Toralles-Pereira ML. Trabalhando com estratégias de ensino-aprendizado por descoberta na área da saúde: a problematização e a aprendizagem baseada em problemas. Cad. Saúde Pública. 2004; (20):780-8..
Experiências semelhantes2424 Santos EM, Cardoso GCP, Abreu DMF. E-Learning and Problematizing Pedagogies: A Brazilian Experience in Monitoring and Evaluation Teaching. In: Pereira Neto A, Flynn MB, editores. The Internet and Health in Brazil. Suiça: Springer; 2019. p. 275-95.,2525 Knauth DR, Leal AF. A expansão das Ciências Sociais na Saúde Coletiva: usos e abusos da pesquisa qualitativa. Interface (Botucatu). 2014; 18(50):457-68. têm enfatizado o papel dessa imersão no fortalecimento de processos reflexivos na aprendizagem. Essas, além de aperfeiçoarem o desempenho das ações técnicas, favorecem a confiança profissional e possibilitam a mobilização e a utilização de soluções baseadas em evidências compartilhadas, ampliando a compreensão das necessidades e das respostas de âmbito coletivo, do trabalho e da comunidade2626 Warner LH. Developing interpersonal skills of eva-luators: a service-learning approach. Am. J. Evaluat. 2020; 41(3):432-51..
A utilização do marco conceitual translacional buscou fornecer uma teoria explicativa para os tópicos problematizados com relação ao processo de capacitação, dos pontos de vista cognitivo, estratégico e logístico, explicitando as convergências e divergências entre os atores. Outras experiências brasileiras de avaliação de processos de ensino e aprendizagem também puderam ser mais bem apreendidas e compreendidas com esse referencial2020 Santos EM, Oliveira EA, Cardoso GCP, et al. Avaliações inclusivas: uma reflexão sobre possibilidades e implicações de abordagens participativas para a prática em avaliação. Revista de Salud Ambiental. 2018; 18(2):172-81.,2727 Fundação Oswaldo Cruz, Escola Nacional de Saúde Pública Sergio Arouca. Relatório Final das Iniciativas de Ensino da Indústria Farmacêutica: O Caso de Farmanguinhos. Rio de Janeiro: Fiocruz; 2017..
Um dos desafios da avaliação foi a necessidade de adaptação das entrevistas grupais, diante de situações em que o número de participantes excedia ou era inferior ao recomendado para os GF. Alguns grupos foram transformados em rodas de conversa (quando o número excedia 15 participantes) ou entrevistas coletivas (quando o número era inferior a 7). Os locais e mobiliários disponibilizados para realização dos grupos também condicionaram algumas dessas adaptações. Os avaliadores, juntamente com representantes do MS, precisaram ser receptivos na identificação das dificuldades e adaptativos no encontro de soluções. Em outro estudo, no qual foram realizados GF para elaboração de material educativo para pacientes com HIV-Aids acerca da temática da tuberculose2828 Cardoso GCP, Oliveira CF, Werlang P. Grupos focais como instrumento para elaboração de material educativo e participação social de pessoas vivendo com HIV-AIDS e turberculose. J. Manag. Prim. Health Care. 2014; 5(2):178-87., os avaliadores se defrontaram com o desafio do excesso do número de participantes e optaram por incluir todos, na medida em que perceberam tratar-se de uma oportunidade única de contribuição ativa daqueles envolvidos com a intervenção.
A adoção da estratégia REM, tal como observado em outros estudos avaliativos nacionais2929 Oliveira LGD, Natal S, Felisberto E, et al. Modelo de avaliação do programa de controle da tuberculose. Ciênc. saúde coletiva. 2010; (15):997-1008.,3030 Cardoso GCP, Santos EM, Alemayehu YK, et al. Sítios simbólicos de pertencimento e prevenção e controle da tuberculose: percepções e práticas dos Agentes Comunitários de Saúde no Brasil e na Etiópia. Ciênc. saúde coletiva. 2020; 25(8):2927-37.,3131 McNall M, Foster-Fishman PG. Methods of rapid evaluation, assessment and appraisal. Am. J. Evaluat. 2007; 28(2):151-68., facilitou, no curto espaço de seis meses, a execução da avaliação nos municípios participantes, pois lançou mão de técnicas apropriadas para a obtenção de informações de forma rápida e em tempo real. Contudo, diante da dificuldade da logística de acesso e de restrição de tempo, não foi possível incluir dois municípios que haviam passado pelo processo de capacitação. Esse fato pode, talvez, ter excluído da discussão aspectos não contemplados nos demais municípios.
Conclusões
O modelo de avaliação empregado, com foco na utilização, visou a responder a uma demanda da gestão central da hanseníase e possibilitou, de forma colaborativa e negociada, executar a avaliação no tempo proposto. A estratégia permitiu o alcance dos objetivos da avaliação,
ilustrando as percepções dos atores sobre o processo de capacitação em serviço, no contexto da APS, nas regiões Norte, Nordeste e Centro-Oeste do País, possibilitando que as controvérsias e convergências viessem à tona, assim como as possíveis recomendações para ajustes da intervenção. Espera-se que isso possibilite a integração da avaliação na cultura institucional, de forma a promover respostas adaptativas oportunas às necessidades de gestão e de capacitação.
- Suporte fnanceiro: Organização Pan-Americana da Saúde (Opas/brasil)
- *Orcid (Open Researcher and Contributor ID).
Referências
- 1Silva RR, Joppert MP, Gasparini MFV, organizadores. Diretrizes para a prática da avaliação no Brasil. [Brasília, DF]: Rede Brasileira de Monitoramento e Avaliação; 2020.
- 2Monteiro LD, Mota RMS, Martins-Melo FR, et al. Determinantes sociais da hanseníase em um estado hiperendêmico da região Norte do Brasil. Rev. Saúde Pública. 2017; (51):70.
- 3Brasil. Ministério da Saúde, Secretaria de Vigilância em Saúde. Boletim Epidemiol. Hanseníase. 2021; (esp):1.
- 4Brasil. Ministério da Saúde, Secretaria de Vigilância em Saúde, Departamento de Vigilância das Doenças Transmissíveis. Protocolo de campo do projeto Abordagens inovadoras para intensificar esforços para um Brasil livre de hanseníase. Relatório técnico do Projeto NIPPON Ano 1. Brasília, DF: MS; 2018. 24 p.
- 5Brasil. Ministério da Saúde, Secretaria de Vigilância em Saúde, Departamento de Vigilância das Doenças Transmissíveis. Innovative Approches to intensify efforts towards a Brazil free of Hansen’s Disease. Relatório técnico do Projeto NIPPON Ano 2. Brasília, DF: MS; 2019. 30 p.
- 6Anker M, Guidotti RJ, Orzeszyna S, et al. Rapid evaluation methods (REM) of health services performance: methodological observations. Bulletin WHO. 1993; 71(1):15.
- 7Natal S, Oliveira LGD, Machado MT. O método rápido de avaliação de programas de saúde. Revista de APS. 2014; 17(1).
- 8Rodríguez-Campos L, Rincones-Gómez R. Collaborative evaluations: step-by-step. Stanford: Stanford University Press; 2012.
- 9Morabito SM. Evaluator roles and strategies for expanding evaluation process influence. Am. J. Evaluat. 2002; 23(3):321-30.
- 10Kitzinger J. Grupos focais. In: Pope C, Mays N, organizadores. Pesquisa qualitativa na atenção à saúde. Porto Alegre: Artmed Editora; 2009.
- 11Westphal MF, Bógus CM, Mello FM. Grupos focais: experiências precursoras em programas educativos em saúde no Brasil. Boletín Ofic. Sanit. Panameric. 1996; 120(6).
- 12Trad LAB. Grupos focais: conceitos, procedimentos e reflexões baseadas em experiências com o uso da técnica em pesquisas de saúde. Physis. 2009; 19(3):777-796.
- 13Greene JC, Benjamin L, Goodyear L. The merits of mixing methods in evaluation. Evaluation. 2001; 7(1):25-44.
- 14Latour B. Reassembling the social: An introduction to actor-network-theory. Oxford: Oxford university press; 2005.
- 15Callon M. Éléments pour une sociologie de la traduction: la domestication des coquilles Saint-Jacques et des marins-pêcheurs dans la baie de Saint-Brieuc. L’Année sociologique (1940/1948-). 1986; (36):169-208.
- 16Clavier C, Sénéchal Y, Vibert S, et al. A theory-based model of translation practices in public health participatory research. Sociol. health illness. 2012; 34(5):791-805.
- 17Abreu DMF. Usos e influências de uma avaliação de desempenho do Programa de Controle da Tuberculose em três municípios brasileiros. [tese]. Rio de Janeiro: Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz; 2018. 125 p.
- 18Patton MQ. The challenges of making evaluation useful. Ensaio: avaliação e políticas públicas em Educação. 2005; (13):67-78.
- 19Shulha LM, Whitmore E, Cousins JB, et al. Introducing evidence-based principles to guide collaborative approaches to evaluation: Results of an empirical process. Am. J. Evaluat. 2016; 37(2):193-215.
- 20Santos EM, Oliveira EA, Cardoso GCP, et al. Avaliações inclusivas: uma reflexão sobre possibilidades e implicações de abordagens participativas para a prática em avaliação. Revista de Salud Ambiental. 2018; 18(2):172-81.
- 21Cardoso GCP, Oliveira EA, Casanova AO, et al. Participação dos atores na avaliação do Projeto QualiSUS-Rede: reflexões sobre uma experiência de abordagem colaborativa. Saúde debate. 2019; 43(120):54-68.
- 22Al Hudib H, Cousins JB. Evaluation Policy and Organizational Evaluation Capacity Building: Application of an Ecological Framework across Cultural Contexts. J. MultiDiscipl. Evaluat. 2020; 16(36):37-56.
- 23Cyrino EG, Toralles-Pereira ML. Trabalhando com estratégias de ensino-aprendizado por descoberta na área da saúde: a problematização e a aprendizagem baseada em problemas. Cad. Saúde Pública. 2004; (20):780-8.
- 24Santos EM, Cardoso GCP, Abreu DMF. E-Learning and Problematizing Pedagogies: A Brazilian Experience in Monitoring and Evaluation Teaching. In: Pereira Neto A, Flynn MB, editores. The Internet and Health in Brazil. Suiça: Springer; 2019. p. 275-95.
- 25Knauth DR, Leal AF. A expansão das Ciências Sociais na Saúde Coletiva: usos e abusos da pesquisa qualitativa. Interface (Botucatu). 2014; 18(50):457-68.
- 26Warner LH. Developing interpersonal skills of eva-luators: a service-learning approach. Am. J. Evaluat. 2020; 41(3):432-51.
- 27Fundação Oswaldo Cruz, Escola Nacional de Saúde Pública Sergio Arouca. Relatório Final das Iniciativas de Ensino da Indústria Farmacêutica: O Caso de Farmanguinhos. Rio de Janeiro: Fiocruz; 2017.
- 28Cardoso GCP, Oliveira CF, Werlang P. Grupos focais como instrumento para elaboração de material educativo e participação social de pessoas vivendo com HIV-AIDS e turberculose. J. Manag. Prim. Health Care. 2014; 5(2):178-87.
- 29Oliveira LGD, Natal S, Felisberto E, et al. Modelo de avaliação do programa de controle da tuberculose. Ciênc. saúde coletiva. 2010; (15):997-1008.
- 30Cardoso GCP, Santos EM, Alemayehu YK, et al. Sítios simbólicos de pertencimento e prevenção e controle da tuberculose: percepções e práticas dos Agentes Comunitários de Saúde no Brasil e na Etiópia. Ciênc. saúde coletiva. 2020; 25(8):2927-37.
- 31McNall M, Foster-Fishman PG. Methods of rapid evaluation, assessment and appraisal. Am. J. Evaluat. 2007; 28(2):151-68.
Datas de Publicação
- Publicação nesta coleção
30 Jun 2023 - Data do Fascículo
Apr-Jun 2023
Histórico
- Recebido
20 Set 2022 - Aceito
09 Mar 2023