RESUMO

O monitoramento e a avaliação vêm despontando crescente interesse nas organizações de saúde. Para que esses processos possam qualificar o desempenho, faz-se necessário analisar sua utilidade. Recorreu-se à experiência de Monitoramento do Desempenho da Gestão da Vigilância em Saúde (MDGVS), proposto pela Secretaria Estadual de Saúde do Estado de Pernambuco. O objetivo foi o de analisar fatores dificultadores e facilitadores do uso e influência, baseados nas dimensões de credibilidade, pertinência, fundamentação teórica e capacidade institucional. Trata-se de estudo exploratório, cujos dados foram coletados por meio de entrevistas semiestruturadas com 21 informantes-chave, além de revisão de documentos. Calcularam-se a média e o respectivo desvio padrão das categorias de análise, revelando boa incorporação do monitoramento, com sua contribuição na aprendizagem organizacional. O processo não só apresentou legitimidade como está integrado à agenda política da Vigilância em Saúde. Por outro lado, houve ênfase nas fragilidades como: dificuldades de integração e na divulgação externa dos resultados.

PALAVRAS-CHAVE
Monitoramento; Avaliação em saúde; Vigilância em saúde pública; Gestão em saúde

ABSTRACT

Health Organizations have showed increasing interest in monitoring and evaluation. In order for these processes to comply performance qualification, it is necessary to analyze its value. The experience of Monitoring the Health Surveillance Management Performance (MDGVS) proposed by the State Health Department of Pernambuco was applied. The goal was to analyze factors that hinder and facilitate the use and influence by adopting the dimensions credibility, pertinence, theoretical framework and institutional capacity. It’s an exploratory study whose data were collected by means of semi-structured interviews with 21 key informants, as well as by means of the review of documents. The average and the standard deviation for each analysis category were calculated, showing a good monitoring incorporation and its contribution to organizational learning. The process presented legitimacy, being integrated into the HS political agenda. On the other hand, there was an emphasis on weaknesses, difficulties of integration, and external dissemination of results.

KEYWORDS
Monitoring; Evaluation in health; Public health surveillance; Health management

Introdução

Nas últimas décadas, com o advento da globalização, o papel da administração pública na gestão de políticas de saúde passou por transformações. Novos arranjos institucionais foram conformados e o modelo hierárquico deu lugar à gestão transversal em redes, à cultura de desempenho, e à geração de valor público¹1 Martins HF, Marini C. Um guia de governança para resultados na administração pública. Brasília, DF: Publix; 2010.. No Brasil, esse modelo teve início na década de 1990 com a Reforma Gerencial, que adotou a gestão por resultados como um dos seus principais instrumentos²2 Pereira B. Reforma gerencial e legitimação do estado social. Rev. Adm. Públic. 2017; 51(1):147-156..

O Monitoramento e a Avaliação (M&A) têm sido referidos na literatura como importantes indutores do aprimoramento da gestão, no bojo da mencionada Reforma. Crescente tem sido o interesse na implementação do M&A com vistas à melhoria do desempenho de políticas públicas de saúde³3 Albuquerque C, Martins M. Indicadores de desempenho no Sistema Único de Saúde: uma avaliação dos avanços e lacunas. Saúde debate 2017; 41(esp):118-137.^,44 Reis AC, Santos EM, Arruda MR, et al. Estudo exploratório dos modelos de avaliação de desempenho em saúde: uma apreciação da capacidade avaliativa. Saúde debate 2017; 41(esp):330-344..

Por seu caráter sistemático, a maior parte das organizações utiliza o monitoramento do desempenho⁵5 Marchal B, Hoerée T, Silveira VC, et al. Building on the EGIPPS performance assessment: the multipolar framework as a heuristic to tackle the complexity of performance of public service oriented health care organizations. BMC Public Health. 2014; 14(378):2-11., termo polissêmico, muitas vezes confundido com efetividade, rendimento, produtividade, qualidade, entre outros⁴4 Reis AC, Santos EM, Arruda MR, et al. Estudo exploratório dos modelos de avaliação de desempenho em saúde: uma apreciação da capacidade avaliativa. Saúde debate 2017; 41(esp):330-344.. Para Champagne et al.⁶6 Champagne F, Contrandriopoulos A-P. Elementos de arquitetura dos sistemas de avaliação de desempenho dos serviços de saúde. In: Contandriopoulos AP, Hartz ZMA, Gerhir M, et al., organizadores. Saúde e Cidadania: as experiências do Brasil e do Quebec. Campinas: Saberes Editora; 2010. p. 297-340., o termo considera o conjunto dessas noções, que podem ser analisadas como uma de suas subdimensões, i.e., o termo pode englobar esses conceitos, mas não se restringir a eles. Assim, sua definição pode variar conforme as particularidades das organizações, seus objetivos e princípios⁶6 Champagne F, Contrandriopoulos A-P. Elementos de arquitetura dos sistemas de avaliação de desempenho dos serviços de saúde. In: Contandriopoulos AP, Hartz ZMA, Gerhir M, et al., organizadores. Saúde e Cidadania: as experiências do Brasil e do Quebec. Campinas: Saberes Editora; 2010. p. 297-340..

Em 2011, o estado de Pernambuco, por meio da Secretaria Executiva de Vigilância em Saúde (Sevs), propôs o Monitoramento do Desempenho da Gestão da Vigilância em Saúde (MDGVS). Considerou-se que o monitoramento ainda era pouco explorado nas organizações de saúde em relação a seu potencial de uso. O monitoramento objetiva acompanhar trimestralmente indicadores estratégicos de processo e resultado, sendo 27 estaduais e 21 municipais. Os indicadores são discutidos colegiadamente, e os encaminhamentos propostos são acompanhados por meio de ata específica⁷7 Costa JMBS, Felisberto E, Bezerra, LCA, et al. Monitoramento do desempenho da gestão da vigilância em saúde: instrumento e estratégias de uso. Ciênc. Saúde Colet. 2013; 18(5):1201-1216.. Apesar da consolidação desse processo, há que se avançar no mapeamento de seus usos, de forma a que possa ser potencializado e aperfeiçoado.

Para fins desse estudo, o uso foi compreendido como a capacidade do M&A de modificar habilidades e técnicas no manejo das intervenções⁸8 Figueiró AC, Hartz Z, Samico I, et al. Usos e influência da avaliação em saúde em dois estudos sobre o Programa Nacional de Controle da Dengue. Cad. Saúde Pública. 2012; 28(11):2095-2105.. Essa deve ser uma preocupação constante entre os envolvidos, ao mesmo tempo em que é um dos seus importantes desafios⁹9 Abreu DMF, Santos EM, Cardoso GCP, et al. Usos e influências de uma avaliação: translação de conhecimento? Saúde debate 2017; 41(esp):302-316.. Para alguns autores⁴4 Reis AC, Santos EM, Arruda MR, et al. Estudo exploratório dos modelos de avaliação de desempenho em saúde: uma apreciação da capacidade avaliativa. Saúde debate 2017; 41(esp):330-344.^,88 Figueiró AC, Hartz Z, Samico I, et al. Usos e influência da avaliação em saúde em dois estudos sobre o Programa Nacional de Controle da Dengue. Cad. Saúde Pública. 2012; 28(11):2095-2105.^,1010 Hartz ZMA, Santos EM, Matida AH. Promovendo e analisando o uso e a influência das pesquisas avaliativas. In: Hartz ZMA, Felisberto E, Silva LMV, organizadores. Meta-avaliação da atenção básica. Teoria e Prática. Rio de Janeiro: Fiocruz; 2008. p. 169-87., a nomenclatura ‘uso’ apresenta base conceitual restrita, implicando a necessidade de criação de modelos que apreendam a influência dos processos avaliativos.

A adoção da expressão uso e influência deve abranger mudanças individuais nas atitudes, habilidades, condutas e ações dos indivíduos; mudanças interpessoais nas interações entre os indivíduos; e mudanças coletivas nas decisões e práticas das organizações, que envolvem a agenda política e a aprendizagem organizacional⁸8 Figueiró AC, Hartz Z, Samico I, et al. Usos e influência da avaliação em saúde em dois estudos sobre o Programa Nacional de Controle da Dengue. Cad. Saúde Pública. 2012; 28(11):2095-2105.^,1010 Hartz ZMA, Santos EM, Matida AH. Promovendo e analisando o uso e a influência das pesquisas avaliativas. In: Hartz ZMA, Felisberto E, Silva LMV, organizadores. Meta-avaliação da atenção básica. Teoria e Prática. Rio de Janeiro: Fiocruz; 2008. p. 169-87..

De acordo com Contandriopoulos¹¹11 Contandriopoulos A-P. Avaliando a institucionalização da avaliação. Ciênc. Saúde Colet. 2006; 11(3):705-711., um modelo teórico que vise a apreender o uso e a influência do M&A nas organizações deve incorporar dimensões explicativas relativas às dimensões credibilidade, pertinência, fundamentação teórica e capacidade institucional. O grau com que os resultados de uma avaliação são levados em consideração pelas instâncias decisórias pode variar de acordo com essas dimensões¹¹11 Contandriopoulos A-P. Avaliando a institucionalização da avaliação. Ciênc. Saúde Colet. 2006; 11(3):705-711..

A credibilidade diz respeito aos procedimentos metodológicos utilizados no M&A. Ela depende da qualidade dos meios de investigação, da análise empregada e das informações produzidas. Nesse caso, as fontes de informação devem ser confiáveis, de modo que sua produção seja sistemática e válida. Por pertinência, entende-se a capacidade do processo de M&A de fornecer respostas às instâncias decisórias. Essa dimensão objetiva apreender se os envolvidos reconhecem o processo como uma estratégia importante na melhoria da efetividade ou desempenho do sistema de saúde¹¹11 Contandriopoulos A-P. Avaliando a institucionalização da avaliação. Ciênc. Saúde Colet. 2006; 11(3):705-711..

Já a fundamentação teórica, refere-se à explicitação do arcabouço teórico que expresse os diferentes recortes do problema com potencial para apoiar a tomada de decisões. Ela afere a capacidade do M&A de produzir informações úteis para cada instância de gestão, de modo a satisfazer as expectativas dos envolvidos¹¹11 Contandriopoulos A-P. Avaliando a institucionalização da avaliação. Ciênc. Saúde Colet. 2006; 11(3):705-711.. A capacidade institucional está relacionada à contribuição na formação de rede de conhecimento, com construção de legitimidade e utilidade, traduzida no sentimento de pertencimento. Nessa perspectiva, o M&A atuaria como instrumento de desenvolvimento organizacional e de aprendizagem contínua⁹9 Abreu DMF, Santos EM, Cardoso GCP, et al. Usos e influências de uma avaliação: translação de conhecimento? Saúde debate 2017; 41(esp):302-316.^,1212 Felisberto E, Freese E, Bezerra LCA, et al. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad. Saúde Pública. 2010; 26(6):1079-1095..

Apesar de todo o potencial para tal, reconhece-se que os resultados do M&A não se traduzem em decisão automaticamente. Entretanto, espera-se que as informações produzidas contribuam para melhor análise de dada situação, influenciando positivamente as decisões¹¹11 Contandriopoulos A-P. Avaliando a institucionalização da avaliação. Ciênc. Saúde Colet. 2006; 11(3):705-711.. Dessa forma, objetivou-se com esse estudo identificar os fatores que facilitam e dificultam o uso e a influência do MDGVS.

Material e métodos

Trata-se de estudo exploratório descritivo, com emprego de método quantitativo. A pesquisa foi desenvolvida na Secretaria Estadual de Saúde de Pernambuco (SES-PE) e adotou o nível central da Sevs como unidade de análise. Pernambuco é dividido em 184 municípios mais o Distrito Estadual de Fernando de Noronha, organizados em 12 Regiões de Saúde. A Sevs apresenta as Diretorias-Gerais de Informações e Ações Estratégicas em Vigilância Epidemiológica; Vigilância de Doenças Transmissíveis; e de Monitoramento e Vigilância de Doenças e Agravos Não Transmissíveis, Saúde Ambiental e do Trabalhador. Sua estrutura organizacional engloba também o Laboratório Central de Saúde Pública de Pernambuco (Lacen-PE) e a Agência Pernambucana de Vigilância Sanitária (Apevisa).

A análise do uso e influência do MDGVS adotou o referencial teórico proposto por Contandriopoulos¹¹11 Contandriopoulos A-P. Avaliando a institucionalização da avaliação. Ciênc. Saúde Colet. 2006; 11(3):705-711., categorizado por credibilidade, pertinência, fundamentação teórica e capacidade institucional (quadro 1).

A população do estudo foi composta por informantes-chave com experiência em atividades de gestão e interface com o MDGVS. Foram incluídos todos os diretores(as) e gerentes ligados à mencionada Secretaria, totalizando 21 entrevistas semiestruturadas.

A coleta dos dados foi realizada no período de abril a agosto de 2018, utilizando como fontes de evidências as entrevistas e a revisão de documentos oficiais e técnicos tais como informes, atas de reuniões, notas técnicas, relatórios. Precedendo o trabalho de campo, o instrumento de coleta de dados passou por ajustes do teste prévio com alguns informantes-chave, tendo sendo reescritas as questões que suscitaram dúvidas. O roteiro foi elaborado especificamente para esse estudo.

Aferiram-se os critérios avaliados por meio de uma escala de Likert. A cada um deles foi atribuída nota de zero a dez, onde zero representou a pior situação e dez, a melhor¹³13 Pasquali L. Princípios de elaboração de escalas psicológicas. Rev. Psiq. Clín. 1998; 25(5):206-213.. As questões não estruturadas receberam tratamento descritivo, passando por classificação definida por códigos temáticos, posteriormente quantificados e apresentados mediante frequências absolutas e relativas. Por fim, os dados foram calculados por meio do programa Excel® da Microsoft®.

Calculou-se a média e o respectivo desvio padrão para cada categoria de análise do estudo. A média indicou o grau de relevância de cada critério, enquanto o desvio padrão representou a variabilidade. Os pontos de corte para a média e desvio padrão foram sete e três, respectivamente¹⁴14 Souza LE, Vieira-da-Silva L, Hartz ZMA. Conferência de Consenso sobre a imagem objetivo da descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Vieira-da-Silva L, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de intervenções e sistemas de saúde. Salvador: EDUFBA; 2005. p. 65-100..

A relevância das categorias de análise foi classificada em consensualmente relevante, quando a média foi igual ou maior que sete e o desvio padrão, inferior a três; consensualmente pouco relevante, quando a média foi inferior a sete e o desvio padrão, inferior a três; relevante com dissenso, quando a média foi superior ou igual a sete e o desvio padrão, maior ou igual a três; e pouco relevante com dissenso, quando a média foi inferior a sete e o desvio-padrão, superior ou igual a três¹⁴14 Souza LE, Vieira-da-Silva L, Hartz ZMA. Conferência de Consenso sobre a imagem objetivo da descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Vieira-da-Silva L, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de intervenções e sistemas de saúde. Salvador: EDUFBA; 2005. p. 65-100..

O fato de os dados terem sido coletados por um só pesquisador minimizou as características de viés de seleção e classificação, dado que o procedimento de coleta foi padronizado. A análise do material foi amplamente discutida e validada pelos integrantes da equipe de pesquisa.

A pesquisa obedeceu às recomendações contidas na Resolução nº 466/2012 do Conselho Nacional de Saúde, que trata de pesquisas e testes em seres humanos. O projeto foi aprovado pelo Comitê de Ética em Pesquisa com Seres Humanos da Universidade Federal de Pernambuco sob parecer nº 2.361.417/2017.

Resultados

De modo geral, os critérios estudados foram classificados como relevantes, com média igual ou maior que sete e desvio padrão menor que três. A exceção desses resultados relacionou-se à discussão dos indicadores do monitoramento com algumas instituições externas, da seguinte forma: entidades representativas de classe ou usuários (média 4,0; DP 3,2), instituições de ensino (média 4,0; DP 3,8), órgãos de controle externo (média 3,0; DP 1,4); Organização Não Governamental (ONG), sociedade civil (média 2,0; DP 3,9). A contribuição na evidenciação de fragilidades e a periodicidade das informações obtiveram médias dez, enquanto definição de prioridades de investimento, vigilância integrada, e discussão colegiada interna e externa obtiveram média igual ou menor a oito (tabela 1). Os resultados por categoria de análise estão detalhados no quadro 1.

Credibilidade

No que diz respeito à credibilidade do painel estudado, os dados foram considerados confiáveis e válidos na fase de coleta, além de disponíveis e oportunos, ambos com média nove e desvios-padrão de 1,3 e 1,7, respectivamente. Em sua maior parte, os dados são advindos de sistemas de informação em saúde oficiais, fazendo com que as informações produzidas sejam exatas e sistemáticas. No entanto, 38% (n=8) dos pesquisados revelaram problemas quanto à oportunidade dos dados para a construção de alguns indicadores do painel.

A revisão dos indicadores e metas é realizada anualmente. Na opinião dos entrevistados, essas revisões vêm sendo adequadas às necessidades das áreas técnicas (Me=9, σ=0,9), além de contribuir para o aprimoramento da sensibilidade, especificidade e relevância dos indicadores, o que favorece sua robustez.

A maioria dos pesquisados não soube comentar sobre a quantidade e a qualidade dos indicadores. Limitou-se a opinar sobre os indicadores da sua área de atuação, cuja adequação e suficiência obtiveram média nove e desvios-padrão de 0,7 e 1,0, respectivamente. Houve percepção de que os indicadores eleitos são estratégicos, i.e., prioritários, e refletem o desempenho da Vigilância em Saúde (VS). Entretanto, para 38% (n= 8) deles haveria necessidade de inserção de, pelo menos, mais um indicador da sua área de atuação.

Pertinência

Na visão dos entrevistados, o MDGVS contribui para visualização rápida das informações, promovendo boa sistematização, com média nove e desvio padrão de 1,2. Informam que os dados provenientes do painel são analisados com regularidade (Me=9, σ=1,1). Aliás, algumas áreas revisam mensalmente, periodicidade maior do que a do MDGVS, que é trimestral. O processo influencia na definição de prioridades de investimento das áreas técnicas, embora pudesse ser mais utilizado para tal finalidade (Me=8, σ=1,8).

Em que pese o importante papel do MDGVS na articulação e integração das áreas (Me=8, σ=1,6), 47,7% (n=10) dos entrevistados afirmaram que essa integração é restrita à área técnica envolvida ou áreas afins, como, por exemplo, atenção e regulação em saúde. A discussão colegiada, por meio da reunião, foi referida como um dos pontos fortes do processo. Houve percepção de que a presença do núcleo gestor da VS na reunião favorece a legitimidade e a troca de informações entre as áreas. Quando perguntados se sua área de atuação vinha cumprindo os encaminhamentos pós reuniões nos prazos, relataram boa execução (Me=9, σ=1,0).

Fundamentação teórica

Quanto à contribuição do MDGVS na elaboração e na revisão das ações, a melhor média foi para a área técnica envolvida (Me=9, σ=1,2), em detrimento do planejamento de ações conjuntas com municípios e regiões de saúde (Me=8, σ=1,3).

A periodicidade trimestral do monitoramento foi bem avaliada e obteve a melhor média dentre os critérios analisados (Me=10, σ=0,6). A adequação do período para o monitoramento da evolução temporal serve de subsídio à construção de série histórica dos indicadores. Já a contribuição do MDGVS na elaboração de materiais informativos tais como relatórios, boletins, informes, notas técnicas alcançou média mais baixa (Me=7, σ=2,1). Os entrevistados consideraram ser mais frequente a produção de relatórios internos que externos.

Capacidade institucional

APRENDIZAGEM INDIVIDUAL E COLETIVA

O papel do MDGVS na aprendizagem organizacional foi considerado importante (Me=9, σ=1,0), embora restrita ao seu núcleo gestor. Já o compartilhamento e a disseminação falada e escrita das informações provenientes do MDGVS obteve média relativamente menor (Me=8, σ=1,7). Para 38% (n= 8) dos pesquisados, essas informações são divulgadas pontualmente.

LEGITIMIDADE DO PROCESSO

Houve relatos de boa inserção do MDGVS no nível central, com incorporação tanto na VS como um todo, como em cada uma das áreas técnicas pesquisadas, ambas atingindo média nove. Na opinião dos respondentes, essa inserção deveu-se à regularidade e à sistematização do processo. Consideram o monitoramento muito importante e não conseguem mais conceber a VS sem a utilização dessa ferramenta.

Apesar da média igual para os dois níveis (Sevs e áreas técnicas), a maioria considerou que investimentos ainda são necessários para que o monitoramento seja incorporado à área técnica. À exceção das áreas com painel de indicadores próprio, as demais consideram que o processo ainda esteja adstrito aos participantes das reuniões. Mesmo no corpo dirigente, a participação não é homogênea, pois, muitas vezes, os gestores concentram-se nos indicadores da sua área. Não há entendimento por parte dos técnicos sobre a importância do processo pela incipiente discussão interna.

Nas áreas técnicas em que o gestor apresenta formação em M&A, observou-se influência em uma melhor inserção do MDGVS. Outro aspecto que facilitou a incorporação foi o fato de alguns dos indicadores estratégicos, monitorados pelo painel de forma mais sistemática, estarem presentes em outros instrumentos de gestão do Ministério da Saúde (MS), como, por exemplo, o Contrato Organizativo de Ação Pública, o Pacto pela Saúde, o Programa de Qualificação das Ações de Vigilância em Saúde (PQA-VS) e em pactuações das áreas técnicas do próprio MS.

Ao considerarmos o envolvimento dos participantes no processo, de um modo geral, a pontuação dada pelo entrevistado ao seu próprio envolvimento foi menor do que a pontuação dada por ele à sua equipe, em que pese a média nove, igual para ambos os quesitos. Os entrevistados, por serem gestores, alegaram falta de tempo para maior dedicação. Houve o entendimento que o envolvimento ainda é burocrático, como, por exemplo, na extração e consolidação dos indicadores.

Afirmou-se que o processo serve para evidenciar mais as fragilidades (Me=10, σ=0,7) do que as potencialidades das intervenções por trás dos indicadores monitorados (Me=9, σ=1,4), uma vez que há a tendência da valorização dos problemas para fins da tomada de decisão sobre eles.

Discussão

Um dos fatores determinantes para o uso e influência do MDGVS de forma sistemática foi a preocupação com a utilidade desde o seu desenho inicial. A definição dos usos e envolvimento dos usuários que irão utilizar os resultados do M&A foi contínua e não apenas na difusão dos resultados, comumente por meio da entrega de relatórios parciais. A lógica do uso do M&A como um processo e não um evento, envolvendo a preparação e o encorajamento para o uso, foi descrita por Patton¹⁵15 Patton MQ. Developmental Evaluation: applying complexity concepts to enhance innovation and use. New York: Guilford Press; 2011..

A preparação para o uso deu-se desde o início do processo quando do envolvimento dos potenciais usuários na elaboração do modelo lógico de gestão de desempenho da VS e na pactuação dos indicadores e metas do painel pelas áreas técnicas participantes⁷7 Costa JMBS, Felisberto E, Bezerra, LCA, et al. Monitoramento do desempenho da gestão da vigilância em saúde: instrumento e estratégias de uso. Ciênc. Saúde Colet. 2013; 18(5):1201-1216.. Também houve investimentos na realização de cursos de pós-graduação na área de M&A e desempenho para os profissionais da VS.

A recomendação da escolha de indicadores estratégicos e disponíveis favoreceu a credibilidade medida pelas informações confiáveis e a pertinência gerada pela capacidade de resposta do processo de M&A na tomada de decisão, ambas fornecidas ao painel pelos entrevistados. No que se refere às metas, a percepção foi de que elas vêm sendo revisadas no sentido proposto por Alves et al.¹⁶16 Alves CKA, Natal S, Felisberto E, et al. Interpretação e análise das informações: O uso de matrizes, critérios, indicadores e padrões. In: Samico IC, Felisberto E, Figueiró AC, et al., organizadores. Avaliação em saúde: Bases conceituais e operacionais. Rio de Janeiro: Medbook; 2010. p. 89-107., que é o de serem factíveis e trazerem esperança de que podem ser atingidas. Na opinião de Denis¹⁷17 Denis JL. Institucionalização da avaliação na administração pública. Rev. Bras. Saúde Mater. Infan. 2010; 10(supl1):S229-S237., quanto mais os atores estiverem convictos de que o desempenho depende de melhoria do processo de decisão e de que este, por seu turno, depende de informações válidas, mais pertinente lhe parecerá a institucionalização de processos avaliativos.

Ainda no que se refere à pertinência do M&A, tem-se que, no âmbito organizacional, ela engloba uma rede de alianças que se cria em seu torno. Para que essas ferramentas auxiliem nas decisões, é necessário que a maior parte dos envolvidos esteja convencida da sua importância. Sem uma mobilização dessa ordem, o M&A não apresentará tanta potência como veículo de mudanças⁹9 Abreu DMF, Santos EM, Cardoso GCP, et al. Usos e influências de uma avaliação: translação de conhecimento? Saúde debate 2017; 41(esp):302-316.. Um adendo à pertinência do MDGVS foi o de que o processo de tomada de decisão limitou-se ao núcleo gestor da VS, com restrição de ações integradas.

Os resultados do monitoramento não vêm sendo muito discutidos com órgãos externos e áreas de interface com a VS. O estabelecimento de parcerias, principalmente com outros setores, é um fator favorável à utilização continuada dos resultados do M&A, uma vez que os setores podem apresentar objetivos diversos, embora as alianças façam com que se unam esforços para efetuação das mudanças, algo que não se conseguiria individualmente¹⁸18 Oliveira SRA, Medina G, Figueiró AC, et al. Strategic factors for the sustainability of a health intervention at municipal level of Brazil. Cad. Saúde Pública 2017; 33(7):1-11..

A fundamentação teórica, baseada na produção de informações úteis para cada instância de decisão, foi bem avaliada. Os resultados do MDGVS vêm sendo utilizados na execução dos planos de ação das áreas em nível central e destas com as gerências regionais de saúde. Entretanto, a divulgação dessas informações ainda é adstrita ao nível central da VS estadual. Bezerra et al.¹⁹19 Bezerra LCA, Felisberto E, Costa JMBS, et al. Desafios à Gestão do Desempenho: Análise lógica de uma Política de Avaliação na Vigilância em Saúde. Ciênc. Saúde Colet. [internet]. 2019 [acesso 2019 maio 2]. Disponível em: http://www.cienciaesaudecoletiva.com.br/artigos/desafios-a-gestao-do-desempenho-analise-logica-de-uma-politica-de-avaliacao-na-vigilancia-em-saude/17204.
http://www.cienciaesaudecoletiva.com.br/... , ao estudarem sobre a difusão de informações advindas do M&A nos departamentos canadenses, verificaram sua ampla disseminação, uma vez que os respectivos relatórios são enviados para a agência central e ao parlamento, além de serem divulgados na mídia.

Quanto à contribuição do MDGVS na elaboração e na revisão das ações, a melhor média foi para a área técnica envolvida (Me=9, σ=1,2), seguida do planejamento de ações conjuntas com municípios e regiões de saúde (Me=8, σ=1,3).

A contribuição do MDGVS foi bem avaliada quanto à capacidade institucional. Apesar dos dados deste estudo sugerirem certa ‘dependência’ de setor externo as áreas técnicas que facilite o processo. Houve reconhecimento do papel das lideranças das áreas técnicas e sua influência na qualificação do MDGVS. Essa capacidade refere-se à influência do M&A na formação de rede e não da transferência de conhecimento, com construção de legitimidade e utilidade traduzidas no sentimento de pertencimento. Assim, devem-se criar capacidades duradouras em M&A, permanecendo os atores ligados ao circuito das decisões, da influência e da ação, com desenvolvimento de lideranças internas, evitando o ‘encapsulamento’ em ‘departamentos de avaliação’¹⁷17 Denis JL. Institucionalização da avaliação na administração pública. Rev. Bras. Saúde Mater. Infan. 2010; 10(supl1):S229-S237..

Nessa perspectiva, o M&A atuaria como instrumento de desenvolvimento organizacional e de aprendizagem contínua⁹9 Abreu DMF, Santos EM, Cardoso GCP, et al. Usos e influências de uma avaliação: translação de conhecimento? Saúde debate 2017; 41(esp):302-316.^,1212 Felisberto E, Freese E, Bezerra LCA, et al. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad. Saúde Pública. 2010; 26(6):1079-1095., tendo em vista que uma das suas importantes funções é favorecer o aprendizado individual e coletivo. Para isso, necessita-se de alinhamento de valores, atitudes e percepções entre os envolvidos e tomadores de decisão para que apoiem e encorajam a aprendizagem organizacional⁸8 Figueiró AC, Hartz Z, Samico I, et al. Usos e influência da avaliação em saúde em dois estudos sobre o Programa Nacional de Controle da Dengue. Cad. Saúde Pública. 2012; 28(11):2095-2105..

No caso da Sevs, instituiu-se uma prática gerencial continuada de acompanhamento das intervenções e programas por meio do painel. Isso vem favorecendo tanto a aprendizagem individual como a coletiva. Para Hartz²⁰20 Hartz ZMA. Creating a dialogue between the concepts of complexity paradigms and the pragmatic approaches proposed for evaluating complex interventions. Canad. J. Progr. Eval. 2012; 26(3):115-118., o fortalecimento de capacidades acontece por meio de processos formais e continuados de aprendizagem, em que os erros e falhas resultantes de inovações ou experimentos, com vistas a melhores resultados, não são punidos, são computados como lições aprendidas. No caso em análise, apesar do reconhecimento de que o processo favorece o compartilhamento e a aprendizagem, ele foi visto como evidência de fragilidades, mais que de potencialidades.

No que diz respeito à sua legitimidade, afirmou-se que o MDGVS foi incorporado à VS, a despeito de seu envolvimento limitar-se aos participantes das reuniões e de apenas algumas áreas técnicas terem implantado monitoramento próprio. Os entrevistados citaram que essa ferramenta é integrante do ciclo da VS que envolve coleta, análise, monitoramento e disseminação dos dados²¹21 Teixeira MG, Costa MCN, Souza LPF, et al. Evaluation of Brazil's public health surveillance system within the context of the International Health Regulations. Rev. Pan. Saúde Públ. 2012; 32(1):49-55., e que, por isso mesmo, tende a tornar o processo endógeno ao trabalho desenvolvido.

Abreu et al.⁹9 Abreu DMF, Santos EM, Cardoso GCP, et al. Usos e influências de uma avaliação: translação de conhecimento? Saúde debate 2017; 41(esp):302-316., ao estudarem sobre o uso e influência de uma avaliação de desempenho do Programa Nacional de Controle da Tuberculose (PNCT), concluíram que ela só é considerada útil se estiver alinhada aos interesses dos envolvidos. Sua utilidade pode não ser unânime nessa rede, até porque ser útil não é garantia de uso da avaliação. Apesar das incertezas, o engajamento e o envolvimento dos interessados parecem potencializar a utilização. Na prática, o MDGVS vem sendo conduzido por meio de abordagem avaliativa participativa, importante na sua incorporação organizacional²²22 Mantoura P, Potvin L. A realist-constructionist perspective on participatory research in health promotion. Health Prom. Int. 2012; 28(1):61-72..

Conforme Denis¹⁷17 Denis JL. Institucionalização da avaliação na administração pública. Rev. Bras. Saúde Mater. Infan. 2010; 10(supl1):S229-S237., algumas premissas para que o M&A se consolide institucionalmente são: (i) o dever de fazer com que o processo avaliativo ganhe sentido de fonte de informações para a reflexão sobre as organizações e a política, numa perspectiva de transformação; (ii) o dever de assegurar que as decisões sejam justificadas por meio de dados validados; (iii) o dever de compreender a complexidade crescente dos problemas enfrentados pelas organizações; e (iv) o admitir que as políticas públicas funcionam em rede, sobre as quais não se controla a totalidade do funcionamento.

Considerações finais

Este estudo teve por finalidade contribuir para a compreensão de como os processos de M&A vêm sendo utilizados na VS estadual e dos fatores que podem ou não favorecer tal utilização. Apoiou-se no pressuposto de que o valor do M&A relaciona-se diretamente à sua utilidade na melhoria da prática cotidiana das intervenções, repercutindo no alcance dos resultados pretendidos⁸8 Figueiró AC, Hartz Z, Samico I, et al. Usos e influência da avaliação em saúde em dois estudos sobre o Programa Nacional de Controle da Dengue. Cad. Saúde Pública. 2012; 28(11):2095-2105..

Os dados revelaram que o MDGVS vem consolidando as dimensões propostas por Contandriopoulos¹¹11 Contandriopoulos A-P. Avaliando a institucionalização da avaliação. Ciênc. Saúde Colet. 2006; 11(3):705-711. no uso ou influência dos resultados do M&A nas organizações, i.e., credibilidade, pertinência, fundamentação teórica e capacidade institucional. Houve reconhecimento da legitimação do processo, o que, por consequência, vem favorecendo sua utilização na VS. Investimentos ainda precisam ser realizados na sua visibilidade externa, principalmente na divulgação das informações e na articulação intersetorial.

A coprodução de critérios e indicadores e a definição do escopo do desempenho são fatores relevantes na mobilização, no desenvolvimento institucional e na potencialização da utilização dos achados da avaliação⁴4 Reis AC, Santos EM, Arruda MR, et al. Estudo exploratório dos modelos de avaliação de desempenho em saúde: uma apreciação da capacidade avaliativa. Saúde debate 2017; 41(esp):330-344.^,99 Abreu DMF, Santos EM, Cardoso GCP, et al. Usos e influências de uma avaliação: translação de conhecimento? Saúde debate 2017; 41(esp):302-316.. A incorporação do monitoramento e da avaliação na VS tem como objetivo integrá-los à organização de modo que sejam capazes de influenciar seu comportamento, conectando as atividades analíticas às de gestão⁸8 Figueiró AC, Hartz Z, Samico I, et al. Usos e influência da avaliação em saúde em dois estudos sobre o Programa Nacional de Controle da Dengue. Cad. Saúde Pública. 2012; 28(11):2095-2105..

Ações que conduzam os envolvidos a incorporarem homogeneamente essas ferramentas no cotidiano, com atribuição de responsabilidades de cada um no processo, são fundamentais para aumentar o uso e a influência dos resultados do M&A. Aliado a isso, há de se promover maior alinhamento sobre a concepção de desempenho que não se atenha somente ao cumprimento de metas epidemiológicas e operacionais, bem como sobre a percepção de que o processo foca nas fragilidades das intervenções monitoradas. Em outras palavras, há de se promover ressignificação.

Referências

Datas de Publicação

Histórico