Resumo

Reconhecer as contribuições da área de avaliação no suporte ao desempenho das políticas de saúde, é admiti-la de forma contínua e permanente no contexto da gestão. Isso requer um conjunto de procedimentos, para além das práticas de monitoramento e avaliação, denominado gestão do desempenho. O objetivo desse estudo foi analisar a lógica da Política de Avaliação da Vigilância em Saúde (VS) de Pernambuco, comparando-a com a Política canadense correspondente. Para tal, foi realizado um estudo qualitativo, análise lógica da teoria do programa, utilizando-se como ferramenta o desenho do modelo lógico da gestão do desempenho, e sua respectiva matriz de análise e julgamento com os critérios a serem avaliados. Na VS, foram entrevistados 9 informantes-chave e analisados documentos; o modelo canadense foi analisado com base em um documento produzido por Lahey (2010). As duas políticas estudadas são convergentes, possuindo os elementos necessários à gestão do desempenho. Porém, enquanto a avaliação teve destaque no modelo canadense, o monitoramento constituiu-se o eixo condutor da institucionalização das práticas avaliativas na VS. Algumas lições aprendidas no modelo canadense podem ser recomendadas, como o desenvolvimento de um plano de avaliação, pautado no nível estratégico e decisor da VS.

Key words:
Health Assessment; Performance Evaluation; Health Surveillance

Abstract

Acknowledging the contributions of the assessment area in supporting the performance of health policies, is to admit it in an ongoing and permanent way in the management context. This requires a set of procedures that go beyond monitoring and evaluation practices, known as performance management. The goal of this study was to analyze the logic of the Health Surveillance (HS) Evaluation Policy of Pernambuco, comparing it with the corresponding Canadian policy. For this purpose, a qualitative study of logical analysis of the program theory was carried out, using as a tool the design of the logical model of performance management and its respective matrix of analysis and judgment with the criteria to be evaluated. In HS, 9 key-informants were interviewed, and documents were analyzed; the Canadian model was analyzed based on a paper written by Lahey (2010). Both policies analyzed by this study are convergent and have the necessary elements for performance management. While the evaluation featured largely in the Canadian model, monitoring was the driving force behind the institutionalization of assessment practices in HS. Some lessons learned in the Canadian model can be recommended, such as the development of an assessment plan, based on the strategic and decision-making level of HS.

Key words:
Health Assessment; Performance Evaluation; Health Surveillance

Introdução

O desempenho dos sistemas e políticas de saúde tem se constituído um importante desafio para os gestores em todo o mundo, ainda que as organizações tenham objetivos diferentes. A medição do desempenho é multidimensional, podendo se dar em termos de qualidade, eficácia, eficiência, equidade, produtividade, entre outros. Todavia, independente do modelo utilizado, dos mais fragmentados, aos mais complexos, o monitoramento e a avaliação tornam-se práticas essenciais em qualquer organização de alto desempenho¹1 Hunter DEK, Nielsen SB. Performance Management and Evaluation: Exploring Complementarities. New Dir Eval 2013; 137:7-17.

2 Lahey R. The Canadian M&E System: Lessons Learned from 30 years of Development. Washington: World Bank ECD; 2010.

3 Hatry HP. Sorting the relationships among performance measurement, program evaluation, and performance management. New Dir Eval 2013; 137:19-32.^-44 Uusikylä P. Transforming silo-steering into a performance governance system: The case of the Finnish central government. New Dir Eval 2013; 137:33-43..

Uma dificuldade comum encontrada pelos gestores é sobre quais estratégias utilizar para ajustar e manter o monitoramento e a avaliação como atividades rotineiras da gestão, de modo que alguns países têm buscado avançar nesta questão¹1 Hunter DEK, Nielsen SB. Performance Management and Evaluation: Exploring Complementarities. New Dir Eval 2013; 137:7-17..

No Canadá, pioneiro na gestão baseada em resultados e na avaliação da governança pública, o monitoramento contínuo do desempenho fornece os dados necessários para subsidiar a realização de avaliações periódicas, todavia precisa-se avançar no estabelecimento claro de propósitos e usos tanto do monitoramento, quanto da avaliação¹1 Hunter DEK, Nielsen SB. Performance Management and Evaluation: Exploring Complementarities. New Dir Eval 2013; 137:7-17.. A política de avaliação governamental tem evoluído, com o amadurecimento dos envolvidos e identificação das necessidades ao longo do tempo, conseguindo propor um desenho de complementaridade das duas práticas, embora a operacionalização disso ainda constitua um desafio²2 Lahey R. The Canadian M&E System: Lessons Learned from 30 years of Development. Washington: World Bank ECD; 2010..

Nos Estados Unidos, a Lei de Desempenho e Resultados do Governo, de 1993, tinha um foco na medição do desempenho, que foi mantida na sua revisão, em 2010. Apesar da medição de desempenho ter sido implementada em diversos níveis das agências governamentais, não há muitas evidências de que os dados gerados por esse processo foram utilizados de forma satisfatória pelos envolvidos. Avaliações são realizadas pontualmente por alguns programas ou são contratadas, de modo que o monitoramento e a avaliação têm caminhado por rumos distintos, embora paralelos³3 Hatry HP. Sorting the relationships among performance measurement, program evaluation, and performance management. New Dir Eval 2013; 137:19-32..

No Brasil, são várias as iniciativas de implantação de políticas ou estratégias de monitoramento e avaliação pelo Ministério da Saúde (MS), com focos e objetivos distintos, e vulneráveis às mudanças dos gestores nacionais. Em 1998, a Política Nacional de Avaliação do Sistema Hospitalar (PNASH), reformulada, em 2004, para Política Nacional de Avaliação dos Serviços de Saúde (PNASS)⁵5 Brasil. PNASS Programa Nacional de Avaliação de Serviços de Saúde: Resultado do processo avaliativo 2004-2006. Brasília: MS; 2007.; em 2003, a Política Nacional de Monitoramento e Avaliação da Atenção Básica⁶6 Felisberto E, Freese E, Alves CKA, Bezerra LCA, Samico I. Política de monitoramento e avaliação da atenção básica no Brasil de 2003 a 2006: contextualizando sua implantação e efeitos. Rev Bras Saude Mater Infant 2009; 9(3):339-357.; em 2006, a Política de Avaliação do Desempenho do Setor Saúde; em 2008, o Projeto de Avaliação de Desempenho de Sistemas de Saúde (PROADESS); o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB), criado em 2011; o Índice de Desempenho do SUS (IDSUS), criado em 2012 para monitorar o desempenho dos sistemas municipais e estaduais de saúde⁷7 Gragnolati M, Lindelow M, Couttolenc B. Twenty Years of Health System Reform in Brazil: An Assessment of the Sistema Único de Saúde. Directions in Development. Washington: World Bank; 2013.; o Programa de Qualificação das Ações de Vigilância em Saúde (PQA-VS), que vincula o alcance de metas ao repasse de um valor financeiro a estados e municípios, desde 2013⁸8 Brasil. Portaria nº 1.708, de 16 de agosto de 2013. Regulamenta o Programa de Qualificação das Ações de Vigilância em Saúde (PQAVS), com a definição de suas diretrizes, financiamento, metodologia de adesão e critérios de avaliação dos Estados, Distrito Federal e Municípios. Diário Oficial da União 2013; 16 ago..

No estado de Pernambuco, a Secretaria Executiva de Vigilância em Saúde (SEVS), desde 2011, instituiu algumas iniciativas para constituição de uma Política de Monitoramento Avaliação, articulada à gestão, ou seja, ao contexto político e decisório. Vale ressaltar, o Monitoramento do Desempenho da Gestão da Vigilância em Saúde, cuja finalidade é atuar como mecanismo de indução da qualificação e descentralização das ações de vigilância em saúde⁹9 Costa JMBS, Felisberto E, Bezerra LCA, Cesse EAP, Samico IC. Monitoramento do Desempenho da Gestão da Vigilância em Saúde: Instrumento e Estratégias de uso. Cien Saude Colet 2013; 18(5):1201-1216., os estudos avaliativos realizados por profissionais do serviço, como produto de cursos de pós-graduação ofertados pela Secretaria; e os processos de monitoramento específicos dos programas¹⁰10 Pernambuco. Secretaria Executiva de Vigilância em Saúde. Balanço da gestão 2011-2014. Pernambuco: Secretaria de Saúde; 2014..

Ainda que todas essas iniciativas levem em conta práticas de avaliação guiadas por uma política, considerando o pressuposto de que: “uma política de avaliação é qualquer regra ou princípio usado por um grupo ou uma organização para guiar suas decisões e ações ao realizar avaliações”¹¹11 Trochim WMK. Evaluation policy and evaluation practice. New Dir Eval 2009; 123:13-32., o desafio é a institucionalização dessas práticas¹²12 Felisberto E, Freese E, Natal S, Alves CKA. Contribuindo com a institucionalização da avaliação em saúde: uma proposta de auto-avaliação. Cad Saude Publica 2008; 24(9):2091-2102.. Políticas de avaliação devem ser sistematizadas, escritas e comunicadas a respeito do que pretendem fazer, que recursos devem ser investidos e quem são os responsáveis, para assim, serem implementadas de forma consciente e consequente¹¹11 Trochim WMK. Evaluation policy and evaluation practice. New Dir Eval 2009; 123:13-32.^,1313 Hartz Z. Do monitoramento do desempenho ao desempenho do monitoramento: novas oportunidades para a Avaliação na gestão da Vigilância em Saúde. Cien Saude Colet 2013; 18(5):1221-1222..

Nesta perspectiva, Cousins et al.¹⁴14 Cousins JB, Goh SC, Elliott C. Organizational Capacity to do and use evaluation: Results of a Pan-Canadian survey of evaluators. Can J Program Eval 2008; 23 (3):1-35. sugeriram elementos que expandem a capacidade organizacional de fazer e usar a avaliação como: capacidade de aprendizagem organizacional; estruturas organizacionais de apoio; capacidade de fazer avaliação; atividades de construção de capacidade avaliativa; tipos específicos de atividades de avaliação; participação das partes interessadas na avaliação; uso dos resultados da avaliação; uso do processo de avaliação; condições de mediar a utilização da avaliação.

Hunter e Nielsen¹1 Hunter DEK, Nielsen SB. Performance Management and Evaluation: Exploring Complementarities. New Dir Eval 2013; 137:7-17., em 2013, sistematizaram esses elementos denominando de Gestão do Desempenho - um conjunto de procedimentos que ajustam taticamente ações delineadas para garantir o alcance dos objetivos e metas. O modelo agrega 4 atributos: liderança; sistemas de responsabilidades e orçamento; sistemas de medição e monitoramento; e avaliação, como processos interligados que buscam assegurar a produção de valor organizacional e de governança pública¹1 Hunter DEK, Nielsen SB. Performance Management and Evaluation: Exploring Complementarities. New Dir Eval 2013; 137:7-17..

Muito se sabe sobre a importância de medir ou avaliar o desempenho das intervenções, como uma estratégia de qualificação contínua do processo de trabalho, com um bom número de teorias e artigos publicados¹⁵15 Battesini M. Método multidimensional para avaliação de desempenho da vigilância sanitária: uma aplicação em nível municipal [tese]. Porto Alegre: Universidade Federal do Rio Grande do Sul; 2008.

16 Sicotte C, Champagne F, Contandriopoulos AP, Barnsley J, Béland F, Leggat SG, Denis JL, Bilodeau H, Langley A, Brémond M, Baker GR. A conceptual framework for health care organizations Performance. Health Serv Manage Res 1998; 11:24-38.^-1717 Costa JMBS, Pessoa CEA, Samico IC, Carvalho EMF. Avaliação do desempenho estadual da vigilância em saúde de Pernambuco. Physis 2015; 25(4):1141-1163.. Todavia, pouco se conhece ou se sistematiza a respeito da gestão desse desempenho, enquanto estratégia para criar uma cultura de monitoramento e avaliação, com todos os elementos necessários para o sucesso desses esforços¹³13 Hartz Z. Do monitoramento do desempenho ao desempenho do monitoramento: novas oportunidades para a Avaliação na gestão da Vigilância em Saúde. Cien Saude Colet 2013; 18(5):1221-1222.^,1818 Mayne J. Building an evaluative culture. The key to effective evaluation and results management. Can J Program Eva 2010; 24(2):1-30..

Ante ao exposto, mesmo diante de algumas estratégias para institucionalização do monitoramento e a avaliação, faz-se necessário saber se os elementos necessários à gestão desses processos estão presentes.

O objetivo desse estudo foi analisar a lógica da política de monitoramento e avaliação constituída na SEVS, em Pernambuco, a partir dos elementos propostos para a Gestão do Desempenho, comparando-a com a Política de Monitoramento e Avaliação do governo canadense.

Método

Estudo de caso, qualitativo¹⁹19 Yin RK. Estudo de caso: planejamento e métodos. 3ª ed. Porto Alegre: Bookman; 2005., optando-se pela realização de uma pesquisa avaliativa, do tipo análise lógica²⁰20 Champagne F, Brousselle A, Contandriopoulos A-P, Hartz Z. L'analyse logique. In: Brousselle A, Champagne F, Contandriopoulos A-P, Hartz Z, organizadores. Concepts et méthodes d'évaluation des interventions. Montréal: Les Presses de l´Université de Montréal; 2009. p. 103-112., da Política de Monitoramento e Avaliação da Secretaria de Vigilância em Saúde de Pernambuco (SEVS), na gestão compreendida entre os anos de 2011 a 2014.

A SEVS é uma das seis Secretarias Executivas da Secretaria Estadual de Saúde de Pernambuco, no Brasil, responsável pelo conhecimento e controle dos determinantes, riscos e danos à saúde da população, com a finalidade de recomendar e adotar medidas de promoção, prevenção e controle. Esta Secretaria agrega a vigilância de doenças transmissíveis, agravos não transmissíveis, promoção da saúde, saúde do trabalhador, sistemas de informação, além das vigilâncias ambiental e sanitária, e do laboratório de saúde pública. As práticas de monitoramento e avaliação são transversais a todos os programas da SEVS²¹21 Pernambuco. Secretaria Executiva de Vigilância em Saúde [Internet]. [acessado 2018 Jul 10]. Disponível em: http://portal.saude.pe.gov.br/secretaria-executiva/secretaria-executiva-de-vigilancia-em-saude
http://portal.saude.pe.gov.br/secretaria... .

A análise lógica é uma avaliação orientada pela teoria, usando conhecimento científico disponível, provas científicas existentes ou conhecimentos especializados. Seu objetivo é identificar as melhores maneiras de se alcançar os efeitos desejados, identificando características importantes das intervenções e as condições críticas necessárias para facilitar sua implementação²⁰20 Champagne F, Brousselle A, Contandriopoulos A-P, Hartz Z. L'analyse logique. In: Brousselle A, Champagne F, Contandriopoulos A-P, Hartz Z, organizadores. Concepts et méthodes d'évaluation des interventions. Montréal: Les Presses de l´Université de Montréal; 2009. p. 103-112.^,2222 Rey L, Brousselle A, Dedobbeleer Q. Logic Analysis: Testing Program Theory to Better Evaluate Complex Interventions. Can J Program Eval 2012; 26(3):61-89..

Na estratégia da pesquisa, seguiram-se os três passos da análise lógica²²22 Rey L, Brousselle A, Dedobbeleer Q. Logic Analysis: Testing Program Theory to Better Evaluate Complex Interventions. Can J Program Eval 2012; 26(3):61-89.:

1. O desenho do modelo lógico: utilizou-se o referencial teórico de Gestão do Desempenho proposto por Hunter e Nielsen¹1 Hunter DEK, Nielsen SB. Performance Management and Evaluation: Exploring Complementarities. New Dir Eval 2013; 137:7-17., complementado pela estrutura conceitual proposta por Cousins et al.¹⁴14 Cousins JB, Goh SC, Elliott C. Organizational Capacity to do and use evaluation: Results of a Pan-Canadian survey of evaluators. Can J Program Eval 2008; 23 (3):1-35., que trata dos elementos necessários à expansão da capacidade organizacional de fazer e usar a avaliação.

O modelo lógico explicitou quatro componentes da Gestão do Desempenho, estabelecendo uma cadeia plausível entre a estrutura necessária, as atividades e os resultados esperados (curto, médio e longo prazos)¹⁸18 Mayne J. Building an evaluative culture. The key to effective evaluation and results management. Can J Program Eva 2010; 24(2):1-30., sendo: Monitoramento, no sentido de realizar os ajustes em tempo real, aprendendo com o trabalho e buscando caminhos para adaptar-se estrategicamente à condições emergentes; Avaliação para determinar o que está sendo feito e está sendo alcançado, como, quão bem, com qual finalidade e se tem se expressado em resultados mensuráveis ou impactos; Capacidade organizacional, cujo objetivo é o de desenvolver o conhecimento e as habilidades necessárias à realização da gestão do desempenho e uso adequado das informações; e o Compartillhamento e Uso da Informação produzida, para a garantia do uso dos processos e dos resultados do monitoramento e avaliação. A partir desses componentes foram delineados os outros elementos do modelo lógico (Figura 1).

2. Desenvolvimento do quadro conceitual: optou-se por utilizar a Política de Avaliação Canadense como uma intervenção comparativa, cuja evolução do desenvolvimento, em 30 anos de existência, foi descrita e analisada por Lahey²2 Lahey R. The Canadian M&E System: Lessons Learned from 30 years of Development. Washington: World Bank ECD; 2010., em 2010, e publicada pelo Independent Evaluation Group (IEG) do Banco Mundial. O documento utilizado fornece uma visão geral do sistema, delineando suas principais características, organização, atores e papéis chaves em todos os níveis, iniciativas de M&A²2 Lahey R. The Canadian M&E System: Lessons Learned from 30 years of Development. Washington: World Bank ECD; 2010..

3. Avaliação da teoria do programa: com base no modelo lógico, foi construída uma matriz de análise contendo os critérios avaliados (Quadro 1). Na análise, extraiu-se da fala dos entrevistados todas as evidências relevantes aos critérios estabelecidos¹⁹19 Yin RK. Estudo de caso: planejamento e métodos. 3ª ed. Porto Alegre: Bookman; 2005.. A matriz subsidiou a construção de um roteiro semiestruturado para a coleta de dados, a partir dos quais foram realizadas entrevistas com informantes-chave e analisados os documentos.

Os informantes-chave foram os 6 integrantes do colegiado gestor da SEVS, diretores e gerentes que detêm a visão estratégica da gestão; além de 4 gerentes de diretorias distintas, mesclando o olhar do grupo entrevistado. Além das entrevistas, foram analisados os seguintes documentos: Monitoramento do Desempenho da Gestão da Vigilância em Saúde, de 2014; Monitoramento do Desempenho da Gestão da Vigilância em Saúde Pernambuco 2012 a 2015; Oficina de Monitoramento do Desempenho da Gestão Regional da Vigilância em Saúde, de 2012. A coleta de dados foi realizada nos meses de julho e agosto de 2017.

O presente estudo foi aprovado pelo Comitê de Ética em Pesquisa do Instituto de Medicina Integral Prof. Fernando Figueira (IMIP).

Resultados e discussão

A princípio, é necessário demarcar as intervenções comparadas nesse estudo, no sentido de aproximar a atuação dos níveis organizacionais para a análise da gestão do desempenho. Do Sistema de Monitoramento e Avaliação Canadense foram utilizados os departamentos federais, aqui denominados departamentos canadenses (DC), por se assemelharem à conformação de uma Secretaria Executiva, neste caso, a SEVS.

Embora o termo Gestão do desempenho não se expresse nas falas e documentos, tal como abordado por Hunter e Nielsen¹1 Hunter DEK, Nielsen SB. Performance Management and Evaluation: Exploring Complementarities. New Dir Eval 2013; 137:7-17., ele é explicitado, na medida em que a mobilização da estrutura e a condução dos processos na intervenção estudada, seja com base no monitoramento, de “enfoque gerencial e normativo”; ou na avaliação, de “natureza estratégica e investigativa”¹³13 Hartz Z. Do monitoramento do desempenho ao desempenho do monitoramento: novas oportunidades para a Avaliação na gestão da Vigilância em Saúde. Cien Saude Colet 2013; 18(5):1221-1222., promovem as reflexões e ajustes contínuos e necessários ao alcance das metas, contribuindo para a institucionalização dessas práticas, conforme Quadro 2.

Ao comparar os Objetivos, as duas intervenções buscam, nas práticas de monitoramento e avaliação, fontes essenciais de informação para a qualificação da gestão e a tomada de decisão, por meio do desenvolvimento da capacidade técnica e valorização do aprendizado²³23 Champagne F, Brousselle A, Hartz Z, Contandriopoulos AP. La modélisation des interventions. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz Z, organizadores. Concepts et méthodes d'évaluation des interventions. Montreal: Les Presses de l'Université de Montréal; 2009. p. 57-72.^,2424 Cruz MM. Avaliação de Políticas e Programas de Saúde: contribuições para o debate. In: Mattos RA, Baptista TWF, organizadores. Caminhos para análise das políticas de saúde. Porto Alegre: Rede UNIDA; 2015.. Ambas prezam pela transparência e “imparcialidade” das informações produzidas, o que é compreensível pela proximidade dos envolvidos com os objetos desses processos, porém revela uma controvérsia com os autores que discorrem sobre a avaliação sobre a isenção de neutralidade no juízo de valor, por estar inserido num contexto organizacional/político, e revestido de intencionalidades e valores²⁴24 Cruz MM. Avaliação de Políticas e Programas de Saúde: contribuições para o debate. In: Mattos RA, Baptista TWF, organizadores. Caminhos para análise das políticas de saúde. Porto Alegre: Rede UNIDA; 2015.

25 Hartz ZMA. Explorando novos caminhos na pesquisa avaliativa das ações de saúde. In: Hartz ZMA, organizadora. Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Ed. Fiocruz; 1997. p. 19-28.^-2626 Feliciano KVO. A relação entre o avaliador e o objeto avaliado. Rev Bras Saude Mater Infant 2005; 5(Supl. 1):s83-s92..

Com relação ao componente Estrutura Organizacional, a política de avaliação de ambas está alinhada com uma diretriz maior de governo, embora a SEVS não possua um documento normatizado que explicite o arcabouço geral das suas práticas. Outra questão que as diferencia é o fato dos DC contarem com uma liderança central do governo no fomento e supervisão da política, o que não acontece na SEVS. Líderes e gerentes operacionais; um sistema de responsabilidades, definindo as atribuições dos envolvidos; e uma unidade de M&A, são identificados nas duas propostas. No sistema canadense foi constituído um Comitê de Avaliação, cujas atribuições na SEVS são exercidas no colegiado gestor: determinar prioridades, acompanhar o desenvolvimento das atividades, revisar a aprovar os planos e relatórios. Ambas destinam orçamento para o M&A. Todas essas questões relacionadas à estruturação e formalização do M&A foram defendidas por Mayne¹⁸18 Mayne J. Building an evaluative culture. The key to effective evaluation and results management. Can J Program Eva 2010; 24(2):1-30., Mehrotra²⁷27 Mehrotra S. Monitoring, evaluation and performance management in South Asia: The challenge of building capacity. Evaluation 2013; 19:74-84., Nielsen e Hunter²⁸28 Nielsen SB, Hunter DEK. Challenges to and forms of complementarity between performance management and evaluation. New Dir Eval 2013; 137:115-123., e são determinantes para a efetivação da gestão do desempenho.

Quanto ao Monitoramento, de forma geral, observam-se similaridades nas duas intervenções, com o desenvolvimento de macro e micro estratégias. Na SEVS, o Monitoramento do Desempenho da Gestão da Vigilância em Saúde é transversal a todos os programas, e foi instituído a partir do desenho do modelo lógico da Gestão da Vigilância em Saúde por atores-chave do serviço e especialistas, com definição de indicadores traçadores dos programas e representativos das ações delineadas nos componentes, etapas importantes para a elucidação e consenso do que vai ser monitorado²⁰20 Champagne F, Brousselle A, Contandriopoulos A-P, Hartz Z. L'analyse logique. In: Brousselle A, Champagne F, Contandriopoulos A-P, Hartz Z, organizadores. Concepts et méthodes d'évaluation des interventions. Montréal: Les Presses de l´Université de Montréal; 2009. p. 103-112.^,2929 Bezerra LCA, Cazarin G, Alves CKA. Modelagem de programas: da teoria à operacionalização. In: Samico I, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em saúde: bases conceituais e operacionais.1 ed.Rio de Janeiro: Medbook, 2010, v.1, p. 65-78.. Com base nessa construção, um painel foi elaborado para o monitoramento trimestral do desempenho das gestões estadual e municipais, promovendo diálogo entre os programas e traçando encaminhamentos que viabilizassem o alcance das metas⁹9 Costa JMBS, Felisberto E, Bezerra LCA, Cesse EAP, Samico IC. Monitoramento do Desempenho da Gestão da Vigilância em Saúde: Instrumento e Estratégias de uso. Cien Saude Colet 2013; 18(5):1201-1216.. A interação e cooperação entre os atores (Secretário Executivo, assessores, diretores e gerentes dos programas, unidade de avaliação) promoveram uma influência coletiva na institucionalização desse processo¹²12 Felisberto E, Freese E, Natal S, Alves CKA. Contribuindo com a institucionalização da avaliação em saúde: uma proposta de auto-avaliação. Cad Saude Publica 2008; 24(9):2091-2102.^,3030 Hartz ZMA, Denis JL, Moreira E, Matida A. From knowledge to action: challenges and opportunities for increasing the use of evaluation in health promotion policies and practices. In: McQueen DV, Potvin L, editores. Health promotion evaluation practices in the Americas: values and research. New York: Springer; 2008. p. 101-120., fazendo com que alguns programas, por iniciativa própria e com o apoio da unidade de avaliação, elaborassem seus instrumentos para monitoramento de indicadores mais operacionais.

No sistema canadense, para o monitoramento do desempenho, um “modelo macro lógico” foi desenhado, explicitando como todos os programas estão interligados aos resultados departamentais, com definição de indicadores que representam elementos chave do desempenho. Nos programas, foi realizado o mesmo movimento, com o delineamento dos modelos lógicos individuais²⁰20 Champagne F, Brousselle A, Contandriopoulos A-P, Hartz Z. L'analyse logique. In: Brousselle A, Champagne F, Contandriopoulos A-P, Hartz Z, organizadores. Concepts et méthodes d'évaluation des interventions. Montréal: Les Presses de l´Université de Montréal; 2009. p. 103-112.^,2929 Bezerra LCA, Cazarin G, Alves CKA. Modelagem de programas: da teoria à operacionalização. In: Samico I, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em saúde: bases conceituais e operacionais.1 ed.Rio de Janeiro: Medbook, 2010, v.1, p. 65-78.. Não há detalhes sobre como esse processo se dá nos departamentos e programas.

O componente Avaliação se configurou de forma diferente na SEVS e nos DC, embora os dois precisem, em maior amplitude, tornar as informações do monitoramento acionáveis à avaliação³¹31 Lahey R, Nielsen SB. Rethinking the relationship among monitoring, evaluation, and results-based management: observations from Canada. New Dir Eval 2013; 137:45-56.^,3232 Felisberto E, Freese E, Bezerra LCA, Alves CKA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad Saude Publica 2010; 26(6):1079-1095.. Houve uma “complementariedade metódica”²⁸28 Nielsen SB, Hunter DEK. Challenges to and forms of complementarity between performance management and evaluation. New Dir Eval 2013; 137:115-123. entre as duas propostas. No Canadá, existem práticas e instrumentos na rotina que contribuem com a sustentabilidade da avaliação²⁹29 Bezerra LCA, Cazarin G, Alves CKA. Modelagem de programas: da teoria à operacionalização. In: Samico I, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em saúde: bases conceituais e operacionais.1 ed.Rio de Janeiro: Medbook, 2010, v.1, p. 65-78.. Um plano quinquenal é elaborado, onde os chefes adjunto e de avaliação definem as prioridades da avaliação para cada ano, que passam pela aprovação do Comitê Sênior. Via de regra, os objetos das avaliações são os programas e são realizadas pelas unidades internas, não configurando avaliações formais. Já na SEVS, os estudos avaliativos estão vinculados a cursos de pós-graduação, o que lhes confere formalidade; e embora não haja planejamento sistemático de prioridades, sugerindo uma característica de pontualidade, elas foram definidas conjuntamente, pelos pesquisadores, que eram gestores ou técnicos do serviço, e pela equipe das áreas técnicas que eles integravam, considerando o contexto e necessidades da gestão³³33 Hanney SR, Gonzalez-Block M, Buxton MJ, Kogan M. The utilisation of Health research in policy-making: concepts, examples and methods of assessment. Health Res Policy Syst 2003; 1(1):1-28.^,3434 Hartz Z. Contextualizando a implantação das intervenções e da avaliação em saúde: um ensaio pragmático. In: Samico I, Felisberto E, Frias PG, Espírito Santo ACG, Hartz Z. Formação Profissional e Avaliação em Saúde - Desafios na Implantação de Programas. Rio de Janeiro: MedBook; 2013. p. 3-17.. Logo, ao tempo que os profissionais tinham a oportunidade de dar continuidade à sua formação, instrumentalizavam-se para defender, usar e compartilhar a avaliação³⁵35 Graham ID, Logan J, Harrison MB, Straus SE, Tetroe J, Caswell W, Robinson N. Lost in Knowledge Translation: Time for a Map? J Contin Educ Health Prof 2006; 26(1):13-24..

No componente Capacidade Institucional, várias questões foram abordadas. As duas políticas valorizam e incentivam o desenvolvimento contínuo das competências relacionadas ao M&A, como enfatizam Cousins et al.¹⁴14 Cousins JB, Goh SC, Elliott C. Organizational Capacity to do and use evaluation: Results of a Pan-Canadian survey of evaluators. Can J Program Eval 2008; 23 (3):1-35. numa estrutura conceitual para fazer e usar a avaliação. Porém, o “foco na aprendizagem” foi divergente: nos DC há distinção no nível de treinamento, sendo mais avançado para os avaliadores, e básico para os gerentes de programas. Tanto o governo, quanto associações de avaliadores e universidades são responsáveis pela construção da capacidade avaliativa. Na SEVS, o investimento feito na formação dos profissionais, tanto a capacitação em serviço, quanto no incentivo e oferta de cursos básicos, especialização e mestrado na área, foi uma diretriz transversal a todos os envolvidos¹⁸18 Mayne J. Building an evaluative culture. The key to effective evaluation and results management. Can J Program Eva 2010; 24(2):1-30.^,2727 Mehrotra S. Monitoring, evaluation and performance management in South Asia: The challenge of building capacity. Evaluation 2013; 19:74-84..

A finalidade precípua do acompanhamento/supervisão do trabalho, tem sido, tanto na SEVS, quanto nos DC, a busca permanente pela credibilidade e legitimidade dos processos, o que de acordo com Cruz²⁴24 Cruz MM. Avaliação de Políticas e Programas de Saúde: contribuições para o debate. In: Mattos RA, Baptista TWF, organizadores. Caminhos para análise das políticas de saúde. Porto Alegre: Rede UNIDA; 2015. demanda grande esforço na escolha dos métodos e abordagens mais adequados. Esse acompanhamento mais amiúde, no sentido de garantir a confiabilidade das informações e efetividade do processo, na SEVS é feito no monitoramento do desempenho da gestão; enquanto que nos DC, parece estar mais relacionado às avaliações.

Quanto à responsabilização e trabalho em equipe, na SEVS há uma multiplicidade de atores e valores envolvidos, com variados níveis de conhecimento e influência, o que para DeGroff e Cargo³⁶36 DeGroff A, Cargo M. Policy implementation: Implications for evaluation. New Dir Eval 2009; 124:47-60 e Hojlund³⁷37 Hojlund S. Evaluation use in the organizational context - changing focus to improve theory. Evaluation 2014; 20(1):26-4.3 propicia níveis de acedência diferentes entre os propulsores da ação. Alguns programas inseriram o M&A no seu processo de trabalho, refletindo sobre como essas práticas podem contribuir para nortear e aperfeiçoar suas ações. Outros, entendem a importância, demonstram interesse em colocar na rotina, mas não conseguem, seja por dificuldade de diálogo com a equipe sobre o tema, seja por não priorizar essas atividades nas agendas. E por último, poucos envolvidos adotaram as práticas coercitivamente, cumprindo as etapas pela “pressão” organizacional, mas dissociada do seu trabalho cotidiano, por não valorizarem, ou não conseguirem se ver no processo. Nos DC, os gerentes de programas, avaliadores e o comitê sênior são responsáveis pela integração do M&A na tomada de decisão do departamento e no estímulo a uma cultura de resultados. Não há relatos sobre as atitudes dos profissionais, porém foi citado no documento que o fato dos gerentes serem envolvidos no planejamento dos projetos, faz com que eles se sintam responsáveis por implementar as recomendações sugeridas.

As duas políticas possuem regras e expectativas bem definidas, com a diferença de que na SEVS, as regras são estabelecidas pelo secretário executivo com o colegiado gestor, enquanto que nos DC, as competências, normas e padrões de M&A são definidos na agência central, e não nos departamentos. As expectativas são distintas, uma vez que na SEVS pretende-se avançar na tecnologia e qualidade da informação, construindo ferramentas que disponibilizem a informação em tempo real para agilizar a tomada de decisão dos gestores; e também, instituir a avaliação como pauta no planejamento e rotina da Secretaria, como já debatido por Hartz¹³13 Hartz Z. Do monitoramento do desempenho ao desempenho do monitoramento: novas oportunidades para a Avaliação na gestão da Vigilância em Saúde. Cien Saude Colet 2013; 18(5):1221-1222.. Já nos DC espera-se que o M&A cumpra seu papel de explicitar como os departamentos estão funcionando; e traz uma expectativa não realista de que o produto dessas práticas consiga sempre atender às necessidades políticas, quando na verdade, Cousins et al.¹⁴14 Cousins JB, Goh SC, Elliott C. Organizational Capacity to do and use evaluation: Results of a Pan-Canadian survey of evaluators. Can J Program Eval 2008; 23 (3):1-35. e Hartz³⁴34 Hartz Z. Contextualizando a implantação das intervenções e da avaliação em saúde: um ensaio pragmático. In: Samico I, Felisberto E, Frias PG, Espírito Santo ACG, Hartz Z. Formação Profissional e Avaliação em Saúde - Desafios na Implantação de Programas. Rio de Janeiro: MedBook; 2013. p. 3-17. defendem que o contexto deve balizar o que, quando e como elas podem ser utilizadas.

A flexibilidade e ajustes sistemáticos são imprescindíveis, já que o objetivo do M&A é ser indutor de mudanças e promover melhorias contínuas, conforme destacado por Costa et al.⁹9 Costa JMBS, Felisberto E, Bezerra LCA, Cesse EAP, Samico IC. Monitoramento do Desempenho da Gestão da Vigilância em Saúde: Instrumento e Estratégias de uso. Cien Saude Colet 2013; 18(5):1201-1216., e os dois sistemas parecem estar sensíveis às necessidades de adaptação. É importante destacar na SEVS, o processo de aceitação dos profissionais, no que se refere à utilização de novos conceitos de monitoramento e avaliação, que não fossem apenas voltados para os indicadores epidemiológicos. O monitoramento de indicadores de estrutura e processo possibilitou desvendar as competências da vigilância em saúde no alcance das metas dos indicadores epidemiológicos, que geralmente estão relacionados aos resultados. Nos DC, a experiência acumulada pela política de M&A desde a sua formalização, tem facilitado a realização dos ajustes, inclusive na estrutura de desempenho dos departamentos.

O Compartilhamento e uso das informações são discutidos por vários autores³⁸38 Rogers E. Diffusion of innovations. 5ª ed. New York: Free Press; 2003.

39 O'Toole LJ. Research on policy implementation: Assessment and prospects. J Public Adm Res Theory 2000; 10(2):263-288.

40 Davison CM. Knowledge translation: Implications for evaluation. New Dir Eval 2009; 124:75-87.^-4141 Ottoson JM. Knowledge-for-action theories in evaluation: Knowledge utilization, diffusion, implementation, transfer, and translation. New Dir Eval 2009; 124:7-20., podendo ser feito de várias formas (compartilhamento, transferência, difusão, disseminação, translação, implementação), a depender do tipo de informação, do conhecimento que se queira transformar em ação, do público e do contexto. Na SEVS, as informações produzidas pelo monitoramento do desempenho foram compartilhadas com os programas; com o nível regional; municípios e instituições de ensino e pesquisa. Houve translação do conhecimento produzido pelas avaliações, os programas relacionados aos objetos dos estudos usaram e aplicaram as informações para realizar mudanças. Já nos DC, a difusão e disseminação das informações alcançam uma maior amplitude, uma vez que os relatórios são enviados para a agência central, parlamento, e são divulgados na mídia. Internamente, os relatórios são transformados em planos de ação, dando concretude às recomendações.

Alguns Resultados alcançados foram relatados pelos entrevistados ou citados nos documentos. Na SEVS, as mudanças promovidas pelo M&A estiveram relacionadas a melhorias estruturais (contratação de profissionais, compra de insumos e equipamentos) e do processo de trabalho (qualificação dos profissionais e dos sistemas de informação). Considera-se que haja uma cultura de monitoramento na SEVS, porém a avaliação precisa ser institucionalizada, com definição de fluxos e papéis, independente do interesse dos profissionais em dar continuidade à sua formação. Nos DC, as mudanças promovidas pelo M&A embasam as melhorias nos programas, todavia é a qualificação dos gastos e do financiamento que os diferencia da SEVS. A renovação das contribuições e das doações, também é justificada pelos resultados das avaliações.

Há evidências de que o contexto político e organizacional (condições, agentes, interações e aprendizagem) foi favorável ao M&A na rotina do serviço³⁴34 Hartz Z. Contextualizando a implantação das intervenções e da avaliação em saúde: um ensaio pragmático. In: Samico I, Felisberto E, Frias PG, Espírito Santo ACG, Hartz Z. Formação Profissional e Avaliação em Saúde - Desafios na Implantação de Programas. Rio de Janeiro: MedBook; 2013. p. 3-17., embora a legitimidade e o espaço ocupado nos mais de trinta anos de política canadense os coloquem em outro patamar. Todos os elementos do modelo lógico desenhado, com base no conceito de Gestão do Desempenho proposto por Hunter e Nielsen¹1 Hunter DEK, Nielsen SB. Performance Management and Evaluation: Exploring Complementarities. New Dir Eval 2013; 137:7-17. e nas contribuições de Cousins et al.¹⁴14 Cousins JB, Goh SC, Elliott C. Organizational Capacity to do and use evaluation: Results of a Pan-Canadian survey of evaluators. Can J Program Eval 2008; 23 (3):1-35., foram preenchidos. Todavia, enquanto a avaliação teve grande destaque no modelo canadense, o monitoramento constitui-se no principal eixo condutor da institucionalização das práticas avaliativas na SEVS.

Conclusões

Não é raro as organizações reconhecerem as contribuições da avaliação, enquanto campo de conhecimento, para o desenvolvimento e melhoria das políticas de saúde. Apesar de haver evidências de iniciativas institucionais de monitoramento e avaliação, a gestão do desempenho, agregando a elas os atores, suas características, e o conjunto de recursos necessários, deve ser o foco dos gestores que buscam sedimentar essas práticas.

A realização da análise lógica cumpriu uma etapa importante para a implementação da Política de Avaliação da Vigilância em Saúde, por ser uma intervenção inovadora, e, portanto, precisar de diretrizes que as norteie. O desenho do modelo lógico com base na Gestão do Desempenho ofereceu esse aparato teórico, deixando claras suas fragilidades e permitindo a identificação de alternativas para o alcance dos efeitos esperados, quando comparada com a Política canadense, considerada modelo²²22 Rey L, Brousselle A, Dedobbeleer Q. Logic Analysis: Testing Program Theory to Better Evaluate Complex Interventions. Can J Program Eval 2012; 26(3):61-89..

O desenvolvimento de uma cultura avaliativa na SEVS tem exigido esforços institucionais, especialmente por parte dos gestores, no encorajamento, implementação e apoio ao M&A. O monitoramento do desempenho da gestão da vigilância em saúde, numa abordagem mais sistemática, estruturada e orientada para resultados, tem como desafios a qualificação contínua do seu sistema de responsabilização, convencendo mais atores a aumentar a “teia”; e o suporte que deve ser dado à avaliação, apontando as necessidades de estudos mais aprofundados, a partir das informações produzidas. A avaliação, por sua vez, precisa ser pautada no nível mais estratégico e decisor, não apenas para viabilizar as pesquisas, mas fazendo sua gestão, como parte do desempenho que se persegue.

Algumas lições aprendidas da política de M&A canadense podem ser recomendadas, nesse sentido: a criação de uma unidade de avaliação exclusiva e autônoma; estabelecimento de uma Política de Avaliação institucional; desenvolvimento de um plano de avaliação, estabelecendo prioridades anuais; instituição um comitê de avaliação para supervisionar a condução das avaliações e rever/aprovar o uso os planos de avaliação, relatórios; e acompanhamento das avaliações pelos diretores e gerentes²2 Lahey R. The Canadian M&E System: Lessons Learned from 30 years of Development. Washington: World Bank ECD; 2010..

Por fim, mesmo que a gestão do desempenho esteja implantada no seu modelo ideal, as práticas de monitoramento e avaliação só serão legitimadas nos processos de gestão, se forem provados, “(meta) avaliando, que efeitos ou impactos podem ser imputados, como contribuição de suas ações ou práticas avaliativas, e a que custo”¹³13 Hartz Z. Do monitoramento do desempenho ao desempenho do monitoramento: novas oportunidades para a Avaliação na gestão da Vigilância em Saúde. Cien Saude Colet 2013; 18(5):1221-1222.. Sugere-se tomar a avaliação da contribuição das práticas do sistema de gestão de desempenho da SEVS sobre o desempenho da Vigilância em Saúde, e o custo de tudo isso, como objetos prioritários dos próximos estudos (meta)-avaliativos.

Referências

Datas de Publicação

Histórico