Resumos

Introdução

Desenvolver capacidade avaliativa significa promover a competência dos atores em desenhar, conduzir e utilizar a avaliação, além de garantir a sua sustentabilidade por meio de um contexto organizacional ¹1 . Cousins JB, Amo C, Bourgeois I, Chouinard J, Goh SC, Lahey R. Organizational capacity to do and use evaluation: results of a Pan-Canadian survey of evaluators. Canadian Journal of Program Evaluation 2008; 23:1-35.^,22 . Bourgeois I, Chouinard JA, Cousins JB. Understanding organizational capacity for evaluation: synthesis and integration. Canadian Journal of Program Evaluation 2008; 23:225-37.. A capacidade de fazer e utilizar uma avaliação são efeitos desejáveis em uma intervenção que pretende promover o espírito avaliativo em seus atores institucionais.

A “capacidade de fazer” inclui as atividades de planejar e estruturar uma avaliação, conduzir a coleta de dados e sua análise, comunicar os seus achados. A “capacidade de utilizar” inclui fazer uso dos resultados na tomada de decisão e desenvolver habilidades e pensamento avalia- tivo ¹1 . Cousins JB, Amo C, Bourgeois I, Chouinard J, Goh SC, Lahey R. Organizational capacity to do and use evaluation: results of a Pan-Canadian survey of evaluators. Canadian Journal of Program Evaluation 2008; 23:1-35.. Tais efeitos dependem de um contexto organizacional favorável para acontecer, dimensionado por estruturas de suporte¹1 . Cousins JB, Amo C, Bourgeois I, Chouinard J, Goh SC, Lahey R. Organizational capacity to do and use evaluation: results of a Pan-Canadian survey of evaluators. Canadian Journal of Program Evaluation 2008; 23:1-35. e cultura organizacional ³3 . King JA. Developing evaluation capacity through process use. New Directions for Evaluation 2007; 116:45-59.^,44 . Bourgeois I, Cousins JB. Understanding dimensions of organizational evaluation capacity. American Journal of Evaluation 2013; 34:299-319..

Estruturas de suporte são os recursos humanos, físicos e financeiros disponibilizados pela organização, os quais interferem na construção da capacidade avaliativa. A cultura organizacional refere-se ao conjunto de normas subjetivas de comportamento coletivo refletidos nas práticas ³3 . King JA. Developing evaluation capacity through process use. New Directions for Evaluation 2007; 116:45-59.^,44 . Bourgeois I, Cousins JB. Understanding dimensions of organizational evaluation capacity. American Journal of Evaluation 2013; 34:299-319.. Uma cultura aberta a mudanças valoriza a informação, oportuniza implantação de novas ideias e estimula a aprendizagem contínua e o pensamento crítico. A cultura avaliativa insere-se na cultura organizacional e, quando é incipiente, apresenta incoerências – reúne informações, mas limita o seu uso; reconhece a necessidade de aprender, contudo não oferece oportunidades para isso; determina a avaliação como rotina e desencoraja os desafios e as relações de risco ⁵5 . Mayne J. Building an evaluative culture for effective evaluation and results management. Rome: Institutional Learning and Change Initiative; 2008. (ILAC Working Paper, 8)..

Resultados satisfatórios para o desenvolvimento da capacidade avaliativa são mais frequentemente observados nas avaliações baseadas na participação dos interessados, com caráter formativo, que buscam contribuir para o aprendizado, compor soluções e colocá-las em prática com base na perspectiva daqueles que estão diretamente ligados à intervenção ou serão beneficiados ⁶6 . Tamaki E, Barbieri AR, Cazola LHO, Andrade SMO, Tanaka OY. A incorporação da avaliação da atenção básica no nível estadual do Sistema Único de Saúde através de processos participativos de ensino-aprendizagem-trabalho. Rev Bras Saúde Matern Infant 2010; 10 Suppl 1:S201-8.^,77 . Felisberto E, Freese E, Bezerra LCA, Alves CKA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad Saúde Pública 2010; 26:1079-95.^,88 . Alves CKA, Carvalho EF, Cesse EAP, Natal S, Bezerra LCA, Felisberto E. Análise da implantação de um programa com vistas à institucionalização da avaliação em uma Secretaria Estadual de Saúde. Rev Bras Saúde Matern Infant 2010; 10 Suppl 1: S145-56.. O desenvolvimento da cultura avaliativa requer a qualificação da capacidade técnica, a articulação com a gestão e o suporte à formulação de políticas, ao processo de decisão e à formação dos envolvidos ⁷7 . Felisberto E, Freese E, Bezerra LCA, Alves CKA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad Saúde Pública 2010; 26:1079-95.. A apresentação de casos exemplares e o compartilhamento das lições aprendidas permitem identificar fortalezas e limites, além de servirem como subsídio aos gestores e interessados para avançar no tema da institucionalização da avaliação na atenção básica, por meio do aumento da capacidade avaliativa da organização.

O presente artigo analisa o desenvolvimento da capacidade avaliativa em um caso exemplar de uma Secretaria de Estado da Saúde na Região Sul do Brasil, que apresentou resultado satisfatório na sua análise de implantação ⁷7 . Felisberto E, Freese E, Bezerra LCA, Alves CKA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad Saúde Pública 2010; 26:1079-95.^,88 . Alves CKA, Carvalho EF, Cesse EAP, Natal S, Bezerra LCA, Felisberto E. Análise da implantação de um programa com vistas à institucionalização da avaliação em uma Secretaria Estadual de Saúde. Rev Bras Saúde Matern Infant 2010; 10 Suppl 1: S145-56.. O caso descrito está inserido no contexto de indução da cultura avaliativa no Sistema Único de Saúde (SUS), descrito na Política Nacional de Monitoramento e Avaliação da Atenção Básica, e é um dos produtos do projeto de Fortalecimento das Secretarias Estaduais de Saúde em Monitoramento e Avaliação ⁹9 . Coordenação de Acompanhamento e Avaliação, Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Avaliação na atenção básica em saúde, caminhos da institucionalização. Brasília: Ministério da Saúde; 2005.. A imagem-objetivo do projeto é a institucionalização da avaliação nas secretarias estaduais de saúde e o fortalecimento da capacidade técnica em monitoramento e avaliação nas secretarias municipais de saúde. Conta com apoio financeiro do Banco Mundial, por intermédio do Componente III do Projeto de Expansão e Consolidação Saúde da Família (PROESF). A Portaria GM/MS n^o 1.155, de 11 de junho de 2004 ¹⁰10 . Ministério da Saúde. Portaria GM/MS no 1.155, de 11 de junho de 2004. Aprova, habilita e estabelece valores aos Estados para participarem do Projeto de Expansão e Consolidação do Saúde da Família – PROESF. Diário Oficial da União 2004; 14 jun., designou a habilitação do Plano Estadual e os valores do repasse financeiro para os estados. As unidades federadas deveriam contratar um centro colaborador, necessariamente uma instituição de pesquisa ou ensino, para a elaboração da proposta metodológica e início das atividades.

A Secretaria de Estado da Saúde de Santa Catarina (SES-SC) contratou a Universidade Federal de Santa Catarina (UFSC) como centro colaborador para prestar o apoio técnico operacional, com início em 2004 e continuidade até o ano de 2006. Um dos produtos foi o Modelo para Avaliação da Gestão da Atenção Básica, que vem sendo aplicado de forma contínua desde o ano de 2008, em todos os municípios do estado (Núcleo de Extensão e Pesquisa em Avaliação em Saúde. Relatório Final da Primeira Fase de Atividades do Centro Colaborador. Projeto de Fortalecimento da Capacidade Técnica de Monitoramento e Avaliação das Secretarias Estaduais de Saúde. Florianópolis; 2006) ¹¹11 . Secretaria de Estado da Saúde de Santa Catarina. Resultados das avaliações. http//www.saude.sc.gov.br (acessado em Jul/2011).
http//www.saude.sc.gov.br... ^,1212 . Núcleo de Extensão e Pesquisa em Avaliação em Saúde, Universidade Federal de Santa Catarina. Relatório atenção básica: metodologia. http://www.nepas.ufsc.br. (acessado em Jun/2011).
http://www.nepas.ufsc.br... . Os objetivos de implantação da proposta foram os seguintes: desenvolver um modelo de avaliação da atenção básica de pronta resposta ao gestor, realizar as avaliações em 100% dos municípios, identificar os pontos críticos da atenção básica e divulgar o processo e resultados de forma compreensível aos gestores, técnicos e sociedade civil. Os objetivos de curto prazo visaram a aumentar a capacidade avaliativa e institucionalizar a avaliação; os de médio e longo prazo, obter melhorias na gestão da atenção básica e melhorias sociais em saúde.

O modelo de avaliação considerou duas dimensões: gestão do sistema municipal de saúde, que reflete a capacidade do gestor de promover o acesso aos serviços de atenção básica; provimento da atenção básica, que corresponde à garantia da assistência à saúde conforme os princípios de universalidade e integralidade. A primeira dimensão é composta pelas subdimensões atuação intersetorial, participação popular, recursos humanos e infra-estrutura, com um total de 16 indicadores. A dimensão de provimento da atenção básica, com as subdimensões promoção/prevenção e diagnóstico/tratamento, tem como focos a criança, o adolescente, o adulto e o idoso, com um total de 24 indicadores. São ao todo 40 indicadores, calculados com base em dados secundários dos sistemas oficiais do SUS e em dados primários declaratórios coletados anualmente pela SES-SC por meio de um formulário eletrônico ¹¹11 . Secretaria de Estado da Saúde de Santa Catarina. Resultados das avaliações. http//www.saude.sc.gov.br (acessado em Jul/2011).
http//www.saude.sc.gov.br... .

O modelo de avaliação propõe revisões a partir dos resultados observados em cada aplicação, com a finalidade de substituir indicadores não discriminatórios, incluir indicadores de políticas prioritárias, induzir a implantação de novas ações e programas. Essas revisões são realizadas desde 2008, em oficinas de trabalho com participação dos técnicos e gerentes da SES-SC e apoio de professores do centro colaborador. Os resultados das avaliações são divulgados em página institucional e em seminário anual do qual participam todos os municípios do estado ¹¹11 . Secretaria de Estado da Saúde de Santa Catarina. Resultados das avaliações. http//www.saude.sc.gov.br (acessado em Jul/2011).
http//www.saude.sc.gov.br... ^,1212 . Núcleo de Extensão e Pesquisa em Avaliação em Saúde, Universidade Federal de Santa Catarina. Relatório atenção básica: metodologia. http://www.nepas.ufsc.br. (acessado em Jun/2011).
http://www.nepas.ufsc.br... .

Destaque-se que o objeto da análise apresentada não é o modelo de avaliação desenvolvido, mas sim o desenvolvimento da capacidade avaliativa em atenção básica a partir das ações do projeto de Fortalecimento das Secretarias Estaduais de Saúde em Monitoramento e Avaliação, no caso específico da SES-SC.

Metodologia

O estudo, de abordagem mista e caráter exploratório, tem como caso uma Secretaria de Estado da Saúde da Região Sul do país, participante do Projeto de Fortalecimento da Capacidade Técnica das Secretarias Estaduais de Saúde em Monitoramento e Avaliação da Atenção Básica, componente III do PROESF.

As informações qualitativas são provenientes de documentos e entrevistas. A coleta dos documentos foi feita por solicitação à SES e ao centro colaborador, assim como por pesquisa nas páginas eletrônicas das duas instituições, sendo o critério de inclusão a relação com o caso e a pertinência para determinar o seu contexto. Oito documentos foram selecionados: Portaria do Ministério da Saúde ¹⁰10 . Ministério da Saúde. Portaria GM/MS no 1.155, de 11 de junho de 2004. Aprova, habilita e estabelece valores aos Estados para participarem do Projeto de Expansão e Consolidação do Saúde da Família – PROESF. Diário Oficial da União 2004; 14 jun., publicações oficiais ⁹9 . Coordenação de Acompanhamento e Avaliação, Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Avaliação na atenção básica em saúde, caminhos da institucionalização. Brasília: Ministério da Saúde; 2005.^,1313 . Secretaria do Estado da Saúde. Seleção baseada na qualidade e custo no 01/2006, manifestação de interesse. http://www.saude.sc.gov.br (acessado em Nov/2011).
http://www.saude.sc.gov.br... , Ata do Conselho Estadual de Saúde ¹⁴14 . Secretaria de Estado da Saúde; Conselho Estadual de Saúde. Ata da 129a Reunião Ordinária do Conselho Estadual de Saúde. Florianópolis: Conselho Estadual de Saúde; 2006., Deliberação da Comissão Intergestores Bipartite (CIB) ¹⁵15 . Secretaria de Estado da Saúde; Comissão Intergestores Bipartite. Ata da 142a Reunião Ordinária da Comissão Intergestores Bipartite. Florianópolis: Secretaria de Estado da Saúde; 2009. e relatórios do centro colaborador Núcleo de Extensão e Pesquisa em Avaliação em Saúde: (1) Relatório final da primeira fase de atividades do centro colaborador. Projeto de Fortalecimento da Capacidade Técnica de Monitoramento e Avaliação das Secretarias Estaduais de Saúde. Florianópolis, 2006; (2) Relatório final da consultoria. Florianópolis, 2007; (3) Relatório final de atividades do centro colaborador. Projeto de Fortalecimento da Capacidade Técnica de Monitoramento e Avaliação das Secretarias Estaduais de Saúde. Florianópolis, 2010.

Três entrevistas semiestruturadas com informantes-chave foram conduzidas por um pesquisador, sendo gravadas em áudio e transcritas. O número de entrevistas não foi determinado previamente e baseou-se no acúmulo de informações necessárias para compor o caso e triangular os dados. A identificação de dois entrevistados (A e B) ocorreu a partir da análise documental, ambos com responsabilidade de chefia, os quais indicaram o terceiro entrevistado (C) quando questionados sobre outros possíveis informantes-chave do caso.

As informações quantitativas são os resultados da avaliação da gestão da atenção básica realizada pela Secretaria de Estado da Saúde, aplicada a todos os municípios (n = 293), no período de 2008-2011. Provêm de fonte secundária de livre acesso, na página de Internet da instituição (http:// www.saude.sc.gov.br), no conteúdo Atenção Básica – Acompanhamento e Avaliação. Esses dados são apresentados para ilustrar a aplicação do modelo e as intervenções institucionais pautadas pela evolução dos indicadores e das políticas prioritárias.

A análise preliminar individual dos documentos e entrevistas partiu de uma narrativa histórica, com a organização dos eventos em ordem cronológica. Essa etapa permitiu identificar os principais documentos e informantes que subsidiaram as análises seguintes. Posteriormente, empregou-se a análise de processos para identificar os eventos lógicos que contribuíram para o desenvolvimento da capacidade avaliativa, com duas categorias pré-definidas: eventos de construção da capacidade avaliativa – aqueles que indicam participação na avaliação, no processo de coleta, análise ou interpretação de dados; eventos de construção de estrutura organizacional – aqueles que remetem à sustentabilidade e institucionalização da avaliação por meio do contexto organizacional favorável.

A análise quantitativa foi feita mediante estatística descritiva e teve a intenção de contrapor as outras fontes e completar a triangulação na análise de processos. A matriz de indicadores da SES teve os dados agregados segundo dimensão e pontuação geral por meio da soma dos valores dos indicadores, convertidos em uma escala monótona de [0,1], sendo a amplitude total 40 pontos – 16 para dimensão gestão e 24 para dimensão provimento. Os indicadores foram convertidos considerando-se os estratos de porte populacional originais do modelo: Porte 1: até 10 mil habitantes (n = 172); Porte 2: de 10 a 50 mil habitantes (n = 94); Porte 3: de 50 a 100 mil habitantes (n = 15); Porte 4: mais de 100 mil habitantes (n = 12).

A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa com Seres Humanos da Universidade Federal de Santa Catarina (UFSC), de acordo com as normas estabelecidas pela Resolução n^o 196/96 do Conselho Nacional de Saúde, sob o número 2.424/2011.

Resultados

A narrativa histórica resumiu os fatos mais importantes de todo o processo desde o seu início no ano de 2004 – publicação da Portaria MS/GM n^o 1.555 ¹⁰10 . Ministério da Saúde. Portaria GM/MS no 1.155, de 11 de junho de 2004. Aprova, habilita e estabelece valores aos Estados para participarem do Projeto de Expansão e Consolidação do Saúde da Família – PROESF. Diário Oficial da União 2004; 14 jun. para a habilitação dos estados e repasse financeiro – até o ano de 2011, quando a Secretaria de Estado da Saúde realizou a quarta aplicação da avaliação da atenção básica aos municípios. Os eventos lógicos identificados pela análise de processos estão apresentados na linha do tempo (Figura 1).

A Portaria MS/GM n^o 1.555 ¹⁰10 . Ministério da Saúde. Portaria GM/MS no 1.155, de 11 de junho de 2004. Aprova, habilita e estabelece valores aos Estados para participarem do Projeto de Expansão e Consolidação do Saúde da Família – PROESF. Diário Oficial da União 2004; 14 jun., marco inicial, aprovou e habilitou os planos de monitoramento e avaliação do projeto de fortalecimento da capacidade técnica nas SES, além de estabelecer os valores e prazos de recebimento dos recursos financeiros provenientes do Banco Mundial. A necessidade de contratação do centro colaborador para suporte técnico ratificou a intenção do projeto em construir uma capacidade avaliativa institucional. A UFSC teve a manifestação de interesse vencedora, o que, segundo o informante A, foi um dos pontos que contribuiu para o sucesso inicial da proposta de colaboração por dois motivos: proximidade geográfica e convergência de interesses naquele momento histórico – a universidade estava implantando um núcleo de pesquisa em avaliação em saúde.

Os documentos analisados e as entrevistas com os informantes-chave indicam que o desenvolvimento da capacidade avaliativa requereu a inclusão dos atores institucionais dos níveis estratégico, tático e operacional do sistema de saúde. A principal estratégia adotada foi a construção de uma metodologia de avaliação, compreendida simultaneamente como objeto e produto para o desenvolvimento da capacidade em monitoramento e avaliação dos atores institucionais ¹⁴14 . Secretaria de Estado da Saúde; Conselho Estadual de Saúde. Ata da 129a Reunião Ordinária do Conselho Estadual de Saúde. Florianópolis: Conselho Estadual de Saúde; 2006.. O nível estratégico compreende os gestores com cargos de alta chefia, como o secretário de saúde do estado; o nível tático é representado pelos cargos com nível intermediário de chefia, tais como diretores e gerentes de setores dentro da organização; por fim, o nível operacional compreende os técnicos responsáveis pela rotina organizacional da secretaria. À medida que as oficinas tornavam-se mais específicas, o nível estratégico era menos requisitado e o nível operacional, mais necessário para a condução das discussões técnicas.

No início do processo, em 2005, foi definido o objeto de avaliação: a gestão municipal da atenção básica. Essa escolha conduziu para seleção de indicadores que considerassem as atribuições legais da gestão municipal para garantir acesso e reduzir riscos à saúde da população, conforme previsto na Constituição Federal. Nesta etapa, participaram gerentes, diretores e técnicos de diversas áreas da SES-SC, inclusive da gerência da atenção básica, a qual concentra todas as decisões deste nível de atenção. Foram oito oficinas de trabalho, com quatro horas de discussões, que iniciavam com uma breve apresentação dos objetivos e das etapas anteriores e seguiam abertas, no formato de comitê tradicional (Núcleo de Extensão e Pesquisa em Avaliação em Saúde. Relatório da Primeira Fase de Atividades do Centro Colaborador. Projeto de Fortalecimento da Capacidade Técnica de Monitoramento e Avaliação das Secretarias Estaduais de Saúde. Florianópolis; 2006).

Nas etapas seguintes, durante as quais se discutiram indicadores e parâmetros, os gerentes e diretores tornaram-se menos ativos, aumentando-se a participação de técnicos vinculados à gerência da atenção básica, conforme o relato dos informantes A e C. O grupo de técnicos, na ocasião, estava organizado em área técnicas específicas – criança, mulher, idoso, saúde mental, saúde bucal, saúde da família, planejamento etc. Os diferentes grupos foram consultados separadamente por dois pesquisadores do centro colaborador, a fim de aqueles identificarem uma lista de indicadores específicos da sua área na atenção básica. Foram realizadas pelo menos duas reuniões com cada um dos grupos técnicos, resultando em uma lista de 152 sugestões de indicadores (Núcleo de Extensão e Pesquisa em Avaliação em Saúde. Relatório da Primeira Fase de Atividades do Centro Colaborador. Projeto de Fortalecimento da Capacidade Técnica de Monitoramento e Avaliação das Secretarias Estaduais de Saúde. Florianópolis; 2006).

A lista resultante das reuniões com as áreas técnicas foi o subsídio para as oficinas posteriores, as quais tiveram o objetivo de selecionar os indicadores que comporiam a matriz de avaliação, respeitando o modelo proposto. Nessas oficinas estavam presentes representantes de todas as áreas técnicas da SES-SC, variando entre 15 a 25 participantes nas 12 reuniões semanais realizadas ao longo do segundo semestre de 2005 (informante A).

As oficinas eram conduzidas no formato de comitê tradicional, buscando consenso para cada uma das subáreas de avaliação definidas no modelo proposto. Houve momentos de conflitos de ideias e interesses dos atores durante as reuniões, principalmente pela novidade de conceitos e indicadores mais específicos de gestão, estranhos aos técnicos do setor saúde, que são mais familiarizados com os indicadores epidemiológicos e demográficos. Esses conflitos tornaram-se menos frequentes à medida que as oficinas semanais avançavam na definição de indicadores e parâmetros.

Outra dificuldade relatada pelo informante A foi a substituição ou a desistência de participação de alguns técnicos. As substituições ocorreram em virtude da dinâmica institucional, que promove mobilidade constante de seus técnicos, e as desistências ocorreram em consequência da intensidade do processo de construção da proposta, que estabeleceu debates e combates que refletiam diretamente a compreensão diferenciada dos papéis na instituição: “...discussão muito calorosa, muita gente para definir esses entendimentos, alguns conceitos que conflitavam com a prática do setor de saúde, teve muita discussão de início, muita emoção e sempre com muita dificuldade de entendimento...” (Informante A).

O processo de definição de base teórica, de indicadores e de parâmetros culminou com uma aplicação-piloto do modelo em 70 municípios do estado, conduzido em parceria SES-centro colaborador, no ano de 2006. No ano seguinte, novas oficinas participativas com o nível operacional da gestão estadual foram realizadas a fim de identificar limites na aplicação do projeto-piloto, capacitar os técnicos na coleta e análise dos dados e providenciar alterações necessárias para o aprimoramento da matriz avaliativa (Núcleo de Extensão e Pesquisa em Avaliação em Saúde: (1) Relatório Final da Primeira Fase de Atividades do Centro colaborador. Projeto de Fortalecimento da Capacidade Técnica de Monitoramento e Avaliação das Secretarias Estaduais de Saúde. Florianópolis; 2006; (2) Relatório Final da Consultoria. Florianópolis; 2007; (3) Relatório Final de Atividades do Centro Colaborador. Projeto de Fortalecimento da Capacidade Técnica de Monitoramento e Avaliação das Secretarias Estaduais de Saúde. Florianópolis; 2010).

Desde o ano de 2008, a proposta vem sendo aplicada anualmente, tendo se tornado a avaliação da gestão da atenção básica, conduzida autonomamente pela SES-SC e realizada em todos os municípios do estado ¹¹11 . Secretaria de Estado da Saúde de Santa Catarina. Resultados das avaliações. http//www.saude.sc.gov.br (acessado em Jul/2011).
http//www.saude.sc.gov.br... . Constituem fontes de divulgação dos resultados das avaliações os encontros oficiais de gestores, seminários estaduais de saúde da família e a Revista Catarinense de Saúde da Família, organizada e distribuída pela SES-SC. Os resultados também ficam disponíveis em página institucional, acompanhados por textos explicativos dos objetivos da avaliação, da sua metodologia, dos cálculos do juízo de valor e resultados anteriores ¹¹11 . Secretaria de Estado da Saúde de Santa Catarina. Resultados das avaliações. http//www.saude.sc.gov.br (acessado em Jul/2011).
http//www.saude.sc.gov.br... ^,1212 . Núcleo de Extensão e Pesquisa em Avaliação em Saúde, Universidade Federal de Santa Catarina. Relatório atenção básica: metodologia. http://www.nepas.ufsc.br. (acessado em Jun/2011).
http://www.nepas.ufsc.br... . A divulgação oficial do resultado da avaliação ocorre no segundo semestre do ano, na capital do estado, durante a Mostra de Experiências Bem-sucedidas em Atenção Básica, com exposição de trabalhos dos municípios. Na edição de 2011, aproximadamente mil pessoas, entre gestores, técnicos e profissionais de saúde dos municípios, participaram do evento. “...tinha quase mil pessoas, um evento assim bem mais organizado, trouxeram equipe, vieram muitos prefeitos...” (Informante B).

Os eventos lógicos apresentados na linha do tempo deram origem a outros eventos igualmente importantes para o desenvolvimento da capacidade avaliativa, os quais foram classificados em dois grupos: os eventos que contribuíram para o desenvolvimento técnico em monitoramento e avaliação e os eventos para a criação de estruturas que possibilitassem a continuidade da avaliação e a formalizassem como um processo organizacional.

Eventos para o desenvolvimento técnico em monitoramento e avaliação

Os eventos para a capacitação técnica estão ligados ao desenvolvimento participativo da proposta, cujo caráter pedagógico visa ao aperfeiçoamento em monitoramento e avaliação (Núcleo de Extensão e Pesquisa em Avaliação em Saúde. Relatório Final da Primeira Fase de Atividades do Centro Colaborador. Projeto de Fortalecimento da Capacidade Técnica de Monitoramento e Avaliação das Secretarias Estaduais de Saúde. Florianópolis; 2006), por meio da inclusão dos interessados na construção do modelo avaliativo, nas fases de desenho, coleta e análise de dados, e na comunicação dos resultados. A participação dos técnicos da secretaria ocorreu em oficinas de trabalho com o centro colaborador, objetivando a construção e pactuação do modelo de avaliação e indicadores. Outro evento identificado foi a modificação de indicadores pela secretaria de saúde, realizada anualmente por meio de oficinas de trabalho com técnicos da gerência de atenção básica, já sem a participação do centro colaborador em 2011, indicando autonomia na condução da avaliação.

Segundo o informante-chave B, a equipe responsável pela avaliação identificou um comportamento estabilizado de alguns indicadores e, após discussão do grupo, houve a tomada de decisão para a sua troca, definindo novas metas a serem alcançadas pelos municípios: “...em 2011, antes da aplicação, fizemos uma oficina e mudamos os indicadores, aqueles que estavam ultrapassados ou nos quais todo mundo estava igual [...] fizemos a discussão dos indicadores e depois dividimos em grupo, e cada um pensou uma área [...] depois juntamos tudo e alguns indicadores a gente alterou” (Informante B).

A fim de ampliar a participação dos municípios na avaliação, foi inserido um campo para consulta pública no formulário de coleta de dados, para contribuições em formato de sugestões ou críticas ¹²12 . Núcleo de Extensão e Pesquisa em Avaliação em Saúde, Universidade Federal de Santa Catarina. Relatório atenção básica: metodologia. http://www.nepas.ufsc.br. (acessado em Jun/2011).
http://www.nepas.ufsc.br... . Oportunizou-se a participação dos técnicos estaduais e municipais em cursos de especialização e treinamento em serviço. Um curso básico de monitoramento e avaliação da atenção básica e um de especialização em avaliação em saúde formaram 115 alunos, vinculados ao estado e aos municípios (Núcleo de Extensão e Pesquisa em Avaliação em Saúde: (1) Relatório Final da Primeira Fase de Atividades do Centro Colaborador. Projeto de Fortalecimento da Capacidade Técnica de Monitoramento e Avaliação das Secretarias Estaduais de Saúde. Florianópolis; 2006; (2) Relatório Final da Consultoria. Florianópolis; 2007).

Eventos para a criação de estruturas organizacionais

Os eventos para a criação de estruturas organizacionais que formalizassem a avaliação como rotina e contribuíssem para a sua continuidade foram os seguintes: legitimação pelo Conselho Estadual de Saúde e pela CIB; definição e adequação de recursos financeiros, humanos e físicos às atividades de monitoramento e avaliação; criação de oportunidades para continuar a parceria institucional com o centro colaborador.

O Conselho Estadual de Saúde aprovou a proposta do projeto-piloto e as aplicações nos municípios ¹⁴14 . Secretaria de Estado da Saúde; Conselho Estadual de Saúde. Ata da 129a Reunião Ordinária do Conselho Estadual de Saúde. Florianópolis: Conselho Estadual de Saúde; 2006.. A CIB pactuou uma premiação em dinheiro para os municípios com melhor desempenho no seu porte populacional e inseriu a avaliação como uma das atividades para expansão e fortalecimento da atenção básica no estado ¹⁵15 . Secretaria de Estado da Saúde; Comissão Intergestores Bipartite. Ata da 142a Reunião Ordinária da Comissão Intergestores Bipartite. Florianópolis: Secretaria de Estado da Saúde; 2009., possibilitando a definição do cofinanciamento da atenção básica. Esses recursos financeiros são disponibilizados a todos os municípios do estado para serem utilizados em atividades exclusivas da atenção básica, sendo independentes do desempenho municipal na avaliação.

Um setor responsável pela avaliação foi criado na gerência de atenção básica, e o responsável atual está cursando pós-graduação e mantém vínculo com o grupo de pesquisa em avaliação, a exemplo de outros gerentes e técnicos da SES-SC, segundo informações do entrevistado B. Além dessa parceria entre os atores institucionais, o estado publicou um edital próprio para contratar, por mais um ano, o centro colaborador, assegurando oficialmente a colaboração ¹³13 . Secretaria do Estado da Saúde. Seleção baseada na qualidade e custo no 01/2006, manifestação de interesse. http://www.saude.sc.gov.br (acessado em Nov/2011).
http://www.saude.sc.gov.br... .

As fortalezas, limitações e retrocessos do caso apresentado relacionam-se principalmente ao contexto político-institucional: recursos humanos, parcerias e mudanças de gestão e gerência. O informante-chave B relatou a dificuldade em formar uma equipe para trabalhar exclusivamente com avaliação; acrescentou que, atualmente, duas pessoas trabalham com o tema na atenção básica, porém não estão exclusivamente dedicadas a isso. Houve um período de mudança de gestão estadual que não influenciou de forma negativa a continuidade do processo. A criação de uma câmara técnica para discutir não só assuntos específicos da atenção básica, mas também o cofinanciamento aos municípios, fortaleceu o contexto para a continuidade da avaliação da gestão da atenção básica. Diversas mudanças de chefia na gerência da atenção básica e a aposentadoria de um dos atores da SES-SC, o qual acompanhou todo o processo desde a publicação da portaria de habilitação até as primeiras aplicações da avaliação aos municípios, geraram um curto período de estagnação, pelo enfraquecimento de lideranças. Posteriormente, técnicos da secretaria estadual passaram a participar de projetos de pesquisa e do programa de pós-graduação, na área de avaliação, na UFSC, e esse novo vínculo entre as instituições, segundo os informantes B e C, deu novo fôlego ao setor de monitoramento e avaliação da gerência da atenção básica.

A análise quantitativa teve caráter descritivo, a fim de evidenciar mudanças ao longo do período de avaliações consequentes de intervenções institucionais. A Tabela 1 apresenta os valores médios, com desvio-padrão, e a amplitude total de valores, segundo porte populacional e ano. A Figura 2 apresenta a evolução média dos valores dos indicadores municipais conforme as dimensões delimitadas pelo modelo de avaliação.

Na dimensão gestão, houve aumento dos valores médios e mínimos dos indicadores, além de redução da variabilidade entre municípios. Os municípios de porte 3 mantiveram a tendência de aumento até o ano de 2011, enquanto os outros portes apresentaram redução do valor em comparação com 2010. Nessa dimensão, as médias variaram entre 28% e 54% do valor máximo possível de pontos, com médias maiores nos anos 2010 e 2011 nos municípios maiores. Na dimensão provimento, os valores médios se elevaram até o ano de 2010, com decréscimo expressivo no ano 2011. As médias dessa dimensão variaram entre 44% e 61% do valor máximo possível de pontos, com médias maiores em 2009 e 2010, nos municípios de porte 1, e médias menores em 2011 para todos os municípios do estado.

Discussão

As escolhas metodológicas se justificam pelo objetivo do estudo, que é identificar e analisar transformações em uma determinada intervenção, explicar como e por que ocorreram e em qual contexto. Utilizou-se a abordagem de análise de processos para sistematizar as evidências, a qual considera a cadeia de eventos – as atividades e as escolhas realizadas – para a transformação da intervenção ao longo do tempo em um dado contexto organizacional ¹⁶16 . Langhley A. Strategies for theorizing from process data. The Academy of Management Review 1999; 24:691-710.^,1717 . Champagne F, Brousselle A, Hartz Z, Contandriopoulos AP, Denis JL. L’analyse d’implantation. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz ZMA, editors. Concepts et méthodes d’évaluation des interventions. Montreal: Les Presses de l’Université de Montréal; 2011. p. 237-73.. A abordagem mista possibilita corroborar os achados por meio da triangulação de métodos, aumentando a validade interna da pesquisa. O estudo tem caráter exploratório porque não há experiências semelhantes na literatura que possam servir de comparação para os achados. Experiências de desenvolvimento da capacidade avaliativa ou aplicação de metodologias de avaliação em secretarias estaduais de saúde têm sido relatadas na literatura nacional ⁶6 . Tamaki E, Barbieri AR, Cazola LHO, Andrade SMO, Tanaka OY. A incorporação da avaliação da atenção básica no nível estadual do Sistema Único de Saúde através de processos participativos de ensino-aprendizagem-trabalho. Rev Bras Saúde Matern Infant 2010; 10 Suppl 1:S201-8., no entanto ainda não são encontrados relatos de uma série temporal de avaliações como a apresentada neste estudo de caso. O fato de ser uma proposta de avaliação que se manteve ao longo dos anos já fornece evidência de capacidade avaliativa diferenciada.

Em um primeiro momento, o contexto organizacional da SES-SC apresentou-se favorável para a implantação ⁷7 . Felisberto E, Freese E, Bezerra LCA, Alves CKA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad Saúde Pública 2010; 26:1079-95.^,88 . Alves CKA, Carvalho EF, Cesse EAP, Natal S, Bezerra LCA, Felisberto E. Análise da implantação de um programa com vistas à institucionalização da avaliação em uma Secretaria Estadual de Saúde. Rev Bras Saúde Matern Infant 2010; 10 Suppl 1: S145-56. da proposta de avaliação, seja pelo espírito para institucionalizar a avaliação no âmbito da atenção básica, seja pelo incentivo financeiro para desenvolver as propostas metodológicas e capacitar atores institucionais. Porém, estes não constituem fatores suficientes para sua sustentabilidade. São considerados pontos críticos para que uma intervenção continue a cumprir seus objetivos sem interrupções e mantenha um conjunto de recursos e atividades duráveis: a permanência da relevância e da legitimidade, a estabilidade financeira, a capacidade de adaptar-se às mudanças de contextos político-institucionais e constância na motivação dos envolvidos ⁷7 . Felisberto E, Freese E, Bezerra LCA, Alves CKA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad Saúde Pública 2010; 26:1079-95.. O estudo de caso demonstrou que esses pontos foram cobertos principalmente pelo contexto político-organizacional.

Por ocasião da implantação do PROESF, a universidade apresentava um núcleo de pesquisa em avaliação emergente, cujos projetos coincidiam com os interesses do estado em institucionalizar a avaliação, de modo que os interesses comuns estreitaram as relações entre instituições. A parceria consolidada entre o centro colaborador e a SES garantiu confiança mútua para desenvolver as atividades e informalidade de relações para desenvolvimento de capacidades e aptidões também fora do círculo acadêmico. Para alcançar uma liderança coletiva ¹⁸18 . Denis JL. Institucionalização da avaliação na administração pública. Rev Bras Saúde Matern Infant 2010; 10 Suppl 1:S229-37. ou formar parcerias, numa rede sociotécnica, há que superar as diferenças entre os conceitos e as práticas de avaliação, a identificação da pertinência de fazê-la e, principalmente no caso da parceria ensino/pesquisa/gestão, a percepção quanto ao tempo necessário e o tempo possível para produzir as informações e tomar as decisões ¹⁹19 . Hartz ZMA, Santos EM, Matida A. Promovendo e analisando o uso e a influência das pesquisas avaliativas: desafios e oportunidades ao se institucionalizar a avaliação em saúde. In: Hartz ZMA, Felisberto E, Vieira-da-Silva LM, organizadores. Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Editora Fiocruz; 2008. p. 325-40.. A criação de redes de avaliação, com multiplicidade de profissionais e de expertises em avaliação, fortalece as barreiras protetoras. Assim, o conhecimento não se concentra em um determinado espaço, mas caminha entre os nós da rede ¹⁹19 . Hartz ZMA, Santos EM, Matida A. Promovendo e analisando o uso e a influência das pesquisas avaliativas: desafios e oportunidades ao se institucionalizar a avaliação em saúde. In: Hartz ZMA, Felisberto E, Vieira-da-Silva LM, organizadores. Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Editora Fiocruz; 2008. p. 325-40., trazendo a liderança do coletivo e passando a não depender de indivíduos que, se forem realocados ou saírem da instituição, levarão sua liderança e seus conhecimentos ¹⁸18 . Denis JL. Institucionalização da avaliação na administração pública. Rev Bras Saúde Matern Infant 2010; 10 Suppl 1:S229-37..

Conforme a organização de setores da SES-SC, a gerência da atenção básica centraliza as responsabilidades desse nível de atenção, inclusive as ações de monitoramento e avaliação. O estudo de Sampaio et al. ²⁰20 . Sampaio J, Carvalho EMF, Pereira GFC, Mello FMB. Avaliação da capacidade de governo de uma secretaria estadual de saúde para o monitoramento e avaliação da Atenção Básica: lições relevantes. Ciênc Saúde Coletiva 2011; 16:279-90. aponta fatores relevantes para alcançar um contexto favorável à capacidade de governo: direcionalidade na gestão e definição clara das funções internas, capacidade resolutiva/operativa, liderança da coordenação/gerência, autonomia dos núcleos regionais, participação do controle social e tomada de decisão democratizada, dotação orçamentária, qualificação de profissionais e adequação das funções às suas capacidades técnicas, comprometimento e participação dos atores. O contexto apresentado neste caso e os resultados dos estudos de Felisberto et al. ⁷7 . Felisberto E, Freese E, Bezerra LCA, Alves CKA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad Saúde Pública 2010; 26:1079-95. e Alves et al. ⁸8 . Alves CKA, Carvalho EF, Cesse EAP, Natal S, Bezerra LCA, Felisberto E. Análise da implantação de um programa com vistas à institucionalização da avaliação em uma Secretaria Estadual de Saúde. Rev Bras Saúde Matern Infant 2010; 10 Suppl 1: S145-56., que analisaram a mesma secretaria estadual, indicam que o desenvolvimento da capacidade avaliativa teve grande influência do contexto político-organizacional existente previamente, ao qual se soma a criação de um setor para monitoramento e avaliação na atenção básica.

A definição de estruturas organizacionais para a inserção da avaliação nos processos desenvolve barreiras protetoras para evitar a diluição do que foi alcançado ¹⁸18 . Denis JL. Institucionalização da avaliação na administração pública. Rev Bras Saúde Matern Infant 2010; 10 Suppl 1:S229-37.. A inclusão da CIB e das gerências regionais no processo de avaliação possibilitou estabilidade independente das mudanças de governo. A divulgação dos resultados em página eletrônica, em seminários e encontros de gestores foi uma estratégia para melhorar a comunicação e a retroalimentação entre as esferas estadual e municipais. Por sua vez, a consulta pública aos municípios ofereceu oportunidade de participação aos gestores responsáveis diretos pela atenção básica.

A distância entre o entendimento dos gestores quanto à finalidade e momento da avaliação, de um lado, e o que ocorre na rotina da instituição, de outro, constitui uma das dificuldades na institucionalização da avaliação, que acaba sendo finalística, não formativa, com pouca utilidade, por ser verticalizada e centrada na simples contabilização de determinados eventos. A avaliação participativa e orientada para a utilização coloca os interessados no centro do processo; o avaliador passa a ser um negociador, unindo as premissas da avaliação às expectativas dos interessados, que muitas vezes são divergentes ²¹21 . Patton MQ. Utilization-focused evaluation. In: Stufflebeam GF, Madaus G, Kellaghan T, editors. Evaluation models. Boston: Kluwer Academic Publishers; 2000; p. 425-38.. Na experiência relatada, a definição do objeto e da finalidade da avaliação por meio de oficinas de trabalho, com presença de diretores, gerentes e técnicos da SES, possibilitou a identificação das necessidades dos interessados e a condução da metodologia em consonância com o esperado. Houve preocupação em formar e desenvolver a capacidade técnica dos atores desde as primeiras discussões para a definição do objeto da avaliação. Outro aspecto a destacar é o aprendizado ocorrido durante a rotina de trabalho, o fazer do dia a dia, que permitiu ser desenhado devido à série de avaliações e atividades realizadas desde 2006. A identificação de problemas em indicadores, ou a percepção de mudança de prioridade para a avaliação e a decisão de alterar indicadores demonstram a capacidade técni- ca em monitoramento e avaliação dos atores envolvidos.

Os resultados da análise quantitativa apresentam decréscimo dos valores médios em 2011, após o crescimento no período 2008-2010. Tal queda ocorreu pelas alterações nos indicadores realizadas pela gestão estadual, em virtude da identificação da estabilidade de alguns indicadores que não estavam discriminando o desempenho dos municípios. Essas alterações não são preocupantes na presente análise descritiva, já que o seu objetivo não é comparar os municípios ou construir modelos estatísticos, mas aumentar a validade interna do estudo de caso, corroborando os achados da análise qualitativa.

A dimensão gestão é composta por indicadores oriundos, na sua maioria, de informações fornecidas pelos municípios por meio de formulário eletrônico, e os resultados observados, bastante abaixo do idealizado, sugerem a compreensão da avaliação como um processo que busca melhorar os aspectos deficitários, uma vez que não há constrangimento dos respondentes em evidenciar as falhas observadas na gestão da atenção básica no próprio município. Os indicadores da dimensão provimento são, na grande maioria, os clássicos utilizados em avaliação em saúde, incluindo os presentes em pactos e avaliações propostos pelo Ministério da Saúde. Algumas adequações e substituições foram realizadas nesse grupo de indicadores para acompanhar alterações pactuadas e induzir programas em implantação, tais como cumprimento do plano de amostragem do VigiÁgua (Vigilância em Saúde Ambiental Relacionada à Qualidade da Água para Consumo Humano), segundo a diretriz nacional; percentual de adolescentes acompanhados pelo SISVAN (Sistema de Vigilância Alimentar e Nutricional); proporção de casos de tuberculose em que os pacientes realizam tratamento diretamente observado; e oferta de prótese dentária na Estratégia Saúde da Família ¹¹11 . Secretaria de Estado da Saúde de Santa Catarina. Resultados das avaliações. http//www.saude.sc.gov.br (acessado em Jul/2011).
http//www.saude.sc.gov.br... . Corrobora-se, dessa forma, o desenvolvimento da capacidade técnica dos atores que conectaram os conhecimentos em avaliação ao processo de planejamento para melhoria da gestão da atenção básica, determinando quando novas prioridades devem ser estabelecidas pelas políticas públicas.

Considerações finais

A implantação de propostas de avaliação geralmente é acompanhada de preocupações dos avaliados quanto às consequências do seu resultado, como o aumento de cobranças e da carga de trabalho ou a perda de poder. O desenvolvimento da proposta metodológica apresentada pautou-se no conceito de avaliação participativa, inseriu os interessados no processo avaliativo, proporcionando a reflexão sobre o trabalho desenvolvido na instituição e a aprendizagem sobre avaliação ²¹21 . Patton MQ. Utilization-focused evaluation. In: Stufflebeam GF, Madaus G, Kellaghan T, editors. Evaluation models. Boston: Kluwer Academic Publishers; 2000; p. 425-38.. Teve caráter pedagógico, com intuito de influenciar práticas organizacionais, competências individuais e de grupo, além de relações interpessoais.

Já a implantação de uma política de avaliação esbarra na dificuldade da sustentabilidade, principalmente pela alternância político-partidária na gestão, com as substituições nos cargos de gerência e consequentes mudanças de orientação para ações e programas instituídos. A adaptação aos novos instrumentos, decorrentes do dinâmico aprimoramento do sistema de saúde, também limita a institucionalização da avaliação ⁷7 . Felisberto E, Freese E, Bezerra LCA, Alves CKA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad Saúde Pública 2010; 26:1079-95.. Neste caso exemplar, ocorreram alternâncias em decorrência das trocas de gestão municipal ou estadual e mudanças nas prioridades e interesses do governo. Tais alterações foram, na medida do possível, incorporadas ao modelo de avaliação por meio da inclusão de novos participantes, novas orientações aos municípios, ou substituições de indicadores na matriz de avaliação.

A análise triangulada permitiu identificar indícios de que o objetivo de desenvolver a capacidade avaliativa foi alcançado. A pactuação em instâncias deliberativas para a continuidade da avaliação, a coleta e a análise dos dados realizadas pela SES-SC, a iniciativa de mudança de indicadores e reestruturação da matriz avaliativa e a comunicação dos resultados aos municípios formaram a cadeia lógica de eventos. A evolução dos indicadores municipais no período de 2008 a 2011 sugere que a avaliação cumpriu, a médio prazo, o objetivo de melhorar a gestão da atenção básica e o seu provimento. Por fim, este caso resulta da parceria entre instituições de ensino e pesquisa e secretarias estaduais e municipais de saúde no desenvolvimento de uma proposta metodológica para avaliar a atenção básica. Reafirma-se, portanto, o papel da pesquisa no desenvolvimento de ferramentas aplicadas à prática da gestão e a importância da formação de redes de trabalho ¹⁸18 . Denis JL. Institucionalização da avaliação na administração pública. Rev Bras Saúde Matern Infant 2010; 10 Suppl 1:S229-37..

Agradecimentos

Os autores agradecem a colaboração dos técnicos da Secretaria de Estado da Saúde de Santa Catarina, em especial à Gerência de Atenção Básica, para o desenvolvimento do trabalho. O artigo faz parte da pesquisa Uso da Avaliação: A Experiência da Avaliação da Gestão da Atenção Básica no Estado de Santa Catarina, financiada pelo CNPq através do Edital Universão 14/2011 (processo n^o475552/2011-3). À Capes pela concessão de bolsa de Demanda Social e do Programa de Doutorado Sanduíche no Exterior (PDSE), nível doutorado.

Referências

Datas de Publicação

Histórico