Resumo

Objetivo:

avaliar a implantação do Sistema de Controle, Acompanhamento e Avaliação de Resultados (e-Car) na Secretaria de Vigilância em Saúde (SVS) do Ministério da Saúde, no período de 2012 a 2015.

Métodos:

estudo de avaliação utilizando métodos mistos para a coleta de dados primários e secundários, seguido da definição do grau de implantação do sistema e da análise da influência do contexto político-organizacional.

Resultados:

o sistema e-Car foi considerado implantado na SVS, alcançando o percentual de 75,4%; as piores performances da dimensão de estrutura foram relacionadas ao serviço de manutenção dos computadores e do sistema operacional, bem como ao baixo conhecimento sobre o manual do sistema; na dimensão de processo, a existência de instâncias colegiadas foi considerada benéfica para o monitoramento.

Conclusão:

o sistema e-Car foi implantado na SVS; entretanto, sua sustentabilidade mostrou-se frágil, sendo recomendados a institucionalização e o fortalecimento das práticas de monitoramento e avaliação pela SVS.

Palavras-chave:
Avaliação em Saúde; Sistemas de Informação; Política Pública; Planejamento em Saúde; Vigilância em Saúde Pública

Resumen

Objetivo:

evaluar la implantación del Sistema de Control, Monitoreo y Evaluación de Resultados (e-Car) en la Secretaría de Vigilancia en Salud (SVS) del Ministerio de Salud de Brasil, en el período de 2012 a 2015.

Métodos:

estudio de evaluación de métodos mixtos para la recolección de datos primarios y secundarios, seguido de la definición del grado de implantación del sistema y análisis de la influencia del contexto político-organizacional.

Resultados:

el sistema e-Car fue considerado implantado en la SVS, alcanzando un 75,4%; las peores actuaciones de la dimensión de estructura fueron el servicio de mantenimiento de las computadoras y del sistema operacional, así como el bajo conocimiento del manual del sistema; en la dimensión de proceso, la existencia de instancias colegiadas fue considerada benéfica para el monitoreo.

Conclusión:

el sistema e-Car fue implantado en la SVS; todavía, su sostenibilidad se mostró frágil, recomendándose la institucionalización y el fortalecimiento de las prácticas de monitoreo y evaluación por la SVS.

Palabras clave:
Evaluación en Salud; Sistemas de Información; Política Pública; Planificación en Salud; Vigilancia en Salud Pública

Introdução

Nas democracias ocidentais, de um modo geral, e na América Latina em particular, nos anos 1990, houve uma busca por fortalecimento da função ‘avaliação’ na gestão governamental. Em diversos países, inclusive no Brasil, esse movimento propiciou a construção de sistemas de escopo variável, para avaliação das políticas públicas, o que se justificava pela necessidade de ‘modernização’ da gestão pública em um contexto de busca de dinamização e legitimação da reforma do Estado.¹1. Faria CAP. A política da avaliação de políticas públicas. Rev Bras Ci Soc [Internet]. 2005 out [citado 2019 abr 30];20(59):97-109. Disponível em: Disponível em: http://www.scielo.br/pdf/rbcsoc/v20n59/a07v2059.pdf . doi: 10.1590/S0102-69092005000300007
http://www.scielo.br/pdf/rbcsoc/v20n59/a... Tais iniciativas reafirmaram a necessidade de uma política de avaliação para subsidiar os sistemas de planejamento e gestão e o fortalecimento do controle social.²2. Arretche MTS. Tendências no estudo sobre avaliação. In: Rico EM (org). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez; 1998. p. 29-39.^,33. Paim JS, Teixeira CF. Política, planejamento e gestão em saúde: balanço do estado da arte. Rev Saúde Pública [Internet]. 2006 ago [citado 2019 abr 30];40(esp):73-8. Disponível em: Disponível em: http://www.scielo.br/pdf/rsp/v40nspe/30625.pdf . doi: 10.1590/S0034-89102006000400011
http://www.scielo.br/pdf/rsp/v40nspe/306...

Diante desse cenário, os sistemas de monitoramento e avaliação da gestão pública dos sistemas de saúde têm sido priorizados nas iniciativas governamentais comprometidas com os modelos de gestão e avaliação por resultados.⁴4. Hartz ZMA. Avaliação dos programas de saúde: perspectivas teórico metodológicas e políticas institucionais. Ciênc Saúde Coletiva [Internet]. 1999 [citado 2019 abr 30];4(2):341-53. Disponível em: Disponível em: http://www.scielo.br/pdf/csc/v4n2/7117.pdf . doi: 10.1590/S1413-81231999000200009
http://www.scielo.br/pdf/csc/v4n2/7117.p... No Brasil, a ‘contratualização de resultados’ foi proposta em 1995, pelo Ministério da Administração Federal e Reforma do Estado; mais do que uma ferramenta isolada, foi apontada como alavanca para melhoria da gestão pública em direção a resultados.⁵5. Pacheco RS. Brasil: avanços da contratualização de resultados no setor público. In: Anais do XI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública [Internet]. 2006 nov 7-10; Ciudad de Guatemala: Centro Larinoamericano de Administración para el Desarrollo; 2006 [citado 2019 abr 30]. Disponível em: Disponível em: https://www.researchgate.net/publication/267198557_Brasil_avancos_da_contratualizacao_de_resultados_no_setor_publico/download
https://www.researchgate.net/publication...

Esse movimento institucional complexo, questionador dada sua potencialidade reflexiva, implica renegociação e repasse de responsabilidades e atribuições. Embora com atraso, relativamente à implementação da descentralização de gestão técnica e financeira, discute-se hoje a pertinência da construção de uma política de monitoramento e avaliação (M&A) do Sistema Único de Saúde (SUS).⁶6. Campelo LM, Santos EM, Oliveira PTR. Análise estratégica do processo de formulação da PM&A-SUS: lições aprendidas e desafios. Saúde Debate [Internet]. 2017 mar [citado 2019 abr 30]; 41(esp):34-49. Disponível em: Disponível em: http://www.scielo.br/scielo.php?pid=S0103-11042017000500034&script=sci_abstract&tlng=pt. doi: 10.1590/0103-11042017s04
http://www.scielo.br/scielo.php?pid=S010... A adoção das práticas de monitoramento na administração pública brasileira manifestou-se de forma mais institucionalizada a partir do Plano Plurianual (PPA) 2000-2003. Desde então, a instrumentalização desse monitoramento é servida de sistemas informacionais, os quais disponibilizam aos gestores informações para fortalecer o planejamento e a gestão governamental de políticas públicas.⁷7. Branco MAF. Informação e saúde: uma ciência e suas políticas em uma nova era. Rio de Janeiro: Editora Fiocruz; 2006.

8. Moraes IHS. Política, tecnologia e informação em saúde: a utopia da emancipação. Salvador: Ed. Casa da Qualidade; 2003.^-99. Mota E, Carvalho DM. Sistemas de informação em saúde. In: Rouquayrol MZ, Almeida Filho N, editores. Epidemiologia e saúde. Rio de Janeiro: Medsi Editora Médica e Científica; 2003. p. 605-28.

Em 2011, o Ministério da Saúde pactuou agenda orientada por resultados, alinhando o Plano Plurianual ao Plano Nacional de Saúde;⁶6. Campelo LM, Santos EM, Oliveira PTR. Análise estratégica do processo de formulação da PM&A-SUS: lições aprendidas e desafios. Saúde Debate [Internet]. 2017 mar [citado 2019 abr 30]; 41(esp):34-49. Disponível em: Disponível em: http://www.scielo.br/scielo.php?pid=S0103-11042017000500034&script=sci_abstract&tlng=pt. doi: 10.1590/0103-11042017s04
http://www.scielo.br/scielo.php?pid=S010... em 2012, adotou o Sistema de Controle, Acompanhamento e Avaliação de Resultados (e-Car)¹⁰10. Ministério da Saúde (BR). Secretaria Executiva. Departamento de Monitoramento e Avaliação do Sistema Único de Saúde. Planejamento estratégico do Ministério da Saúde 2011-2015: resultados e perspectivas [Internet]. Brasília: Ministério da Saúde; 2013 [citado 2019 abr 30]. Disponível em: Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/planejamento_estrategico_ministerio_saude_2011_2015_5ed.pdf
http://bvsms.saude.gov.br/bvs/publicacoe... ^,1111. Figueiró AC, Santos MA, Cruz MM, Ubarana JA, Hartz Z. Implementação de um sistema de monitoramento e avaliação de âmbito federal: o caso do e-Car no Departamento de Monitoramento e Avaliação do Sistema Único de Saúde (SUS). An Inst Hig Med Trop [Internet]. 2017 [citado 2019 abr 30]; 16 Suppl 2: S65-S74. Disponível em: Disponível em: https://anaisihmt.com/index.php/ihmt/article/view/59/47 . doi: 10.25761/anaisihmt.59
https://anaisihmt.com/index.php/ihmt/art... como ferramenta do monitoramento governamental, sendo incumbência de suas secretarias alimentá-lo mensalmente. O e-Car foi elaborado a partir de um software livre, de fácil customização, para atender às necessidades do governo. O preenchimento do sistema ocorria por pareceres predominantemente qualitativos, com informações sobre a evolução de metas e resultados pactuados no planejamento, destacando-se o cenário atual, pontos críticos e recomendações.

Na Secretaria de Vigilância em Saúde (SVS) do Ministério da Saúde, os resultados eram debatidos em colegiado de dirigentes, semanalmente, e subsidiavam o planejamento e o monitoramento de seus resultados e alcance de sua missão: coleta, análise e disseminação de dados de saúde. A articulação para esse monitoramento na SVS acontecia sob a condução da Coordenação-Geral de Planejamento e Orçamento (CGPLAN).

Apesar dos avanços no alinhamento dos instrumentos de gestão e no monitoramento de resultados, a informação em saúde necessita de um minucioso olhar técnico, científico e social.⁷7. Branco MAF. Informação e saúde: uma ciência e suas políticas em uma nova era. Rio de Janeiro: Editora Fiocruz; 2006.

8. Moraes IHS. Política, tecnologia e informação em saúde: a utopia da emancipação. Salvador: Ed. Casa da Qualidade; 2003.

9. Mota E, Carvalho DM. Sistemas de informação em saúde. In: Rouquayrol MZ, Almeida Filho N, editores. Epidemiologia e saúde. Rio de Janeiro: Medsi Editora Médica e Científica; 2003. p. 605-28.

10. Ministério da Saúde (BR). Secretaria Executiva. Departamento de Monitoramento e Avaliação do Sistema Único de Saúde. Planejamento estratégico do Ministério da Saúde 2011-2015: resultados e perspectivas [Internet]. Brasília: Ministério da Saúde; 2013 [citado 2019 abr 30]. Disponível em: Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/planejamento_estrategico_ministerio_saude_2011_2015_5ed.pdf
http://bvsms.saude.gov.br/bvs/publicacoe...

11. Figueiró AC, Santos MA, Cruz MM, Ubarana JA, Hartz Z. Implementação de um sistema de monitoramento e avaliação de âmbito federal: o caso do e-Car no Departamento de Monitoramento e Avaliação do Sistema Único de Saúde (SUS). An Inst Hig Med Trop [Internet]. 2017 [citado 2019 abr 30]; 16 Suppl 2: S65-S74. Disponível em: Disponível em: https://anaisihmt.com/index.php/ihmt/article/view/59/47 . doi: 10.25761/anaisihmt.59
https://anaisihmt.com/index.php/ihmt/art... ^-1212. Lins MJCA. Necessidades e demandas de informações: uma abordagem a partir da vigilância sanitária [dissertação]. Rio de Janeiro: Escola Nacional de Saúde Pública, Fundação Instituto Oswaldo Cruz; 2001. Disponível em: https://www.arca.fiocruz.br/handle/icict/5083
https://www.arca.fiocruz.br/handle/icict... O baixo uso das informações em saúde está relacionado, essencialmente, a bases de dados inadequadas, dificuldades de conexão com a internet, falta de capacitação de pessoal e ausência de investimento em uma cultura informacional.⁵5. Pacheco RS. Brasil: avanços da contratualização de resultados no setor público. In: Anais do XI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública [Internet]. 2006 nov 7-10; Ciudad de Guatemala: Centro Larinoamericano de Administración para el Desarrollo; 2006 [citado 2019 abr 30]. Disponível em: Disponível em: https://www.researchgate.net/publication/267198557_Brasil_avancos_da_contratualizacao_de_resultados_no_setor_publico/download
https://www.researchgate.net/publication... Dificuldades são observadas, também, na qualidade e utilização de sistema de monitoramento das informações do PPA.¹²12. Lins MJCA. Necessidades e demandas de informações: uma abordagem a partir da vigilância sanitária [dissertação]. Rio de Janeiro: Escola Nacional de Saúde Pública, Fundação Instituto Oswaldo Cruz; 2001. Disponível em: https://www.arca.fiocruz.br/handle/icict/5083
https://www.arca.fiocruz.br/handle/icict... ^,1313. Santos AR. Monitoramento e avaliação de programas no setor público: a experiência do PPA do Governo Federal no período 2000-2011 [monografia]. Brasília: Instituto Serzedello Corrêa (ISC); 2012.

Considerando-se que o sistema e-Car é importante para a tomada de decisão e que há dificuldades nos processos de implantação de sistemas de informações,¹¹11. Figueiró AC, Santos MA, Cruz MM, Ubarana JA, Hartz Z. Implementação de um sistema de monitoramento e avaliação de âmbito federal: o caso do e-Car no Departamento de Monitoramento e Avaliação do Sistema Único de Saúde (SUS). An Inst Hig Med Trop [Internet]. 2017 [citado 2019 abr 30]; 16 Suppl 2: S65-S74. Disponível em: Disponível em: https://anaisihmt.com/index.php/ihmt/article/view/59/47 . doi: 10.25761/anaisihmt.59
https://anaisihmt.com/index.php/ihmt/art... o presente estudo teve o objetivo de avaliar a implantação do e-Car na Secretaria de Vigilância em Saúde (SVS) do Ministério da Saúde, no período de vigência do PPA de 2012 a 2015.

Métodos

Tratou-se de uma avaliação de implantação, desenvolvida na forma de estudo de caso, com combinação de métodos para o estabelecimento da estimativa do grau de implantação do sistema e-Car na SVS e a verificação da influência do contexto político-organizacional nesse processo, no período de vigência do PPA 2012-2015.

Este estudo de caso contou com a participação de gestores e técnicos responsáveis pelo monitoramento de ações de vigilância em saúde da SVS, compreendendo os seguintes temas: vigilância, prevenção e controle de doenças transmissíveis; vigilância de fatores de risco para o desenvolvimento de doenças crônicas não transmissíveis (DCNT); vigilância em saúde ambiental e do trabalhador; e análise de situação da saúde da população brasileira.

Inicialmente, foram convidadas a participar da pesquisa 36 pessoas, 100% dos atores envolvidos com o sistema e-Car na SVS: os técnicos, com maior tempo à frente do acompanhamento do sistema; e os gestores, responsáveis pelos resultados pactuados no planejamento de ações de vigilância em saúde.

Em função da transição política e exoneração de alguns trabalhadores, houve uma perda de 30% dos trabalhadores respondentes, restando 25 pessoas entre técnicos, coordenadores, diretores e outros informantes, distribuídos em cinco departamentos componentes da SVS, aqui identificados como departamentos A, B, C, D e E.

O delineamento da avaliação levou em consideração os contextos interno e externo. Para o contexto interno, adotou-se o Modelo Lógico da Intervenção (MLI) com base nos componentes estruturais definidos por Donabedian,¹⁴14. Donabedian A. Basic approaches to assessment: structure, process and outcome. In: Donabedian A. Explorations in quality assessment and monitoring. Ann Arbor, Michigan: Health Administration Press; 1980. p. 77-125 permitindo a modelização da organização do e-Car nas dimensões de estrutura, processo e resultado (Figura 1).¹⁵15. Guimarães EAA. Avaliação da implantação do Sistema de Informação sobre nascidos vivos em municípios de Minas Gerais [tese]. Belo Horizonte (MG): Fundação Instituto Oswaldo Cruz; 2011. Disponível em: https://www.arca.fiocruz.br/handle/icict/4286
https://www.arca.fiocruz.br/handle/icict...

O MLI orientou a definição de uma matriz de análise e julgamento (Figura 2), com indicadores e parâmetros que foram utilizados como padrão ideal para comparação dos achados na pesquisa. Apesar de o desenho do MLI ter as dimensões de estrutura, processo e resultado, a avaliação decidiu pelo recorte de estrutura e processo. Quanto ao contexto externo, consideraram-se dois dos três vértices do triângulo de governo de Matus:¹⁶16. Matus C. Política, planificacion y gobierno. Washington, D.C: Borrador; 1987. capacidade de governo; e governabilidade. Os recortes propostos para avaliação foram necessários, em função do tempo limitado para execução da análise.

O MLI e a Matriz de Análise e Julgamento foram validados por atores envolvidos com o e-Car na SVS. Esta medida foi determinante para a elaboração dos questionários e roteiros de entrevista. Os dados primários foram coletados por correio eletrônico, mediante questionários semiestruturados aplicados com 20 entrevistados da SVS (cinco coordenadores e 15 técnicos), para definição do grau de implantação.

Adicionalmente, foram elaborados roteiros-guia da coleta presencial de informações junto a outros cinco informantes-chave, entre diretores e técnicos, permitindo a análise do contexto político-organizacional. As entrevistas foram gravadas em equipamento digital e posteriormente transcritas. A coleta dos dados secundários deu-se por consulta a relatórios extraídos do e-Car, materiais institucionais e artigos científicos publicados. Todo o processo de validação e coleta de dados ocorreu nos meses de julho a setembro de 2016.

A análise dos dados para definição do grau de implantação foi realizada por meio da somatória das respostas relacionadas aos componentes de estrutura e de processo, dividida pela pontuação máxima dada pela matriz de análise e julgamento, multiplicada por 100. O sistema e-Car foi classificado da seguinte forma: implantado (>75%); parcialmente implantado (50 a 75%); incipiente (25 a 49%); e não implantado (<25%).

A análise do contexto político-organizacional foi baseada em documentos e relatos de diretores da SVS e outros informantes. Essas informações foram categorizadas e tratadas por análise de conteúdo. As técnicas de análise e descrição das mensagens basearam-se na presença ou frequência de frases, palavras e resumos com características comuns entre os entrevistados (Figura 3).¹⁷17. Bardin L. Análise de conteúdo. São Paulo: Edições 70; 2011. As fragilidades e fortalezas do e-Car foram identificadas pelas entrevistas semiestruturadas e, posteriormente, relacionadas aos aspectos de contexto relatados por dirigentes e outros informantes, e pela observação e análise de documentos.

O projeto do estudo foi aprovado pelo Comitê de Ética em Pesquisa da Escola Nacional de Saúde Pública Sergio Arouca/Fundação Instituto Oswaldo Cruz (ENSP/Fiocruz): Certificado de Apresentação para Certificação Ética (CAAE) n^o 1.542.745, de 13 de maio de 2016. Os participantes assinaram Termo de Consentimento Livre e Esclarecido, sendo preservada a confidencialidade dos atores e instâncias de gestão contempladas na avaliação.

Resultados

O e-Car estava implantado em um nível percentual de 75,4% na SVS, no período analisado, proporcionalmente distribuído entre 72,5% de implantação da dimensão de estrutura e 78,3% de implantação da dimensão de processo (Tabela 1). As piores performances de estrutura foram relacionadas ao serviço de manutenção dos computadores e ao sistema operacional, relatadas por 11 dos 20 entrevistados, e a existência de manual de instruções sobre o e-Car, conhecida por apenas oito participantes. Na dimensão de processo, oito dos 20 entrevistados afirmaram receber capacitação periodicamente, uma a duas vezes por ano, e seis revelaram ter conhecimento de capacitações esporádicas, sem regularidade anual. Onze participantes informaram que ocorreu mudança positiva na elaboração de pareceres e mecanismos de monitoramento entre 2012 e 2015.

O grau de implantação foi influenciado pelo contexto político-organizacional da SVS no período de 2012 a 2015, considerando-se a governabilidade/sustentabilidade e a capacidade de governo. Para os cinco entrevistados por roteiro, o sistema teve uma forte visibilidade dentro da SVS. No entanto, uma incorporação mais concreta que pudesse ser traduzida em sustentabilidade dependia de uma mudança profunda da cultura institucional:

Segundo os entrevistados, a sustentabilidade do sistema está atrelada à vontade política do gestor. Mesmo que as principais atividades previstas em agenda sejam emanadas de uma decisão política, individualmente, cada gestor tem suas próprias visões e quer deixar sua marca de governo, o que acaba por condenar a vida curta as políticas de planejamento, monitoramento e avaliação especialmente.

Em quatro anos, o Ministério da Saúde teve quatro ministros e a SVS dois secretários, o que influenciou a sistemática de monitoramento e de implantação do sistema e-Car. Para o informante 2, essa instabilidade no processo de planejamento e monitoramento pode gerar desconfiança sobre o desempenho da área e, consequentemente, tornar o sistema mais vulnerável quanto a sua sustentabilidade.

No que diz respeito à capacidade de governo, os recursos humanos foram vistos como insuficientes. Para os entrevistados, o grande número de consultores na SVS contribuiu para a instabilidade do serviço: foi relatada alta rotatividade de pessoal, fruto da constante mudança de área dos servidores ou desligamento de consultores. Nem sempre o novo pessoal destinado ao acompanhamento do sistema o conhecia ou estava capacitado a operá-lo.

No que toca às peculiaridades entre os diferentes departamentos da SVS, destacou-se a condição do departamento A, dotado de uma rede tecnológica própria e computadores atualizados, um nível de estrutura diferenciado do restante do Ministério da Saúde. Essa diferença se observou, também, na organização dos processos de M&A: o departamento A contava com a instituição de um comitê específico para monitoramento dos resultados do e-Car.

Os demais departamentos da SVS localizavam-se em um prédio distante da sede do ministério, sustentados por uma estrutura precária, sendo frequente a queda da conexão com a internet. No caso do departamento B, havia mais um agravante: o diretor não se encontrava no mesmo prédio de suas coordenações vinculadas. O relato de um dos informantes evidenciou os prejuízos dessa separação física, dentro da mesma estrutura:

A resolução da parte estrutural parecia mais complexa e desafiadora, visto que, à exceção do departamento A, os demais departamentos tinham pouca autonomia nesse campo. Outras dificuldades estruturais em relação à organização do e-Car eram as lacunas encontradas na normatização, desde que não havia uma portaria ministerial para a definição do sistema como ferramenta de monitoramento, e no baixo conhecimento sobre a existência do manual com as instruções de uso do sistema.

A melhoria de qualidade no monitoramento e uso do sistema foi garantida com a oferta de cursos de capacitação e com o esforço pela qualificação e padronização de pareceres na SVS. Ao se realizar a comparação de pareceres formulados entre 2012 e 2015, foi possível observar uma evolução na qualidade de análises realizadas pelos departamentos e coordenações na SVS.

A existência de instâncias de gestão colegiada também foi vista como benéfica ao processo de monitoramento, ao ter possibilitado uma série de mobilizações desde o nível técnico até o nível do secretariado:

Para os entrevistados, o encaminhamento das soluções para os problemas encontrados durante os colegiados de gestão tornou os pareceres mais objetivos. Outro estímulo para esse aprimoramento aconteceu quando os órgãos de controle externo passaram a acompanhar a evolução dos resultados postados no e-Car.

Ressalta-se que o e-Car traz a identificação do responsável pelas metas acompanhadas. O gestor é cobrado em reuniões do colegiado e por órgãos responsáveis pelo acompanhamento das metas, como o Ministério do Planejamento, Desenvolvimento e Gestão, a Controladoria-Geral da União (CGU) e o Tribunal de Contas da União (TCU).

O conteúdo qualitativo do sistema contribuiu com a evolução de metas, esclarecimento dos problemas e resolução dos entraves observados. A lógica de concepção do sistema e a sistemática de alimentação mensal e acompanhamento, esta realizada em discussões semanais no colegiado, subsidiaram a tomada de decisões de forma continuada.

Todo o aperfeiçoamento da sistemática de monitoramento manifestado na época permitiu que os resultados do e-Car fossem utilizados no planejamento e monitoramento, contribuindo para a gestão dos departamentos e para a elaboração do PPA subsequente, de 2016 a 2019.

A influência do contexto político-organizacional da SVS no grau de implantação do e-Car encontrado foi caracterizada por meio de fortalezas e fragilidades, apresentadas na Figura 4. Entre as fortalezas sinalizadas na estrutura, estava o reconhecimento dos responsáveis pelos resultados, enquanto a fragilidade se manifestava em problemas de acesso e de configurações do sistema. Em termos de processos, as informações para a tomada de decisão foram percebidas como fortaleza, enquanto os riscos de o sistema se tornar uma ferramenta burocrática e a falta de uma política que instituísse o M&A foram apontados como fragilidades.

Discussão

Na SVS, um mesmo secretário permaneceu no cargo entre os anos de 2012 e 2014, influenciando positivamente o aprimoramento do monitoramento dos resultados pactuados no Planejamento Estratégico de 2012 a 2015,⁶6. Campelo LM, Santos EM, Oliveira PTR. Análise estratégica do processo de formulação da PM&A-SUS: lições aprendidas e desafios. Saúde Debate [Internet]. 2017 mar [citado 2019 abr 30]; 41(esp):34-49. Disponível em: Disponível em: http://www.scielo.br/scielo.php?pid=S0103-11042017000500034&script=sci_abstract&tlng=pt. doi: 10.1590/0103-11042017s04
http://www.scielo.br/scielo.php?pid=S010... por meio do e-Car. Sabe-se que o monitoramento institucionalizado é primordial para a correção de rumos e alcance das metas e resultados previstos para os planos governamentais.¹¹11. Figueiró AC, Santos MA, Cruz MM, Ubarana JA, Hartz Z. Implementação de um sistema de monitoramento e avaliação de âmbito federal: o caso do e-Car no Departamento de Monitoramento e Avaliação do Sistema Único de Saúde (SUS). An Inst Hig Med Trop [Internet]. 2017 [citado 2019 abr 30]; 16 Suppl 2: S65-S74. Disponível em: Disponível em: https://anaisihmt.com/index.php/ihmt/article/view/59/47 . doi: 10.25761/anaisihmt.59
https://anaisihmt.com/index.php/ihmt/art... ^,1818. Maia LVA, Silva MS, Salviano VM. O monitoramento das prioridades de governos no Ministério do Planejamento. Rev Bras Monit Aval [Internet]. 2013 jan-jun [citado 2019 abr 30];5:28-47. Disponível em: Disponível em: https://aplicacoes.mds.gov.br/sagirmps/ferramentas/docs/RBMAs/RBMA_5.pdf
https://aplicacoes.mds.gov.br/sagirmps/f... ^,1919. Oliveira PTR, Sellera PEG, Reis AT. O monitoramento e a Avaliação na Gestão do Ministério da Saúde. Rev Bras Monit Aval [Internet]. 2013 jan-jun;(5):114-29. Disponível em: http://idsus.saude.gov.br/documentos/Artigo_M&A_RBMA_5.pdf
http://idsus.saude.gov.br/documentos/Art... Contudo, sua sustentabilidade depende de muitos fatores contextuais.

A partir de mudanças mais consistentes no contexto político do Ministério da Saúde, inclusive na SVS, ocorridas em 2015, o monitoramento passou a ser realizado sem a mesma regularidade. Esse declínio foi sentido com mais profundidade em 2016, quando o processo do e-Car foi desestruturado no Ministério da Saúde, e por conseguinte na SVS, dado o impacto da mudança da Presidência da República, cujo reflexo direto foi o desencadeamento da mudança de gestão em cascata, no nível ministerial e de suas secretarias.

Embora a mudança brusca de direção política tenha ocorrido após a pesquisa, é mister mencioná-la como propulsora de mudanças político-organizacionais no Ministério da Saúde, com a exoneração de dirigentes e o enfraquecimento da área de Monitoramento e Avaliação do SUS. Em 2016, o sistema e-Car passou quase um semestre em atualização da nova base de resultados que deveriam ser monitorados no período de 2016 a 2019, trazendo a descontinuidade de alimentação e, consequentemente, do acompanhamento da SVS.

Tal situação mostra como a institucionalização do M&A ainda é frágil e continua à mercê da vontade política do momento. Leeuw e Furubo²⁰20. Leeuw FL, Furubo JE. Evaluation systems: what are they and why study them? Evaluation [Internet]. 2008 Apr [cited 2008 Apr 1);14(2):157-69. Available from: Available from: http://evi.sagepub.com/cgi/content/abstract/14/2/157 . doi: 10.1177/1356389007087537
http://evi.sagepub.com/cgi/content/abstr... ^,2121. Serpa SMHC. Uma leitura dos usos da avaliação na administração pública no Brasil a partir da caracterização dos sistemas de avaliação de programas governamentais (tese). Brasília (DF): Universidade de Brasília; 2014. Disponível em: http://repositorio.unb.br/handle/10482/16562
http://repositorio.unb.br/handle/10482/1... ressaltaram a dificuldade em definir um sistema de avaliação cuja sustentabilidade depende de uma cultura avaliativa mais madura, construída pela tríade ‘tempo, investimento e arranjos permanentes’.²¹21. Serpa SMHC. Uma leitura dos usos da avaliação na administração pública no Brasil a partir da caracterização dos sistemas de avaliação de programas governamentais (tese). Brasília (DF): Universidade de Brasília; 2014. Disponível em: http://repositorio.unb.br/handle/10482/16562
http://repositorio.unb.br/handle/10482/1... ^,2222. Furubo JE, Rist RC, Sandahl R. International atlas of evaluation. New Brunswick, London: Transaction Publishers; 2002. Ao que parece, muitos foram os investimentos no sistema, na capacitações de seu corpo técnico e na sistemática de monitoramento da SVS. Entretanto, esta pesquisa identificou uma fragilidade na capacidade do sistema para institucionalizar e normatizar essas práticas. A cultura organizacional precisa de tempo e investimento para absorver mudanças de forma mais consistente e ganhar estabilidade. Quatro anos pareceram pouco para a internalização, pela administração pública, de um sistema como o e-Car.

A institucionalização da avaliação é perceptível, como se sua integração ao sistema organizacional influenciasse a ação, conectando as atividades analíticas às de gestão das intervenções.²³23. Hartz ZMA, Vieira LMS. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: Ed UFBA; 2014.^,2424. Carvalho ALB, Souza MF, Shinizu HE, Senra IMVB, Oliveira KC. A gestão do SUS e as práticas de monitoramento e avaliação: possibilidades e desafios para a construção de uma agenda estratégica. Ciênc Saúde Coletiva [Internet]. 2012 abr [citado 2019 abr 30];17(4):901-11. Disponível em: Disponível em: http://www.scielo.br/pdf/csc/v17n4/v17n4a12.pdf . doi: 10.1590/S1413-81232012000400012
http://www.scielo.br/pdf/csc/v17n4/v17n4... A cultura de uma organização reflete as tradições, valores e premissas compartilhadas por seus membros, e estabelece suas regras de conduta.²⁵25. Bourgeois I, Cousins JB. Understanding dimensions of organizational evaluation capacity. Am J Eval [Internet]. 2013 May [cited 2019 Apr 30];34(3):299-319. Available from: Available from: https://journals.sagepub.com/doi/abs/10.1177/1098214013477235 . doi: 10.1177/1098214013477235
https://journals.sagepub.com/doi/abs/10.... A liderança organizacional também é premissa à construção da sistemática de M&A, sendo considerada como apoio gerencial para implementar e sustentar a capacidade avaliativa nas organizações. Assim, se a liderança organizacional muda e o sistema e a sistemática de monitoramento não estão institucionalizados, sua permanência fica mais frágil e ameaçada.²⁵25. Bourgeois I, Cousins JB. Understanding dimensions of organizational evaluation capacity. Am J Eval [Internet]. 2013 May [cited 2019 Apr 30];34(3):299-319. Available from: Available from: https://journals.sagepub.com/doi/abs/10.1177/1098214013477235 . doi: 10.1177/1098214013477235
https://journals.sagepub.com/doi/abs/10.... Publicação do Ministério da Saúde de 2005 sinalizou a avaliação em saúde como incipiente e pouco incorporada às práticas, demasiado burocrática e distante da cultura institucional. Entre os limites às atividades de monitoramento e avaliação, foi mencionada a fragmentação de suas orientações, dificultando a realização de ações coordenadas.²⁶26. Ministério da Saúde (BR). Secretaria Executiva. Departamento de Apoio à Descentralização. Nota técnica: considerações sobre a instituição de um processo de monitoramento e avaliação do SUS. Brasília: Ministério da Saúde; 2005.

Cabe dizer que, quando a conjuntura política foi favorável, entre 2012 e 2015, a implantação do sistema na SVS foi bem-sucedida, sendo considerada implantada, em processo e parcialmente implantada em sua dimensão de estrutura. Ressaltam-se, todavia, frequentes dificuldades estruturais para a implementação de sistemas informatizados.

Em 2014, o TCU divulgou levantamento com o índice de maturidade dos sistemas de avaliação de programas dos órgãos da administração direta do Executivo federal.²⁷27. Tribunal de Contas da União (BR). Diagnóstico do perfil e da maturidade dos sistemas de avaliação dos programas governamentais [Internet]. Brasília: Tribunal de Contas da União; 2014 [citado 2019 abr 30]. Disponível em: Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?inline=1&fileId=8A8182A14D92792C014D92800F763762
https://portal.tcu.gov.br/lumis/portal/f... Essa pesquisa, realizada com 2.062 gestores de 27 ministérios, obteve 750 respostas (36,4%). Apesar de o índice no Ministério da Saúde ter sido de 73,1 - o mais elevado da Esplanada -, o estudo destaca a necessidade de adequação dos recursos orçamentários e financeiros, da infraestrutura da área de Tecnologia da Informação e do quantitativo de pessoal disponível nas unidades do ministério para a adequada produção de informações.²⁷27. Tribunal de Contas da União (BR). Diagnóstico do perfil e da maturidade dos sistemas de avaliação dos programas governamentais [Internet]. Brasília: Tribunal de Contas da União; 2014 [citado 2019 abr 30]. Disponível em: Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?inline=1&fileId=8A8182A14D92792C014D92800F763762
https://portal.tcu.gov.br/lumis/portal/f...

De acordo com outra pesquisa, esta sobre a percepção da equipe de Saúde da Família, o Sistema de Informação da Atenção Básica (SIAB) era utilizado esporadicamente pela equipe, em função da rotatividade de profissionais. Esse problema estrutural da área de Recursos Humanos prejudicava o preenchimento de fichas, gerando dificuldade de análise, monitoramento e avaliação das informações do sistema.²⁸28. Freitas FP, Pinto IC. Percepção da equipe de saúde da família sobre a utilização do sistema de informação da atenção básica-SIAB. Rev Latino-Am Enfermagem [Internet]. 2005 jul-ago [citado 2019 abr 30];13(4):547-54. Disponível em: Disponível em: http://www.scielo.br/pdf/rlae/v13n4/v13n4a13.pdf . doi: 10.1590/S0104-11692005000400013
http://www.scielo.br/pdf/rlae/v13n4/v13n...

A influência da estrutura na implementação de sistemas de informações aparece também em estudo de implantação do Sistema de Informações sobre Nascidos Vivos (Sinasc) em Pernambuco, no ano de 2010: no nível central do Sinasc/PE, a implantação foi considerada avançada, enquanto nas regionais de saúde, foi avaliada como insuficiente. É possível que essas variações de implantação estejam relacionadas à estrutura insuficiente das regionais e ao pouco conhecimento das normas vigentes pelos operadores do sistema no estado.²⁹29. Pereira CCB, Vidal SA, Carvalho PI, Frias PG. Avaliação da implantação do Sistema de informações sobre nascidos vivos em Pernambuco. Rev Bras Saúde Mater Infant [Internet]. 2013 jan-mar [citado 2019 abr 30];13(1):39-49. Disponível em: Disponível em: http://www.scielo.br/pdf/rbsmi/v13n1/a05v13n1.pdf . doi: 10.1590/S1519-38292013000100005
http://www.scielo.br/pdf/rbsmi/v13n1/a05...

Em mais um estudo digno de menção, a baixa utilização do Sistema de Informações sobre Orçamentos Públicos em Saúde (SIOPS) foi atribuída a dois fatores: (i) a conexão precária da internet; e (ii) a falta de conhecimento sobre a utilização do sistema, avaliada a partir da regularidade de alimentação e do uso do sistema como instrumento de gestão.³⁰30. Silva KSB, Bezerra AFB, Sousa IMC, Gonçalves RF. Conhecimento e uso do Sistema de Informações sobre Orçamentos Públicos em Saúde (SIOPS) pelos gestores municipais, Pernambuco, Brasil. Cad Saúde Pública [Internet]. 2010 fev [citado 2019 abr 30];26(2):373-82. Disponível em: Disponível em: http://www.scielo.br/pdf/csp/v26n2/16.pdf . doi: 10.1590/S0102-311X2010000200016
http://www.scielo.br/pdf/csp/v26n2/16.pd...

Diferentemente do apontado pelos estudos, no caso do e-Car, a condição de estrutura parcialmente implantada não prejudicou a dimensão de processo, considerada implantada, possivelmente em função dos esforços envidados pela gestão.

O formato de criação do e-Car possibilitava que, além das metas do PPA, metas complementares e de importância para a SVS fossem incorporadas à dinâmica de acompanhamento. A preocupação com a construção de indicadores de resultado coerentes e mensuráveis, citada como um desafio por Santos,¹³13. Santos AR. Monitoramento e avaliação de programas no setor público: a experiência do PPA do Governo Federal no período 2000-2011 [monografia]. Brasília: Instituto Serzedello Corrêa (ISC); 2012. foi considerada na programação do período. Todas as metas e resultados estratégicos faziam parte do planejamento estratégico do Ministério da Saúde e mantinham relação com os objetivos pactuados entre os gestores.

Como limitações deste estudo, destaca-se a transição de gestão presidencial ocorrida no Ministério da Saúde durante o período analisado. O fato teve impacto na redução do número final de participantes, de 36 para 25 entrevistados. Entretanto, se não contou com a participação integral de seus gestores e técnicos, a pesquisa permitiu compreender a situação de implantação do e-Car na SVS, a partir do conhecimento de suas fragilidades e fortalezas.

Diante dos resultados encontrados, conclui-se que o sistema e-Car foi implantado na Secretaria de Vigilância em Saúde no período de vigência do PPA 2012-2015. Não obstante, a sustentabilidade do sistema foi considerada frágil, necessitando de tempo, investimento e adoção de arranjos mais maduros, capazes de promover a mudança da cultura institucional necessária à incorporação das práticas de monitoramento e avaliação.

Para o aperfeiçoamento do Sistema de Controle, Acompanhamento e Avaliação de Resultados - e-Car - e da sistemática de monitoramento de resultados governamentais, são recomendadas as seguintes iniciativas: (i) a institucionalização do e-Car e da sistemática de monitoramento de resultados; (ii) a continuidade na formação de profissionais em planejamento, monitoramento e avaliação; (iii) a manutenção da sistemática de monitoramento, para o fortalecimento da tomada de decisões; (iv) a melhoria da estrutura do sistema, com a disponibilização de internet mais rápida e estável; e (v) a manutenção de profissionais capacitados em seu desenvolvimento e apoio técnico.

Agradecimentos

Aos gestores, coordenadores e técnicos da Secretaria de Vigilância em Saúde do Ministério da Saúde que contribuíram para a realização deste estudo.

Ao Programa de Mestrado Profissional em Saúde Pública da ENSP/Fiocruz.

Ao apoio prestado pela SVS/MS e pelo Departamento de Monitoramento e Avaliação do SUS.

Referências

Datas de Publicação

Histórico