Resumo
OBJETIVO:
descrever e analisar criticamente os caminhos percorridos e o referencial técnico utilizado na construção do Painel de Monitoramento da Secretaria Municipal da Saúde de São Paulo (SMS/SP), destacar suas potencialidades e limites para a tomada de decisão.
MÉTODOS:
pesquisa qualitativa, baseada na análise de documentos da gestão e entrevistas semiestruturadas com atores-chave; foi realizada uma análise temática do material, para compreensão das escolhas técnicas e caminhos percorridos na construção do Painel.
RESULTADOS:
o Painel disponibiliza relatórios numéricos e gráficos utilizando quatro modelos de análise estatística, de maneira a facilitar o acesso às informações pelos usuários de distintas instâncias da gestão e agilizar a análise de dados.
CONCLUSÃO:
o Painel de Monitoramento da SMS/SP propicia alternativas de análise para os distintos níveis de gestão, potencializando decisões descentralizadas; constitui uma estratégia ágil e adequada ao monitoramento, além da possibilidade de sua utilização em diferentes contextos de gestão e extensão territorial.
Palavras-chave:
Monitoramento; Gestão em Saúde; Indicadores de Gestão
Abstract
OBJECTIVE:
To describe and critically analyze the steps taken and the technical references used to build the São Paulo City Health Department Monitoring Panel, highlighting its potentials and limits for the decision-making process.
METHODS:
This was a qualitative study based on analysis of official documents and semi-structured interviews with key informants. The data was submitted to thematic analysis aimed at understanding the technical choices and paths taken to build the Panel.
RESULTS:
The Panel provides numerical and graphical reports applying four statistical analysis models, thus facilitating access to information and data analysis by different management levels.
CONCLUSIONS:
The Panel provides analysis options for different management levels, thus strengthening decentralized decisions. It is a streamlined and appropriate monitoring strategy as well as being able to be used in different management contexts and territory sizes.
Key words:
Monitoring; Health Management; Management Indicators
Resumen
OBJETIVO:
Describir y analizar críticamente los caminos tomados y las referencias técnicas utilizadas en la construcción del Panel de Monitoreo de la Secretaria Municipal en Salud de São Paulo, apuntando sus potencialidades y límites para la toma de decisiones.
MÉTODOS:
Investigación cualitativa basada en el análisis de documentos y entrevistas semi-estructuradas con actores clave. Realizamos un análisis temático del material con el objetivo de comprender las técnicas y caminos seleccionados para la construcción del Panel.
RESULTADOS:
El Panel proporciona informes numéricos y gráficos utilizando cuatro modelos de análisis estadístico, lo que facilita el acceso de información a diferentes instancias de la administración y el análisis más rápido de los datos.
CONCLUSIÓN:
El Panel proporciona alternativas de análisis para los diferentes niveles de gestión y fortalece las decisiones descentralizadas. Es una estrategia ágil y adecuada para el monitoreo y da la posibilidad de ser usado en diferentes contextos de gestión y tamaños territoriales.
Palabras clave:
Monitoreo; Gestión en Salud; Indicadores de Gestión
Introdução
O monitoramento e a avaliação vêm se tornando componentes importantes para a gestão dos serviços de saúde, ao fornecer elementos de conhecimento que subsidiem a tomada de decisão e propiciem maior eficiência, eficácia e efetividade às atividades desenvolvidas.11. Tanaka OY, Tamaki EM. O papel da avaliação para a tomada de decisão na gestão de serviços de saúde. Cien Saude Coletiva. 2012 abr;17(4):821-8.
No Brasil, desde a implantação do Sistema Único de Saúde (SUS), há um crescente interesse na utilização dessas propostas. Para incorporar o monitoramento e a avaliação no cotidiano dos serviços, é preciso considerar a rapidez necessária ao exercício dessas práticas, no sentido de que os resultados alcançados contribuam, de fato, com o processo decisório.22. Tamaki EM, Tanaka OY, Felisberto E, Alves CKA, Drumond Junior M, Bezerra LCA, et al. Metodologia de construção de um painel de indicadores para o monitoramento e a avaliação da gestão do SUS. Cien Saude Coletiva. 2012 abr;17(4):839-49.
Iniciativas do Ministério da Saúde têm sido disponibilizadas para o acompanhamento gerencial dos programas e análise de desempenho dos serviços, entretanto sem contemplar as diversidades locais, oferecendo formatos e critérios idênticos para aplicação em todo o território nacional.33. Jannuzzi PM. Sistemas de Monitoramento e Avaliação de Programas Sociais: revisitando mitos e recolocando premissas para sua maior efetividade na gestão. Revista Brasileira de Monitoramento e Avaliação. 2013 jan-jun;(5):4-27.,44. Oliveira PTR, Sellera PEG, Reis AT. O monitoramento e a avaliação na gestão do Ministério da Saúde. Revista Brasileira de Monitoramento e Avaliação. 2013 jan-jun;(5):114-29.
Na última década (2005 a 2015), foram apresentadas propostas metodológicas para análise de desempenho dos serviços de saúde; contudo, elas tem sido pouco incorporadas pela gestão em saúde. A importância da institucionalização dessas práticas tem-se discutido amplamente, mobilizado diferentes segmentos.55. Contandriopoulos AP. Avaliando a institucionalização da avaliação. Cien Saude Coletiva. 2006 jul-set;11(3):705-11.,66. Vieira-da-Silva LM, Hartz ZMA, Chaves SCL, Silva GAP, Paim JS. Análise da implantação da gestão descentralizada em saúde: estudo comparado de cinco casos na Bahia, Brasil. Cad Saude Publica. 2007 fev;23(2):355-70.
O desenvolvimento do Painel de Monitoramento da Secretaria Municipal da Saúde de São Paulo (SMS/SP) teve como pressuposto a consolidação da prática do diagnóstico como ponto de partida para processos de planejamento. Detectou-se no município a falta de instrumentos que acompanhassem as ações desenvolvidas e verificassem se essas ações eram realizadas e surtiam os efeitos esperados. O Painel é uma matriz de indicadores cujo acompanhamento sistemático conforma o monitoramento, contínuo e oportuno, da atuação de gestores e técnicos sobre as prioridades da política de saúde.77. Drumond Júnior M. Painel de monitoramento da situação de saúde e da atuação dos serviços da Secretaria Municipal de Saúde de São Paulo. In: Ministério da Saúde; Organização Pan-Americana de Saúde. Sala de situação em saúde: compartilhando as experiências do Brasil. Brasília: Organização Pan-Americana da Saúde, Ministério da Saúde; 2010. p.141-6.
O monitoramento é considerado uma atividade que privilegia as equipes e gestores próximos à tomada de decisão. De caráter interno e gerencial, sua realização deve acontecer durante o período de execução de uma ação, sem o compromisso de um juízo de valor imediato mas a sinalização de possíveis avanços ou falhas. As informações oriundas de um monitoramento organizado, sistematizado e com metodologia adequada de análise, sinalizam o comportamento de uma determinada ação. A descrição da variação temporal tem, como objetivo central, captar mudanças no tempo - que os indicadores apontam.11. Tanaka OY, Tamaki EM. O papel da avaliação para a tomada de decisão na gestão de serviços de saúde. Cien Saude Coletiva. 2012 abr;17(4):821-8.,22. Tamaki EM, Tanaka OY, Felisberto E, Alves CKA, Drumond Junior M, Bezerra LCA, et al. Metodologia de construção de um painel de indicadores para o monitoramento e a avaliação da gestão do SUS. Cien Saude Coletiva. 2012 abr;17(4):839-49.
A experiência do Painel da SMS/SP tem mostrado que o monitoramento da gestão mediante indicadores é uma estratégia ágil de acompanhar a tendência de determinadas ações e direcionar processos de avaliação, oferecendo apoio oportuno à tomada de decisão. Outrossim, o desafio constante de atender as necessidades da gestão, nos diferentes níveis do sistema de saúde da cidade, traz a possibilidade de adequação da prática para diferentes escalas territoriais e de governabilidade.88. Carvalho ALB, Souza MF, Shimizu HE, Senra IMVB, Oliveira KC. A gestão do SUS e as práticas de monitoramento e avaliação: possibilidades e desafios para a construção de uma agenda estratégica. Cien Saude Coletiva. 2012 abr;17(4):901-11.
O objetivo deste estudo foi descrever e analisar criticamente os caminhos percorridos e o referencial técnico utilizado na construção do Painel de Monitoramento da Secretaria Municipal da Saúde de São Paulo, visando contribuir para a compreensão e identificação de suas potencialidades e limites no apoio à tomada de decisão, além da possibilidade de disseminação e utilização dessa experiência.
Métodos
Trata-se de uma pesquisa qualitativa que utilizou a metodologia de estudo de caso único99. Yin RK. Estudo de caso: planejamento e métodos. 3 ed. Porto Alegre: Bookman; 2005. para conhecer o referencial técnico e entender os caminhos percorridos na construção do Painel de Monitoramento da SMS/SP, ferramenta que vem sendo desenvolvida para utilização por gestores e técnicos da Secretaria Municipal de Saúde de São Paulo desde 2001.
A proposta 'Abordagem do Ciclo de Políticas' foi considerada adequada para a apropriação dessa experiência, por trazer, em sua essência, o entendimento de que uma política, além de processos e consequências, constitui-se de Texto e Discurso. Trata-se de conceituações complementares, implícitas uma à outra: a primeira, o Texto, refere-se aos documentos oficiais, entendidos como produtos em permanente construção, fruto de esforços coletivos; a segunda conceituação, o Discurso, enfatiza as subjetividades e o conhecimento na construção de certas possibilidades de pensamento e suas opções.1010. Rezende M, Baptista TWF. A análise da política proposta por Ball. In: Mattos RA, Baptista TWF (organizadores). Caminhos para análise das políticas de saúde. Porto Alegre: Rede UNIDA; 2015. (Série Interlocuções. Práticas, experiências e pesquisas em saúde).
Como primeiro passo na reconstrução desse caminho, foram organizados e analisados criticamente os documentos obtidos junto à gestão municipal, classificados em dois tipos:
Documentos oficiais - relatórios técnicos, referentes ao desenvolvimento do aplicativo (relatos estatísticos e de análise de sistemas), e publicações na literatura sobre o tema Painel de Monitoramento.
Documentos administrativos - memórias das reuniões mensais, espaços de discussão e desenvolvimento da proposta na SMS/SP de forma participativa, envolvendo técnicos dos níveis descentralizados, iniciadas em 2004; e folders de divulgação, apresentações e publicações internas.
As etapas para a construção desse escopo e auxílio à exploração do material foram:
- histórico político da Secretaria Municipal da Saúde em relação ao SUS, no início do projeto (2001);
- identificação dos fatores influenciadores na elaboração do projeto do Painel de Monitoramento da SMS/SP;
- identificação do alcance da ferramenta na gestão, nos diferentes níveis do sistema de saúde do município de São Paulo;
- reconstrução da sequência cronológica, visando identificar os diferentes marcos teóricos na concepção e implementação do projeto; e
- descrição dos ajustes realizados nesse processo, desde a concepção até a disponibilização do Painel.
Após a análise documental, foram realizadas entrevistas semiestruturadas com os responsáveis pelo desenvolvimento do Painel de Monitoramento da SMS/SP: um profissional estatístico, dedicado a análises de processos produtivos; um analista de sistemas programador, com conhecimento em estatística; e um médico, com atuação na área de informações em saúde e epidemiologia. As entrevistas foram realizadas em agosto de 2013, na Faculdade de Saúde Pública da Universidade de São Paulo. O roteiro utilizado partiu de descrição espontânea do entrevistado sobre a construção do Painel e enveredou nas seguintes dimensões: metodologias de análise; programas (softwares) utilizados para a construção da ferramenta; e critérios de seleção dos recursos estatísticos mais adequados.
As entrevistas foram gravadas e transcritas. Utilizou-se a técnica de análise temática, permitindo a identificação das dimensões empíricas emergidas da análise do dado primário que pudessem ser norteadas pelas variáveis analíticas.1111. Bardin L. Análise de conteúdo. Lisboa: Edições 70; 2002. A apresentação dos dados teve como opção metodológica uma narrativa, com a perspectiva de interpretação e análise crítica dos autores a partir dos dados levantados nos documentos disponibilizados pela gestão e nos conteúdos das entrevistas.1212. Greenhalgh T, Robert G, Macfarlane F, Bate P, Kyriakidou O. Difussion of innovations in service organizations: systematic review and recommendations. Milbank Q. 2004;82(4):581-629.
13. Rother ET. Revisão sistemática x revisão narrativa. Acta Paul Enferm. 2007;20(2):5-6.-1414. Cordeiro AM, Oliveira GM, Rentería JM, Guimarães CA; Grupo de Estudo de Revisão Sistemática do Rio de Janeiro. Revisão sistemática: uma revisão narrativa. Rev Col Bras Cir. 2007 nov-dez;34(6):428-31.
O projeto do estudo recebeu parecer favorável do Comitê de Ética em Pesquisa (CEP) da Secretaria Municipal da Saúde de São Paulo em 22 de outubro de 2012 (Parecer no 161/12 - CEP/SMS) e foi aprovado pela Faculdade de Saúde Pública da Universidade de São Paulo (USP) em 27 de novembro de 2012, mediante Certificado de Apresentação para Apreciação Ética (CAAE) no 06459012.7.0000.5421.
Resultados
I. Percorrendo os caminhos de construção do Painel de Monitoramento: etapas essenciais
Da identificação da necessidade às escolhas técnicas de base do instrumento
A construção do Painel de Monitoramento sob análise teve como objetivo apoiar políticas locais mais autônomas e novas formas de relação entre os diferentes níveis da gestão, visando o desenvolvimento de estratégias para uma atuação conjunta, articulada e compartilhada.1515. Drumond Júnior M, Mendes R. O Painel de monitoramento das condições de vida e da situação dos serviços de saúde: instrumento para uma gestão cidadã. In: Mendes A, Sobrinho EJMA. Tempos Radicais da Saúde em São Paulo. São Paulo: Hucitec; 2003: p. 341-63. Buscou-se integrar a produção da informação e sua utilização prática no cotidiano dos diferentes espaços de decisão, em todos os níveis do sistema de saúde municipal.
O ponto de partida dessa etapa foi a análise dos indicadores já existentes, nos diferentes instrumentos do SUS: Programa de Atenção Básica,1616. Ministério da Saúde (BR). Secretaria Executiva. Programa da Atenção Básica (PAB): parte física. Brasília: Ministério da Saúde; 2001. Programação Pactuada Integrada (PPI) e indicadores selecionados ou desenvolvidos para o acompanhamento dos projetos prioritários da gestão da Saúde e da Agenda Municipal,1515. Drumond Júnior M, Mendes R. O Painel de monitoramento das condições de vida e da situação dos serviços de saúde: instrumento para uma gestão cidadã. In: Mendes A, Sobrinho EJMA. Tempos Radicais da Saúde em São Paulo. São Paulo: Hucitec; 2003: p. 341-63. cujos exemplos são apresentados na Figura 1. Esses indicadores foram agrupados e analisados de acordo com os componentes de Estrutura, Processo e Resultado proposto por Donabedian.1717. Donabedian A. The definition of quality: a conceptual exploration. In: Explorations in quality assessment and monitoring. Vol. 1. Michigan: Health Administration Press; 1980: p. 3-31.
- Seleção de indicadores segundo documento de origem, método de cálculo, fonte e componente de análise
A análise crítica foi direcionada a apreender o alcance da descentralização do Painel e da democratização das informações para os diferentes níveis de gestão do município, respeitando a possibilidade de governabilidade dos gestores e técnicos de cada espaço.1818. Ribeiro PT. A descentralização da ação governamental no Brasil dos anos noventa: desafios do ambiente político-institucional. Cien Saude Coletiva. 2009 maio-jun;14(3):819-28.,1919. Contandriopoulos D, Lemire M, Denis JL, Tremblay E. Knowledge exchange processes in organizations and policy arenas: a narrative systematic review of the literature. Milbank Q. 2010 Dec;88(4):444-83. Grupos de trabalho, envolvendo todos os níveis de gestão do sistema de saúde da cidade, analisaram os indicadores com o objetivo de avaliar a adequação do elenco proposto para o acompanhamento descentralizado.
O conteúdo dos documentos administrativos permitiu identificar a utilização de dois métodos de análise da gestão e sua equidade sobre os distintos territórios da cidade: a Distância Relativa do Parâmetro e o Índice-Saúde.2020. Secretaria Municipal da Saúde (São Paulo). Coordenação de Epidemiologia e Informação. Painel de monitoramento das condições de vida e saúde e da situação dos serviços de saúde: avaliação da equidade: índice-saúde 2004 por subprefeitura e tendência nos últimos quatro anos. São Paulo: Secretaria Municipal de Saúde; 2005 [citado 2013 ago 9]. Disponível: http://www.prefeitura.sp.gov.br/cidade/secretarias/upload/saude/arquivos/infsaude/Indice_Saude_2004.pdf.
http://www.prefeitura.sp.gov.br/cidade/s...
A Distância Relativa do Parâmetro (DRP) foi a metodologia escolhida para a avaliação da gestão nos níveis descentralizados. Com a DRP, pretendia-se que alguns indicadores, definidos para os níveis descentralizados, fossem posicionados em uma escala na qual constaria o parâmetro ideal ou esperado para aquela medida. Dessa forma, seria possível visualizar - imediatamente - a situação diferenciada de cada território com relação aos projetos em andamento.
O Índice-Saúde, apoiado na metodologia adotada no índice de desenvolvimento humano (IDH), foi construído como um indicador composto e sintético, capaz de avaliar a discrepância de cada território descentralizado analisado em relação à discrepância máxima da cidade. Para a construção do Índice-Saúde, foram considerados os seguintes indicadores: coeficiente de mortalidade infantil; mortalidade precoce por doenças crônicas não transmissíveis; coeficiente de incidência de tuberculose; e coeficiente de mortalidade por causas externas.2020. Secretaria Municipal da Saúde (São Paulo). Coordenação de Epidemiologia e Informação. Painel de monitoramento das condições de vida e saúde e da situação dos serviços de saúde: avaliação da equidade: índice-saúde 2004 por subprefeitura e tendência nos últimos quatro anos. São Paulo: Secretaria Municipal de Saúde; 2005 [citado 2013 ago 9]. Disponível: http://www.prefeitura.sp.gov.br/cidade/secretarias/upload/saude/arquivos/infsaude/Indice_Saude_2004.pdf.
http://www.prefeitura.sp.gov.br/cidade/s...
Aos dois métodos descritos, foram incorporadas a variação percentual anual e a comparação trimestral com anos anteriores, visando reforçar a validação da tendência observada.
O cálculo da média da série temporal dos indicadores selecionados foi aplicado utilizando-se, como parâmetro, o desvio-padrão. Dessa maneira, a análise crítica dos indicadores permitiu categorizar cada indicador como 'bom' quando dentro de um desvio-padrão, de 'atenção' quando situado entre um e dois desvios-padrão, e de 'alerta' quando acima de dois desvios-padrão.
Da dinâmica de desenvolvimento do Painel
Um ponto relevante identificado com potencialidade para a construção do Painel, tanto nos documentos como nas entrevistas, foram as oficinas envolvendo gestores e técnicos dos diferentes níveis da gestão. As discussões e a construção participativa da proposta foram decisivas para o aprimoramento e a legitimidade do projeto.
No primeiro momento, um dos principais pontos trabalhados na busca do aprimoramento da ferramenta foi conhecer como a governança acontecia nos diferentes espaços de decisão e como o uso da informação poderia apoiar esses profissionais:1818. Ribeiro PT. A descentralização da ação governamental no Brasil dos anos noventa: desafios do ambiente político-institucional. Cien Saude Coletiva. 2009 maio-jun;14(3):819-28.,1919. Contandriopoulos D, Lemire M, Denis JL, Tremblay E. Knowledge exchange processes in organizations and policy arenas: a narrative systematic review of the literature. Milbank Q. 2010 Dec;88(4):444-83.
[...] Começamos a perceber que era preciso aprimorar um pouco a discussão conceitual sobre gestão, que acontece em diversos níveis. É preciso construir governabilidade e capacidade de governar, e a informação é um dos elementos apoiadores. (E1)
A pesquisa sobre o uso e o entendimento da proposta pelos diferentes gestores do sistema de saúde, apresentados no 'Relatório final da avaliação do Painel de Monitoramento com gestores de Coordenadoria Regional de Saúde (CRS) e Supervisão Técnica de Saúde (STS) - 2007', permitiu conhecer as necessidades de cada nível de gestão, contribuindo com o desenho de diferentes estratégias para cada grupo de potenciais usuários do Painel.
O acúmulo de experiência validado pelo grupo condutor do Painel de Monitoramento da SMS/SP, somado ao conhecimento das necessidades levantadas pelos gestores na pesquisa, sustentou a decisão pela construção de um aplicativo específico. Ressalta-se que o fato de haver um recurso do Ministério da Saúde - Vigisus (Processo no 2009-0.199.773-7) alocado para esse tipo de ação contribuiu para a concretização do projeto:
[...] Constituímos um grupo, chamado grupo do painel mensal que estaria mensalmente representando os níveis descentralizados. Esse grupo deliberava a respeito do painel, passou a ser a referência de discussão de todo o processo de condução. Fomos montando uma vontade de fazer isso, uma ideia, uma direção de onde é que queríamos chegar. (E2)
[...] Entramos com um processo de contratação de dois consultores, um deles para construir uma metodologia mais adequada ao monitoramento, e o outro para incorporá-la em um aplicativo, transformando as planilhas utilizadas em passado e implementando um novo instrumento, uma nova maneira de monitorar. (E3)
Foi possível identificar que o Painel facilitou o (i) acesso às informações para os usuários com diferentes inserções no sistema de saúde municipal, a (ii) entrada dos dados necessários para a construção dos indicadores, além de imprimir (iii) maior agilidade à análise de dados.
O Painel de Monitoramento é um instrumento institucional da gestão, disponível para as distintas instâncias da organização por meio da intranet da Empresa de Tecnologia da Informação e Comunicação do Município de São Paulo (Prodam), acessível a gestores e técnicos da SMS/SP via login e senha. O Painel não está disponível para acesso público.
Nos documentos oficiais de desenvolvimento e nas entrevistas, foi possível identificar a utilização de três softwares livres para o desenvolvimento do Painel:
PostgreSQL Data Analysis, escolhido para a organização do banco de dados local, alimentado pelas bases de dados do SUS;2121. Postgre SQL. Data Analysis [computer program]. PostgreSQL: Documentation. California: Postgree SQL; 2013 [cited 2013 Dec 4]. Available from: Available from: http://www.postgresql.org .
http://www.postgresql.org...R Project for Statistical Computing, utilizado para cálculos matemáticos, modelagem estatística, escolha e ajuste do modelo, testes de tendência e sazonalidade e previsões futuras;2222. R Statistical Software [computer program]. The R Project for Statistical Computing. Auckland: R Foundation; 2013 [cited 2013 Dec 4]. Available from: Available from: http://www.r-project.org .
http://www.r-project.org... eHypertext Preprocessor (PHP), linguagem de interface Web, utilizada na formação de todas as telas administrativas e de emissão de relatório.2323. PHP Group. Hypertext Preprocessor [computer program]. PHP Documentation Group [Internet]. [local desconhecido]: The PHP Group; 2013 [cited 2013 Dec 4]. Available from: Available from: http://www.php.net .
http://www.php.net...
II. Aprimorando os conceitos e práticas para monitoramento
O estímulo à prática de monitoramento deveria ser incentivado - e desencadeado -, visando aprofundar o conhecimento de eventos que chamam a atenção dos interessados:
[...] na verdade estávamos pensando em uma metodologia para captar, em função de probabilidades, onde é que estão acontecendo coisas que são pouco prováveis que aconteçam. Isso estava na base da coisa, e também queríamos automatizar isso. Além de que, tinha que ser viável para ser construído sem muito gasto. (E3)
Os métodos estatísticos foram escolhidos durante o processo de construção, para facilitar o uso e possibilitar a análise crítica mais objetiva e robusta das situações encontradas.
Os Relatórios de Desenvolvimento Estatístico indicam a escolha de modelos de séries temporais para ajuste e previsão dos dados epidemiológicos e de produção de serviços. As bases de dados utilizadas na construção dos indicadores do Painel foram testadas com a finalidade de se encontrar o modelo que melhor descrevesse e oferecesse previsões confiáveis para os indicadores. A escolha dos indicadores decorreu de um processo de validação direcionado a facilitar a implementação, o entendimento e a adequação, no sentido de uma sistematização de análises automatizadas, realizadas por computador.2424. Snedecor GW, Cochran WG. Statistical methods. 7th ed. Iowa: The Iowa University Press; 1980.,2525. Noether GE. Introdução à estatística: uma abordagem não-paramétrica. 2 ed. Rio de Janeiro: Guanabara Dois; 1983. Uma vez realizados os testes, concluiu-se pela opção da suavização exponencial sazonal de Holt-Winters modelo Aditivo (HWA) e Média Móvel Simples Centrada (MMSC).2525. Noether GE. Introdução à estatística: uma abordagem não-paramétrica. 2 ed. Rio de Janeiro: Guanabara Dois; 1983.,2626. Morettin PA, Toloi CMC. Análise de séries temporais. São Paulo: Blucher; 2006.
Ainda que se mostrasse o mais adequado, o modelo de HWA foi insuficiente para as séries de eventos epidemiológicos raros. Nessas séries, muitas vezes, nenhum evento é observado, casos em que o resultado apresenta algumas divisões por zero, condição inadequada do ponto de vista matemático e computacional. Dada essa restrição do modelo de HWA, decidiu-se também pela opção automatizada da alternativa da MMSC quando houvesse que responder à existência de muitos valores zerados; ou quando a soma dos 48 elementos da série fosse inferior a 240, com uma média mensal menor do que 5. Sendo assim, na presença de qualquer uma dessas condições - ou eventualmente, de ambas -, a rotina computacional deve direcionar a série para o modelo de MMSC, com desempenho adequado na presença de zeros e vantagens semelhantes às do modelo de HWA, como automatização e previsões.2525. Noether GE. Introdução à estatística: uma abordagem não-paramétrica. 2 ed. Rio de Janeiro: Guanabara Dois; 1983.,2626. Morettin PA, Toloi CMC. Análise de séries temporais. São Paulo: Blucher; 2006.
Na análise de séries temporais para a prática do monitoramento, previsões de séries muito longas são influenciadas pelos números do passado, demorando a sinalizar mudanças bruscas de comportamento. Por essa razão, decidiu-se que as séries analisadas seriam de 48 meses de observação dos dados, de maneira a diminuir as influências do passado e permitir a realização do ajuste.2424. Snedecor GW, Cochran WG. Statistical methods. 7th ed. Iowa: The Iowa University Press; 1980.
25. Noether GE. Introdução à estatística: uma abordagem não-paramétrica. 2 ed. Rio de Janeiro: Guanabara Dois; 1983.-2626. Morettin PA, Toloi CMC. Análise de séries temporais. São Paulo: Blucher; 2006.
Foi definido o período de 4 meses como o mais adequado para a previsão de valores futuros. Essa opção considerou que os modelos de previsão, quanto mais longos no tempo, menos assertivos e confiáveis podem ser.
Os documentos indicam que foram utilizados testes estatísticos específicos para ajustes das séries temporais. Para análise de tendência utilizou-se o teste do sinal de Cox-Stuart, de fácil aplicação e grande precisão.2626. Morettin PA, Toloi CMC. Análise de séries temporais. São Paulo: Blucher; 2006. Para detectar sazonalidades em séries temporais, adotou-se o teste de Kruskal-Wallis, que, pela simplicidade de cálculos e poder de detecção, também é recomendado pela literatura.2424. Snedecor GW, Cochran WG. Statistical methods. 7th ed. Iowa: The Iowa University Press; 1980.
25. Noether GE. Introdução à estatística: uma abordagem não-paramétrica. 2 ed. Rio de Janeiro: Guanabara Dois; 1983.-2626. Morettin PA, Toloi CMC. Análise de séries temporais. São Paulo: Blucher; 2006.
Nas entrevistas, foi identificada a incorporação do modelo de Controle Estatístico do Processo (também conhecido pela sigla CEP).2727. Costa AFB, Epprecht EK, Carpinetti LCR. Controle estatístico de qualidade. 2 ed. São Paulo: Atlas; 2005. O principal objetivo dessa técnica é estabelecer limites de controle, permitindo o reconhecimento de sinais de melhoria ou de piora nos indicadores do Painel. O CEP recomenda que 7 ou mais pontos em sequência, acima ou abaixo da linha média, constituem um padrão de comportamento não aleatório da série de dados, sendo esse, portanto o número de pontos utilizados para a análise de desempenho dos indicadores no Painel de Monitoramento.
III. Produtos disponibilizados pelo Painel
Primeiramente, deve-se mencionar os relatórios numéricos de séries temporais com os indicadores selecionados, permitindo diferenciar, por meio de cores, a categorização de acordo com o desvio-padrão. Logo, apresentam-se os gráficos correspondentes aos relatórios numéricos, com as médias temporais e tendo os desvios-padrão como limites, facilitando a visualização do desempenho atingido (Figura 2).
- Gráfico da proporção de sete ou mais consultas de pré-natal realizadas pelas mães de nascidos vivos em hospitais do Sistema Único de Saúde (SUS) no município de São Paulo, janeiro de 2012 a dezembro de 2015
Os relatórios numéricos permitem identificar o desempenho dos últimos sete meses, frente à tendência temporal esperada/desejada de cada indicador. Assim, cada indicador será categorizado como satisfatório quando se encontrar na direção temporal desejada, e insatisfatório na situação inversa2828. Secretaria Municipal da Saúde (São Paulo). Coordenação de Epidemiologia e Informação. Painel de Monitoramento SMS-São Paulo: documentos básicos [Internet]. São Paulo: Secretaria Municipal de Saúde; 2012 [citado 2014 maio 15]. Disponível: Disponível: http://www.prefeitura.sp.gov.br/cidade/secretarias/upload/saude/arquivos/painelmonit/LivroFinal.pdf .
http://www.prefeitura.sp.gov.br/cidade/s... ,2929. Drumond Júnior M, Machado J, Cristo EB. A construção de uma metodologia para emissão de desempenho no Painel de Monitoramento da SMS-São Paulo com base nos sinais mensais. I Expo Painel: Mostra de Experiências de uso do Painel de Monitoramento da Situação de Saúde e da Atuação dos Serviços da Secretaria Municipal de Saúde de São Paulo; 2010; São Paulo. São Paulo: Secretaria Municipal de Saúde; 2010. (Figura 3).
- Relatório de sinais mensais e desempenho de indicadores selecionados no Painel de Monitoramento da Secretaria Municipal da Saúde de São Paulo (SMS/SP), município de São Paulo, junho de 2015 a fevereiro de 2016
[...] É claro que com o tempo a gente vai criticando a escolha dos indicadores porque quando você começa a trabalhar na perspectiva do monitoramento vai começando a ver que tem indicadores que não são adequados para esta prática. Isso também foi um desenvolvimento. (E1)
Discussão
O Painel de Monitoramento identifica ocorrências e/ou desempenho fora do esperado, revelando a oportunidade da tomada de decisão pela gestão.
A forma como são disponibilizados os indicadores permite inferir o potencial do Painel para atender as necessidades da organização. O acesso a informações, para os distintos níveis da gestão municipal, possibilita a analise descentralizada do desempenho, ademais de permitir a desagregação dos dados para a menor unidade prestadora de serviço, qual seja, a unidade básica de saúde (UBS).
A análise do Painel de Monitoramento trabalha com a tendência da série histórica, possibilitando a utilização da mesma metodologia para diferentes níveis da gestão. A fragilidade de parâmetros existentes para os indicadores e a dificuldade de estabelecê-los para diferentes agregações territoriais reforça a proposta do Painel de trabalhar com a tendência. Assim, os objetivos são dados pelo decréscimo ou incremento dos eventos de acordo com a direção desejada.
Quando se pensa em um instrumento de apoio para a tomada de decisões, é necessário levar em conta o dinamismo dos processos que envolvem essa atividade na Saúde. Na medida em que se tem como proposta o acompanhamento das prioridades da gestão, a incorporação das mudanças vividas nesse espaço técnico-político exige uma articulação constante entre a equipe responsável pelo instrumento e os diferentes gestores da cidade.
A definição clara das prioridades e o planejamento de seu enfrentamento constituem ponto de partida para se pensar em indicadores adequados ao monitoramento das ações. A prática do monitoramento pode propiciar a mudança de rumos e a definição de novas ações a serem acompanhadas. Adequar os indicadores às necessidades da gestão e à disponibilidade de dados, de forma oportuna, mostra-se como importante desafio.
A avaliação e o monitoramento são considerados práticas distintas, embora intimamente relacionadas. Nos primórdios de seu desenvolvimento, o instrumento analisado procurava se adequar ao monitoramento enquanto prática, superar a etapa de diagnóstico e oferecer aos gestores e técnicos uma possibilidade de acompanhamento contínuo e sensível às ações sob suas responsabilidades públicas. Contudo, ao identificar-se as opções temáticas e metodológicas adotadas, fez-se com que o Painel analisado se aproximasse da avaliação.
A adequação das propostas metodológicas somada à facilidade de operação do Painel permitiram a criação de um instrumento ágil, focado no monitoramento, com boa interface e fácil acesso para seu público-alvo.
A tomada de decisão na gestão em saúde é complexa, permeada de subjetividade e incertezas. A capacidade para o aperfeiçoamento do processo de decisão na Saúde confronta-se com a complexidade do campo, caracterizada pelos múltiplos fatores determinantes do processo saúde-doença-cuidado.11. Tanaka OY, Tamaki EM. O papel da avaliação para a tomada de decisão na gestão de serviços de saúde. Cien Saude Coletiva. 2012 abr;17(4):821-8.
O monitoramento das ações de saúde e do desempenho dos serviços é uma estratégia mais célere no apoio à tomada de decisão. Porém, sua implementação necessita de conhecimentos técnicos específicos e alinhamento conceitual. Por se tratar de um processo cujo sentido dar-se-á pela sistematização e descentralização de seu desenvolvimento, os recursos técnicos e humanos empregados na manutenção da ferramenta e sua utilização são imprescindíveis. Sua institucionalização necessita integrar-se a um sistema organizacional que promova sua evolução e sustentabilidade.3030. Hartz ZMA. Meta-avaliação da gestão em saúde: desafios para uma "nova saúde pública". Cien Saude Coletiva. 2012 abr;17(4):829-37.
A experiência do Painel de Monitoramento da Secretaria Municipal da Saúde de São Paulo mostra-se condizente com tal proposição. O Painel representa uma ferramenta com poder de sistematização das informações disponíveis, visando à melhoria das intervenções em saúde, e o faz com a articulação de estratégias epidemiológicas. Todavia, é necessário avançar na compreensão de sua utilização nos serviços e apropriação por parte das equipes. No tocante à gestão, cabe avaliar como essa prática está inserida em seu cotidiano e alinhada a suas necessidades.
Referências
- 1Tanaka OY, Tamaki EM. O papel da avaliação para a tomada de decisão na gestão de serviços de saúde. Cien Saude Coletiva. 2012 abr;17(4):821-8.
- 2Tamaki EM, Tanaka OY, Felisberto E, Alves CKA, Drumond Junior M, Bezerra LCA, et al. Metodologia de construção de um painel de indicadores para o monitoramento e a avaliação da gestão do SUS. Cien Saude Coletiva. 2012 abr;17(4):839-49.
- 3Jannuzzi PM. Sistemas de Monitoramento e Avaliação de Programas Sociais: revisitando mitos e recolocando premissas para sua maior efetividade na gestão. Revista Brasileira de Monitoramento e Avaliação. 2013 jan-jun;(5):4-27.
- 4Oliveira PTR, Sellera PEG, Reis AT. O monitoramento e a avaliação na gestão do Ministério da Saúde. Revista Brasileira de Monitoramento e Avaliação. 2013 jan-jun;(5):114-29.
- 5Contandriopoulos AP. Avaliando a institucionalização da avaliação. Cien Saude Coletiva. 2006 jul-set;11(3):705-11.
- 6Vieira-da-Silva LM, Hartz ZMA, Chaves SCL, Silva GAP, Paim JS. Análise da implantação da gestão descentralizada em saúde: estudo comparado de cinco casos na Bahia, Brasil. Cad Saude Publica. 2007 fev;23(2):355-70.
- 7Drumond Júnior M. Painel de monitoramento da situação de saúde e da atuação dos serviços da Secretaria Municipal de Saúde de São Paulo. In: Ministério da Saúde; Organização Pan-Americana de Saúde. Sala de situação em saúde: compartilhando as experiências do Brasil. Brasília: Organização Pan-Americana da Saúde, Ministério da Saúde; 2010. p.141-6.
- 8Carvalho ALB, Souza MF, Shimizu HE, Senra IMVB, Oliveira KC. A gestão do SUS e as práticas de monitoramento e avaliação: possibilidades e desafios para a construção de uma agenda estratégica. Cien Saude Coletiva. 2012 abr;17(4):901-11.
- 9Yin RK. Estudo de caso: planejamento e métodos. 3 ed. Porto Alegre: Bookman; 2005.
- 10Rezende M, Baptista TWF. A análise da política proposta por Ball. In: Mattos RA, Baptista TWF (organizadores). Caminhos para análise das políticas de saúde. Porto Alegre: Rede UNIDA; 2015. (Série Interlocuções. Práticas, experiências e pesquisas em saúde).
- 11Bardin L. Análise de conteúdo. Lisboa: Edições 70; 2002.
- 12Greenhalgh T, Robert G, Macfarlane F, Bate P, Kyriakidou O. Difussion of innovations in service organizations: systematic review and recommendations. Milbank Q. 2004;82(4):581-629.
- 13Rother ET. Revisão sistemática x revisão narrativa. Acta Paul Enferm. 2007;20(2):5-6.
- 14Cordeiro AM, Oliveira GM, Rentería JM, Guimarães CA; Grupo de Estudo de Revisão Sistemática do Rio de Janeiro. Revisão sistemática: uma revisão narrativa. Rev Col Bras Cir. 2007 nov-dez;34(6):428-31.
- 15Drumond Júnior M, Mendes R. O Painel de monitoramento das condições de vida e da situação dos serviços de saúde: instrumento para uma gestão cidadã. In: Mendes A, Sobrinho EJMA. Tempos Radicais da Saúde em São Paulo. São Paulo: Hucitec; 2003: p. 341-63.
- 16Ministério da Saúde (BR). Secretaria Executiva. Programa da Atenção Básica (PAB): parte física. Brasília: Ministério da Saúde; 2001.
- 17Donabedian A. The definition of quality: a conceptual exploration. In: Explorations in quality assessment and monitoring. Vol. 1. Michigan: Health Administration Press; 1980: p. 3-31.
- 18Ribeiro PT. A descentralização da ação governamental no Brasil dos anos noventa: desafios do ambiente político-institucional. Cien Saude Coletiva. 2009 maio-jun;14(3):819-28.
- 19Contandriopoulos D, Lemire M, Denis JL, Tremblay E. Knowledge exchange processes in organizations and policy arenas: a narrative systematic review of the literature. Milbank Q. 2010 Dec;88(4):444-83.
- 20Secretaria Municipal da Saúde (São Paulo). Coordenação de Epidemiologia e Informação. Painel de monitoramento das condições de vida e saúde e da situação dos serviços de saúde: avaliação da equidade: índice-saúde 2004 por subprefeitura e tendência nos últimos quatro anos. São Paulo: Secretaria Municipal de Saúde; 2005 [citado 2013 ago 9]. Disponível: http://www.prefeitura.sp.gov.br/cidade/secretarias/upload/saude/arquivos/infsaude/Indice_Saude_2004.pdf
» http://www.prefeitura.sp.gov.br/cidade/secretarias/upload/saude/arquivos/infsaude/Indice_Saude_2004.pdf - 21Postgre SQL. Data Analysis [computer program]. PostgreSQL: Documentation. California: Postgree SQL; 2013 [cited 2013 Dec 4]. Available from: Available from: http://www.postgresql.org
» http://www.postgresql.org - 22R Statistical Software [computer program]. The R Project for Statistical Computing. Auckland: R Foundation; 2013 [cited 2013 Dec 4]. Available from: Available from: http://www.r-project.org
» http://www.r-project.org - 23PHP Group. Hypertext Preprocessor [computer program]. PHP Documentation Group [Internet]. [local desconhecido]: The PHP Group; 2013 [cited 2013 Dec 4]. Available from: Available from: http://www.php.net
» http://www.php.net - 24Snedecor GW, Cochran WG. Statistical methods. 7th ed. Iowa: The Iowa University Press; 1980.
- 25Noether GE. Introdução à estatística: uma abordagem não-paramétrica. 2 ed. Rio de Janeiro: Guanabara Dois; 1983.
- 26Morettin PA, Toloi CMC. Análise de séries temporais. São Paulo: Blucher; 2006.
- 27Costa AFB, Epprecht EK, Carpinetti LCR. Controle estatístico de qualidade. 2 ed. São Paulo: Atlas; 2005.
- 28Secretaria Municipal da Saúde (São Paulo). Coordenação de Epidemiologia e Informação. Painel de Monitoramento SMS-São Paulo: documentos básicos [Internet]. São Paulo: Secretaria Municipal de Saúde; 2012 [citado 2014 maio 15]. Disponível: Disponível: http://www.prefeitura.sp.gov.br/cidade/secretarias/upload/saude/arquivos/painelmonit/LivroFinal.pdf
» http://www.prefeitura.sp.gov.br/cidade/secretarias/upload/saude/arquivos/painelmonit/LivroFinal.pdf - 29Drumond Júnior M, Machado J, Cristo EB. A construção de uma metodologia para emissão de desempenho no Painel de Monitoramento da SMS-São Paulo com base nos sinais mensais. I Expo Painel: Mostra de Experiências de uso do Painel de Monitoramento da Situação de Saúde e da Atuação dos Serviços da Secretaria Municipal de Saúde de São Paulo; 2010; São Paulo. São Paulo: Secretaria Municipal de Saúde; 2010.
- 30Hartz ZMA. Meta-avaliação da gestão em saúde: desafios para uma "nova saúde pública". Cien Saude Coletiva. 2012 abr;17(4):829-37.
- *Este artigo é parte do resultado da tese de Doutorado em Saúde Pública intitulada 'Potencialidades e Alcances do Monitoramento como Ferramenta de Gestão na Saúde', de Sylvia Christina de Andrade Grimm junto ao Programa de Pós-Graduação em Saúde Pública da Faculdade de Saúde Pública da Universidade de São Paulo a ser defendida em 2016. O estudo contou com financiamento da Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) - Projeto no 2011/11242-0.
Datas de Publicação
- Publicação nesta coleção
Jul-Sep 2016
Histórico
- Recebido
18 Nov 2015 - Aceito
18 Abr 2016