RESUMO
Objetivou-se realizar um estudo de avaliabilidade da ação de compatibilização de indicadores e metas dos instrumentos de planejamento do Ministério da Saúde: Plano Nacional de Saúde e Plano Plurianual, 2016-2019. Entrevistaram-se stakeholders para verificar seus interesses na intervenção; elaborou-se modelo lógico com aplicação da técnica Delphi; e identificaram-se perguntas avaliativas que subsidiarão futuras avaliações. Na seleção, contemplaram-se os envolvidos na elaboração dos instrumentos de planejamento e na ação de compatibilização, bem como os afetados por essa ação. Concluiu-se que houve compatibilização, pois há delineamento da intervenção, consenso entre os interessados e identificação de perguntas avaliativas.
PALAVRAS-CHAVE
Planejamento; Indicadores (Estatística); Meta; Avaliação em saúde; Técnica Delfos
ABSTRACT
The objective was to study the feasibility of evaluating the actions able to match indicators and targets concerning the planning instruments of the Ministry of health, i.e., the National Health Plan and the Multi-year plan, 2016-2019. Stakeholders were interviewed as to verify their interests on the intervention; a logical model was developed with application of the Delphi technique; and evaluation questions were identified so to subsidize future evaluations. During the selection process, those involved in the development of planning instruments were taken into account, as were those implied in the matching action and those affected by the action. The results support the existence of matching, since there is an intervention design, a consensus among stakeholders, and the identification of evaluation questions.
KEYWORDS
Planning; Indicators (Estatistics); Goals; Health evaluation; Delphi technique
Introdução
A Constituição Federal de 1988 (CF/88) concebe o planejamento como um processo inerente a todas as esferas de governo11 Brasil. Constituição da República Federativa do Brasil. Brasília, DF: Gráfica do Senado Federal, 1988.. Sem a sua realização, as atividades são executadas por inércia e os serviços funcionam de forma desarticulada, sendo orientados pela noção de seu papel. Se não há visão clara de onde se deseja chegar, cada indivíduo conduzirá e realizará suas atividades à sua maneira22 Santos RSAF, Bezerra LCA, Carvalho EF, et al. Rede de Atenção à Saúde ao portador de Diabetes Mellitus: uma análise da implantação no SUS em Recife (PE). Saúde debate. 2015 dez [acesso em 2017 set 12]; 39(esp):268-282. Disponível em: http://cebes.org.br/site/wp-content/uploads/2016/01/sdeb_pol%C3%ADticas_web_27.011.pdf.
http://cebes.org.br/site/wp-content/uplo... .
No âmbito do Sistema Único de Saúde (SUS), em particular, o planejamento é um instrumento estratégico de gestão, por meio do qual cada esfera de governo deve se valer para a observância dos princípios e o cumprimento das diretrizes operacionais que norteiam o SUS. Dessa forma, o planejamento das políticas da administração pública federal para área da saúde se integra em dois planos: Plano Nacional de Saúde (PNS) e Plano Plurianual (PPA)33 Brasil. Ministério da Saúde. Diretrizes para o processo de planejamento no âmbito do Sistema Único de Saúde (SUS). Brasília, DF: Saúde Legis - Sistema de Legislação da Saúde; 2013.,44 Ricardi LM, Shimizu HE, Santos LMP. As Conferências Nacionais de Saúde e o processo de planejamento do Ministério da Saúde. Saúde debate [internet]. 2017 set [acesso em 2017 out 10]; 41(esp.3):155-170. Disponível em: http://www.saudeemdebate.org.br/UserFiles_Padrao/File/RSD114-web%20final.pdf.
http://www.saudeemdebate.org.br/UserFile... .
Tanto o PNS como o PPA abordam fundamentações empíricas diferentes. Apesar de Garcia55 Garcia RC. Reorganização do Processo de Planejamento do Governo Federal: o PPA 2000-2003. Brasília, DF: IPEA; 2000. introduzir na gestão federal uma concepção do planejamento estratégico, o PPA tem um arcabouço baseado no planejamento normativo emanado do Ministério do Planejamento (MP), ao passo que o PNS tem o arcabouço estratégico situacional de Matus66 Matus C. Política, planejamento e governo. Brasília, DF: IPEA; 1993. 2 v., elaboração coordenada pelo Ministério da Saúde (MS) e envolve, indiretamente, por meio do Conselho Nacional de Saúde (CNS), a participação dos cidadãos no processo de planejamento.
O PPA deve estabelecer as diretrizes, objetivos e metas da administração pública para as despesas de capital e outras delas decorrentes e para as relativas aos programas de duração continuada. O PNS é o instrumento que, a partir da análise situacional, apresenta as intenções e resultados a serem alcançados no período de quatro anos. Esses planos devem ser convergentes entre si para orientar as escolhas orçamentárias e a gestão das políticas públicas na área da saúde77 Vieira FS. Avanços e desafios do planejamento no Sistema Único de Saúde. Ciênc Saúde Colet. 2009; 14(supl.1):1565-1577..
No período de 2012 a 2015, ambos os instrumentos de planejamento apresentavam definições diversas de ‘indicador’ e ‘meta’, que podiam variar consideravelmente de acordo com autores e metodologias. Para o PPA, um ano antes de sua elaboração, foi lançado o Manual de Orientação para Elaboração do MP, que trazia esses dois conceitos88 Brasil. Ministério do Planejamento, Orçamento e Gestão, Secretaria de Planejamento e Investimento Estratégico. Orientações para elaboração do Plano Plurianual 2016 - 2019. Brasília, DF: MP; 2015.. No caso do PNS, não havia sequer um manual que orientasse as secretarias da pasta da saúde a elaborar esse instrumento, apesar de haver consensos conceitual no âmbito da Secretaria de Planejamento e Orçamento (SPO).
A heterogeneidade de conceitos tem prejudicado o processo de planejamento, necessitando haver compatibilização entre eles para que não se originem ambiguidades no processo de elaboração de indicadores e metas dos instrumentos de planejamento na saúde pública, com reflexo negativo sobre a execução do monitoramento e da avaliação. Assim, a compatibilização entre os planos é uma ação de planejamento estratégico das políticas públicas, sendo esse planejamento uma das mais importantes ferramentas administrativas, pois estabelece caminhos que orientam os gestores públicos na condução das atividades99 Torres ADO; Malta VD. Gestão de políticas públicas na educação básica e os planos de educação: uma questão de planejamento de ações integradas. In: IV Congresso Ibero-Americano de Política e Administração da Educação; 2014. Porto: Anpae; 2014..
Ressalta-se que, de acordo com a Portaria nº 2.135/2013, que estabelece diretrizes para o processo de planejamento no âmbito do SUS, deve ocorrer compatibilização entre os instrumentos de planejamento da saúde88 Brasil. Ministério do Planejamento, Orçamento e Gestão, Secretaria de Planejamento e Investimento Estratégico. Orientações para elaboração do Plano Plurianual 2016 - 2019. Brasília, DF: MP; 2015.,1010 Albuquerque C, Martins M. Indicadores de desempenho no Sistema Único de Saúde: uma avaliação dos avanços e lacunas. Saúde debate. 2017 [acesso em 2017 dez 13]; 41(esp):118-137. Disponível em: http://cebes.org.br/publicacao/revista-saude-em-debate-v-41-no-especial-1/.
http://cebes.org.br/publicacao/revista-s... . Assim, a Coordenação Geral de Planejamento (CGPL) do MS realizou, em 2015, uma ação de compatibilização de indicadores e metas dos instrumentos de planejamento federal (PNS e PPA) com o objetivo de delimitar de forma precisa os conceitos de ‘indicador’ e ‘meta’ considerados no processo de elaboração e gestão do PNS e PPA, bem como de facilitar a comunicação entre os atores envolvidos e dar maior segurança e qualidade à gestão dos planos.
Os indicadores e metas do PNS e do PPA (2016-2019) encontram-se compatibilizados, existindo 121 metas e 33 indicadores para cada um dos instrumentos. Nessa perspectiva, e por ser uma intervenção recente, tem-se por objetivo realizar um Estudo de Avaliabilidade (EA) (i) da ação de compatibilização dos instrumentos federais de planejamento do MS com o intuito de construir as bases para uma futura avaliação a partir da busca de entendimento entre os envolvidos sobre a natureza e os objetivos da ação de compatibilização; (ii) da concordância quanto ao interesse na realização da avaliação e os possíveis usuários do estudo; e (iii) do aumento das possibilidades de uso dos resultados da avaliação conforme as recomendações de Mendes et al.1111 Mendes MFM. Avaliabilidade ou pré-avaliação de um programa. In: Samico A, Felisberto E, Figueiró AC, et al., organizadores. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p. 57-64. e Silva et al.1212 Silva GS, Samico I, Dubeux LS, et al. Redes de atenção às urgências e emergências: pré-avaliação das Unidades de Pronto Atendimento (UPAs) em uma região metropolitana do Brasil. Rev Bras Saúde Mater Infant. 2012 out-dez; 12(4):445-458.
Métodos
Para este estudo de avaliabilidade, utilizou-se uma abordagem descritivo-qualitativa em três etapas: (1) Análise dos stakeholders; (2) Elaboração do modelo lógico; e (3) Identificação de perguntas avaliativas.
Na etapa da Análise dos stakeholders, adotou-se a metodologia proposta pelo Centers for Disease Control (CDC)1313 Centers for Desease Control and Prevention. Framework for program evaluation in public health. Atlanta: CDCP; MMWR;1999. n. 48., classificada em três grupos: (1.1) envolvidos na elaboração dos instrumentos de planejamento, i.e., dos coordenadores, técnicos de planejamento das secretarias do MS e do Departamento de Monitoramento e Avaliação do SUS (Demas); (1.2) técnicos integrantes da CGPL envolvidos na ação de compatibilização; e (1.3) representantes do Conselho Nacional de Saúde (CNS) afetados pela ação. Para a seleção dos stakeholders, utilizou-se uma amostra de conveniência, identificando-se os atores-chave no processo de elaboração dos instrumentos de planejamento do MS com conhecimento teórico-prático sobre a temática. Realizaram-se entrevistas com roteiro contendo perguntas abertas. As entrevistas foram presenciais, gravadas e, posteriormente, transcritas. A análise dos dados foi baseada no método de Análise de Conteúdo de Bardin1414 Bardin L. Análise de conteúdo. São Paulo: Edições 70; 2011..
Para a elaboração do modelo lógico, identificaram-se do CDC os insumos, atividades, produtos, resultados e impactos da ação de compatibilização dos instrumentos de planejamento do MS. Inicialmente, procedeu-se à análise documental (quadro 1) e desenho do modelo lógico preliminar. Após essa etapa, realizou-se a validação do modelo por meio da técnica Delphi, obtendo-se o modelo lógico final1515 Wright J, Giovinazzo RA. Delphi: uma ferramenta de apoio ao planejamento prospectivo. Cad Pesquisa Admin. 2000; 1(12):54-65.
A validação do modelo lógico contou com 20 stakeholders que atuam nas áreas de planejamento, i.e., na coordenação de planejamento das secretarias, CGPL, CNS e Demas. Os experts receberam o modelo lógico preliminar juntamente com uma matriz contendo cada componente do modelo. Em seguida, foram convidados a analisar a pertinência de cada elemento do modelo, conforme metodologia preconizada por Recine1717 Recine E, Mortoza AS. Consenso sobre habilidades e competências do nutricionista no âmbito da saúde coletiva. Brasília, DF: Observatório de Políticas de Segurança e Nutrição; 2013.. Incluíram-se novos elementos sugeridos pelos stakeholders e excluíram-se os elementos considerados não pertinentes por mais de 50% dos participantes. Após essas etapas, procedeu-se à nova consulta, permanecendo os elementos considerados pertinentes por mais de 50% dos stakeholders.
Na identificação das perguntas avaliativas, foram realizadas entrevistas com os mesmos stakeholders da etapa 1, utilizando roteiro disponibilizado por e-mail e composto pela pergunta: ‘em sua opinião, quais são as principais perguntas que você gostaria que uma avaliação da ação de compatibilização dos instrumentos de planejamento do MS respondesse?’. De posse das respostas, a análise de dados foi categorizada em um quadro de perguntas avaliativas contendo as perguntas sugeridas pelos participantes, se a pergunta é ou não avaliativa e os tipos de avaliação descritas por Brousselle1818 Brousselle A. Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz; 2011..
A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa da Escola Nacional de Saúde Pública Sergio Arouca (Ensp) com o parecer nº 1.646.321, em 24 de julho de 2016.
Resultados e discussões
Análise de stakeholders
Do total de doze stakeholders convidados, oito participaram das entrevistas e quatro não participaram alegando indisponibilidade de agenda. Após a pré-análise, exploração do material e a interpretação, emergiram doze categorias iniciais e quatro categorias finais (quadro 2).
Os participantes contribuíram para a elaboração dos instrumentos de planejamento auxiliando, organizando, compilando e estruturando as contribuições de cada um dos departamentos, coordenações ou áreas, componentes das secretarias. Além disso, houve a contribuição dos participantes por meio do encaminhamento do conteúdo para a área competente do MS, que é a CGPL/SPO, a qual intermedeia encaminhando as contribuições para o MP.
Porém, um dos stakeholders ressalta que há contribuição não só dos técnicos do MS como também da população na formulação do planejamento na figura do CNS, fortalecendo e demonstrando transparência na gestão do SUS, da união para com os demais entes da federação. Assim se deu também em estudo realizado por Labra e Figueiredo1919 Labra ME, Figueiredo JSA. Associativismo, participação e cultura cívica: O potencial dos conselhos de saúde. Ciênc Saúde Colet. 2002; 7(3):537-547, onde se identifica que a participação nos conselhos de saúde fomenta um círculo virtuoso caracterizado pelo envolvimento dos cidadãos em questões de interesse geral, contribuindo para o fortalecimento da democracia.
Além das áreas internas, alguns participantes abordaram a contribuição externa do MP. Isso se dá pelo fato de a SPO fazer parte do Sistema de Planejamento e Orçamento Federal, o qual tem o MP como órgão central2020 Brasil. Presidênca da República. nº 10.180, de 6 de fevereiro de 2001. Organiza e disciplina os Sistemas de Planejamento e de Orçamento Federal, de Administração Financeira Federal, de Contabilidade Federal e de Controle Interno do Poder Executivo Federal, e dá outras providências. Diário Oficial da União. 6 Fev 2001..
Um entrevistado, diferente dos demais participantes que deixaram claro não haver conflito de funções, chamou à atenção ao dizer que há, sim, conflito de função, pois o gabinete da Secretaria Executiva (SE) é uma instância mais política, diferente das áreas de planejamento, que são mais técnicas:
Então, entendo que, assim, há uma confusão de papeis em relação ao gabinete da SE no tocante à definição e aplicação de metodologia para o processo do planejamento. Por exemplo, acho que aí existe, talvez, um embate entre um núcleo mais político e um mais técnico; então, nesse sentido, existe um processo que, em alguns momentos, fica mais confuso, mas ali nesse ponto talvez tenha algum conflito de funções. (A8).
Em relação à compatibilização dos indicadores e metas dos instrumentos de planejamento do MS, de forma geral, os stakeholders tiveram conhecimento dessa ação. Todos eles confirmaram interesse no que diz respeito à compatibilização, e chegaram a apresentar algumas vantagens:
Justifica esse interesse ao afirmar que ela evita metas, indicadores e iniciativas em duplicidade, apresentando dados diferentes. Reduz o excesso de monitoramento e informações passadas que não coincidem, que não convergem. (A2).
Além disso, foi destacado o alinhamento junto ao E-car, que é o sistema de acompanhamento, controle e avaliação de resultados coordenado pelo Demas, ferramenta bastante utilizada tanto para o monitoramento como para a avaliação das Secretarias do MS. Destaca-se que esses dois instrumentos de planejamento, caso trouxessem metas e indicadores diferentes, dispenderiam muitos esforços para atingir os mesmos objetivos.
Esse alinhamento, inclusive, acontece não só nesses instrumentos como também para dentro desse Ministério, para os instrumentos que a gente usa internamente, como o E-car, que também está alinhado ao PNS e PPA. Não faz sentido que eles não sejam compatíveis. Ambos seguem os mesmos prazos, ambos são produzidos pelo mesmo órgão. Então, é importante que eles sejam compatíveis porque senão você cria, digamos, uma situação em que um instrumento possa se sobrepor ao outro e você pode gerar informações incompatíveis com as que estão no outro. (A8).
Alguns pontos anteriores a essa possível compatibilização foram citados, como, por exemplo, uma discussão ampla com os estados e municípios na Conferência Nacional de Saúde (CNS):
Talvez se levasse em consideração a discussão ampla participando na Conferência, teve o CNS, mas é além da Conferência, então assim, é possível, mas tem que ser discutido melhor que metodologia foi essa. Fica um pouco difícil dizer até que ponto sem entender, sem estar apropriado de qual foi a metodologia, de qual conceito utilizado aqui no alinhamento. Então precisa de uma discussão mais profunda, mas acho que tudo é possível, desde que tenha definições muito claras de conceito objetivos onde se quer chegar, então assim depende muito disso. (A3).
Nesse ponto, surge uma observação nova, que é a XV Conferência Nacional de Saúde e que estava prevista como uma meta do PNS 2012 – 20152121 Brasil. Ministério da Saúde. Secretaria-Executiva. Subsecretaria de Planejamento e Orçamento. Plano Nacional de Saúde - PNS. Brasília, DF: Ministério da Saúde; 2012.. Ela deveria servir como fonte de informação para a elaboração tanto do PPA como do PNS referentes ao quadriênio 2016 – 2019, mas não foi assim que ocorreu, pois tanto o PPA como o PNS foram elaborados antes da conferência.
As Conferências de Saúde devem pautar o planejamento da gestão do SUS influenciando diretamente os processos de tomada de decisão dos gestores. E esse aspecto, muitas vezes, tem recebido insuficiente atenção da gestão, dos participantes das Conferências77 Vieira FS. Avanços e desafios do planejamento no Sistema Único de Saúde. Ciênc Saúde Colet. 2009; 14(supl.1):1565-1577.. A XV CNS servirá de fonte para os planos do quadriênio 2020 – 2023. Trata-se de uma expectativa, mas a questão é se as diretrizes dessa conferência estarão obsoletas até lá.
No que tange às questões relacionadas às vulnerabilidades da ação de compatibilização, o contexto político foi identificado pelos stakeholders como uma influência negativa com descontinuidade do processo e interferência dos interesses no conhecimento e na valorização dos líderes do governo:
Cada gestor que entra, seja aqui, na secretaria ou no Ministério ou até fora do Ministério, tem uma visão e tem seus objetivos particulares, causando descontinuidade em muitas ações que o Ministério tem em andamento. (A2).
Alguns participantes apresentaram dificuldades no processo de compatibilidade entre os instrumentos de planejamento do MS. Dentre elas, os stakeholders frisaram que não participaram do processo de elaboração das metodologias necessárias para o alcance da compatibilização dos planos.
Na verdade, tive que estava sendo feito, mas a gente não participou. Não foi um processo participativo, acho que pelo tempo ficou muito em cima pelo contexto político; foram vários fatores, não foi uma variável isolada. (A3).
A participação dos stakeholders tem uma grande importância, porque melhora o entendimento dos profissionais envolvidos na intervenção1212 Silva GS, Samico I, Dubeux LS, et al. Redes de atenção às urgências e emergências: pré-avaliação das Unidades de Pronto Atendimento (UPAs) em uma região metropolitana do Brasil. Rev Bras Saúde Mater Infant. 2012 out-dez; 12(4):445-458.
Na pesquisa realizada por Torres e Malta9(15)9 Torres ADO; Malta VD. Gestão de políticas públicas na educação básica e os planos de educação: uma questão de planejamento de ações integradas. In: IV Congresso Ibero-Americano de Política e Administração da Educação; 2014. Porto: Anpae; 2014., identificou-se que
deve haver sensibilização da área econômica para gerir melhor seu orçamento, pois a descontinuidade das ações é gerada pela falta de planejamento orçamentário em consonância com o plano.
Surge, assim, a necessidade de formulação de indicadores onde seja envolvida a participação do controle social:
Eu entendo que seria muito importante envolver também os conselheiros nacionais de saúde não somente na fase de consolidação dos indicadores como também durante o processo de construção desses indicadores no âmbito das reuniões internas da SPO/MS. (A5).
Apresenta-se, assim, a ideia de um plano que seja decenal, o que pode ser feito pelo MS por meio de uma portaria ministerial. Como exemplo, tem-se o Plano Nacional de Educação (PNE) do Ministério da Educação com sua vigência de dez anos, o que tornaria esse plano um espelho para a elaboração do PPA2222 Brasil. Câmara dos Deputados. Plano Nacional de Educação 2014-2024: Lei nº 13.005, de 25 de junho de 2014, que aprova o Plano Nacional de Educação (PNE) e dá outras providências. Brasília, DF: Edições Câmara; 2014..
A minha opinião particular é que o PNS, e isso pode ser feito por uma opção do MS, não necessita de lei, que o PNS tivesse uma visão de mais longo prazo, que fosse um plano decenal e que a gente pensasse numa compatibilização de um plano de mais longo prazo e do PPA em médio prazo. Esses planos setoriais têm a função de subsidiar e influenciar as escolhas que vão aparecer no PPA como lei. Em minha visão, tinha que avançar para isso. (A6).
Gomes e Britto16(22)16 Gomes AVA; Britto TF. Plano Nacional de Educação: construção e perspectivas. Brasília, DF: Edições Câmara; 2015. demonstram a importância de um plano decenal ao destacar:
O caráter decenal do PNE, que ultrapassa mandatos eletivos, e seu papel articulador do sistema nacional de educação como aspectos que o deveriam aproximar, pelo menos em tese, de uma agenda de políticas educacionais de Estado capaz de ultrapassar a visão meramente programática e fragmentada das políticas de governo comumente adotadas no setor.
Contudo, isso significa que, do ponto de vista constitucional, os planos decenais ultrapassam os planos plurianuais de governo, exigindo articulações institucionais e participações sociais para sua elaboração ou adequação, seu acompanhamento e avaliação. Além disso, há municípios com planos quadrienais, o que também é uma fragilidade, pois se recomenda que o prazo seja ajustado para que coincida com o prazo do PNE2323 Brasil. Ministério da Educação. Planejando a Próxima Década: Alinhando os Planos de Educação. Brasília, DF: Ministério da Educação; 2014..
A construção do modelo lógico
O modelo lógico é um esquema visual que expõe o funcionamento da intervenção e fornece uma base objetiva a respeito da relação causal entre seus elementos, ou seja, como eles se articulam para resolver o problema que deu origem à intervenção2424 Samico I, Felisberto E, Figueiró, et al. Avaliação em Saúde: Bases Conceituais e Operacionais. Rio de Janeiro: MedBook; 2010..
Dos 20 experts convidados para a validação do modelo lógico, 14 participaram da primeira rodada, equivalendo a 70% de retornos. No total, foram quatro elementos excluídos com >51% de respostas ‘não’ e 18 novos elementos inseridos após sugestões dos participantes. De acordo com Vianna2525 Vianna LCR. Vigilância em Saúde do Trabalhador: um estudo à luz da portaria nº 3.120/98. Saúde debate [internet]. 2017 jul-set [acesso em 2017 out 10]; 41(114):786-800 Disponível em: http://www.saudeemdebate.org.br/UserFiles_Padrao/File/RSD114-web%20final.pdf.
http://www.saudeemdebate.org.br/UserFile... , o consenso faz-se importante para que o trabalho interdisciplinar seja mais bem desenvolvido. Assim, a inclusão desses itens no modelo faz-se importante, pois representam o querer dos atores sobre a intervenção, clareando as estratégias da intervenção.
Os insumos excluídos foram retroprojetor e as Portarias GM/MS nº 399/06, 699/06 e nº 3.085/06. Sugeriu-se a inclusão de cinco novos insumos: Moderadores para condução das reuniões onde seja necessária a construção de consensos; Datashow; Ficha de qualificação de indicadores e metas; Sistema Integrado de Planejamento e Orçamento (Siop); e a ata 227/11 (RO/CNS), que aprova o PNS 2012-2015.
Em relação às atividades, sugeriu-se a inclusão de sete atividades: Elaboração do manual de orientações do PNS; Discussão no CNS sobre a compatibilização; Realização de capacitações para alinhamento das orientações nas áreas técnicas do MS; Adoção de Fichas de Qualificação de indicadores e metas; Realização de oficinas de elaboração de indicadores e metas do PPA e do PNS; Discussão com os participantes pós- compatibilização para sanar eventuais dúvidas; e preenchimento do Siop e do E-car. Em relação aos produtos, foram incluídas as Oficinas realizadas para discussão entre CGPL e demais áreas do MS; e o Sistema Integrado de Planejamento e Orçamento preenchido (Siop).
Na primeira rodada da matriz de produtos, de acordo com os participantes, todos os produtos obtiveram consenso. Também foram sugeridos dois novos produtos: Oficinas realizadas para discussão entre CGPL e demais áreas do MS; e Sistema Integrado de Planejamento e Orçamento preenchido (Siop).
Nos resultados, foram incluídas: equipes do MS conscientes da compatibilização e dos impactos sobre o fortalecimento do processo de planejamento no âmbito do MS, feedback positivo das áreas de planejamento no MS, com a percepção da melhora no acompanhamento dos instrumentos objetos da compatibilização e racionalização do gasto público a partir da racionalização da quantificação das metas.
Na segunda rodada, dos 14 convidados que participaram da primeira, treze responderam ao convite, equivalendo a 93% de retornos. No total, excluíram-se a Lei nº 13.249/16 e a Portaria nº 3.332/06. Os demais itens obtiveram consenso e foram incluídos no modelo lógico em sua versão final consensuada (figura 1). O consenso, por meio da inclusão e exclusão de itens, foi fundamental para o alcance de uma decisão compartilhada, ou seja, a de conseguir o apoio dos atores e não a mudança compulsória2626 Andrade FR. Conflitos éticos em um inquérito populacional em saúde bucal. Saúde debate [internet]. 2017 jul-set [acesso em 2017 out 10]; 41(114):848-859 Disponível em: http://www.saudeemdebate.org.br/UserFiles_Padrao/File/RSD114-web%20final.pdf.
http://www.saudeemdebate.org.br/UserFile... .
Modelo lógico consensuado – Compatibilização dos indicadores e metas dos instrumentos de planejamento do Ministério da Saúde
Enfim, o modelo lógico consensuado tem grande relevância, pois proporciona melhor entendimento da intervenção, auxilia a divulgação de maneira mais objetiva da intervenção e demonstra a importância de cada stakeholder no processo de planejamento interno do MS, bem como fortalece a transparência da ação de compatibilização por qualquer interessado.
Identificação de perguntas avaliativas
Para identificação das perguntas avaliativas, foram convidados os mesmos stakeholders da primeira etapa de análise de stakeholders, dos quais oito deram retorno e quatro, não, equivalendo a 33% de abstenções. Deu-se a opção aos participantes de informar o porquê de não haver perguntas a serem questionadas, havendo dois participantes sem perguntas.
As considerações dos participantes foram sistematizadas no quadro 3, onde encontram-se as perguntas avaliativas já categorizadas de acordo com o tipo de avaliação, o que facilitará um futuro processo avaliativo. Corroborando Cazarin27(2)27 Cazarin G. Perguntas avaliativas. In: Samico I, Felisberto E, Figueiró AN, et al, organizadores. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook ; 2010., segundo os quais
Identificação de Perguntas Avaliativas da ação de compatibilização dos instrumentos de planejamento PPA e PNS
a determinação das perguntas avaliativas é responsável pelo alicerce e direcionamento do processo avaliativo, servindo para delimitar o que será avaliado, articulando o foco da avaliação.
Ao todo, foram coletadas onze perguntas, das quais seis são perguntas avaliativas e cinco não são. Quanto aos tipos de avaliação, apareceram três do tipo ‘Apreciação do processo’, uma ‘Análise da implantação’ e duas ‘Análises de efeitos’. Essas perguntas avaliativas guardam relação direta com o objetivo central da intervenção proposta. Permitem, ainda, sua ampliação durante a condução de um futuro estudo de avaliabilidade ou até mesmo de uma futura avaliação, além de se notar que as perguntas estão ligadas à função dos atores entrevistados2828 Sancho LG. A disciplina Introdução à Avaliação em Saúde: a experiência de (in)formação na graduação em saúde coletiva. Saúde debate [internet]. 2017 mar [acesso em 2017 out 10]; 41(esp):360-371. Disponível em: http://www.saudeemdebate.org.br/UserFiles_Padrao/File/RSD114-web%20final.pdf.
http://www.saudeemdebate.org.br/UserFile... .
A identificação das perguntas é de fundamental importância, visto que elas serão responsáveis pelo alicerce e direcionamento de um possível processo avaliativo futuro, servindo para delimitar o que será avaliado, articulando o foco da avaliação.
Considerações finais
O artigo se propôs a responder à pergunta avaliativa ‘em que medida a compatibilização de indicadores e metas dos instrumentos de planejamento do MS se encontra apta para a realização de uma avaliação?’ Conclui-se que a intervenção está apta a ser avaliada, porque os stakeholders, além de estarem cientes da compatibilização, participaram efetivamente em sua elaboração. Portanto, a pesquisa foi importante para o conhecimento e relacionamento com os atores participantes, visto que foram convidados a participar de todas as etapas. Dessa forma, um dos principais objetivos do EA foi alcançado com a identificação e o envolvimento dos atores que têm um papel central na intervenção para atender às necessidades reais e que podem fazer uso deste estudo em avaliações futuras.
De acordo com o pressuposto do estudo em análise ‘A inconsistência na elaboração da intervenção de compatibilização entre os instrumentos de planejamento federal do MS prejudica uma futura avaliação’, conclui-se que se atingiram os resultados esperados. Isto, porque foi possível identificar o delineamento da intervenção; o consenso entre os interessados sobre ela; e a identificação de perguntas avaliativas que subsidiam uma posterior avaliação sobre a ação de compatibilização entre os instrumentos federais de planejamento do MS.
Além disso, ficou claro o uso do planejamento estratégico-situacional por parte do MS como um processo formalizado com a participação tanto dos gestores envolvidos diretamente como pelos beneficentes, ou cidadãos beneficiados pelo SUS. Isso se refere ao planejamento participativo, onde aparece como válvula para a democracia, servindo como mecanismo político ao moderar a ação dos atores políticos. Faz-se importante evidenciar algumas das limitações que surgiram no decorrer do estudo, tais como: a incipiência de pesquisas que abordem os instrumentos de planejamento do MS; a diversidade de conceitos que, às vezes, levam ao mesmo objeto de estudo; a constante saída e entrada de servidores devido à mudança no cenário político; e a não aceitação à participação da pesquisa por parte de alguns stakeholders convidados.
Diante de tais constatações, recomenda-se: a inclusão do CNS no processo de formulação dos indicadores do PPA e PNS, levando-se em consideração a importância dessa instância na participação social; maior integração entre o planejamento na saúde pública nas esferas federal, estadual e municipal; realização da Conferência Nacional da Saúde como prévia à elaboração do PPA e PNS; melhor visibilidade das áreas de planejamento interno do MS por parte dos gestores; e plano de saúde decenal, quebrando o paradigma de plano de governo.
- Suporte financeiro: não houve
Referências
- 1Brasil. Constituição da República Federativa do Brasil. Brasília, DF: Gráfica do Senado Federal, 1988.
- 2Santos RSAF, Bezerra LCA, Carvalho EF, et al. Rede de Atenção à Saúde ao portador de Diabetes Mellitus: uma análise da implantação no SUS em Recife (PE). Saúde debate. 2015 dez [acesso em 2017 set 12]; 39(esp):268-282. Disponível em: http://cebes.org.br/site/wp-content/uploads/2016/01/sdeb_pol%C3%ADticas_web_27.011.pdf
» http://cebes.org.br/site/wp-content/uploads/2016/01/sdeb_pol%C3%ADticas_web_27.011.pdf - 3Brasil. Ministério da Saúde. Diretrizes para o processo de planejamento no âmbito do Sistema Único de Saúde (SUS). Brasília, DF: Saúde Legis - Sistema de Legislação da Saúde; 2013.
- 4Ricardi LM, Shimizu HE, Santos LMP. As Conferências Nacionais de Saúde e o processo de planejamento do Ministério da Saúde. Saúde debate [internet]. 2017 set [acesso em 2017 out 10]; 41(esp.3):155-170. Disponível em: http://www.saudeemdebate.org.br/UserFiles_Padrao/File/RSD114-web%20final.pdf
» http://www.saudeemdebate.org.br/UserFiles_Padrao/File/RSD114-web%20final.pdf - 5Garcia RC. Reorganização do Processo de Planejamento do Governo Federal: o PPA 2000-2003. Brasília, DF: IPEA; 2000.
- 6Matus C. Política, planejamento e governo. Brasília, DF: IPEA; 1993. 2 v.
- 7Vieira FS. Avanços e desafios do planejamento no Sistema Único de Saúde. Ciênc Saúde Colet. 2009; 14(supl.1):1565-1577.
- 8Brasil. Ministério do Planejamento, Orçamento e Gestão, Secretaria de Planejamento e Investimento Estratégico. Orientações para elaboração do Plano Plurianual 2016 - 2019. Brasília, DF: MP; 2015.
- 9Torres ADO; Malta VD. Gestão de políticas públicas na educação básica e os planos de educação: uma questão de planejamento de ações integradas. In: IV Congresso Ibero-Americano de Política e Administração da Educação; 2014. Porto: Anpae; 2014.
- 10Albuquerque C, Martins M. Indicadores de desempenho no Sistema Único de Saúde: uma avaliação dos avanços e lacunas. Saúde debate. 2017 [acesso em 2017 dez 13]; 41(esp):118-137. Disponível em: http://cebes.org.br/publicacao/revista-saude-em-debate-v-41-no-especial-1/
» http://cebes.org.br/publicacao/revista-saude-em-debate-v-41-no-especial-1/ - 11Mendes MFM. Avaliabilidade ou pré-avaliação de um programa. In: Samico A, Felisberto E, Figueiró AC, et al., organizadores. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p. 57-64.
- 12Silva GS, Samico I, Dubeux LS, et al. Redes de atenção às urgências e emergências: pré-avaliação das Unidades de Pronto Atendimento (UPAs) em uma região metropolitana do Brasil. Rev Bras Saúde Mater Infant. 2012 out-dez; 12(4):445-458
- 13Centers for Desease Control and Prevention. Framework for program evaluation in public health. Atlanta: CDCP; MMWR;1999. n. 48.
- 14Bardin L. Análise de conteúdo. São Paulo: Edições 70; 2011.
- 15Wright J, Giovinazzo RA. Delphi: uma ferramenta de apoio ao planejamento prospectivo. Cad Pesquisa Admin. 2000; 1(12):54-65
- 16Gomes AVA; Britto TF. Plano Nacional de Educação: construção e perspectivas. Brasília, DF: Edições Câmara; 2015.
- 17Recine E, Mortoza AS. Consenso sobre habilidades e competências do nutricionista no âmbito da saúde coletiva. Brasília, DF: Observatório de Políticas de Segurança e Nutrição; 2013.
- 18Brousselle A. Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz; 2011.
- 19Labra ME, Figueiredo JSA. Associativismo, participação e cultura cívica: O potencial dos conselhos de saúde. Ciênc Saúde Colet. 2002; 7(3):537-547
- 20Brasil. Presidênca da República. nº 10.180, de 6 de fevereiro de 2001. Organiza e disciplina os Sistemas de Planejamento e de Orçamento Federal, de Administração Financeira Federal, de Contabilidade Federal e de Controle Interno do Poder Executivo Federal, e dá outras providências. Diário Oficial da União. 6 Fev 2001.
- 21Brasil. Ministério da Saúde. Secretaria-Executiva. Subsecretaria de Planejamento e Orçamento. Plano Nacional de Saúde - PNS. Brasília, DF: Ministério da Saúde; 2012.
- 22Brasil. Câmara dos Deputados. Plano Nacional de Educação 2014-2024: Lei nº 13.005, de 25 de junho de 2014, que aprova o Plano Nacional de Educação (PNE) e dá outras providências. Brasília, DF: Edições Câmara; 2014.
- 23Brasil. Ministério da Educação. Planejando a Próxima Década: Alinhando os Planos de Educação. Brasília, DF: Ministério da Educação; 2014.
- 24Samico I, Felisberto E, Figueiró, et al. Avaliação em Saúde: Bases Conceituais e Operacionais. Rio de Janeiro: MedBook; 2010.
- 25Vianna LCR. Vigilância em Saúde do Trabalhador: um estudo à luz da portaria nº 3.120/98. Saúde debate [internet]. 2017 jul-set [acesso em 2017 out 10]; 41(114):786-800 Disponível em: http://www.saudeemdebate.org.br/UserFiles_Padrao/File/RSD114-web%20final.pdf
» http://www.saudeemdebate.org.br/UserFiles_Padrao/File/RSD114-web%20final.pdf - 26Andrade FR. Conflitos éticos em um inquérito populacional em saúde bucal. Saúde debate [internet]. 2017 jul-set [acesso em 2017 out 10]; 41(114):848-859 Disponível em: http://www.saudeemdebate.org.br/UserFiles_Padrao/File/RSD114-web%20final.pdf
» http://www.saudeemdebate.org.br/UserFiles_Padrao/File/RSD114-web%20final.pdf - 27Cazarin G. Perguntas avaliativas. In: Samico I, Felisberto E, Figueiró AN, et al, organizadores. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook ; 2010.
- 28Sancho LG. A disciplina Introdução à Avaliação em Saúde: a experiência de (in)formação na graduação em saúde coletiva. Saúde debate [internet]. 2017 mar [acesso em 2017 out 10]; 41(esp):360-371. Disponível em: http://www.saudeemdebate.org.br/UserFiles_Padrao/File/RSD114-web%20final.pdf
» http://www.saudeemdebate.org.br/UserFiles_Padrao/File/RSD114-web%20final.pdf
Datas de Publicação
- Publicação nesta coleção
Jul-Sep 2018
Histórico
- Recebido
09 Mar 2018 - Aceito
27 Ago 2018