Resumo

O artigo apresenta a metodologia de construção de um painel de indicadores para monitoramento e avaliação da implementação da Política Nacional de Saúde Integral da População Negra (PNSIPN). A metodologia foi desenvolvida em quatro etapas: identificação do cenário, contexto da implementação, indicadores da PNSIPN e validação dos indicadores. Em todas as etapas participaram os proponentes da Política, burocratas de nível de rua, assessores técnicos dos colegiados de representação de gestores, representantes dos movimentos sociais, de associações e fóruns de patologias. Esses atores identificaram e pactuaram os indicadores do painel, categorizados em indicadores de enfrentamento ao racismo; indicadores das condições sociodemográficas segundo sexo, faixa etária e raça/cor; e indicadores de morbidade e mortalidade segundo sexo, faixa etária e raça/cor. O painel de indicadores para o monitoramento e análise da implementação da PNSIPN é viável e pode ser utilizado em nível municipal, estadual e federal, possivelmente subsidiando o processo de implementação e possibilitando o aprimoramento da gestão. A metodologia contribui para identificar indicadores de políticas públicas destinadas à garantia dos direitos humanos, da vigilância de direitos e da advocacy.

Palavras-chave:
Políticas Públicas em Saúde; Saúde da População Negra; Avaliação em Saúde; Indicadores de Saúde; Indicadores de Gestão

A avaliação do processo de implementação de uma política pública envolve o julgamento da materialização, falha ou sucesso de sua formulação teórica e das ações empreendidas para alcançar as proposições para essa fase da política (Felisberto et al., 2008FELISBERTO, E. et al. Contribuindo com a institucionalização da avaliação em saúde: uma proposta de autoavaliação. Cadernos de Saúde Pública, Rio de Janeiro, v. 24, n. 9, p. 2091-2102, 2008.; Hartz, 1999HARTZ, Z. M. A. Avaliação dos programas de saúde: perspectivas teórico-metodológicas e políticas institucionais. Ciência e Saúde Coletiva, Rio de Janeiro, v. 4, n. 2, p. 341-353, 1999.; McConnell, 2015MCCONNELL, A. What is policy failure? A primer to help navigate the maze. Public Policy and Administration, Londres, v. 30, n. 3-4, p. 221-242, 2015.). Para Tamaki et al. (2012TAMAKI, E. M. et al. Metodologia de construção de um painel de indicadores para o monitoramento e a avaliação da gestão do SUS. Ciência e Saúde Coletiva, Rio de Janeiro, v. 17, n. 4, p. 839-849, 2012.), antes de proceder a essa avaliação é necessário monitorar a política, o que envolve criar um processo de coleta de dados estratégicos e observar, analisar e avaliar como as ações, estratégias e os programas da política pública estão sendo implementados: o monitoramento propõe o “acompanhamento rotineiro de informações [de saúde] relevantes […] para subsidiar tomadas de decisão, a identificação, encaminhamento de solução e redução de problemas, bem como a correção de rumos” (Tamaki et al., 2012TAMAKI, E. M. et al. Metodologia de construção de um painel de indicadores para o monitoramento e a avaliação da gestão do SUS. Ciência e Saúde Coletiva, Rio de Janeiro, v. 17, n. 4, p. 839-849, 2012., p. 841).

Segundo Novaes (2000NOVAES, H. M. D. Avaliação de programas, serviços e tecnologias em saúde. Revista de Saúde Pública, São Paulo, v. 34, n. 5, p. 547-559, 2000.), é importante entender que a avaliação é um processo pontual que deve ocorrer em um período estabelecido e envolve julgamento de valor ou mérito, enquanto o monitoramento é um processo contínuo que pode, inclusive, fornecer informações para que se possa realizar uma avaliação.

Arrethe (2001ARRETHE, M. T. S. Uma contribuição para fazermos avaliações menos ingênuas. In: BARREIRA, M. C. R. N.; CARVALHO, M. C. B. (Org.). Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE-PUCSP, 2001. p. 44-55.) afirma que o monitoramento da implementação de uma política é complexo e contínuo, influenciado tanto por seu conteúdo quanto pelo contexto, bem como pela relação entre os meios social, econômico e político e o próprio governo. Esses fatores podem interferir na implementação, alterando os rumos inicialmente previstos e podendo impactar planos e até mesmo objetivos a fim de alcançar o efeito proposto.

Uma das formas de monitorar o processo de implementação de uma política é definir indicadores, que, segundo Jannuzzi (2016JANNUZZI, P. M. Monitoramento e avaliação de programas sociais: uma introdução aos conceitos e técnicas. Campinas: Alínea, 2016.), são instrumentos técnicos que possibilitam, além de compreender os marcadores ideológicos da formulação da política, monitorar seu processo de implementação e avaliar seu sucesso/avanço ou fracasso/retrocesso. Para isso, é fundamental construir um painel de indicadores consistente e de fácil entendimento, que seja factível e útil para gestores e sociedade civil, e que “permita o aprofundamento da investigação acadêmica sobre a mudança social e sobre os determinantes dos diferentes fenômenos sociais” (Jannuzzi, 2016JANNUZZI, P. M. Monitoramento e avaliação de programas sociais: uma introdução aos conceitos e técnicas. Campinas: Alínea, 2016., p. 22).

A construção de painéis de indicadores de monitoramento e avaliação pode subsidiar análises menos ingênuas e ser útil para documentar o desenvolvimento da política, documentar e informar sua implementação, fornecer dados para prestar contas dos recursos investidos e realizar uma administração pública mais eficiente (Arrethe, 2001ARRETHE, M. T. S. Uma contribuição para fazermos avaliações menos ingênuas. In: BARREIRA, M. C. R. N.; CARVALHO, M. C. B. (Org.). Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE-PUCSP, 2001. p. 44-55.; Brousselle et al., 2011BROUSSELLE, A. et al. (Org.) Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz, 2011.; CDC, 2015CDC - CENTERS FOR DISEASE CONTROL AND PREVENTION. Step by step: evaluating violence and injury prevention policies: brief 1: overview of policy evaluation. Atlanta, 2015. Disponível em: <Disponível em: https://bit.ly/3ht5YX7 >. Acesso em: 15 jun. 2020.
https://bit.ly/3ht5YX7... ; Faria, 2012FARIA, C. A. P. (Org.). Implementação de políticas públicas: teoria e prática. Belo Horizonte: Editora PUC Minas, 2012.; Silva, 2005SILVA, L. M. V. Conceitos, abordagens e estratégias para a avaliação em saúde. In: HARTZ, Z. M. A.; SILVA L. M. V. (Org.). Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro: Editora Fiocruz , 2005. p. 15-39.).

O conjunto de indicadores referentes a determinado aspecto da realidade social ou à área de intervenção de determinado fenômeno é denominado “sistema” ou “painel de indicadores”. O sucesso na sua construção é determinante para o acompanhamento da implementação da política a que se refere. Esse acompanhamento, assessorado pelos indicadores, permite identificar e evidenciar sucessos e falhas, encaminhar soluções e ajustes, corrigir e aprimorar ações, serviços ou programas (Cunha, 2018CUNHA, C. G. S. Avaliação de políticas públicas e programas governamentais: tendências recentes e experiências no Brasil. Estudos de Planejamento, Porto Alegre, n. 12, p. 27-57, 2018. Disponível em: <Disponível em: https://bit.ly/2ULPfV7 >. Acesso em: 10 maio 2019.
https://bit.ly/2ULPfV7... ; McConnell, 2015MCCONNELL, A. What is policy failure? A primer to help navigate the maze. Public Policy and Administration, Londres, v. 30, n. 3-4, p. 221-242, 2015.).

Políticas de ações afirmativas e a Política Nacional de Saúde Integral da População Negra

A Assembleia Nacional Constituinte (ANC) de 1987/1988 representa um momento histórico no Brasil, no qual diferentes movimentos populares incidiram sobre os marcos legais do Estado, demandando direitos. Segundo Santos (2015SANTOS, N. N. S. A voz e a palavra do movimento negro na Assembleia Nacional Constituinte (1987/1988): um estudo das demandas por direitos. 2015. Dissertação (Mestrado em Direito) - Fundação Getúlio Vargas, São Paulo, 2015., p. 40),

Destaca-se no processo da ANC o movimento sanitário, que demanda saúde para todos, e o movimento negro, que reivindica direitos e políticas públicas capazes de enfrentar o racismo. Quanto ao primeiro, o artigo 196 da Constituição Federal de 1988 é a expressão máxima da sua conquista: “A saúde é direito de todos e dever do Estado, garantido mediante políticas sociais e econômicas que visem à redução do risco de doença e de outros agravos e ao acesso universal e igualitário às ações e serviços para sua promoção, proteção e recuperação” (Brasil, 1988BRASIL. Constituição da República Federativa do Brasil de 1988. Diário Oficial da União, Brasília, DF, 5 out. 1988. Disponível em: <Disponível em: https://bit.ly/2y3wry1 >. Acesso em: 16 jun. 2020.
https://bit.ly/2y3wry1... ). Quanto ao segundo, para Santos (2015SANTOS, N. N. S. A voz e a palavra do movimento negro na Assembleia Nacional Constituinte (1987/1988): um estudo das demandas por direitos. 2015. Dissertação (Mestrado em Direito) - Fundação Getúlio Vargas, São Paulo, 2015.) e Lima (2010LIMA, M. Desigualdades raciais e políticas públicas: ações afirmativas no governo Lula. Novos Estudos Cebrap, São Paulo, n. 87, p. 77-95, 2010.) a ANC é de fato o momento em que o tema do racismo se insere na agenda governamental brasileira, tornando o negro, então, sujeito político. As inclusões no texto constitucional referentes à questão ensejaram posteriores lutas por regulamentação e efetiva implementação de políticas e leis.

Entre os marcos da história das conquistas do movimento negro no campo da saúde registra-se, em 1995, a apresentação ao então presidente da República, Fernando Henrique Cardoso, de uma série de reivindicações de políticas públicas e ações de enfrentamento ao racismo, envolvendo diferentes pastas. Para atender a essas diferentes demandas foi criado o grupo de trabalho interministerial (GTI) para valorização da população negra, sendo a saúde um dos subtemas. Um dos produtos desse GTI-Saúde foi a inclusão do quesito “cor” no Sistema de Informações sobre Mortalidade (SIM) e no Sistema de Informações sobre Nascidos Vivos (Sinasc), essencial para a produção de dados que denunciem as iniquidades raciais e possibilitem a discussão sobre o impacto do racismo na saúde (Batista et al., 2017BATISTA, L. E. et al. Avaliação do processo de implementação da Política Nacional de Saúde Integral da População Negra: indicadores de monitoramento e avaliação. São Paulo: Instituto de Saúde, 2017. Relatório de Pesquisa. Mimeo., p. 5).

Em 2003 foi criada a Secretaria de Políticas de Promoção da Igualdade Racial (Seppir), ligada ao gabinete da presidência da República. Sua missão era propor políticas que promovessem igualdade racial, com ênfase nas populações negra, indígena e cigana. Coube à Secretaria de Ações Afirmativas da Seppir dialogar com o Ministério da Saúde e, nesse contexto, em 2004 foi realizado o I Seminário Nacional de Saúde da População Negra, e o Comitê Técnico de Saúde da População Negra foi criado. Esse comitê teve como desafio elaborar a versão inicial da política sanitária voltada a essa população e auxiliar o Ministério na elaboração do plano de ações e atividades (Werneck, 2010WERNECK, J. Saúde da população negra: passo a passo: defesa, monitoramento e avaliação de políticas públicas. Rio de Janeiro: Criola, 2010. Disponível em: <Disponível em: https://bit.ly/2AsZUNP >. Acesso em: 18 maio 2020.
https://bit.ly/2AsZUNP... , p. 15).

Em novembro de 2006, o texto da Política Nacional de Saúde Integral da População Negra (PNSIPN) foi aprovado por unanimidade em reunião do Conselho Nacional de Saúde, em 2008 foi pactuado na Comissão Intergestores Tripartite e em 14 de maio de 2009 foi publicado no Diário Oficial da União como a Portaria nº 992 (Brasil, 2009aBRASIL. Ministério da Saúde. Portaria nº 992, de 13 de maio de 2009. Institui a Política Nacional de Saúde Integral da População Negra. Diário Oficial da União , Brasília, DF, 14 maio 2009a.). Em 2010, com a aprovação da Lei nº 12.288 (Brasil, 2010BRASIL. Lei nº 12.288, de 20 de julho de 2010. Institui o Estatuto da Igualdade Racial; altera as Leis nº 7.716, de 5 de janeiro de 1989, 9.029, de 13 de abril de 1995, 7.347, de 24 de julho de 1985, e 10.778, de 24 de novembro de 2003. Diário Oficial da União , Brasília, DF, 21 jul. 2010.), a PNSIPN passa a ter força de lei. A operacionalização das estratégias e ações para a implementação da PNSIPN foi pactuada nos planos operativos e inserida no Plano Nacional de Saúde e no Plano Plurianual, com cobertura orçamentária elencada na Lei Orçamentária Anual (Batista; Barros, 2017BATISTA, L. E.; BARROS, S. Enfrentando o racismo nos serviços de saúde. Cadernos de Saúde Pública, Rio de Janeiro, v. 33, e00090516, 2017. Suplemento 1., p. 2).

É nesse contexto que foram incluídas no Sistema Único de Saúde (SUS) políticas públicas para “promoção da equidade”, voltadas para a população negra e as populações em situação de vulnerabilidade. Foram criadas as políticas nacionais de Saúde Integral da População Negra (Brasil, 2009aBRASIL. Ministério da Saúde. Portaria nº 992, de 13 de maio de 2009. Institui a Política Nacional de Saúde Integral da População Negra. Diário Oficial da União , Brasília, DF, 14 maio 2009a.), Saúde Integral de Lésbicas, Gays, Bissexuais, Travestis e Transexuais (LGBT) (Brasil, 2011aBRASIL. Ministério da Saúde. Portaria nº 2.836, de 1º de dezembro de 2011. Institui, no âmbito do Sistema Único de Saúde (SUS), a Política Nacional de Saúde Integral de Lésbicas, Gays, Bissexuais, Travestis e Transexuais (Política Nacional de Saúde Integral LGBT). Diário Oficial da União , Brasília, DF, 2 dez. 2011a.), Saúde Integral das Populações do Campo e da Floresta (Brasil, 2011bBRASIL. Ministério da Saúde. Portaria nº 2.866, de 2 de dezembro de 2011. Institui, no âmbito do Sistema Único de Saúde (SUS), a Política Nacional de Saúde Integral das Populações do Campo e da Floresta (PNSIPCF). Diário Oficial da União , Brasília, DF, 5 dez. 2011b.), para a População em Situação de Rua (Brasil, 2009bBRASIL. Decreto nº 7.053, de 23 de dezembro de 2009. Institui a Política Nacional para a População em Situação de Rua e seu Comitê Intersetorial de Acompanhamento e Monitoramento, e dá outras providências. Diário Oficial da União , Brasília, DF, 24 dez. 2009b.) e de Atenção Integral à Saúde do Povo Cigano/Romani (Brasil, 2018BRASIL. Ministério da Saúde. Portaria nº 4.384, de 28 de dezembro de 2018. Altera a Portaria de Consolidação nº 2/GM/MS, de 28 de setembro de 2017, para instituir, no âmbito do Sistema Único de Saúde - SUS, a Política Nacional de Atenção Integral à Saúde do Povo Cigano/Romani. Diário Oficial da União , Brasília, DF, 31 dez. 2018.).

A PNSIPN tem como marca o reconhecimento do racismo, das desigualdades raciais e do racismo institucional como determinantes sociais de saúde. Apresenta como objetivo promover a saúde integral da população negra, priorizando a redução das desigualdades étnico-raciais e o combate ao racismo e à discriminação nas instituições e serviços de saúde. Entre suas estratégias de gestão, destaca-se o “desenvolvimento de ações específicas para a redução das disparidades […], sobretudo na morbimortalidade materna e infantil e naquela provocada por: causas violentas; doença falciforme; DST/HIV/aids; tuberculose; hanseníase; câncer de colo uterino e de mama; transtornos mentais” (Brasil, 2009aBRASIL. Ministério da Saúde. Portaria nº 992, de 13 de maio de 2009. Institui a Política Nacional de Saúde Integral da População Negra. Diário Oficial da União , Brasília, DF, 14 maio 2009a.).

Os principais avanços e retrocessos da saúde da população negra estão expressos na Figura 1.

A linha do tempo apresentada na Figura 1 evidencia o processo de construção de uma política de atenção à saúde da população negra, que se deu por meio de seminários e conferências, especialmente nos anos 2000. A partir de 2009, após a publicação da PNSIPN, os esforços parecem estar concentrados em sua implementação, e os avanços obtidos se relacionam à pactuação de três planos operativos nas comissões intergestores tripartite. O contingenciamento dos recursos da PNSIPN e a mudança do locus do grupo de coordenação da política dentro do Ministério da Saúde demarcam a realidade de sua gestão.

Tendo em vista o quadro apresentado, que indicadores podem ser utilizados para monitorar e avaliar a implementação de uma política que se propõe a enfrentar o racismo? Neste artigo, apresentamos a metodologia de construção de um painel de indicadores para esse fim.

Como construir um painel de indicadores?

Para construir o painel proposto, estabeleceu-se parceria com o colegiado de representação de gestores - Conselho Nacional de Secretarias Municipais de Saúde (Conasems), Conselho Nacional de Secretários de Saúde (Conass) -, com o Departamento de Monitoramento e Avaliação do SUS (Demas) do Ministério da Saúde e com a Escola de Enfermagem da Universidade de São Paulo.

Identificou-se inicialmente a necessidade de compreender o cenário da implementação da PNSIPN nos estados e municípios da federação, de identificar seu contexto - como ela se dá, que estratégias são adotadas, quais são as facilidades e dificuldades encontradas -, de se pensar um rol de possíveis indicadores e pactuar esses indicadores com gestores e sociedade civil. Para atender a esses objetivos foram coletados dados primários e realizaram-se reuniões técnicas, grupo focal, entrevistas e diálogo deliberativo com sujeitos estratégicos, a saber: os coordenadores e técnicos responsáveis pela implementação da Política, aqui denominados “burocratas de nível de rua” (Lotta, 2012LOTTA, G. S. O papel das burocracias do nível da rua na implementação de políticas públicas: entre o controle e a discricionariedade. In: FARIA, C. A. P. (Org.). Implementação de políticas públicas: teoria e prática. Belo Horizonte: Editora PUC Minas , 2012. p. 20-49.), formuladores da Política, representantes dos movimentos sociais, representantes de fóruns de patologias, pesquisadores convidados (pesquisadores externos), pesquisadores do grupo de pesquisa (pesquisadores internos), técnicos de diferentes secretarias do Ministério da Saúde, e representantes do Conass e do Conasems. Estabeleceu-se a seguir a metodologia, composta por quatro etapas, cada uma com objetivo específico e indicação técnica de coleta de dados, sujeitos estratégicos e produto obtido (Quadro 1).

Etapa I: identificação do cenário

A primeira etapa tratou de identificar as secretarias estaduais e municipais que implementavam a PNSIPN.

Objetivo: identificar quem está implementando a PNSIPN.

Ferramentas e técnicas utilizadas: questionário aplicado por meio eletrônico para identificar os locais de implementação da PNSIPN e o que vem sendo produzido e realizado no processo.

Sujeitos estratégicos: formuladores da política, colegiado de representação de gestores, coordenação nacional da PNSIPN do Ministério da Saúde, coordenadores estaduais e municipais da PNSIPN (burocratas de nível de rua), representantes de movimentos sociais, da Federação Nacional das Associações de Pessoas com Doença Falciforme e do Fórum de Patologias do Conselho Estadual de Saúde de São Paulo.

Produto: mapeamento da situação da implementação da PNSIPN - locais onde a PNSIPN foi implantada, em nível nacional.

Cabe salientar que o Conass e Conasems, aqui denominados “colegiados de representação de gestores”, encaminharam o link do questionário para os responsáveis pelas pastas da saúde nas secretarias municipais e estaduais. Ao final da primeira etapa foi possível identificar secretarias municipais e estaduais que haviam implementado a PNSIPN. Os resultados dessa etapa do trabalho foram publicados no artigo “Enfrentando o racismo nos serviços de saúde” (Batista; Barros, 2017BATISTA, L. E.; BARROS, S. Enfrentando o racismo nos serviços de saúde. Cadernos de Saúde Pública, Rio de Janeiro, v. 33, e00090516, 2017. Suplemento 1.).

Etapa II: contexto da implementação

Representantes das secretarias estaduais e municipais com experiência na implementação da PNSIPN foram convidados a participar de reunião técnica e grupo focal que possibilitou a troca de experiências relativas à estrutura e ao funcionamento esperado da Política nos municípios e estados. Além disso, nesse momento foi possível identificar as facilidades e as dificuldades encontradas no processo de implementação. Também participaram da reunião e do grupo focal os formuladores da Política, líderes do movimento negro, representantes do fórum de patologias, de movimentos sociais e pesquisadores.

Durante a reunião técnica, pesquisadores externos foram convidados a ministrar aulas sobre indicadores de saúde, avaliação de políticas e indicadores de monitoramento e avaliação, e apresentaram aos participantes a Sala de Apoio à Gestão Estratégica do Ministério da Saúde.²2Disponível em: <http://sage.saude.gov.br/>. Acesso em: 16 jun. 2020.

Objetivo: identificar facilidades e dificuldades da implementação da PNSIPN.

Ferramentas e técnicas utilizadas: reuniões técnicas com participação de facilitadores que ministraram aulas sobre avaliação em saúde, modelos de avaliação, indicadores de saúde e painel de indicadores de saúde (Furtado et al., 2013FURTADO, J. P. et al. A elaboração participativa de indicadores para a avaliação em saúde mental. Cadernos de Saúde Pública, Rio de Janeiro, v. 29, n. 1, p. 102-110, 2013.). Foram também realizadas entrevistas com os participantes para identificar as estratégias utilizadas na implementação da PNSIPN e grupo focal para discutir seu percurso.

Sujeitos estratégicos: formuladores da Política, representantes da coordenação nacional da PNSIPN do Ministério da Saúde e do colegiado de representação de gestores, burocratas de nível de rua, representantes da Federação Nacional das Associações de Pessoas com Doença Falciforme, do Fórum de Patologias do Conselho Estadual de Saúde de São Paulo e de movimentos sociais, e especialistas externos (de instituições de ensino superior) que atuaram como facilitadores da reunião técnica e grupo focal.

Produtos: modelo lógico da PNSIPN.

Nessa etapa foram realizadas entrevistas individuais, buscando identificar as facilidades e dificuldades encontradas, as estratégias utilizadas e a estrutura adequada dentro das secretarias necessária para a implementação da PNSIPN.

Quando indagadas sobre as facilidades e dificuldades da implementação das diretrizes da PNSIPN, as entrevistadas citam que a discussão sobre o racismo foi incluída no processo de formação e estudos foram fomentados com desembaraço, mas foi difícil ampliar a participação do movimento negro nos conselhos municipais/estadual e implementar processos de monitoramento e avaliação.

Quanto aos pontos de estrangulamento da implementação, os gestores apontam como os principais entraves o racismo pessoal e institucional, a falta de apoio do poder político, falta de recursos humanos e financeiros e a inexistência de dados desagregados por raça/cor.

Quando questionados, os entrevistados indicaram não haver política de incentivo à implementação da PNSIPN. Porém, posteriormente foi constatado que a estratégia de ação Atenção à Saúde das Populações Quilombolas foi uma política de governo que perdurou de 2003 a 2016, e que nesse período se observou um conjunto de incentivos governamentais incorporados à estratégia de implementação da PNSIPN.

Por outro lado, em outubro de 2018, R$ 6 milhões destinados a apoiar projetos de implementação da PNSIPN foram contingenciados pela sra. Gerlane Baccarin, então secretária de Gestão Estratégica e Participativa do Ministério da Saúde (Ministério…, 2018MINISTÉRIO da Saúde: recursos da Política Nacional de Saúde Integral da População Negra. Avaaz.org: petições da comunidade, [s.l.], 24 out. 2018. Disponível em: <Disponível em: https://bit.ly/2Bhr0HO >. Acesso em: 16 jun. 2020.
https://bit.ly/2Bhr0HO... ).

A terceira atividade da etapa de contextualização foi construir coletivamente o modelo lógico após a aula sobre modelos de avaliação e indicadores de saúde e a discussão das facilidades e dificuldades de implementação da Política. Durante a aula, o docente/pesquisador externo apresentou aos participantes alguns modelos de avaliação e destacou alguns modelos lógicos de políticas.

Percebendo o interesse do grupo pelos modelos lógicos, os pesquisadores internos colaram três cartolinas em sequência e inseriram as seguintes perguntas: quais são os objetivos da PNSIPN? Quais são as diretrizes da PNSIPN? Que estratégias são utilizadas para implementar a Política? Quais são as atividades realizadas? Como monitorar as atividades realizadas? Que indicadores utilizo para julgar a ação desenvolvida?

Depois que as participantes responderam às perguntas, a equipe da pesquisa sistematizou as informações construindo o “modelo lógico da intervenção” (Figura 2), definido como “o conjunto dos postulados sobre o modo pelo qual um programa é relacionado com os benefícios que supostamente produz e a estratégia e as táticas que foram adotadas para alcançar suas metas e objetivos” (Champagne et al., 2011CHAMPAGNE, F. et al. A avaliação no campo da saúde: conceitos e métodos. In: BROUSSELLE, A. et al. (Org.) Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz , 2011. p. 41-60., p. 50).

O modelo lógico da PNSIPN (Figura 2) descreve os objetivos, as ações realizadas para atingi-los, os benefícios/resultados esperados e os indicadores utilizados para avaliar a ação realizada. A análise do modelo lógico da PNSIPN sugere que: (1) o objetivo de desenvolver ações para reduzir agravos prevalentes na população negra tem demandado diversas modalidades de ação na rotina de trabalho de burocratas de nível de rua; (2) nem todas as diretrizes da PNSIPN chegam à fase de monitoramento e avaliação; e (3) as seis diretrizes da PNSIPN estão contidas nas estratégias de gestão, mas nem todas as estratégias de gestão estão espelhadas em diretrizes - por exemplo, a atenção à saúde dos povos do campo e das florestas, incluindo as populações quilombolas, está nas estratégias e nos objetivos específicos do texto da Política, mas não é explicitada nas diretrizes; o texto da Política não traz uma contextualização organizacional necessária nem acusa a existência de dispositivos institucionais que regulamentam o processo de monitoramento e avaliação da implementação, o que sugere a necessidade de reformulação.

A discussão sobre facilidades e dificuldades da implementação da política, juntamente com a elaboração do modelo lógico da intervenção, sugeriu caminhos para identificar possíveis indicadores para compor um painel de monitoramento e avaliação.

Etapa III: indicadores da Política Nacional de Saúde Integral da População Negra

Nessa etapa, burocratas de nível de rua, assessores técnicos dos colegiados de gestores, assessores técnicos representantes do Ministério da Saúde e lideranças de movimentos sociais participaram de grupo focal e de duas reuniões técnicas em que foram discutidos o que são indicadores sociodemográficos e de enfrentamento ao racismo.

Objetivo: propor um conjunto de indicadores que possam ser utilizados para monitorar e avaliar a implementação da PNSIPN.

Ferramentas e técnicas: foram realizadas reuniões técnicas com participação de pesquisadores externos que atuaram como facilitadores e ministraram aulas sobre indicadores sociais, indicadores demográficos existentes nas bases de dados do Instituto Brasileiro de Geografia e Estatística (IBGE) e indicadores de enfrentamento ao racismo institucional, participando ainda do grupo focal que elencou 45 indicadores como estratégicos para compor o painel.

A estratégia utilizada incluiu promover um processo de formação durante as reuniões técnicas (Furtado et al., 2013FURTADO, J. P. et al. A elaboração participativa de indicadores para a avaliação em saúde mental. Cadernos de Saúde Pública, Rio de Janeiro, v. 29, n. 1, p. 102-110, 2013.) e realizar grupo focal entre burocratas do nível de rua, assessores técnicos dos colegiados de representação de gestores e técnicos de diferentes áreas do Ministério da Saúde. Também foram convidados representantes da sociedade civil, que na coleta de dados primários foram citados pelos gestores como apoiadores da implementação da Política. Pesquisadores externos e internos participaram do grupo focal que definiu os possíveis indicadores de monitoramento e avaliação da implementação da Política.

Sujeitos estratégicos: representantes da coordenação nacional da PNSIPN do Ministério da Saúde e do colegiado de representação de gestores, formuladores da Política, burocratas de nível de rua, representantes da Federação Nacional das Associações de Pessoas com Doença Falciforme, do Fórum de Patologias do Conselho Estadual de Saúde de São Paulo e de movimentos sociais, pesquisadores externos (de instituições de ensino superior, institutos de pesquisa e organizações não governamentais) e internos (Quadro 2).

Produto: relação de 45 indicadores de monitoramento e análise da implementação da PNSIPN a serem pactuados na etapa IV.

Etapa IV: validação dos indicadores

Na última etapa foi realizado diálogo deliberativo para recomendar ou não os indicadores propostos na etapa III.

Objetivo: identificar os indicadores para monitorar e avaliar a implementação da PNSIPN.

Sujeitos estratégicos: formuladores da política, burocratas de nível de rua, técnicos de diferentes áreas do Ministério da Saúde, representantes do colegiado de representação dos gestores, da sociedade civil, de associações e do fórum de patologias, pesquisadores externos (de instituições de ensino superior, institutos de pesquisa e organizações não governamentais) e internos.

Foi realizado diálogo deliberativo como recurso para compartilhar saberes entre pesquisadores, formuladores de política, burocratas de nível de rua, sociedade civil e demais interessados, além de esclarecer as áreas de incerteza e desenvolver um entendimento comum sobre os prós e contras de cada indicador (Acosta; Oelke; Lima, 2017ACOSTA, A. M.; OELKE, N. D.; LIMA, M. A. D. S. Considerações teóricas do diálogo deliberativo: contribuições para prática, política e pesquisa em enfermagem. Texto e Contexto Enfermagem, Florianópolis, v. 26, n. 4, art. e0520017, 2017. Disponível em: <Disponível em: https://bit.ly/2C4MU13 >. Acesso em: 13 jun. 2019.
https://bit.ly/2C4MU13... ; Lavis et al., 2009LAVIS, J. N. et al. Support tools for evidence-informed health policymaking (STP) 14: organising and using policy dialogues to support evidence-informed policymaking. Health Research Policy and Systems, Londres, v. 7, art. S14, 2009. Suplemento 1. Disponível em: <Disponível em: https://bit.ly/3fpaTXh >. Acesso em: 25 jul. 2019.
https://bit.ly/3fpaTXh... ).

Antes de realizar o diálogo deliberativo, encaminhou-se aos participantes a relação de 45 indicadores definidos na etapa III, acompanhada de um formulário e uma escala de pontuação - bom, regular, ótimo. Também foi encaminhada a Ficha de Qualificação de Indicadores da Rede Interagencial de Informações para a Saúde (Ripsa), na qual constavam os seguintes itens: validade (capacidade de medir o que pretende); confiabilidade (qualidade dos dados); sensibilidade (é sensível para captar o atributo que quer captar); desagregação (nível territorial possível); e periodicidade (intervalo de tempo em que o indicador é atualizado). A devolução do formulário e da Ficha foi condição para participar da reunião presencial. As respostas foram consolidadas pela equipe da pesquisa e apresentadas durante a reunião.

No primeiro dia do diálogo deliberativo foram apresentados os indicadores com maior pontuação e, dos 45 indicadores propostos inicialmente, apenas 22 foram destacados para serem discutidos no segundo dia de trabalho.

Durante o segundo dia do diálogo deliberativo os participantes discutiram cada um dos 22 indicadores a partir de uma matriz elaborada pela equipe do Demas. A matriz continha os seguintes itens: conceituação do indicador, método de cálculo, uso, potencialidades, limitações e representatividade como indicador da Política. Na rodada de discussão definiram-se 19 indicadores para o monitoramento e a análise da implementação da Política (Quadro 3).

Após o diálogo deliberativo, técnicos de diferentes áreas do Ministério da Saúde testaram os indicadores em cada banco de dados, e a equipe técnica do Demas encarregou-se de preencher a Ficha de Qualificação de Indicadores, composta pelos seguinte itens: nome do indicador; meta ou padrão médio nacional; linha de base/ano; método de cálculo; fonte de dados; unidade de medida; menor nível de desagregação; limitações; unidade administrativa responsável pelo dado; e responsável técnico pelo indicador.

Produto: Painel de indicadores para o monitoramento e avaliação da implementação da PNSIPN (Quadro 3).

Painel de indicadores para monitoramento e análise da implementação

Foi estabelecido um processo em que se propôs ouvir os formuladores da Política, burocratas de nível de rua, representantes dos movimentos sociais, de fóruns de patologias, pesquisadores convidados e pesquisadores do grupo de pesquisa, técnicos do Ministério da Saúde, assessores técnicos do Conass e do Conasems em todas as etapas da proposta - identificação do problema, registro das estratégias, facilidades e dificuldades da implementação da Política e definição e pactuação de seus indicadores.

Segundo Lotta (2012LOTTA, G. S. O papel das burocracias do nível da rua na implementação de políticas públicas: entre o controle e a discricionariedade. In: FARIA, C. A. P. (Org.). Implementação de políticas públicas: teoria e prática. Belo Horizonte: Editora PUC Minas , 2012. p. 20-49.), na área da saúde há pouca literatura dedicada à análise da importância dos burocratas implementadores (burocratas de nível de rua). Para a autora, direcionar o olhar para eles é essencial para compreender as ações e os fatores que influenciam as transformações no processo de implementação, nos resultados e na avaliação das políticas públicas. Ao se propor a identificação dos indicadores de políticas, faz-se necessário lançar mão de uma metodologia que envolva seus formuladores, burocratas de nível de rua, gestores, movimentos sociais e pesquisadores internos e externos (Novaes, 2000NOVAES, H. M. D. Avaliação de programas, serviços e tecnologias em saúde. Revista de Saúde Pública, São Paulo, v. 34, n. 5, p. 547-559, 2000.; Tamaki et al., 2012TAMAKI, E. M. et al. Metodologia de construção de um painel de indicadores para o monitoramento e a avaliação da gestão do SUS. Ciência e Saúde Coletiva, Rio de Janeiro, v. 17, n. 4, p. 839-849, 2012.). Por isso, para a metodologia de construção do painel foi importante incluir os burocratas de nível de rua.

A metodologia de construção do painel de indicadores foi precedida de um longo e intenso trabalho de articulação política com atores estratégicos, a saber:

Certos fatores foram considerados estratégicos:

Finalmente, as estratégias metodológicas permitiram construir ambientes em que os participantes se sentissem à vontade para contribuir, estabelecendo um clima de cumplicidade, colaboração e aprendizado entre formuladores, sociedade civil, técnicos, pesquisadores e burocratas de nível de rua.

Por sua vez, o painel está categorizado pelos temas apresentados pelos pesquisadores externos convidados a contribuir com a formação do grupo: indicadores de enfrentamento ao racismo; indicadores de condições sociodemográficas da população segundo sexo, faixa etária e raça/cor; e indicadores do perfil da morbidade e mortalidade segundo sexo, faixa etária e raça/cor. Segundo Tamaki et al. (2012TAMAKI, E. M. et al. Metodologia de construção de um painel de indicadores para o monitoramento e a avaliação da gestão do SUS. Ciência e Saúde Coletiva, Rio de Janeiro, v. 17, n. 4, p. 839-849, 2012., p. 844),

Como alguns técnicos do Demas representavam o Ministério da Saúde nas reuniões da Ripsa, esse conhecimento prévio facilitou apontar indicadores que seriam de difícil captação nos sistemas de informação do SUS e aqueles que não existiam em nenhuma base nacional, os de enfrentamento ao racismo.

Esses indicadores - inclusão da PNSIPN nos planos municipais e estaduais de saúde; existência de uma instância responsável por conduzir, coordenar e monitorar as ações de saúde para a população negra; inclusão na Lei Orçamentária Anual e no Sargsus; e capacitação e treinamento específicos dos profissionais de saúde sobre racismo e saúde da população negra - sinalizam se a temática racial está contida nos instrumentos de gestão e na sensibilidade dos profissionais de saúde.

Como afirmado, essas informações não existiam nas bases de dados nacionais, mas a atuação dos técnicos do IBGE transformou uma dificuldade em conquista, pois, ao perceber essa debilidade para a construção de um painel, o representante do Instituto nas reuniões técnicas e no diálogo deliberativo encaminhou internamente no IBGE uma proposta de inclusão de algumas questões no eixo saúde da Munic e Estadic, no item colegiado de gestão regional, no plano municipal de saúde e na PNSIPN (IBGE, 2015IBGE - INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Perfil dos estados e municípios brasileiros: 2014. Rio de Janeiro, 2015.). A proposta foi aceita e realizou-se levantamento nos 5.570 municípios dos 26 estados da federação, mais Distrito Federal. Essa base de dados está disponível e o resultado desse trabalho pode ser acessado on-line.³3Disponível em: < https://bit.ly/3dazdKT>. Acesso em: 16 jun. 2020.

Segundo Tamaki et al. (2012TAMAKI, E. M. et al. Metodologia de construção de um painel de indicadores para o monitoramento e a avaliação da gestão do SUS. Ciência e Saúde Coletiva, Rio de Janeiro, v. 17, n. 4, p. 839-849, 2012.), o painel deve conseguir informar sobre os aspectos que constituem o modelo teórico, incorporar praticidade a um instrumento de monitoramento com potencial avaliativo, possuir bases de dados disponíveis e ter um pequeno número de

Logo, dentre os indicadores de enfrentamento ao racismo, a presença de instância específica para conduzir, coordenar e monitorar as ações de saúde para a população negra é o indicador-chave.

O segundo grupo de indicadores diz respeito aos dados sociodemográficos, dos quais o de população segundo sexo, idade e raça/cor é fundamental, mas há uma limitação: os dados populacionais desagregados por sexo, faixa etária e raça/cor são atualizados apenas nos Censos Demográficos, a cada dez anos.

Os indicadores categorizados como de morbidade e mortalidade segundo sexo, faixa etária e raça/cor são aqueles disponíveis no SIM, Sinasc e Sistema de Informação Hospitalar, e sua leitura permite monitorar e avaliar a abrangência da ação do sistema sanitário na atenção à saúde da população negra: taxa de mortalidade prematura (entre 30 e 69 anos) por doenças crônicas não transmissíveis; taxa de mortalidade por homicídios; razão de morte materna; taxa de mortalidade infantil; taxa de mortalidade por tuberculose; distribuição percentual de casos de sífilis em gestantes; proporção de pessoas vivendo com HIV/aids; taxa de incidência de aids; taxa de mortalidade proporcional por causas mal definidas; número de nascidos vivos com diagnóstico de doença falciforme; e taxa de internação por transtorno mental. É difícil apontar entre os indicadores de morbidade e mortalidade qual é o principal, mas é fácil apontar sua limitação: o mau preenchimento da informação raça/cor nos sistemas de informação (Batista; Barros, 2017BATISTA, L. E.; BARROS, S. Enfrentando o racismo nos serviços de saúde. Cadernos de Saúde Pública, Rio de Janeiro, v. 33, e00090516, 2017. Suplemento 1.; Braz et al., 2013BRAZ, R. M. et al. Avaliação da completude da variável raça/cor nos sistemas nacionais de informação em saúde para aferição da equidade étnico-racial em indicadores usados pelo Índice de Desempenho do Sistema Único de Saúde. Saúde em Debate, Rio de Janeiro, v. 37, n. 99, p. 554-562, 2013. Disponível em: <Disponível em: https://bit.ly/30Jazys >. Acesso em: 15 jun. 2020.
https://bit.ly/30Jazys... ).

A elaboração de painel de indicadores pode vir a ser uma das estratégias para avaliar políticas que se propõem a enfrentar o racismo. A metodologia de construção desse painel para monitoramento e análise da implementação da PNSIPN possibilitou sugerir uma base de indicadores viáveis, congruente com as diretrizes da Política, na perspectiva da vigilância de direitos e do advocacy.

O fato de o IBGE ter incluído os indicadores de enfrentamento ao racismo nas pesquisas de perfil dos estados e municípios brasileiros pode ser entendido como um ganho, produto do processo participativo de construção do painel.

Considerações finais

A metodologia participativa foi fundamental para construir o painel de indicadores da PNSIPN. Essa metodologia pode ser utilizada para criar painéis de indicadores para monitorar e avaliar a implementação das políticas de saúde da população LGBT, da população do campo e da floresta, da população cigana e da população em situação de rua.

Painéis de indicadores de monitoramento e análise da implementação de políticas afirmativas podem ser instrumento para verificar se a formulação teórica da política dialoga com as ações empreendidas, para que se possa em estudos futuros julgar o sucesso ou fracasso do seu processo de implementação.

Espera-se que o painel contribua para a gestão da política e a adoção de ações para reduzir as iniquidades raciais em saúde, e que este trabalho contribua para o aprimoramento das ações do SUS, com acadêmicos e movimentos sociais interessados na implementação da PNSIPN.

Agradecimentos

À professora doutora Hillegonda Maria Dutilh Novaes, pelas sugestões dadas na construção teórica da metodologia do trabalho; ao Conselho Nacional de Secretarias Municipais de Saúde e ao Conselho Nacional de Secretários de Saúde, por disponibilizarem o questionário aos gestores municipais e estaduais; a Maria Mercedes Loureiro Escuder, pela leitura atenta; e a Maritsa Bertoli, pela colaboração na construção do instrumento on-line.

Referências

Datas de Publicação

Histórico