RESUMO

Objetiva validar um plano de indicadores para a avaliação da implementação da Política Nacional de Saúde Integral da População Negra nos municípios brasileiros. O estudo empregou procedimentos teóricos e metodológicos para o alcance da validade de conteúdo, por meio da aplicação da taxa de concordância e do Índice de Validade de Conteúdo. Participaram do estudo especialistas das áreas de saúde da população negra e avaliação em saúde. Dos 36 indicadores, na avaliação de concordância, 35 alcançaram o ponto de corte e 32 alcançaram Índice de Validade de Conteúdo superior a 0,80. Na análise geral desse índice, o plano de indicadores obteve 0,86 como pontuação, considerado como válido em seu conteúdo por ter superado o ponto de corte estabelecido (0,80). Conclui-se que o plano de indicadores ora apresentado possui a concordância, a pertinência e a clareza necessárias para a sua utilização nos municípios brasileiros, contudo, se faz necessária a continuidade de seu aperfeiçoamento nas fases subsequentes à sua validação.

PALAVRAS-CHAVE
Avaliação em saúde; Política pública; Saúde das minorias étnicas

ABSTRACT

The aim was to validate a plan of indicators to evaluate the implementation of the National Comprehensive Health Policy for the Black Population in Brazilian municipalities. The study used theoretical and methodological procedures to reach the validity of content, through the application of the concordance rate and the Content Validity Index. Experts from the black population’s health areas and health assessment participated in the study. Of the 36 indicators, in the agreement assessment, 35 reached the cut-off point, and 32 reached Content Validity Index higher than 0.80. In the general analysis of this index, the indicator plan obtained the score 0.86, considered validated in its content because it exceeded the cutoff point of the 0.80. It is concluded that the indicators plan has the agreement, pertinence and clarity necessary for its use in the Brazilian municipalities, however, it is necessary to continue its improvement in the phases subsequent to its validation.

KEYWORDS
Validation; Health evaluation; Public policy; Ethnic minority health

Introdução

Na tentativa de diminuir as iniquidades raciais em saúde no Brasil, em 2009, foi aprovada a Política Nacional de Saúde Integral da População Negra (PNSIPN), como resultado da ação de diversos movimentos sociais negros, que buscavam garantir a atenção à saúde, fundamentados no princípio da equidade¹1. Chehuen NJA, Fonseca GM, Brum IV, et al. Política Nacional de Saúde Integral da População Negra: implementação, conhecimento e aspectos socioeconômicos sob a perspectiva desse segmento populacional. Ciênc. Saúde Colet. 2015 [acesso em 2015 dez 10]; 20(6):1909-1916. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-81232015000601909&lng=en.
http://www.scielo.br/scielo.php?script=s... .

As políticas de saúde devem ter, além de diretrizes e princípios sólidos para a sua efetivação, os meios para a mensuração de sua aplicação e uso nos serviços de saúde. Para tanto, é necessária a formulação de indicadores de saúde, que avaliem resultados, processos e impactos decorrentes das ações implementadas²2. Jannuzzi PM. Considerações sobre o uso, mau uso e abuso dos indicadores sociais na formulação e avaliação de políticas públicas municipais. Rev Serv Púb. 2002 [acesso em 2015 dez 10]; 36(1):51-72. Disponível em: http://bibliotecadigital.fgv.br/ojs/index.php/rap/article/view/6427.
http://bibliotecadigital.fgv.br/ojs/inde... . No entanto, este fato não é observado em relação à PNSIPN, dado que, ao realizar o balanço do estado da arte, não foram encontrados estudos que apresentassem proposta de avaliação da referida política.

A avaliação se fundamenta no processo de informação para a tomada de decisão. Na busca por estratégias para uma avaliação sistemática, processual e contínua, a utilização de indicadores de saúde se apresenta como uma das alternativas viáveis, tanto para os gestores como para os demais executores do plano de ação²2. Jannuzzi PM. Considerações sobre o uso, mau uso e abuso dos indicadores sociais na formulação e avaliação de políticas públicas municipais. Rev Serv Púb. 2002 [acesso em 2015 dez 10]; 36(1):51-72. Disponível em: http://bibliotecadigital.fgv.br/ojs/index.php/rap/article/view/6427.
http://bibliotecadigital.fgv.br/ojs/inde... ,³3. Mark MM, Henry GT. The mechanisms and outcomes of evaluation influence. Evaluation. 2004; (10):35-57..

A validade de conteúdo consiste no exame sistemático do conteúdo instrumental para assegurar que os itens/indicadores, de fato, representem o construto em estudo, e se todos os aspectos fundamentais da área a ser avaliada estarão adequadamente representados pelos indicadores elaborados⁴4. Coluci MZO, Alexandre NMC, Milani C. Construção de instrumentos de medida na área da saúde. Ciênc. Saúde Colet. 2015; 20(3):925-936.. Na definição de indicadores que atendam às diferenças regionais brasileiras, considerando pertinência, clareza e factibilidade, a validação se apresenta como de fundamental importância.

A avaliação da implantação da PNSIPN, através de indicadores validados, sejam de ordem quantitativa ou qualitativa, permite captar informações relevantes sobre o objeto estudado⁵5. Uchoa CE. Elaboração de indicadores de desempenho institucional. Brasília: Escola Nacional de Administração Pública/DDG. 2013 [acesso em 2021 jan 6]; 36. Disponível em: https://repositorio.enap.gov.br/bitstream/1/2403/1/Elabora%C3%A7%C3%A3o%20de%20indicadores%20de%20desempenho_apostila%20exerc%C3%ADcios.pdf.
https://repositorio.enap.gov.br/bitstrea... ,⁶6. Ferreira H, Cassiolato M, Gonzalez R. Uma experiência de desenvolvimento metodológico para avaliação de programas: o modelo lógico do programa segundo tempo. Rio de Janeiro: IPEA; 2009. (Texto para discussão). [acesso em 2021 fev 6]. Disponível em: https://lume.ufrgs.br/handle/123456789/136.
https://lume.ufrgs.br/handle/123456789/1... . É imprescindível não apenas para a correção de rumos, mas também para subsidiar, através do desenho metodológico, a avaliação de outras políticas públicas. No entanto, é importante destacar que toda representação traz consigo o risco de reduções e distorções, sendo o componente territorial um fundamento essencial na implementação de toda política pública, a fim de equalizar as distorções²2. Jannuzzi PM. Considerações sobre o uso, mau uso e abuso dos indicadores sociais na formulação e avaliação de políticas públicas municipais. Rev Serv Púb. 2002 [acesso em 2015 dez 10]; 36(1):51-72. Disponível em: http://bibliotecadigital.fgv.br/ojs/index.php/rap/article/view/6427.
http://bibliotecadigital.fgv.br/ojs/inde... .

Assim, o objetivo do presente estudo é validar um plano de indicadores para a avaliação da implementação da PNSIPN nos municípios brasileiros.

Material e métodos

O presente estudo empregou procedimentos teóricos e metodológicos para o alcance da validade de conteúdo. Tendo sido realizado nos meses de janeiro a novembro de 2017, seguiram-se suas fases posteriores para ajustes e redefinições, até o produto final, no ano de 2019. Sendo um estudo cuja metodologia se apresenta como ponto crucial para sua fidedignidade e confiabilidade, esta é detalhada de forma a apresentar todas as etapas necessárias para a construção e validação de um plano de indicadores.

O plano de indicadores para a avaliação da implementação da PNSIPN foi desenvolvido no âmbito de uma pesquisa multicêntrica denominada ‘Avaliação da Atenção à Saúde da População Negra e a Intersecção do Racismo sobre as Práticas de Cuidado em Estados do Nordeste e do Sudeste Brasileiro’, financiada pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

A validade de conteúdo geralmente é examinada de maneira subjetiva, qualitativamente, por meio de painel de juízes. Entre os critérios para a seleção dos juízes deve-se levar em consideração a experiência e a qualificação dos membros desse grupo. O resultado do painel de expertsM ajuda a definir quais os indicadores que serão mantidos, revisados ou eliminados⁴4. Coluci MZO, Alexandre NMC, Milani C. Construção de instrumentos de medida na área da saúde. Ciênc. Saúde Colet. 2015; 20(3):925-936..

Para isso, a construção da validação do plano de indicadores para a avaliação da implementação da PNSIPN nos municípios brasileiros seguiu duas etapas: o desenvolvimento do plano de indicadores e o exame da validade de conteúdo do plano de indicadores.

A etapa de desenvolvimento do plano de indicadores foi realizada em duas fases, para melhor descrever a sua estrutura organizacional, sendo elas: o planejamento e a construção do questionário.

Na fase de planejamento, foram definidos o objetivo, os tipos de indicadores e o formato. Inicialmente, foi realizada uma revisão da literatura, para examinar a relevância do tema e localizar os instrumentos de avaliação usados na área. Nessa etapa, foi utilizado o modelo de indicadores sociais²2. Jannuzzi PM. Considerações sobre o uso, mau uso e abuso dos indicadores sociais na formulação e avaliação de políticas públicas municipais. Rev Serv Púb. 2002 [acesso em 2015 dez 10]; 36(1):51-72. Disponível em: http://bibliotecadigital.fgv.br/ojs/index.php/rap/article/view/6427.
http://bibliotecadigital.fgv.br/ojs/inde... , que apresenta como elementos: os temas investigados (variáveis e pergunta avaliativa) e as fontes de dados (parâmetros e pontuação).

Para fundamentar a construção de um plano de indicadores capaz de avaliar a implementação da PNSIPN, Santos e Silva (2017)⁷7. Santos SBS, Silva FMR. Implantação da política nacional de saúde integral da população negra: um estudo de avaliabilidade. XXI Seminário de Iniciação Científica. Universidade Estadual de Feira de Santana, BA; 2017 out 8; Feira de Santana. Feira de Santana: UEFS; 2017. p. 21-25. [acesso em 2015 dez 10]. Disponível em: http://periodicos.uefs.br/index.php/semic/article/view/2663/2020.
http://periodicos.uefs.br/index.php/semi... , baseados em um projeto matriz, do qual este estudo faz parte, propõem um modelo lógico com três dimensões de análise: acesso às ações e serviços em saúde; gestão; e ensino e pesquisa.

Os indicadores foram distribuídos entre quantitativos e qualitativos. Cada indicador quantitativo foi estruturado com: número do indicador, variável de estudo, pergunta avaliativa, parâmetro, pontuação atribuída, fonte do dado e premissa. Já para os indicadores qualitativos foram atribuídos: número do indicador, variável de estudo, pergunta avaliativa, fonte do dado e premissa.

Para a construção do questionário a ser avaliado pelos juízes, o plano proposto para a validação gerou um banco com 42 indicadores, originários das oficinas com participantes do grupo de pesquisa. Foram incluídos, também, novos indicadores, formulados a partir da revisão da literatura.

A proposta das oficinas foi analisar os relatórios já produzidos pelo Ministério da Saúde (MS), disponibilizados para o uso do projeto de pesquisa no momento da sua aprovação, com base no Planejamento Estratégico do Ministério da Saúde 2011-2015. Ao final, os objetivos estratégicos de maior relevância foram eleitos pelo grande grupo, reorganizados como indicadores e alocados nas dimensões propostas no modelo lógico. Vale destacar que esta ferramenta de planejamento não é específica para o monitoramento das ações de saúde da população negra⁸8. Brasil. Ministério da Saúde. Planejamento Estratégico do Ministério da Saúde 2011-2015. 2013. [acesso em 2018 maio 5]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/planejamento_estrategico_ministerio_saude_resultados.pdf.
http://bvsms.saude.gov.br/bvs/publicacoe... .

Após triagem realizada pelos autores, foram eliminados indicadores com conteúdos similares, restando 36 que, posteriormente, foram agrupados nas seguintes dimensões: acesso às ações e aos serviços de saúde; indicadores de gestão; e indicadores de ensino e pesquisa.

Em seguida, passou-se à revisão cuidadosa da redação dos indicadores, para melhorias na clareza dos enunciados, evitando ambiguidades e garantindo que não sugerissem ou induzissem as respostas.

Para a etapa de validação do plano de indicadores, foram convidados dez especialistas, através de cartas-convite enviadas por correio eletrônico, contendo os objetivos e a justificativa do processo de validação. Todos os convidados possuíam reconhecida experiência em uma das seguintes áreas temáticas: saúde da população negra; avaliação em saúde; e validação de instrumentos de medida. E todos provinham de diferentes centros de trabalho.

O número de participantes foi calculado tendo por base a recomendação de Lynn⁹9. Lynn MR. Determination and quantification of content validity. Nurs Res, 1986: 35(6):382-385., que preconiza o mínimo de cinco e o máximo de dez, nesse processo. No total, sete especialistas aceitaram participar do estudo.

O instrumento de avaliação foi disponibilizado eletronicamente pelo Google Planilhas, composto por 36 indicadores, que distribuídos nas três dimensões do plano, foram avaliados seguindo os critérios de abrangência, pertinência e clareza.

A avaliação da ‘Abrangência’¹⁰10. Tilden VP, Nelson CA, May BA. Use of qualitative methods to enhance content validity. Nurs Res. 1990 [acesso em 2018 maio 5]; 39(3):172-175. Disponível em https://psycnet.apa.org/record/1990-27272-001.
https://psycnet.apa.org/record/1990-2727... consiste em verificar se os juízes concordam com a dimensão na qual o indicador foi inserido. Dessa forma, foi solicitado aos juízes que apreciassem se cada indicador estava contemplado nas respectivas dimensões apresentadas.

Em uma validação a partir da avaliação pelos conceitos de clareza e pertinência, a ‘Clareza’ pretende avaliar a redação, ou seja, verificar se o conceito pode ser bem compreendido e se expressa adequadamente o que se espera medir; já a ‘Pertinência’ busca identificar se há relação com os conceitos envolvidos, se é relevante e se atinge os objetivos propostos⁷7. Santos SBS, Silva FMR. Implantação da política nacional de saúde integral da população negra: um estudo de avaliabilidade. XXI Seminário de Iniciação Científica. Universidade Estadual de Feira de Santana, BA; 2017 out 8; Feira de Santana. Feira de Santana: UEFS; 2017. p. 21-25. [acesso em 2015 dez 10]. Disponível em: http://periodicos.uefs.br/index.php/semic/article/view/2663/2020.
http://periodicos.uefs.br/index.php/semi... ,¹¹11. Thorn D, Deitz J. Examining content validity through the use of content experts. OTJR. 1989 [acesso em 2018 maio 5]; 9(6):334-45. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/153944928900900602.
https://journals.sagepub.com/doi/abs/10.... .

Para essa análise, foi elaborado um instrumento de sistematização da avaliação requerida, contendo três questões: A – avaliação da concordância; B – avaliação da pertinência; e C – avaliação da clareza. Igualmente, foi encaminhado linkM individual para acesso on-line ao plano de indicadores, para todos os juízes.

Na questão ‘A’, para a avaliação da concordância, os juízes avaliaram as dimensões de análise do plano de indicadores, tendo duas opções de escolha: 1 – concordo; ou 2 – não concordo.

Para a análise da pertinência, na questão ‘B’, foi utilizada uma escala de 1 a 4, definida como: 1 = não pertinente; 2 = pouco pertinente; 3 = pertinente; e 4 = muito pertinente.

Na questão ‘C’, para a análise da clareza, foram utilizadas as alternativas: 1 = não claro; 2 = pouco claro; 3 = claro; e 4 = muito claro.

A análise da abrangência do indicador com relação à dimensão proposta no plano de indicadores ocorreu pelo percentual de concordância, utilizando a fórmula:

Ao usar o método de concordância, a taxa aceitável como ponto de corte é de 90% entre os membros do comitê de julgamento¹⁰10. Tilden VP, Nelson CA, May BA. Use of qualitative methods to enhance content validity. Nurs Res. 1990 [acesso em 2018 maio 5]; 39(3):172-175. Disponível em https://psycnet.apa.org/record/1990-27272-001.
https://psycnet.apa.org/record/1990-2727... . No presente este estudo, foi utilizado esse critério.

A análise da pertinência e da clareza foi realizada pelo Índice de Validade de Conteúdo (IVC). Para cada indicador, foram aplicados: o IVC para a avaliação da pertinência; e o IVC para a avaliação da clareza.

Também foi calculado o IVC geral de pertinência e clareza, para o plano de indicadores como um todo. Para essa avaliação, foi utilizada a fórmula:

O IVC mede a proporção de aquiescência dos juízes com relação ao aspecto avaliado. Recomenda-se que este alcance o mínimo de 0,75, para que sejam considerados o indicador e o instrumento validado¹⁰10. Tilden VP, Nelson CA, May BA. Use of qualitative methods to enhance content validity. Nurs Res. 1990 [acesso em 2018 maio 5]; 39(3):172-175. Disponível em https://psycnet.apa.org/record/1990-27272-001.
https://psycnet.apa.org/record/1990-2727... . Para este estudo, foi utilizado o ponto de corte de IVC de 0,8, cumprindo, assim, o critério estabelecido na literatura¹¹11. Thorn D, Deitz J. Examining content validity through the use of content experts. OTJR. 1989 [acesso em 2018 maio 5]; 9(6):334-45. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/153944928900900602.
https://journals.sagepub.com/doi/abs/10.... ,¹²12. Polit DF, Beck CT. The Content Validity Index: Are You Sure You Know What’s Being Reported? Critique and Recommendations. ResIn Nurs & Health. 2006; 29:489-497..

Os dados foram tabulados no programa Microsoft Excel 2016, sendo os indicadores analisados individualmente para cada categoria de análise, por leitura reflexiva e estatística descritiva.

Após a análise das respostas e dos comentários dos juízes, os indicadores que apresentaram IVC abaixo do ponto de corte foram reformulados, excluídos ou complementados.

Este estudo foi submetido e aprovado pelo Comitê de Ética em Pesquisas (CEP) da Universidade Estadual de Feira de Santana (Uefs), sob o registro Certificado de Apresentação de Apreciação Ética (CAAE) 48607315.6.1001.0053, em 24 de fevereiro de 2016, sob o parecer nº 1.423.346. Para contemplar as especificidades da metodologia de validação de conteúdo foi feito aditivo, em atendimento à Resolução nº 466/2012, com parecer aprovado em 19 de junho de 2017, sob o nº 2.124.018. Foram encaminhados Termos de Consentimento Livre e Esclarecido (TCLE), por via eletrônica, para os especialistas que concordaram em participar do estudo.

Resultados

Na análise da concordância, que avaliou a relação estabelecida entre o indicador e sua dimensão, dos 36 indicadores avaliados, apenas 1 apresentou percentual de concordância abaixo do ponto de corte, ficando assim distribuídos entre as dimensões: 26 indicadores analisados na dimensão de ‘Acesso às ações e aos serviços de saúde’ com percentual de concordância acima do ponto de corte e 1 com percentual de 71,4%. Todos os indicadores das dimensões de ‘Gestão’ e de ‘Ensino e pesquisa’ obtiveram 100% de concordância.

Considerando os critérios de pertinência e clareza dos 36 indicadores submetidos à validação, 12 apresentaram IVC<0,8. Com relação aos critérios de avaliação, quatro apresentaram IVC baixo pelo critério pertinência, seis pelo critério clareza e dois pelos critérios pertinência e clareza, simultaneamente. Na avaliação geral, o plano de indicadores obteve IVC 0,86, tendo apenas um juiz atribuído IVC abaixo do ponto de corte.

O quadro 1 apresenta os indicadores com IVC<0,8, contendo as sugestões dos juízes e as modificações realizadas.

Após a análise dos indicadores que ficaram abaixo dos pontos de corte, e considerando os comentários dos juízes para todos os indicadores, o plano de indicadores validado foi estruturado de acordo com o quadro 2.

Discussão

Diversas abordagens investigativas da validade encontram-se na literatura, tais como: validade de construto, validade de conteúdo, validade de critério e validade aparente, entre outras¹³13. Erthal TC. Manual de psicometria. 7. ed. Rio de Janeiro: Jorge Zahar; 2003.. Entretanto, para esse objeto de estudo, foi adotada a validade de conteúdo, que busca avaliar sistematicamente se o instrumento utilizado cumpre com o objetivo de uma avaliação detalhada sobre o nível de implantação proposto na PNSIPN¹³13. Erthal TC. Manual de psicometria. 7. ed. Rio de Janeiro: Jorge Zahar; 2003.,¹⁴14. Hair JF, Black WC, Babin BJ, et al. Análise Multivariada de Dados. 6. ed. Porto Alegre: Bookman; 2009..

Considerando o valor abaixo do ponto de corte estabelecido para o critério de concordância, apenas o indicador ‘Implantação de instância de promoção da equidade em saúde’ apresentou taxa abaixo de 90%, e, acatando as sugestões dos juízes, foi transferido para a dimensão ‘Gestão’.

As instâncias de promoção da equidade em saúde têm fundamental importância, ao assumirem o papel de promotoras e impulsionadoras da discussão sobre as desigualdades sociais existentes entre brancos e negros na sociedade brasileira, que, por vezes, não são consideradas quando se implementam políticas e programas de saúde.

O indicador ‘Ações de prevenção da mortalidade materna (pré-natal de alto risco) implantadas’ apresentou IVC 0,71, ou seja, ficou abaixo do ponto de corte relativo ao critério pertinência, sendo acatada a sugestão de adequá-lo, bem como à pergunta avaliativa, ao número de consultas. Essa alteração permitiu ao indicador uma maior factibilidade, pois o tornou mais objetivo, evidenciando a consulta de pré-natal como uma das ações de prevenção da mortalidade oferecidas à mulher no período gravídico.

Os indicadores ‘Existência de leitos de unidade de terapia intensiva para emergências obstétricas’ e ‘Existência de leitos para unidade de terapia intensiva neonatal’, com IVC 0,67 e 0,57, respectivamente, foram excluídos já que, pela avaliação dos juízes, se mostraram inespecíficos e de baixa aplicabilidade na grande maioria dos municípios brasileiros. Conforme censo da Associação de Medicina Intensiva Brasileira (Amib) de 2016, os 41.741 leitos de Unidade de Terapia Intensiva (UTI) do País estavam concentrados em apenas 521 municípios, abrangendo somente 15% do total de municípios brasileiros. Portanto, esses indicadores não seriam relevantes para avaliar a implementação da PNSIPN.

O ‘Percentual de cobertura de Caps, residências terapêuticas e leitos psiquiátricos adultos’ apresentou IVC 0,57 para os critérios pertinência e clareza. Conforme sugestão dos juízes, esse indicador foi renomeado como ‘Cobertura dos Centros de Atenção Psicossocial (Caps)’, enquanto parâmetro para a avaliação da oferta de serviços dessa especialidade. Os Caps assumem grande importância nas atuais práticas em saúde mental, pois se propõem a reestruturar as relações entre usuários, equipe, família e comunidade¹⁵15. Oliveira MAF, Cestari TY, Pereira MO, et al. Processos de avaliação de serviços de saúde mental: uma revisão integrativa. Saúde debate. 2014 [acesso em 2018 mar 19]; 38(101):368-378. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-11042014000200368&lng=en.
http://www.scielo.br/scielo.php?script=s... .

Já o indicador ‘Implantação de instância de promoção da equidade em saúde’ apresentou IVC 0,43 no critério clareza. No entanto, foi mantido, acatando a sugestão de transformá-lo em um indicador de abordagem qualitativa, tendo sido refeita a pergunta avaliativa e considerada a mudança de abordagem. Assim, esse indicador foi transferido para a dimensão ‘Gestão’.

Na análise do indicador ‘Acesso a imunobiológicos especiais’, os juízes atribuíram IVC 0,57 ao critério clareza, sinalizando a sua falta de especificidade e sugerindo o recorte de um segmento mensurável da população negra, possibilitando a quantificação desse indicador. Assim, ele foi reformulado para cumprir com a responsabilidade de avaliar o acesso da população negra com doença falciforme aos imunobiológicos especiais. A pessoa com esta doença necessita receber todas as vacinas recomendadas no calendário de vacinação e requer outras adicionais, como a vacina contra o pneumococo, a meningite e o vírus influenza, as quais são classificadas como imunobiológicos especiais¹⁶16. Braga JAP. Medidas gerais no tratamento das doenças falciformes. Rev. Bras. Hematol. Hemoter. 2007; 3(29):233-238..

O indicador ‘Implantação da Rede Cegonha’ recebeu IVC 0,43 no critério clareza, e os juízes sugeriram inserir o quesito raça/cor para torná-lo mais específico. Dessa forma, o indicador foi mantido, com destaque para a avaliação das especificidades das mulheres negras, ficando ‘Implantação da Rede Cegonha atendendo as especificidades das mulheres negras’. A Rede Cegonha foi implementada pelo governo federal na perspectiva de proporcionar à saúde da mulher e da criança melhores acesso, acolhimento e resolutividade, bem como de reduzir as mortalidades materna e infantil¹⁵15. Oliveira MAF, Cestari TY, Pereira MO, et al. Processos de avaliação de serviços de saúde mental: uma revisão integrativa. Saúde debate. 2014 [acesso em 2018 mar 19]; 38(101):368-378. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-11042014000200368&lng=en.
http://www.scielo.br/scielo.php?script=s... . Realmente, considerando que são as mulheres e crianças negras as que mais morrem por causas maternas e infantis no Brasil, é imprescindível o registro da variável raça/cor para o monitoramento de tais eventos.

Para o indicador ‘Acesso da população negra a serviços de qualidade’, os juízes atribuíram IVC 0,57 para o critério pertinência e clareza. E, seguindo as sugestões de modificar o termo ‘serviço de qualidade’, o indicador assumiu a perspectiva de avaliar as propostas votadas nos Conselhos Municipais de Saúde, o que, após análise, pode apontar a necessidade de reestruturação da Rede de Atenção à Saúde (RAS) ou até mesmo de aumentar o número de projetos que alcancem essa população.

Na avaliação do critério pertinência, o indicador ‘Comitê de mortalidade materna realizando as investigações’ recebeu IVC 0,71. No entanto, após análise, decidiu-se por sua exclusão, uma vez que não possui a especificidade necessária, e por já estar contemplado em outros indicadores do plano.

O indicador ‘Implantação do controle das violências domésticas, sexuais e outras violências, estratificadas pelo quesito raça/cor’ recebeu IVC 0,71 no critério clareza. Por se tratar de um indicador qualitativo, decidiu-se por alterá-lo para ‘Existência de rede de apoio às mulheres vítimas de violências domésticas, sexuais e outras violências’, também modificando a pergunta avaliativa, de forma a permitir uma análise das ações realizadas pelo município na perspectiva de fortalecer o apoio às vítimas dessas violências. O processo de desigualdade no qual as violências ocorrem é fator determinante para a instalação de enfermidades, como as infecções sexualmente transmissíveis, a síndrome da imunodeficiência adquirida, as doenças psicológicas e o agravamento de outras patologias, que refletem diretamente nas taxas de mortalidade da população negra.

Já o indicador ‘Representantes de entidades negras como conselheiros de saúde’ teve IVC 0,67 no critério pertinência, com sugestão dos juízes de torná-lo mais específico. Julgou-se necessário manter apenas o termo ‘Representantes de entidades negras nos conselhos municipais de saúde’, alterando a pergunta avaliativa de ‘quantos representantes’ para ‘existência de representantes’, na perspectiva de que este segmento da sociedade faça a diferença no momento de eleger projetos e propostas para ações direcionadas e específicas à população negra, efetivando o princípio da equidade no Sistema Único de Saúde (SUS). Os atores sociais são pessoas envolvidas na construção de políticas públicas dotadas da responsabilidade de colocar em movimento as forças sociais¹⁷17. Testa M. Pensamento estratégico e lógica de programação: o caso da saúde. São Paulo; Rio de Janeiro: Hucitec; Abrasco; 1995..

O indicador ‘Existência da abordagem étnico-racial nos processos de formação das instituições públicas de ensino superior’ obteve IVC 0,71 para o critério clareza. E atendendo às sugestões dos juízes, a pergunta avaliativa foi alterada, substituindo termos como ‘componentes e grade curricular’ por ‘processo de formação’, e reformulando o indicador na busca por uma avaliação da discussão sobre a saúde da população negra nos componentes curriculares das instituições públicas de ensino superior. Este indicador avalia se os objetivos específicos da PNSIPN, de fomentar a realização de estudos e pesquisas sobre racismo e saúde, estão sendo implementados nos processos de formação dos profissionais de saúde.

Considerando as sugestões feitas pelos juízes em indicadores que atribuíram IVC>0,8, se fez necessário realizar algumas alterações para possibilitar um melhor entendimento, facilitando o uso e a aplicabilidade do plano.

Em relação ao indicador ‘% de assistência pré-natal nas mulheres negras’, o uso da consulta de pré-natal para a avaliação da assistência permitiu-lhe uma especificidade maior.

O indicador ‘Ações de prevenção de mortalidade materna (pré-natal de risco) implantadas’ foi alterado para ‘% de investigação dos óbitos maternos em mulheres negras, pelo comitê de mortalidade materna’, por permitir a identificação das causas de morte nesse segmento, o que poderá nortear as ações de prevenção. E para cumprir a proposta do indicador, a pergunta avaliativa foi alterada, questionando se os óbitos maternos são investigados pelo comitê.

O indicador ‘Vigilância do óbito infantil na população negra’ foi alterado para ‘Razão da mortalidade’, utilizando o recorte de razão de mortalidade por doença diarreica e pneumonia, por estas se configurarem como causas evitáveis e de possível intervenção e resolutividade em todos os níveis de atenção à saúde, desde que a criança seja captada pela rede. Os óbitos evitáveis são considerados eventos sentinelas da qualidade da assistência à saúde, e o fato de acontecerem indica que houve falha na atenção à saúde¹⁸18. Nascimento SGN, Oliveira CM, Sposito V, et al. Mortalidade infantil por causas evitáveis em uma cidade do Nordeste do Brasil. Rev Bras Enferm. 2014; 67(2):208-12..

Já o indicador ‘% de pessoas negras com hipertensão, diabetes e câncer atendidas nos serviços de saúde’ foi ajustado para o termo ‘doenças crônicas’, por assim serem definidas pelo MS e também por apresentarem causas múltiplas, com inícios graduais, de prognósticos incertos, mas com longas ou indefinidas durações, se constituindo como as maiores cargas de morbimortalidade no Brasil¹⁹19. Duncan BB, Chor D, Aquino EML, et al. Doenças Crônicas Não Transmissíveis no Brasil: prioridade para enfrentamento e investigação. Rev Saúde Pública. 2012 [acesso em 2015 dez 10]; 46(supl1):126-134. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-89102012000700017&lng=en.
http://www.scielo.br/scielo.php?script=s... .

O indicador ‘Processo decisório baseado nas diretrizes propostas no Plano Municipal de Saúde’ teve acrescido à sua pergunta avaliativa a apresentação das ações programadas no relatório anual de gestão. Com essa alteração, procurou-se destacar, nesse indicador, não só a programação de ações, mas também as ações executadas. Os conselhos gestores têm por premissa a democracia participativa²⁰20. Kleba ME, Comerlatto D, Frozza KM. Instrumentos e mecanismos de gestão: contribuições ao processo decisório em conselhos de políticas públicas. Rev Adm. Pública, 2015; 49(4):1059-1079.. Desta forma, esse indicador busca avaliar o planejamento articulado com a ação.

Quanto ao indicador ‘Aumento da produção bibliográfica sobre a saúde da população negra’, o termo ‘produção bibliográfica’ foi substituído por ‘produção científica’, possibilitando a avaliação de outras produções. A partir das sugestões dadas pelos juízes com relação a esse indicador, foi identificada a necessidade de elaboração de outro indicador, sensível à produção de estudos de intervenção sobre a saúde da população negra. Esses estudos, além de serem produtores de conhecimento, também oferecem contribuições para a organização do processo de trabalho dos serviços, além dos próprios serviços ofertados diretamente à população. Dessa forma, foi elaborado o indicador ‘Produção de pesquisas de intervenção sobre saúde da população negra’.

Diante dos dados apresentados, o plano de indicadores foi validado pelo método de concordância⁷7. Santos SBS, Silva FMR. Implantação da política nacional de saúde integral da população negra: um estudo de avaliabilidade. XXI Seminário de Iniciação Científica. Universidade Estadual de Feira de Santana, BA; 2017 out 8; Feira de Santana. Feira de Santana: UEFS; 2017. p. 21-25. [acesso em 2015 dez 10]. Disponível em: http://periodicos.uefs.br/index.php/semic/article/view/2663/2020.
http://periodicos.uefs.br/index.php/semi... , tendo em vista que o instrumento alcançou pontuação superior a 90% nesse quesito, entre os membros do comitê de julgamento.

Considerando as três dimensões de análise, o plano validado ficou constituído por 32 indicadores, sendo: 22 na dimensão ‘Acesso às ações e serviços de saúde’, com 12 quantitativos e 10 qualitativos; 7 na dimensão ‘Gestão’, com 5 quantitativos e 2 qualitativos; e 3 na dimensão ‘Ensino e pesquisa’, com 2 quantitativos e 1 qualitativo.

Com relação ao IVC de pertinência e clareza, alguns autores⁹9. Lynn MR. Determination and quantification of content validity. Nurs Res, 1986: 35(6):382-385.,¹⁰10. Tilden VP, Nelson CA, May BA. Use of qualitative methods to enhance content validity. Nurs Res. 1990 [acesso em 2018 maio 5]; 39(3):172-175. Disponível em https://psycnet.apa.org/record/1990-27272-001.
https://psycnet.apa.org/record/1990-2727... preconizam o valor mínimo de 0,75. Para este estudo, foi utilizado como ponto de corte o IVC>0,8. Os resultados apontam para o IVC geral de 0,86, o que ratifica a validação por esses critérios.

Conforme a sua proposta original, este plano de indicador, já validado, será testado a partir de estudos de casos que serão realizados conforme previsto no projeto maior, do qual o presente estudo faz parte.

Considerações finais

O plano de indicadores para a avaliação da implantação da PNSIPN apresentou, por meio da avaliação dos especialistas, a pertinência e a clareza necessárias para a sua utilização nos municípios brasileiros. Entretanto, alguns indicadores foram alterados, para melhor adequá-los.

Este estudo validou o conteúdo do plano de indicadores proposto e poderá contribuir para a utilização de tais indicadores com maior confiabilidade e fidedignidade. Assim, subsidiará os passos de testagem por estudos de casos.

As limitações do presente estudo correspondem à realização da validação apenas do conteúdo, podendo este ainda ser submetido a outras formas de validação.

É importante salientar que todos os pontos de cortes previstos foram alcançados, porém poderiam ter sido ampliados, uma vez que as sugestões dos juízes foram acatadas. Desta forma, a necessidade de continuidade de aperfeiçoamento e aplicação deste instrumento é evidente, pois o presente estudo faz parte da etapa inicial da avaliação da implantação dessa Política nos municípios brasileiros.

Espera-se que este estudo também contribua para o estado da arte no tocante à validação de conteúdo de instrumentos de avaliação.

Referências

Datas de Publicação

Histórico