Resumo

Introdução: A Autoavaliação das Práticas de Segurança do Paciente é um ato regulatório para melhoria da qualidade do cuidado. Porém, há dúvidas sobre a validade das suas informações. O objetivo deste estudo foi analisar a sua confiabilidade. Método: Estudo piloto de análise da confiabilidade de 21 indicadores simples e um composto da autoavaliação como forma de embasar uma amostra nacional em estudos futuros. Participaram hospitais com leitos de terapia intensiva e comparou dados da Autoavaliação (AA) e Autoavaliação Revisada (AR) pela vigilância sanitária (Visa) com a Inspeção Presencial (IP). A análise incluiu os coeficientes Kappa e de correlação intraclasse. Resultados: Comparando com a IP, a concordância foi aceitável (Kappa≥0,4) em 12 indicadores da AA e em 18 da AR. Os indicadores menos confiáveis são relativos a protocolos de prevenção de infecções. Quanto ao indicador composto do nível de adesão, a confiabilidade melhorou com revisão da Visa (AA=0,89 e AR=0,94), embora a concordância da classificação de alta conformidade tenha sido baixa. Conclusões: A AR se mostrou essencial para melhorar a confiabilidade da Autoavaliação. Ademais, identificou-se necessidade de revisar alguns indicadores e o instrumento de verificação pela Visa.

Palavras-chave:
Vigilância sanitária; Segurança do paciente; Regulação e fiscalização em saúde.

Introdução

Em todo o mundo, milhões de pessoas sofrem danos durante a assistência à saúde. Esse é um problema de sistemas de saúde de países desenvolvidos e em desenvolvimento, que causa grande morbidade e mortalidade. Anualmente, isso representa 23 milhões de anos de vida perdidos (JHA , 2013JHA, A. K. et al. The global burden of unsafe medical care: analytic modelling of observational studies. BMJ Qual Saf., v. 22, p. 809-815, 2013. https://doi:10.1136/bmjqs-2012-001748.
https://doi.org/10.1136/bmjqs-2012-00174... ). Para mudar esse cenário e minimizar os riscos, é preciso investir na melhoria da qualidade do cuidado e da segurança das pessoas que conseguem obter acesso a serviços de saúde (WHO, 2018WORLD HEALTH ORGANIZATION; OECD; INTERNATIONAL BANK FOR RECONSTRUCTION AND DEVELOPMENT . Delivering quality health services: a global imperative for universal health coverage. Geneva: WHO, 2018. Disponível em: Disponível em: https://apps.who.int/iris/handle/10665/272465 . Acesso em: 13 mai. 2019.
https://apps.who.int/iris/handle/10665/2... ).

Seguindo as recomendações internacionais, o Brasil instituiu, em 2013, o Programa Nacional de Segurança do Paciente (PNSP), que objetiva “contribuir para a qualificação do cuidado em saúde em todos os estabelecimentos de saúde do território nacional” (BRASIL, 2013aBRASIL. Ministério da Saúde. Portaria nº 529, de 01 de abril de 2013. Institui o Programa Nacional de Segurança do Paciente. Brasília/DF, 2013a. Disponível em: Disponível em: https://bvsms.saude.gov.br/bvs/saudelegis/gm/2013/prt0529_01_04_2013.html . Acesso em: 03 dez. 2018.
https://bvsms.saude.gov.br/bvs/saudelegi... ). A Agência Nacional de Vigilância Sanitária (Anvisa), exercendo seu papel de reguladora dos serviços de saúde, publicou normas sanitárias (BRASIL, 2013b) e, em 2015, o Plano Integrado para a Gestão Sanitária da Segurança do Paciente em Serviços de Saúde (BRASIL, 2015BRASIL. Agência Nacional de Vigilância Sanitária. Plano Integrado para a Gestão Sanitária da Segurança do Paciente em Serviços de Saúde. Monitoramento e Investigação de Eventos Adversos e Avaliação de Práticas de Segurança do Paciente. Brasília-DF: Anvisa, 2015. ). Esse plano objetiva integrar as ações do Sistema Nacional de Vigilância Sanitária (SNVS) para induzir a adesão dos serviços a práticas de segurança do paciente e monitoramento e investigação de eventos adversos.

Como forma de monitorar a conformidade às práticas seguras, orientar as ações de vigilância sanitária nos três níveis de atuação do SNVS e estimular ações de melhoria em serviços com leitos de Unidade de Terapia Intensiva (UTI), foi criada a Autoavaliação das Práticas de Segurança do Paciente (BRASIL, 2015BRASIL. Agência Nacional de Vigilância Sanitária. Plano Integrado para a Gestão Sanitária da Segurança do Paciente em Serviços de Saúde. Monitoramento e Investigação de Eventos Adversos e Avaliação de Práticas de Segurança do Paciente. Brasília-DF: Anvisa, 2015. ). Induzir autoavaliações nos serviços de saúde é uma estratégia regulatória potencialmente útil para melhorar a qualidade do cuidado de saúde (HEALY; BRAITHWAITE, 2006HEALY, J.; BRAITHWAITE, J. Designing safer healthcare through responsive regulation. Med J Aust. N. 184, p. s56, 2006. https://doi:10.5694/j.1326-5377.2006.tb00364.x.
https://doi.org/10.5694/j.1326-5377.2006... ). Essa iniciativa de minimização de riscos pode demonstrar avanços na atuação do SNVS, transpondo o papel meramente normatizador e autoritário para o de protetor da saúde da população (SANTANA , 2020SANTANA, H. T. et al. The Protagonism of the Brazilian Health Regulatory System in the Evolution of Patient Safety in the Country: History, Dilemmas, and Current Challenges. Journal of Patient Safety. 2020. Dec;16(4):e260-e266. doi: 10.1097/PTS.0000000000000671. PMID: 32084092. Disponível em: Disponível em: https://pubmed.ncbi.nlm.nih.gov/32084092/ . Acesso em: 08 jan. 2021.
https://pubmed.ncbi.nlm.nih.gov/32084092... ). Ademais, está inserida numa abordagem de regulação responsiva, em que o regulador também implementa iniciativas não normativas na tentativa de produzir impacto regulatório e aprimoramento da qualidade do processo de regulação. Trata-se de uma ação de metarregulação, na qual o regulador induz a autorregulação com base na prática da avaliação para a gestão (KOLIEB, 2015KOLIEB, J. When to Punish, When to Persuade and When to Reward: Strengthening Responsive Regulation with the Regulatory Diamond. Monash University Law Review, v. 41, n. 1, 2015. Disponível em: Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2698498 > Acesso em: 13 mai. 2019.
https://papers.ssrn.com/sol3/papers.cfm?... ).

Os dados da Autoavaliação passam por uma revisão das Vigilâncias Sanitárias (Visas) estaduais, distrital e municipais, que verificam/comprovam as informações enviadas antes da publicação dos resultados. No entanto, visto que quem reporta as informações é o serviço de saúde (BRASIL, 2015BRASIL. Agência Nacional de Vigilância Sanitária. Plano Integrado para a Gestão Sanitária da Segurança do Paciente em Serviços de Saúde. Monitoramento e Investigação de Eventos Adversos e Avaliação de Práticas de Segurança do Paciente. Brasília-DF: Anvisa, 2015. ), podem surgir dúvidas no âmbito da sociedade, do setor regulado, dos profissionais de saúde e da Visa sobre a confiabilidade dessas informações. A confiabilidade é um atributo essencial para os indicadores de qualidade (BARCLAY; DIXON-WOODS; LYRATZOPOULOS, 2019BARCLAY, M.; DIXON-WOODS, M.; LYRATZOPOULOS, G. The problem with composite Indicators. BMJ Qual Saf., v. 28, p. 338-344, 2019.https://doi:10.1136/bmjqs-2018-007798.
https://doi.org/10.1136/bmjqs-2018-00779... ; MAINZ, 2003MAINZ, J. Defining and classifying clinical indicators for quality improvement. Int J Qual Health Care, v. 15, n. 6, p. 523-30, 2003. https://doi:10.1093/intqhc/mzg081.
https://doi.org/10.1093/intqhc/mzg081... ), como é o caso da Autoavaliação, que tem 21 indicadores simples e um composto. Esse último indicador tem principal interesse porque o SNVS divulga à sociedade quais os serviços foram classificados como alta conformidade às práticas de segurança do paciente.

Apesar de a Autoavaliação das Práticas de Segurança do Paciente ser uma prática regulatória promissora aplicada anualmente, ainda não foi analisada a confiabilidade do seu conjunto de indicadores. Conhecer a confiabilidade pode fortalecer a confiança entre o setor regulado e o órgão regulador, assim como consolidar esta estratégia para a melhoria da segurança do paciente.

O objetivo deste estudo piloto é analisar a confiabilidade da Autoavaliação das Práticas Segurança do Paciente como medida de monitoramento dos riscos em serviços de saúde. Desta forma, a pesquisa poderá embasar uma amostra nacional em estudos futuros.¹1Este artigo é produto de uma dissertação de mestrado em Saúde Coletiva pela Universidade Federal do Rio Grande do Norte.

Métodos

Contexto

O estudo é resultado de uma dissertação de mestrado acadêmico e foi realizado durante o ano de 2019, numa colaboração entre a Subcoordenadoria de Vigilância Sanitária (SUVISA/RN) e o Programa de Pós-Graduação em Saúde Coletiva da Universidade Federal do Rio Grande do Norte.

O estado do RN possuía 29 serviços com leitos de UTI adulto, pediátrico ou neonatal e 27 destes (97%) responderam à autoavaliação em 2019. O RN alcançou a meta de participação na avaliação proposta para 2019 (80%), juntamente com 16 estados, estando acima da média nacional de 67%. Dentre os 27 serviços que responderam, cinco foram classificados em alta conformidade às práticas de segurança do paciente por terem cumprido pelo menos 67% dos indicadores avaliados.

Desenho do estudo

Trata-se de um estudo de validação para análise de confiabilidade (MEDRONHO, 2009MEDRONHO, R. A. et al. Epidemiologia. 2ª ed. Rio de Janeiro: Atheneu; 2009. ) das informações enviadas pelos hospitais participantes da Autoavaliação Nacional das Práticas de Segurança do Paciente, comparando-as com os dados obtidos pela inspeção presencial realizada pela Visa.

População e amostra

A população do estudo incluiu hospitais públicos, privados ou filantrópicos localizados no RN que possuem leitos de UTI e que realizaram o preenchimento do Formulário de Autoavaliação das Práticas de Segurança do Paciente em 2019.

A amostragem foi realizada de maneira aleatória estratificada não proporcional e a variável de estratificação foi a alta conformidade categorizada em “sim” e “não”. A fonte de dados para a seleção dos casos foi a lista de participantes em 2019 fornecidos pela SUVISA/RN estritamente para uso na pesquisa. Desse modo, foram selecionados 10 hospitais (n) do total de 27 (N) serviços que responderam à autoavaliação. Esse número amostral corresponde a 37% da população, sendo cinco de alta adesão às práticas de segurança e cinco que não alcançaram alta adesão. A quantidade de casos foi definida pela análise de viabilidade do estudo e considerando que se trata de um estudo piloto. O critério de exclusão foi para aqueles serviços em que a coleta das informações foi incompleta ou impossibilitada.

Variáveis do estudo

As variáveis de nível de adesão às práticas de segurança, segundo o resultado da autoavaliação, da autoavaliação revisada pela Visa (AR) e a inspeção presencial (IP) foram: Conformidade (sim, não) de cada um dos 21 critérios ou indicadores simples; Conformidade do indicador composto de nível de adesão (percentual de indicadores conformes = número de indicadores conformes / 21 x 100); Classificação de alta conformidade (sim ou não), com base no percentual de indicadores conformes ser maior ou igual a 67% (BRASIL, 2019aBRASIL. Agência Nacional de Vigilância Sanitária. Instrutivo para a análise do formulário de autoavaliação das práticas de segurança do paciente. Brasília-DF: Anvisa , 2019a. ).

As variáveis caracterizadoras dos hospitais foram: Propriedade do hospital (público, privado); tipo de administração (pública direta, pública indireta, privada com ou sem fins lucrativos); possui gestão da qualidade (sim, não); possui gestão de riscos (sim, não); possui selo de acreditação (sim, não); possui certificado como hospital de ensino (MEC/MS) (sim, não); faz parte da Rede Sentinela (sim, não); número de profissionais da saúde na instituição; Município; porte relacionado ao número de leitos (pequeno - até 99 leitos, médio - entre 100 e 199 leitos ou grande - acima de 200 leitos); número de leitos de UTI (adulto, pediátrico ou neonatal); realiza cirurgia (sim, não).

Procedimentos e instrumento para coleta de dados

Os dados da autoavaliação e da AR foram disponibilizados pela SUVISA/RN. As respostas da autoavaliação estão no FormSUS finalizado desde agosto de 2019. Já a AR foi consolidada em outubro do mesmo ano, mediante o preenchimento da “Planilha para a análise do Formulário de Autoavaliação das Práticas de Segurança do Paciente - 2019” (BRASIL, 2019bBRASIL. Agência Nacional de Vigilância Sanitária. Planilha para a análise do formulário de Autoavaliação das Práticas de Segurança do Paciente - 2019. Brasília-DF: Anvisa , 2019b.), formulada pela Anvisa e enviada para as Visas estaduais. Neste processo de revisão, a Visa estadual confere os documentos enviados pelos serviços e finaliza a classificação do serviço.

Para a coleta de dados na inspeção in loco, foi elaborado um questionário estruturado baseado nos 21 indicadores definidos pela Anvisa²2Disponível em: https://doi.org/10.6084/m9.figshare.12456614.v1 e seguido um roteiro para as atividades de antes, durante e após a visita de inspeção³3Disponível em: https://doi.org/10.6084/m9.figshare.12456662 que estão disponíveis on-line. Antes da inspeção, a equipe da SUVISA/RN entrou em contato com o serviço para agendar o dia da visita e separar os documentos comprobatórios (protocolos, prontuários e outros documentos). Durante a visita, foram visitados os Núcleos de Segurança do Paciente (NSP), as Comissões de Controle de Infecção Hospitalar (CCIH) e foram revisados os documentos destas duas instâncias. Em seguida, foram revisados os prontuários correspondentes aos indicadores de processo e finalizada a inspeção com visita à UTI, que era escolhida por sorteio caso existisse mais de uma. Após a inspeção, os dados foram consolidados no instrumento de coleta de dados.

Os indicadores de estrutura, como número de lavatórios e existência de preparação alcoólica para as mãos, foram avaliados por meio de observação direta da UTI do serviço. Também foi verificado se os protocolos, ou seus resumos, estavam disponíveis e de fácil acesso aos profissionais da assistência. O instrumento foi aplicado pela pesquisadora em conjunto com as Visas municipais e todos eram cegos quanto ao cumprimento dos indicadores segundo o formulário de Autoavaliação, exceto para indicadores de prontuários. O formulário para o registro dos dados da IP é autoexplicativo e foi criado na Plataforma Google Forms para viabilizar a consolidação do banco de dados.

As informações sobre as variáveis caracterizadoras foram coletadas no site do Cadastro Nacional de Estabelecimentos de Saúde (BRASIL, 2019cBRASIL. Cadastro Nacional de Estabelecimentos de Saúde - CNES [página na internet]. Consulta de leitos de UTI. Disponível em: Disponível em: http://cnes2.datasus.gov.br/Mod_Ind_Tipo_Leito.asp?VEstado=24&VMun . 2019c. Acesso em: 6 maio 2019.
http://cnes2.datasus.gov.br/Mod_Ind_Tipo... ), entre agosto e novembro de 2019 e durante a coleta de dados na IP.

Análise de dados

Após análise descritiva das frequências, medidas de tendência central e dispersão dos indicadores e variáveis caracterizadoras dos hospitais, realizou-se a análise de confiabilidade. O cumprimento dos indicadores na Autoavaliação e AR foi comparado com a IP, que é considerada o padrão ouro.

Para cada um dos 21 indicadores simples e para o indicador composto categorizado em alta conformidade, calculou-se a confiabilidade com base nos índices de concordância geral (ICG), que tem ponto de corte de 95%, e o coeficiente Kappa, que tem ponto de corte de 0,40 para ser aceitável segundo Landis e Koch (1977LANDIS, J. R., KOCH, G. G. The measurement of observer agreement for categorical data. Biometrics, v. 33, n. 1, p. 159-174, 1977. https://doi:10.2307/2529310
https://doi.org/10.2307/2529310... ). Para o indicador composto medido em porcentagem de adesão, calculou-se a confiabilidade com base no coeficiente de correlação intraclasse (CCI), que tem ponto de corte para boa correlação valores acima de 0,75. Além disso, a concordância das comparações foi analisada com gráficos de Bland-Altman. Também foi avaliada a diferença de conformidade dos indicadores. O nível de significância adotado neste estudo foi de 5% (α), no qual se rejeitam as hipóteses nulas quando o p-valor é menor que 0,05. O software utilizado foi o Statistical Package for the Social Sciences (IBM SPSS Statistics 22).

Aspectos éticos

O estudo foi aprovado pelo Comitê de Ética em Pesquisa, com número de parecer 3.360.654, e seguiu as recomendações para sua realização.

Resultados

Caracterização da amostra

Participaram hospitais de quatro municípios, representando as quatro maiores regiões de saúde (Grande Natal, Mossoró, Caicó e Pau dos Ferros) das oito existentes no estado. O número de serviços de saúde públicos e privados foi igual, e destes, quatro dos privados eram com fins lucrativos e três dos públicos com administração direta. Sete dos 10 serviços hospitalares são de médio porte, e a média de profissionais de saúde em cada estabelecimento foi de 713. A maioria dos serviços alegou possuir gestão da qualidade e gestão de riscos (70%) e nenhum hospital tinha selo de acreditação. A tabela 1 detalha as características dos hospitais participantes.

Conformidade dos indicadores segundo as diferentes fontes de dados

O resultado da conformidade dos indicadores na Autoavaliação apresentou-se superestimado em comparação com a AR e a IP. Quanto aos indicadores simples, houve destacada variação entre os níveis de conformidade e em apenas um indicador houve conformidade nas três fontes de dados. O percentual de adesão às práticas de segurança foi de 83,5% segundo a Autoavaliação, 54,8% na AR e de 35,8% na IP. Além disso, a Autoavaliação revelou sete serviços em alta conformidade, mas a AR foram cinco e a IP apenas um. A tabela 2 mostra o percentual de conformidade de cada um dos indicadores segundo as diferentes fontes de dados (Autoavaliação, AR e IP).

Estimativas da confiabilidade segundo as diferentes fontes de dados

Baseado no ponto de corte do ICG, na comparação AutoavaliaçãoxIP, apenas um dos indicadores foi considerado diretamente confiável (> 95%). Nessa comparação, houve oito indicadores com ICG relativamente alto (>80%). Ao comparar ARxIP, seis indicadores alcançaram o valor máximo de concordância (100%) e 10 indicadores tiveram ICG >80%. Quanto ao indicador de alta conformidade, houve concordância de 40% para AutoavaliaçãoxIP e 60% para ARxIP. A tabela 3 apresenta os índices de confiabilidade por indicador simples e para o indicador composto.

Em relação ao Kappa, 12 indicadores da AutoavaliaçãoxIP e 18 da ARxIP apresentaram concordância aceitável (>0,40). Nos indicadores 14 e 15, em ambas as comparações, não foi possível calcular o Kappa porque não houve variabilidade do indicador. O Kappa do indicador composto para classificação de alta conformidade em AutoavaliaçãoxIP foi 0,10 e em ARxIP 0,20, indicando baixa concordância.

Analisando o percentual de adesão com CCI, corroborando a concordância encontrada na classificação de alta conformidade, observamos que o CCI apresentou medidas médias excelentes (acima de 0,75), o que indica forte correlação nas duas comparações (AutoavaliaçãoxIP 0,899 e ARxIP 0,941).

Para uma melhor visualização e compreensão dos dados, as informações contidas na tabela 3 são apresentadas por meio da figura 1 (gráficos de Bland-Altman). A metodologia de Bland-Altman avalia a diferença de duas variáveis e a sua média (MARTÍNEZ-GONZÁLEZ; SÁNCHEZ-VILLEGAS; FAJARDO, 2006MARTÍNEZ-GONZÁLEZ, M. A.; SÁNCHEZ-VILLEGAS, À., FAJARDO, F. J. F. Bioestadística amigable. 2. ed. Ediciones: Diaz de Santos, 2006.; HIRAKATA; CAMEY, 2009HIRAKATA, V. N.; CAMEY, S. A. Análise de concordância entre métodos de Bland-Altman. Clinical & Biomedical Research, v. 29, n. 3, p.261-268, 2009. ). Percebe-se que em ambos os gráficos da figura 1 há dispersão das medidas por todo o espaço e o intervalo de confiança de 95% é curto, acomodando poucos casos. Percebe-se também que não há outliers.

Enquanto a média das diferenças do primeiro gráfico ficou em torno de 34,3% (p=0,000), no segundo gráfico está em 15,2% (p=0,000). Isso indica que a revisão pela Visa reduz a diferença em relação à IP. Em ambas as situações foram calculados o teste U de Mann-Whitney para amostras independentes (CONTADOR; SENNE, 2015CONTADOR, J. L.; SENNE, E. L. F. Testes não paramétricos para pequenas amostras de variáveis não categorizadas: um estudo. Gest. Prod., São Carlos, 2015. http://dx.doi.org/10.1590/0104-530X357-15
https://doi.org/10.1590/0104-530X357-15... ).

Diferença de conformidade entre as fontes de dados

Na avaliação da diferença entre as fontes de dados e a apresentação do p-valor, verificou-se uma variação nessa diferença (Delta) de 0 até 60 entre a AutoavaliaçãoxIP e de 0 a 50 entre a ARxIP. Em relação ao p-valor, que quanto menor, maior a evidência contra a hipótese nula, o indicador 20 na comparação AutoavaliaçãoxIP e os indicadores 2, 19 e 20 atingiram diferença significativa (p< 0,05) na comparação ARxIP.

Na figura 2, estão ilustradas as diferenças de conformidade por critério entre as fontes de dados. Ao final, é exposta também a diferença do percentual de alta conformidade (%AC). O indicador com maior diferença em ambas as comparações foi o 13, e o indicador composto de adesão às práticas de segurança do paciente (%AC) resultou em 10% de diferença tanto na AutoavaliaçãoxIP quanto na ARxIP. Na primeira ilustração, outros indicadores apresentaram diferença, assim como o indicador 13, a saber: 6, 8 e 14. Na segunda ilustração, podem-se destacar os indicadores que não apresentaram diferenças: 1, 2, 9, 10, 19 e 20.

Discussão

Contribuição do estudo

A regulação é uma estratégia de intervenção recomendada para melhorar a qualidade do cuidado nos sistemas de saúde (WHO, 2018), porém seus métodos e resultados estão em plena discussão internacional (FLODGREN; GONCALVES-BRADLEY; POMEY, 2016FLODGREN, G.; GONCALVES-BRADLEY, D. C.; POMEY, M. P. External inspection of compliance with standards for improved healthcare outcomes. Cochrane Database Syst Rev, v. 12, CD008992, 2016. DOI: 10.1002/14651858.CD008992.pub3.
https://doi.org/10.1002/14651858.CD00899... ; SMITHSON; ROBERTS; WALSHE, 2018SMITHSON, R.; ROBERTS, J.; WALSHE, K. Impact of the Care Quality Commission on provider performance: room for improvement? London: King's Fund, 2018. ). Esta pesquisa contribui para a compreensão da validade de um método inovador implantado pela vigilância sanitária de serviços de saúde no Brasil, que utiliza autoavaliação, revisão de dados pelos reguladores, ações de controle e publicação de serviços com alta adesão aos padrões estabelecidos (BRASIL, 2015BRASIL. Agência Nacional de Vigilância Sanitária. Plano Integrado para a Gestão Sanitária da Segurança do Paciente em Serviços de Saúde. Monitoramento e Investigação de Eventos Adversos e Avaliação de Práticas de Segurança do Paciente. Brasília-DF: Anvisa, 2015. ).

Este estudo piloto é o primeiro do Brasil a avaliar a confiabilidade da Autoavaliação das Práticas de Segurança do Paciente. Identificamos indícios de confiabilidade na maioria dos indicadores, problemas em outros e informações essenciais para a revisão dos instrumentos de medida. Embora iniciais, os achados são importantes, pois orientam esta política nacional de grande porte e sinalizam a necessidade de analisar periodicamente a confiabilidade dessas avaliações nos próximos anos. Com essa precaução e aperfeiçoamento constante dos métodos utilizados, o modelo de monitoramento de riscos por meio da avaliação das práticas de segurança do paciente pode ter maior utilidade para a proteção da saúde da população e promoção da eficiência regulatória (PECI, 2011PECI, A. Avaliação do impacto regulatório e sua difusão no contexto brasileiro. Rev. adm. empres., v. 51, n. 4, p. 336-348, 2011. Disponível em: Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-75902011000400003&lng=en&nrm=iso . Acesso em: 15 ago. 2020. https://doi.org/10.1590/S0034-75902011000400003.
http://www.scielo.br/scielo.php?script=s... ) diante dos limites de financiamento das ações de Visa no Sistema Único de Saúde (SUS) (CELUPPI , 2019CELUPPI, I. C. et al. 30 anos de SUS: relação público-privada e os impasses para o direito universal à saúde. Saúde em Debate, v. 43, p. 302-313, 2019.; BATTESINI; ANDRADE; SETA, 2017BATTESINI, M.; ANDRADE, C. L. T de; SETA, M. H. de. Financiamento federal da Vigilância Sanitária no Brasil de 2005 a 2012: análise da distribuição dos recursos. Ciênc. Saúde Coletiva, v. 22, n. 10, p. 3295-3306, 2017. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-81232017021003295&lng=pt. https://doi.org/10.1590/1413-812320172210.10852017. Acesso em: 15 ago. 2020.
http://www.scielo.br/scielo.php?script=s... ).

Confiabilidade da autoavaliação

Uma interpretação consistente com todas as análises deste estudo, e que provavelmente será confirmada no futuro, é a necessidade indispensável de as Visas (distrital, estaduais e municipais) realizarem a revisão das informações enviadas pelo serviço. Esforços devem ser empenhados para melhorar o desempenho do SNVS no monitoramento dessa atividade (SANTANA; COSTA; NOGUEIRA, 2020SANTANA, H. T. et al. The Protagonism of the Brazilian Health Regulatory System in the Evolution of Patient Safety in the Country: History, Dilemmas, and Current Challenges. Journal of Patient Safety. 2020. Dec;16(4):e260-e266. doi: 10.1097/PTS.0000000000000671. PMID: 32084092. Disponível em: Disponível em: https://pubmed.ncbi.nlm.nih.gov/32084092/ . Acesso em: 08 jan. 2021.
https://pubmed.ncbi.nlm.nih.gov/32084092... ).

Em geral, todos os resultados dos indicadores se aproximaram à realidade (inspeção presencial) quando passaram por revisão pela Visa. Inclusive, muitos deles se igualaram à realidade (tabelas 2 e 3; figura 2).

A melhoria da confiabilidade dos indicadores após revisão pela Visa pode ter sido por: 1) erro por problemas de clareza na comunicação dos requisitos aos serviços de saúde; 2) erro por divergências nos critérios utilizados pelo hospital e pelas outras avaliações consideradas neste estudo; ou 3) envio de informação errada, de forma intencional, pelo serviço de saúde. Quanto à primeira possibilidade, por exemplo, as orientações quanto ao indicador de “plano de segurança do paciente” pediam uma série de requisitos que poderiam parecer irreais para os serviços que estavam iniciando suas atividades do NSP, e eles enviavam os planos mesmo sem esses requisitos. Esse problema foi considerado na nova avaliação de 2020 e os critérios agora são mais adequados aos diferentes contextos, pois os requisitos para validar os planos na revisão da Visa é que sejam baseados em uma análise de situação local e que definam objetivos realistas à sua situação (BRASIL, 2020BRASIL. Agência Nacional de Vigilância Sanitária. Relatório de Autoavaliação Nacional das Práticas de Segurança do Paciente em Serviços de Saúde - 2019. Brasília/DF: 2020b. Disponível em: Disponível em: http://antigo.anvisa.gov.br/documents/33852/271855/Relat%C3%B3rio+de+Autoavalia%C3%A7%C3%A3o+Nacional+das+Pr%C3%A1ticas+de+Seguran%C3%A7a+do+Paciente+em+Servi%C3%A7os+de+Sa%C3%BAde+%E2%80%93+2019/faa6381c-b3c3-4210-8ddf-4e93927c64dd . Acesso em: 25 fev 2020.
http://antigo.anvisa.gov.br/documents/33... ).

A segunda possível explicação para os problemas de confiabilidade e a melhoria com a revisão pela Visa relaciona-se com as três orientações de coleta de dados para este estudo (Autoavaliação; AR; IP). A primeira orientação foi enviada aos hospitais (BRASIL, 2019dBRASIL. Agência Nacional de Vigilância Sanitária. Orientações para preenchimento da autoavaliação das práticas de segurança do paciente - 2019. Brasília-DF: Anvisa , 2019d. ), a segunda é o instrutivo e planilha de revisão para a Visa (BRASIL, 2019ab) e o terceiro é a própria instrução da coleta presencial. Nessas três fontes, é perceptível que há diferenças na orientação e sistematização para a consolidação das respostas, podendo gerar problemas de confiabilidade (MATOS, 2014MATOS, D. A. S. Confiabilidade e concordância entre juízes: aplicações na área educacional. Est. Aval. Educ., v. 25, n. 59, p. 298-324, 2014.). Inclusive, durante a coleta de dados, os representantes dos NSP solicitaram esclarecer melhor como devem ser redigidos os protocolos e de que modo seria a comprovação da implantação destes. A importância da harmonização do teor informativo desses documentos oficiais foi ponto de discussão na revisão da nova avaliação de 2020 (BRASIL, 2020BRASIL. Agência Nacional de Vigilância Sanitária. Relatório de Autoavaliação Nacional das Práticas de Segurança do Paciente em Serviços de Saúde - 2019. Brasília/DF: 2020b. Disponível em: Disponível em: http://antigo.anvisa.gov.br/documents/33852/271855/Relat%C3%B3rio+de+Autoavalia%C3%A7%C3%A3o+Nacional+das+Pr%C3%A1ticas+de+Seguran%C3%A7a+do+Paciente+em+Servi%C3%A7os+de+Sa%C3%BAde+%E2%80%93+2019/faa6381c-b3c3-4210-8ddf-4e93927c64dd . Acesso em: 25 fev 2020.
http://antigo.anvisa.gov.br/documents/33... ), sendo revisados os instrutivos na tentativa de um direcionamento único (BLACK, 2002BLACK, J. Critical Reflections on Regulation. Australian Journal of Legal Philosophy. Canberra, Austrália, 2002. Disponível em: Disponível em: https://www.researchgate.net/publication/265568938_Critical_Reflection_on_Regulation . Acesso em: 15 ago. 2020.
https://www.researchgate.net/publication... ).

A diferença de critérios de avaliação também ocorreu em relação à inspeção presencial e isso certamente reduziu o resultado da confiabilidade. Nos indicadores relacionados à implantação de protocolos, que foram os que tiveram mais problemas de confiabilidade, a inspeção presencial foi mais exigente com dois critérios adicionais: fácil acesso do protocolo na visita de inspeção e comprovação de capacitação aos profissionais. Essa decisão foi tomada porque consideramos que estes requisitos são indispensáveis para assegurar que o protocolo apresentado na autoavaliação estava realmente implantado, conforme previsto no indicador da avaliação. Assim, alguns protocolos enviados e aprovados à distância foram considerados não conformes na inspeção presencial, pois os protocolos não estavam disponíveis, os profissionais não sabiam de sua existência ou não havia nenhum indício de capacitação (KRAUZER , 2018KRAUZER, I. M. et al. A construção de protocolos assistenciais no trabalho em enfermagem. Rev. Min. Enf., v. 22, e-1087, 2018. http://www.dx.doi.org/10.5935/1415-2762.20180017
https://doi.org/10.5935/1415-2762.201800... ).

O terceiro provável motivo para problema de confiabilidade está relacionado com serviços que porventura tenham enviado intencionalmente um comprovante limitado ou não real, na tentativa de alcançar o indicador de alta adesão. Este é um problema que pode acontecer (BARCLAY; DIXON-WOODS; LYRATZOPOULOS, 2019BARCLAY, M.; DIXON-WOODS, M.; LYRATZOPOULOS, G. The problem with composite Indicators. BMJ Qual Saf., v. 28, p. 338-344, 2019.https://doi:10.1136/bmjqs-2018-007798.
https://doi.org/10.1136/bmjqs-2018-00779... ), e embora a avaliação de práticas de segurança do paciente seja uma iniciativa que incentiva a cultura não punitiva (REIS; PAIVA; SOUSA, 2018REIS, C. T.; PAIVA, S. G.; SOUSA, P. The patient safety culture: a systematic review by characteristics of hospital survey on patient safety culture dimensions. International Journal for Quality in Health Care, v. 30, n. 9, p. 660-677, 2018.), o falseamento de dados a um órgão regulador, principalmente se for repetido e evidente, pode expor o serviço a consequências indesejáveis, incitando os reguladores a escalarem ao ápice da pirâmide de regulação responsiva (HEALY; BRAITHWAITE, 2006HEALY, J.; BRAITHWAITE, J. Designing safer healthcare through responsive regulation. Med J Aust. N. 184, p. s56, 2006. https://doi:10.5694/j.1326-5377.2006.tb00364.x.
https://doi.org/10.5694/j.1326-5377.2006... ; KOLIEB, 2015KOLIEB, J. When to Punish, When to Persuade and When to Reward: Strengthening Responsive Regulation with the Regulatory Diamond. Monash University Law Review, v. 41, n. 1, 2015. Disponível em: Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2698498 > Acesso em: 13 mai. 2019.
https://papers.ssrn.com/sol3/papers.cfm?... ).

Após revisão pela Visa, apenas o indicador de prevenção de PAV apresentou Kappa insatisfatório. Em outros dois indicadores (prevenção de ISC e prevenção de resistência microbiana), não foi possível avaliar o Kappa e também apresentaram nenhuma conformidade após inspeção presencial. Tal achado suscita dúvidas quanto a esses protocolos específicos - se são realistas para os serviços ou se há necessidade de publicar modelos de protocolos mais claros para facilitar a adaptação e adesão do setor regulado, pois este é um mecanismo de mudança reconhecidamente relevante (HEALY; BRAITHWAITE, 2006HEALY, J.; BRAITHWAITE, J. Designing safer healthcare through responsive regulation. Med J Aust. N. 184, p. s56, 2006. https://doi:10.5694/j.1326-5377.2006.tb00364.x.
https://doi.org/10.5694/j.1326-5377.2006... ; FLODGREN; GONCALVES-BRADLEY; POMEY, 2016FLODGREN, G.; GONCALVES-BRADLEY, D. C.; POMEY, M. P. External inspection of compliance with standards for improved healthcare outcomes. Cochrane Database Syst Rev, v. 12, CD008992, 2016. DOI: 10.1002/14651858.CD008992.pub3.
https://doi.org/10.1002/14651858.CD00899... ).

Além disso, a soma dos problemas de confiabilidade dos indicadores simples repercutiu no indicador composto que classifica os serviços em alta adesão, que é um problema previsto/previsível (BARCLAY; DIXON-WOODS; LYRATZOPOULOS, 2019BARCLAY, M.; DIXON-WOODS, M.; LYRATZOPOULOS, G. The problem with composite Indicators. BMJ Qual Saf., v. 28, p. 338-344, 2019.https://doi:10.1136/bmjqs-2018-007798.
https://doi.org/10.1136/bmjqs-2018-00779... ; SATURNO-HERNANDEZ, 2004SATURNO-HERNANDEZ, P. J. La invasión de los indicadores compuestos. Riesgos y beneficios para la gestión de la calidad. Rev Cal Assist., v. 19, n. 6, p. 407-15, 2004. ). Mesmo após a revisão pela Visa, houve redução de serviços classificados em alta adesão de cinco casos para apenas um e o Kappa foi de 0,20. Se o estudo fosse representativo do país, sugeriria baixa confiabilidade da lista positiva de alta adesão publicada no relatório anual de autoavaliação das práticas de segurança do paciente da Anvisa (BRASIL, 2020bBRASIL. Agência Nacional de Vigilância Sanitária. Relatório de Autoavaliação Nacional das Práticas de Segurança do Paciente em Serviços de Saúde - 2019. Brasília/DF: 2020b. Disponível em: Disponível em: http://antigo.anvisa.gov.br/documents/33852/271855/Relat%C3%B3rio+de+Autoavalia%C3%A7%C3%A3o+Nacional+das+Pr%C3%A1ticas+de+Seguran%C3%A7a+do+Paciente+em+Servi%C3%A7os+de+Sa%C3%BAde+%E2%80%93+2019/faa6381c-b3c3-4210-8ddf-4e93927c64dd . Acesso em: 25 fev 2020.
http://antigo.anvisa.gov.br/documents/33... ). Isto sugere a necessidade de avaliar a confiabilidade deste instrumento antes das próximas publicações.

Diante desses desafios, a nova avaliação de práticas de segurança do paciente de 2020, antes denominada de “autoavaliação”, passou a ser intitulada “avaliação”, pois reconhece que seu processo de julgamento deve considerar os dados da autoavaliação, a revisão pela Visa e o sorteio de hospitais para comprovação in loco de uma amostra dos serviços participantes. Essa nova avaliação é a que teve maior mudança na configuração dos indicadores, inclusive após considerar os resultados preliminares do presente estudo em suas discussões com o SNVS. Neste sentido, substituíram-se indicadores que não tinham como ser comprovados à distância (indicadores 4 e 5) por novos indicadores, ajustaram-se critérios de revisão para tornar a avaliação mais realista (indicadores 1 e 2), bem como foi acrescentada a exigência de comprovante de capacitação para todos os indicadores de protocolos. Esses ajustes, entre outros, lançam boa expectativa sobre a melhoria da confiabilidade da iniciativa nos próximos anos (BRASIL, 2020aBRASIL. Agência Nacional de Vigilância Sanitária. Instrutivo para a análise do formulário de avaliação das práticas de segurança do paciente - 2020. Brasília-DF: Anvisa , 2020a.).

Limitações

Por causa do tamanho da amostra, não foram calculadas as estimativas intervalares dos indicadores de confiabilidade (confiança de 95%), pois certamente elas seriam pouco precisas. Desta forma, os resultados não devem ser interpretados como evidências de confiabilidade da iniciativa, mas um estudo piloto (SATURNO HERNÁNDEZ; CARMEN SANTIAGO; ANTÓN BOTELLA, 2017SATURNO HERNÁNDEZ, P. J.; CARMEN SANTIAGO, M., ANTÓN BOTELLA, J. J. Análise da confiabilidade dos critérios: unidade temática 4. In: HERNÁNDEZ, P. J. S. et al. Atividades básicas para melhoria contínua: métodos e instrumentos para realizar o ciclo de melhoria: módulo II. SEDIS-UFRN, 2017. ). Além disso, devem-se ter precauções na extrapolação dos dados para outras unidades da federação. O delineamento com 10 hospitais, selecionados aleatoriamente do estado do RN, refere-se apenas a este estado. No entanto, certamente o estudo lança hipóteses pertinentes que devem ser testadas em maior escala.

Futuros estudos também podem comparar a confiabilidade nos serviços públicos e privados, considerando os conflitos de interesse presentes na iniciativa privada (BRASIL, 2011). E também pode mensurar indicadores de acurácia, tais como os valores preditivo positivo e negativo, além de sensibilidade e especificidade, que não foram objeto desta análise inicial.

Considerações finais

A análise da confiabilidade da Autoavaliação das Práticas de Segurança do Paciente, uma inovação da vigilância sanitária de serviços de saúde para o monitoramento de riscos e regulação sanitária da qualidade dos serviços de saúde, é um tema que deve ser aprofundado. Os dados deste estudo mostram a necessidade de revisão pela Visa dos dados fornecidos pelos serviços, bem como sinalizaram problemas de confiabilidade que devem ser considerados pelas futuras avaliações. Esses resultados reforçam o senso comum de que os reguladores não devem confiar diretamente nas informações fornecidas pelo serviço quando suas ações de controle sanitário envolver iniciativas de autoinspeção, pois embora este modelo possa apoiar a evolução das adequações sanitárias às boas práticas e exigências legais, não prescinde da atuação da Visa no processo de verificação/revisão in loco das práticas de segurança do paciente. Além disso, sugerem que os futuros ciclos de avaliação e melhoria das práticas de segurança do paciente devem analisar a confiabilidade de seus resultados antes de divulgar a classificação de hospitais com alta conformidade às práticas de segurança.⁴4R. C. D. Rodrigues: concepção e delineamento do estudo, referencial teórico, coleta e análise dos dados, discussão e redação do manuscrito. Z. A. da S. Gama: concepção e delineamento do estudo, supervisão e revisão da coleta e análise dos dados, revisão crítica relevante do manuscrito e redação. A. A. S. Souza: coleta e análise dos dados e redação do manuscrito. H. T. Santana: revisão crítica relevante do manuscrito e redação. O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - Código de Financiamento 001. Não há conflito de interesse pelos autores.

Referências

Datas de Publicação

Histórico