RESUMO

OBJETIVO

O estudo objetiva descrever a construção e análise da validade do Questionário Avaliação da Gestão de Riscos Assistenciais em Serviços de Saúde (AGRASS).

MÉTODOS

Trata-se de estudo de validação de um instrumento de medida nas etapas: 1. construção do modelo conceitual e itens; 2. apreciação formal multidisciplinar; 3. grupo nominal para análise da validade com especialistas da esfera nacional; 4. desenvolvimento de softwares e estudo-piloto nacional em 62 hospitais do Brasil; 5. Delphi para análise da validade com utilizadores do questionário. Nas etapas 3 e 5, os itens foram julgados quanto à validade de face e conteúdo, utilidade e viabilidade, em uma escala Likert de 1 a 7 (ponto de corte: mediana < 6). A validade de construto e a confiabilidade foram analisadas com análise fatorial confirmatória e coeficientes α de Cronbach.

RESULTADOS

A versão inicial do instrumento (98 itens) foi adaptada durante as etapas 1 a 3 para a versão com 40 itens considerados relevantes, de conteúdo adequado, úteis e viáveis. O instrumento tem duas dimensões e nove subdimensões, e os itens têm opção de resposta fechada (sim ou não). Os softwares para coleta e análise automática geram indicadores, tabelas e gráficos automáticos para a instituição avaliada e conjuntos agregados. Os índices de ajuste confirmaram o modelo bidimensional de estrutura e processo (X2/gl = 1,070, RMSEA ≤ 0,05 = 0,847; TLI = 0,972), havendo confiabilidade alta para o Questionário AGRASS (α = 0,94) e a dimensão processo (α = 0,93) e aceitável para a dimensão estrutura (α = 0,70).

CONCLUSÃO

O Questionário AGRASS é um instrumento potencialmente útil para a vigilância e monitoramento da gestão de riscos e segurança do paciente em serviços de saúde.

Segurança do Paciente; Gestão de Riscos; Estudos de Validação

INTRODUÇÃO

A qualidade do cuidado de saúde está na agenda de saúde global, e a segurança do paciente é um dos seus componentes críticos¹1. Scott KW, Jha AK. Putting quality on the global health agenda. N Engl J Med. 2014;371:3-5. https://doi.org/10.1056/NEJMp1402157
https://doi.org/10.1056/NEJMp1402157... . Visando melhorar a qualidade do cuidado de saúde pelo fortalecimento da segurança do paciente, tem sido recomendado que os sistemas e serviços de saúde implantem práticas de gestão de riscos²2. National Patient Safety Agency. Seven steps to patient safety: the full reference guide. London (UK): The Health Foundation; 2004 [citado 06 de novembro de 2019]. Disponível em: https://www.publichealth.hscni.net/sites/default/files/directorates/files/Seven%20steps%20to%20safety.pdf
https://www.publichealth.hscni.net/sites... e métodos de gestão/melhoria da qualidade aplicados à segurança no cuidado de saúde⁵5. National Advisory Group on the Safety of Patients Group. A promise to learn: a commitment to act. Improving the safety of patients in England. London (UK): Department of Health; 2013 [citado06 de novembro 2019]. Disponível em: https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/226703/Berwick_Report.pdf
https://assets.publishing.service.gov.uk... .

A gestão de riscos assistenciais em serviços de saúde é destacada como um dos sete passos para a segurança do paciente da National Patient Safety Agency do Reino Unido²2. National Patient Safety Agency. Seven steps to patient safety: the full reference guide. London (UK): The Health Foundation; 2004 [citado 06 de novembro de 2019]. Disponível em: https://www.publichealth.hscni.net/sites/default/files/directorates/files/Seven%20steps%20to%20safety.pdf
https://www.publichealth.hscni.net/sites... . O National Quality Forum dos Estados Unidos também inclui a identificação e redução de riscos e perigos como a quarta de suas 34 práticas seguras baseadas em evidências. No âmbito da política de saúde brasileira, a gestão de riscos assistenciais em estabelecimentos de saúde é o primeiro dos objetivos específicos do Programa Nacional de Segurança do Paciente (PNSP)⁴4. Ministério da Saúde (BR). Portaria Nº 529, de 1º de abril de 2013. Institui o Programa Nacional de Segurança do Paciente (PNSP). Diario Oficial União. 2 abr 2013 [citado 06 de novembro 2019.Disponível em: http://www.saude.mt.gov.br/upload/controle-infeccoes/pasta2/portaria-msgm-n-529-de-01-04-2013.pdf
http://www.saude.mt.gov.br/upload/contro... .

A relação entre segurança do paciente e qualidade do cuidado se dá em duas abordagens: na primeira se considera a segurança do paciente uma dimensão da qualidade do cuidado de saúde⁸8. Institute of Medicine. Crossing the quality chasm: a new health system for the 21st century. Washington, DC: National Academy Press; 2001. , ⁹9. World Health Organization. Quality of care: a process for making strategic choices in health systems. Geneva: WHO; 2006 [citado 06 de novembro 2019]. Disponível em: http://www.who.int/management/quality/assurance/QualityCare_B.Def.pdf
http://www.who.int/management/quality/as... , enquanto na segunda a segurança é considerada um atributo dos serviços de saúde independente da qualidade¹⁰10. Emanuel L, Berwick D, Conway J, Combes J, Vincent C, Walton M. What exactly is patient safety? In: Henriksen K, Battles JB, Keyes MA, et al., editors. Advances in Patient Safety: new directions and alternative approaches. Vol. 1: Assessment. Rockville, MD: Agency for Healthcare Research and Quality; 2008 [citado 06 de novembro 2019]. Disponível em: https://www.ncbi.nlm.nih.gov/books/NBK43629/
https://www.ncbi.nlm.nih.gov/books/NBK43... . Globalmente, a Organização Mundial da Saúde⁶6. World Health Organization. Patient safety curriculum guide: multi-professional edition. Geneva: WHO; 2011 [citado 06 de novembro 2019]. Disponível em: http://apps.who.int/iris/bitstream/handle/10665/44641/9789241501958_eng.pdf;jsessionid=4D678ED42006DFE18915FFD5EB868EA6?sequence=1
http://apps.who.int/iris/bitstream/handl... (OMS) inclui os métodos de melhoria da qualidade como um dos 11 tópicos essenciais do guia curricular multiprofissional de ensino em segurança do paciente. No Brasil, o gerenciamento da qualidade com foco na redução de riscos está presente na regulamentação de serviços de saúde⁷7. Gama ZAS, Saturno PJ. A segurança do paciente inserida na gestão da qualidade dos serviços de saúde. In: Ministério da Saúde (BR), Agência Nacional de Vigilância Sanitária. Assistência segura: uma reflexão teórica aplicada à prática. Brasília, DF: ANVISA; 2017 [citado 06 de novembro 2019]. p.29-40. (Série Segurança do Paciente e Qualidade em Serviços de Saúde). Disponível em: http://www.saude.pr.gov.br/arquivos/File/0SEGURANCA_DO_PACIENTE/Modulo_1AssistenciaSegura.pdf
http://www.saude.pr.gov.br/arquivos/File... , ¹¹11. Ministério da Saúde (BR), Agência Nacional de Vigilância Sanitária. Resolução da Diretoria Colegiada RDC Nº 63, de 25 de novembro de 2011. Dispõe sobre os Requisitos de Boas Práticas de Funcionamento para os Serviços de Saúde. Brasília, DF: ANVISA; 2011 [citado 06 de novembro 2019]. Disponível em:http://portal.anvisa.gov.br/documents/33880/2568070/rdc0063_25_11_2011.pdf/94c25b42-4a66-4162-ae9b-bf2b71337664
http://portal.anvisa.gov.br/documents/33... .

Considerando o arcabouço regulatório dos serviços de saúde brasileiros, os profissionais da vigilância sanitária estão formalmente respaldados para fiscalizar a implantação do gerenciamento da qualidade¹¹11. Ministério da Saúde (BR), Agência Nacional de Vigilância Sanitária. Resolução da Diretoria Colegiada RDC Nº 63, de 25 de novembro de 2011. Dispõe sobre os Requisitos de Boas Práticas de Funcionamento para os Serviços de Saúde. Brasília, DF: ANVISA; 2011 [citado 06 de novembro 2019]. Disponível em:http://portal.anvisa.gov.br/documents/33880/2568070/rdc0063_25_11_2011.pdf/94c25b42-4a66-4162-ae9b-bf2b71337664
http://portal.anvisa.gov.br/documents/33... e do gerenciamento de riscos em serviços de saúde¹²12. Ministério da Saúde (BR), Agência Nacional de Vigilância Sanitária. Resolução da Diretoria Colegiada RDC Nº 36, de 25 de julho de 2013. Institui ações para a segurança do paciente em serviços de saúde e dá outras providências. Brasília, DF: ANVISA; 2013 [citado 06 de novembro 2019]. Disponível em: http://portal.anvisa.gov.br/documents/10181/2871504/RDC_36_2013_COMP.pdf/36d809a4-e5ed-4835-a375-3b3e93d74d5e
http://portal.anvisa.gov.br/documents/10... . Os dois modelos de gestão podem ser utilizados para a melhoria da segurança, porém os inspetores sanitários e auditores externos e internos necessitam ter uma visão ampla e flexível que identifique a implantação dos princípios e alcance dos objetivos da gestão da segurança do paciente, não somente uma visão cartorial de processos de um modelo ou de outro.

Muitos modelos de gestão de riscos e de gestão da qualidade têm sido propostos para as organizações em geral¹³13. Gama ZAS, Saturno-Hernández PJ. Inspeção de boas práticas de gestão de riscos em serviços de saúde. Natal, RN: SEDIS-UFRN; 2017. , gerando muitas adaptações aos serviços de saúde. No entanto, poucos estudos se dedicaram a validar instrumentos de avaliação da implantação de atividades da gestão da qualidade¹⁴14. Wagner C, Groene O, Thompson CA, Klazinga NS, Dersarkissian M, Arah OA, et al. Development and validation of an index to assess hospital quality management systems. Int J Qual Health Care. 2014;26 Suppl 1:16-26. https://doi.org/10.1093/intqhc/mzu021
https://doi.org/10.1093/intqhc/mzu021... e de riscos¹⁵15. Briner M, Kessler O, Pfeiffer Y, Wehner T, Manser T. Assessing hospitals’ clinical risk management: development of a monitoring instrument. BMC Health Serv Res. 2010;10:337. https://doi.org/10.1186/1472-6963-10-337
https://doi.org/10.1186/1472-6963-10-337... , revelando uma necessidade da área, especialmente no Brasil, que não tem instrumento validado para a sua realidade local.

Em um trabalho de parceria entre a Agência Nacional de Vigilância Sanitária (Anvisa), a Organização Pan-Americana da Saúde (Opas) e duas universidades, foi proposto um modelo integrador baseado nos princípios de gestão de riscos e da qualidade para a segurança do paciente¹⁴14. Wagner C, Groene O, Thompson CA, Klazinga NS, Dersarkissian M, Arah OA, et al. Development and validation of an index to assess hospital quality management systems. Int J Qual Health Care. 2014;26 Suppl 1:16-26. https://doi.org/10.1093/intqhc/mzu021
https://doi.org/10.1093/intqhc/mzu021... . Baseado nesse modelo, construiu-se o Questionário Avaliação da Gestão de Riscos Assistenciais em Serviços de Saúde (AGRASS), com o objetivo de instrumentalizar auditorias e inspeções sanitárias externas realizadas no contexto brasileiro e auxiliar na autoavaliação de serviços de saúde. Considerando esses antecedentes, este estudo tem como objetivo descrever o processo de construção e análise da validade do Questionário AGRASS.

MÉTODO

Este é um estudo de validação com abordagem quali-quantitativa. Foi desenvolvido em projetos de parceria entre a Anvisa, a Opas, a Universidade Federal do Rio Grande do Norte (UFRN) no Brasil e a Universidad de Murcia na Espanha. O presente artigo descreve o processo de construção e validação em cinco etapas, conforme apresentado na Figura 1 .

Etapa 1 – Construção do Modelo Conceitual e dos Itens

Construímos um modelo conceitual original e integrador que representasse as estruturas e processos-chave da gestão da segurança do paciente em serviços de saúde. O modelo baseou-se em ampla revisão da literatura de documentos técnicos nacionais e internacionais sobre gestão de riscos e da qualidade, em modelos de melhoria da qualidade do cuidado de saúde e gestão de riscos em serviços de saúde¹⁶16. Langley GJ, Nolan KM, Norman CL, Provost LP, Nolan TW. The improvement guide: a practical approach to enhancing organizational performance. New York, NY: Jossey-Bass; 1996. , em publicações de benchmarking de gestão de riscos em serviços de saúde europeus²⁰20. Ministerio de Sanidad y Consumo (ESP). Benchmarking de buenas prácticas en la gestión de riesgos y políticas de reordenación del gobierno clínico en el ámbito hospitalario. Madrid (ESP); 2008 [citado 06 de novembro 2019]. (Informes, Estudios e Investigaciones). Disponível em: https://www.mscbs.gob.es/organizacion/sns/planCalidadSNS/docs/BenchmarkingGestionRiesgosGobiernoClinico.pdf
https://www.mscbs.gob.es/organizacion/sn... , em recomendações internacionais de práticas de segurança do paciente que incluíam a gestão de riscos²2. National Patient Safety Agency. Seven steps to patient safety: the full reference guide. London (UK): The Health Foundation; 2004 [citado 06 de novembro de 2019]. Disponível em: https://www.publichealth.hscni.net/sites/default/files/directorates/files/Seven%20steps%20to%20safety.pdf
https://www.publichealth.hscni.net/sites... , ³3. National Quality Forum. Safe practices for better healthcare – 2010 update: a consensus report. Washington, DC; 2010. Disponível em: https://www.qualityforum.org/Publications/2010/04/Safe_Practices_for_Better_Healthcare_%E2%80%93_2010_Update.aspx
https://www.qualityforum.org/Publication... e na legislação sanitária brasileira⁴4. Ministério da Saúde (BR). Portaria Nº 529, de 1º de abril de 2013. Institui o Programa Nacional de Segurança do Paciente (PNSP). Diario Oficial União. 2 abr 2013 [citado 06 de novembro 2019.Disponível em: http://www.saude.mt.gov.br/upload/controle-infeccoes/pasta2/portaria-msgm-n-529-de-01-04-2013.pdf
http://www.saude.mt.gov.br/upload/contro... , ¹¹11. Ministério da Saúde (BR), Agência Nacional de Vigilância Sanitária. Resolução da Diretoria Colegiada RDC Nº 63, de 25 de novembro de 2011. Dispõe sobre os Requisitos de Boas Práticas de Funcionamento para os Serviços de Saúde. Brasília, DF: ANVISA; 2011 [citado 06 de novembro 2019]. Disponível em:http://portal.anvisa.gov.br/documents/33880/2568070/rdc0063_25_11_2011.pdf/94c25b42-4a66-4162-ae9b-bf2b71337664
http://portal.anvisa.gov.br/documents/33... , ¹²12. Ministério da Saúde (BR), Agência Nacional de Vigilância Sanitária. Resolução da Diretoria Colegiada RDC Nº 36, de 25 de julho de 2013. Institui ações para a segurança do paciente em serviços de saúde e dá outras providências. Brasília, DF: ANVISA; 2013 [citado 06 de novembro 2019]. Disponível em: http://portal.anvisa.gov.br/documents/10181/2871504/RDC_36_2013_COMP.pdf/36d809a4-e5ed-4835-a375-3b3e93d74d5e
http://portal.anvisa.gov.br/documents/10... . Essa etapa foi realizada em 2016, e o consenso inicial sobre as dimensões foi realizado por dois pesquisadores doutores, especialistas em gestão e melhoria da qualidade em serviços de saúde, e um terceiro profissional, gestor da qualidade em um hospital acreditado pela Organização Nacional de Acreditação. O detalhamento das referências revisadas e do modelo conceitual está disponível em uma publicação anterior¹³13. Gama ZAS, Saturno-Hernández PJ. Inspeção de boas práticas de gestão de riscos em serviços de saúde. Natal, RN: SEDIS-UFRN; 2017. .

Etapa 2 – Apreciação Formal

A versão inicial do Questionário AGRASS foi apreciada formalmente por um grupo de seis especialistas. O método de análise foi qualitativo, mediante discussão em profundidade sobre os itens do questionário, com o objetivo de ajustá-lo às melhores práticas de gestão da segurança do paciente e ser realista para o contexto brasileiro, condizente com as exigências da regulamentação sanitária e conciso. Para a saturação da análise e consenso, foram necessárias três reuniões em julho de 2017, gerando a segunda versão do Questionário AGRASS.

Etapa 3 – Análise da Validade com Especialistas da Esfera Nacional

A segunda versão foi analisada de forma global e item a item por dez técnicos da ANVISA em agosto de 2017. Para o consenso, utilizou-se a técnica do grupo nominal²¹21. Jones J, Hunter D. Consensus methods for medical and health services research. BMJ. 1995;311(7001):376-80. https://doi.org/10.1136/bmj.311.7001.376
https://doi.org/10.1136/bmj.311.7001.376... , com três momentos de votação, dois presenciais e um a distância. Os itens do questionário foram julgados segundo quatro critérios relacionados à validade de face, validade de conteúdo, utilidade e viabilidade. Os critérios foram formulados em forma de perguntas com opção de respostas fechadas em escala Likert de 1 a 7, sendo 1 “discordo totalmente” e 7 “concordo totalmente”. As perguntas foram as seguintes: “O item é relevante para a gestão de riscos assistenciais em serviços de saúde?”, “O item está relacionado com a dimensão que ele deseja medir?”, “O item é viável no contexto da gestão de riscos assistenciais em serviços de saúde?” e “A informação gerada pela resposta ao item é útil para detectar oportunidades de melhoria na gestão de riscos assistenciais em serviços de saúde?”. Cada especialista podia ainda incluir comentários a respeito de cada item. Essa etapa foi útil para eliminar itens, adaptar termos e acrescentar esclarecimentos fundamentais aos itens, gerando a terceira versão do Questionário AGRASS.

Etapa 4 – Desenvolvimento dos Softwares e Estudo-Piloto Nacional

Com o produto da etapa anterior, o Laboratório de Inovação Tecnológica em Saúde da UFRN desenvolveu o Sistema AGRASS, que é composto por dois módulos. O módulo mobile provê o questionário a ser respondido nas unidades de saúde, armazena e envia as respostas inseridas para o módulo web , que analisa automaticamente os dados e disponibiliza relatórios individuais ou agregados (conjuntos de serviços de saúde por região, estado, município e outros agrupamentos de instituições) com as tabelas de caracterização do serviço de saúde avaliado e os indicadores de implantação da gestão de riscos, esses últimos representados em tabela, em gráficos de radar e em diagrama de Pareto. O grau de implantação da gestão de riscos assistenciais no serviço de saúde avaliado pode ser descrito segundo a conformidade dos itens individuais e por grupos de itens. Os itens possibilitam uma resposta positiva e todos têm o mesmo peso no cálculo da estimativa total de implantação da gestão de riscos assistenciais. Para análises descritivas de grupos de itens, calcula-se a porcentagem de respostas positivas, ou seja, total de respostas positivas no grupo de itens em relação ao total de itens do Questionário AGRASS ou ao total de itens das dimensões e subdimensões.

De posse do Questionário AGRASS em formato eletrônico, ofertou-se um curso a distância para 120 profissionais das vigilâncias sanitárias estaduais e municipais de todas as unidades da federação brasileira, entre setembro e dezembro de 2017, com base no material didático ad hoc que contém o modelo conceitual do AGRASS. Após o treinamento, com o auxílio e supervisão de quatro pesquisadores, os profissionais aplicaram o Questionário AGRASS em serviços de saúde, o que constituiu o estudo-piloto desse instrumento e também a avaliação do curso. O tamanho da amostra foi definido de forma estratificada e proporcional à quantidade de hospitais com unidade de terapia intensiva (UTI) em cada unidade da federação brasileira, e os profissionais fizeram a escolha por conveniência buscando os maiores serviços de sua localidade. Participaram do piloto 62 hospitais. Todos dispunham de UTI, pois este tipo de serviço é considerado prioritário para a vigilância sanitária, no âmbito do Plano Integrado para a Gestão Sanitária da Segurança do Paciente²²22. Ministério da Saúde (BR), Agência Nacional de Vigilância Sanitária. Plano integrado para a gestão sanitária da segurança do paciente em serviços de saúde: monitoramento e investigação de eventos adversos e avaliação de práticas de segurança do paciente. Brasília, DF: ANVISA; 2015 [citado 06 de novembro 2019]. Disponível em: https://www20.anvisa.gov.br/segurancadopaciente/index.php/legislacao/item/plano-integrado-para-a-gestao-sanitaria-da-seguranca-do-paciente-em-servicos-de-saude
https://www20.anvisa.gov.br/segurancadop... .

Etapa 5 – Análise da Validade com Utilizadores do Instrumento

Finalizando as etapas de validação, os 74 profissionais que aplicaram o instrumento foram convidados a participar de uma análise da validade utilizando a técnica Delphi²¹21. Jones J, Hunter D. Consensus methods for medical and health services research. BMJ. 1995;311(7001):376-80. https://doi.org/10.1136/bmj.311.7001.376
https://doi.org/10.1136/bmj.311.7001.376... . A consulta foi realizada por meio de um formulário eletrônico de validação enviado por e-mail, que continha questões sobre o Questionário AGRASS utilizando as mesmas orientações, critérios e pontos de corte da análise da validade da etapa 3. Essa consulta ocorreu em fevereiro de 2018 por um prazo total de 23 dias, durante o qual foram enviados até três lembretes aos não respondentes (10, 15 e 20 dias depois da consulta).

Análise dos Dados

A análise da validade dos itens do questionário teve um componente quantitativo e outro qualitativo. A análise dos dados nas etapas 3 e 5 considerou a mediana de cada um dos quatros critérios. Os itens que obtiveram mediana igual ou maior que 6 em todos os critérios foram incluídos na versão final do Questionário AGRASS. Os itens que tiveram algum critério com mediana inferior a 6 foram discutidos pelos respectivos grupos, podendo ter sofrido alteração em sua redação, e foram submetidos a novo julgamento pelos especialistas. Se o item teve alguma mediana inferior a 6 na segunda votação, ele foi eliminado. Quanto ao componente qualitativo, consideraram-se os comentários registrados no formulário de avaliação e na discussão após apresentação dos resultados de cada votação, mesmo que o critério tivesse alcançado o ponto de corte.

Para análise da confiabilidade, calculou-se a consistência interna mediante os coeficientes α de Cronbach (Apêndice 1) para o Questionário AGRASS completo e as dimensões de estrutura e de processo, utilizando as respostas dos questionários no estudo-piloto.

A validade de construto e o respectivo modelo bidimensional do questionário foram avaliados com análise fatorial confirmatória. Utilizou-se modelagem por equações estruturais para investigar o ajuste dos dados observados às dimensões de estrutura e processo da gestão de riscos assistenciais. Aplicou-se o método de estimação robusta por mínimos quadrados ponderados ajustados pela média e variância (WLSMV) com o software MPlus v.7 (Muthén & Muthén). As medidas utilizadas para verificar a adequação do modelo aos dados foram: (i) razão qui-quadrado/graus de liberdade (X²/gl), (ii) raiz do erro quadrático médio de aproximação (RMSEA), (iii) índice de ajuste de Tucker-Lewis (TLI), (iv) confiabilidade composta (CC) e (v) variância média extraída (VME). Os valores de referência considerados para um bom ajuste foram X²/gl < 3,0; RMSEA < 0,05; TLI > 0,95; CC ≥ 70 e VME ≥ 50. Para a RMSEA, em uma situação ideal, o valor inferior do intervalo de confiança de 90% (IC90%) inclui ou se aproxima muito de zero, ou não é maior que 0,05; e o valor superior não é muito grande, ou seja, apresenta-se menor que 0,08²³23. Hair JR, Black WC, Babin BJ, Anderson RE, Tatham RL, Sant’Anna MAG, et al. Análise multivariada de dados. 6.ed. Porto Alegre: Bookman; 2009. (Apêndice 2).

Aspectos Éticos

O estudo foi aprovado pelo comitê de ética em pesquisa local, com número de parecer 75662517.2.0000.5292, e seguiu os requisitos estabelecidos para sua realização.

RESULTADOS

Modelo Conceitual

O modelo conceitual produzido na primeira etapa de construção do Questionário AGRASS faz referência ao conjunto de estruturas e processos que objetivam melhorar continuamente a segurança do paciente ( Figura 2 ). A dimensão denominada “estrutura firme” é composta por cinco subdimensões: sensibilização, responsabilização, habilitação, ação e cultura de segurança. Adicionalmente, a dimensão denominada “processos chaves” é composta por quatro subdimensões: identificação de riscos, análise e avaliação de riscos, tratamento de riscos e comunicação de riscos. Os processos unidos por setas representam o fluxo natural de integração entre eles.

O modelo conceitual teve por objetivo apresentar as práticas de gestão de riscos assistenciais de forma lúdica e, para isso, utilizou uma analogia com a arte de um malabarista ( Figura 2 ). Nessa ilustração, o malabarista representa o responsável (ou responsáveis) pela segurança do paciente no serviço de saúde, assim como todos os outros profissionais envolvidos. As bolas equilibradas no ar representam os processos de gestão de riscos, que devem estar integralmente presentes e integrados entre si. O solo firme e a temperatura agradável, fatores contextuais que facilitam o trabalho do artista, ilustram a importância da presença de estruturas e sistemas de liderança e de uma psicologia organizacional favorável quanto ao clima e cultura de segurança.

Apreciação Formal e Análises da Validade

A primeira versão do Questionário AGRASS produzida na etapa 1 continha 98 itens relativos às dimensões do modelo conceitual e foi submetida à apreciação formal na etapa 2. Após análise de seis especialistas, excluíram-se 50 itens e foi produzida uma segunda versão do Questionário AGRASS com 48 itens.

A segunda versão foi submetida à análise da validade na etapa 3 por 10 profissionais da Anvisa, cujas características estão presentes na Tabela 1 . Após a primeira rodada de votação, 12 itens não alcançaram o ponto de corte e passaram por discussão antes de uma segunda votação. Após a segunda rodada de votação, apenas dois itens obtiveram mediana inferior a seis e por isso foram retirados. Outros três itens foram retirados, mesmo alcançando medianas maiores ou iguais a 6, por consenso entre o grupo de especialistas sobre serem questões dispensáveis, enquanto quatro itens fundiram-se em um único item e 26 itens sofreram adaptações de redação. O Quadro 1 sintetiza os resultados dessa etapa.

A terceira versão do questionário ficou com 40 itens. Uma importante contribuição desta etapa foi o acréscimo da definição de cada dimensão e esclarecimentos a respeito dos itens, na tentativa de tornar o questionário mais claro e confiável. Essa versão foi a utilizada para construir o Sistema AGRASS. Dos 120 técnicos da vigilância sanitária que se inscreveram no curso “Inspeção de boas práticas de gestão de riscos em serviços de saúde”, 74 foram aprovados e convidados a participar da segunda fase da análise de validade de conteúdo. Desses, 32 assinaram o termo de consentimento e responderam ao questionário de estudo de validação. A caracterização dos participantes está descrita na Tabela 1 . O grupo teve representantes de todas as regiões do Brasil (2 do Centro-Oeste, 1 do Norte, 7 do Nordeste, 17 do Sudeste e 5 do Sul). Esse grupo aprovou a relevância, utilidade, viabilidade e relação com a gestão de riscos de todos os 40 itens do Questionário AGRASS na primeira votação, conforme resultados detalhados no Quadro 1 .

As medidas de avaliação dos ajustes usadas para verificar a adequação do modelo aos dados mostraram que o instrumento é válido e adequado às duas dimensões de estrutura e processo, com razão de qui-quadrado e graus de liberdade < 3 (X2/gl = 1,070). O critério RMSEA reforçou a indicação de bom ajuste do modelo testado (estimativa = 0,037; IC90% 0,000–0,057; probabilidade de RMSEA ≤ 0,05 = 0,847). O teste TLI (0,972), a confiabilidade composta (0,931) e a variância média extraída (0,563) também confirmam a estrutura do modelo de dois fatores.

O modelo padronizado mostra que todos os itens – exceto o item 9, “A instituição promoveu aos seus profissionais capacitação na área (gestão de riscos, gestão da qualidade, segurança do paciente, etc.)” – apresentaram cargas fatoriais significativas (p < 0,05). Entretanto, como o item 9 não comprometeu o modelo da dimensão em geral, foi mantido no questionário em virtude da validade de conteúdo atribuída pelos especialistas.

Quanto à análise da confiabilidade mediante os coeficientes α de Cronbach, o Questionário AGRASS (40 itens) teve resultado 0,935 (alta consistência), a dimensão estrutura (12 itens) teve 0,704 (consistência aceitável) e a dimensão processo (28 itens) teve 0,931 (alta consistência). A simulação da exclusão de itens não altera significativamente a consistência interna dos construtos avaliados, demonstrando que não é necessário retirar ou modificar itens da versão final.

Questionário AGRASS – Versão Final

O Questionário AGRASS possui 40 itens agrupados em duas dimensões e nove subdimensões da gestão de riscos assistenciais: estrutura (12 itens agrupados em quatro subdimensões) e processos (28 itens agrupados em cinco subdimensões), conforme apresentado na Tabela 2 . O Questionário AGRASS (https://doi.org/10.6084/m9.figshare.7058141.v1), o Sistema AGRASS (https://agrass.lais.huol.ufrn.br), que contém os links para o módulo mobile na Apple Store e Google Play , e um exemplo de relatório automático gerado pelo sistema (https://doi.org/10.6084/m9.figshare.7045454.v1) estão disponíveis on-line.

DISCUSSÃO

Este trabalho tem um potencial de contribuição para a melhoria da vigilância e gestão de sistemas e serviços de saúde, pois disponibiliza um instrumento válido para a avaliação e monitoramento das condições organizacionais que asseguram a oferta de cuidados de saúde seguros. Após cinco etapas de validação, o Questionário AGRASS foi considerado relevante, válido, útil e viável para mensurar a implantação da gestão dos riscos assistenciais em serviços de saúde brasileiros. O questionário pode ser utilizado para: avaliar um serviço de saúde quanto à implantação de práticas de gestão de riscos assistenciais, para guiar o planejamento de intervenções de melhoria; reavaliar um serviço de saúde, para mensurar a melhoria após realizar intervenções de implantação de práticas de gestão de riscos assistenciais; comparar serviços de saúde individuais ou agregados (por ex., região, município ou estado) quanto ao nível de implantação das práticas de gestão de riscos assistenciais. O instrumento pode ser aplicado por avaliadores externos (inspetores sanitários, certificadores, acreditadores e auditores, entre outros) ou em iniciativas de autoavaliação do serviço de saúde.

Contribuições para a Segurança do Paciente

O Questionário AGRASS atende a uma necessidade internacional e nacional. Os sistemas de informação são uma das seis principais intervenções estratégicas que a OMS estimula para a qualidade do cuidado em sistemas de saúde⁹9. World Health Organization. Quality of care: a process for making strategic choices in health systems. Geneva: WHO; 2006 [citado 06 de novembro 2019]. Disponível em: http://www.who.int/management/quality/assurance/QualityCare_B.Def.pdf
http://www.who.int/management/quality/as... e, particularmente no Programa de Segurança do Paciente da OMS, a mensuração da segurança é um objetivo prioritário²⁴24. World Health Organization. Patient safety: making health care safer. Geneva: WHO; 2017 [citado 06 de novembro 2019]. Disponível em: http://apps.who.int/iris/bitstream/handle/10665/255507/WHO-HIS-SDS-2017.11-eng.pdf?sequence=1&isAllowed=y’
http://apps.who.int/iris/bitstream/handl... . No entanto, mesmo países bem desenvolvidos em segurança do paciente como a Inglaterra têm sido instados a melhorar a captação de informação sobre segurança do paciente⁵5. National Advisory Group on the Safety of Patients Group. A promise to learn: a commitment to act. Improving the safety of patients in England. London (UK): Department of Health; 2013 [citado06 de novembro 2019]. Disponível em: https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/226703/Berwick_Report.pdf
https://assets.publishing.service.gov.uk... . Essa oportunidade de melhoria também ficou evidente em uma avaliação das decisões governamentais relacionadas à segurança do paciente em países da Organização para a Cooperação e Desenvolvimento Econômico (OCDE), que mostrou que o eixo de avaliação e monitoramento é um dos menos avançados²⁵25. Hasegawa T, Fujita S. Patient Safety Policies: experiences, effects and priorities; lessons from OECD member states. Tokyo (JPN): Ministry of Health, Labour and Welfare; 2018 [citado 06 de novembro 2019]. Disponível em: https://www.mhlw.go.jp/file/06-Seisakujouhou-10800000-Iseikyoku/0000204013.pdf
https://www.mhlw.go.jp/file/06-Seisakujo... .

No Brasil, embora a avaliação e monitoramento do PNSP tenham sido previstas²⁶26. Ministério da Saúde; Fundação Oswaldo Cruz; Agência Nacional de Vigilância Sanitária. Documento de referência para o Programa Nacional de Segurança do Paciente. Brasília, DF: Ministério da Saúde; 2014 [citado 06 de novembro 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/documento_referencia_programa_nacional_seguranca.pdf
http://bvsms.saude.gov.br/bvs/publicacoe... , existe ampla margem para melhoria neste aspecto. O Sistema de Notificações para a Vigilância Sanitária (Notivisa) e a avaliação anual de práticas de segurança do paciente implantados pela Anvisa são importantes, porém insuficientes²⁶26. Ministério da Saúde; Fundação Oswaldo Cruz; Agência Nacional de Vigilância Sanitária. Documento de referência para o Programa Nacional de Segurança do Paciente. Brasília, DF: Ministério da Saúde; 2014 [citado 06 de novembro 2019]. Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/documento_referencia_programa_nacional_seguranca.pdf
http://bvsms.saude.gov.br/bvs/publicacoe... , ²⁷27. Ministério da Saúde, Agência Nacional de Vigilância Sanitária, Gerência Geral de Tecnologia em Serviços de Saúde. Relatório da autoavaliação nacional das práticas de segurança do paciente em serviços de saúde - 2017 – REVISADO. Brasília, DF; 2018 [citado 06 de novembro 2019]. Disponível em: http://portal.anvisa.gov.br/documents/33852/459495/Relat%C3%B3rio+com+os+resultados+da+Autoavalia%C3%A7%C3%A3o+2017/8c243765-5190-46d2-a9ee-52f53cda2294
http://portal.anvisa.gov.br/documents/33... . Assim, o Questionário AGRASS apresenta-se como uma alternativa de instrumento para a produção de informações para a tomada de decisão em segurança do paciente baseada em 40 itens, que podem ser comparáveis a 38 indicadores simples e 2 indicadores compostos (itens 15 e 30). Esse novo instrumento pode ser utilizado para que os profissionais mensurem a segurança do paciente no nível em que ela apresenta maior carência de aferição, que é o seu componente organizacional. A qualidade do cuidado deve ser monitorada a partir de uma perspectiva sistêmica, incluindo o nível técnico do cuidado individual, mas também os níveis organizacionais do estabelecimento de saúde e do sistema de saúde¹⁸18. Saturno-Hernández PJ. Métodos y herramientas para la realización de ciclos de mejora de la calidad en servicios de salud. Cuernavaca (MEX): Instituto Nacional de Salud Pública; 2015. . Indicadores de segurança do paciente têm sido propostos para todos os níveis²⁸28. Gama ZAS, Saturno-Hernández PJ, Ribeiro DNC, Freitas MR, Medeiros PJ, Batista AM, et al. Desenvolvimento e validação de indicadores de boas práticas de segurança do paciente: Projeto ISEP-Brasil. Cad Saude Publica. 2016;32(9):e00026215. https://doi.org/10.1590/0102-311X00026215
https://doi.org/10.1590/0102-311X0002621... , ²⁹29. Gouvêa CSD, Travassos C. Indicadores de segurança do paciente para hospitais de pacientes agudos: revisão sistemática. Cad Saude Publica. 2010:26(6):1061-78. https://doi.org/10.1590/S0102-311X2010000600002
https://doi.org/10.1590/S0102-311X201000... , porém poucos são baseados em critérios organizacionais. A mensuração da segurança deve ser integral, não apenas baseada em resultados ou eventos adversos²⁸28. Gama ZAS, Saturno-Hernández PJ, Ribeiro DNC, Freitas MR, Medeiros PJ, Batista AM, et al. Desenvolvimento e validação de indicadores de boas práticas de segurança do paciente: Projeto ISEP-Brasil. Cad Saude Publica. 2016;32(9):e00026215. https://doi.org/10.1590/0102-311X00026215
https://doi.org/10.1590/0102-311X0002621... , ³⁰30. Vincent C, Burnett S, Carthey J. The measurement and monitoring of safety: drawing together academic evidence and practical experience to produce a framework for safety measurement and monitoring. London (UK): The Health Foundation; 2013 [citado 06 de novembro 2019]. Disponível em: https://www.hqsc.govt.nz/assets/Capability-Leadership/PR/2013-The-measurement-and-monitoring-of-safety-Health-Foundation-Dec-2016.pdf
https://www.hqsc.govt.nz/assets/Capabili... . Mensurar a qualidade do cuidado não é fácil e exige equilíbrio.

A Validade do Questionário AGRASS

As etapas de validação por especialistas possibilitaram alcançar os objetivos de construção e validação do conteúdo do Questionário AGRASS. Além da extensa revisão da literatura, os itens finais foram aprovados quanto à validade de face, que é a importância lógica e aparente para a gestão de riscos, a validade de conteúdo, que é a capacidade de cada item medir o conceito expresso de cada dimensão e subdimensão do questionário, e a validade de construto, que mede o quanto os itens se ajustam à estrutura dimensional do questionário. A validação de conteúdo busca valorizar os formadores de opinião e reconhece a importante contribuição dos experts que conhecem o tema²³23. Hair JR, Black WC, Babin BJ, Anderson RE, Tatham RL, Sant’Anna MAG, et al. Análise multivariada de dados. 6.ed. Porto Alegre: Bookman; 2009. . Sobre a confiabilidade, embora tenha tido consistência interna aceitável, ressalta-se que depende do treinamento do avaliador e da correta aplicação do instrumento, exigindo e avaliando criteriosamente os comprovantes necessários. Além disso, os valores da confiabilidade composta reforçam este atributo.

O nome Questionário AGRASS enfatiza a gestão de riscos assistenciais, porém ele deve ser compreendido como um instrumento de avaliação da gestão da segurança do paciente baseado em modelos de gestão de riscos e da qualidade. Quanto à dimensão da estrutura, destaca-se a estruturação de sistemas de liderança para a segurança do paciente e de um ambiente caracterizado por uma cultura organizacional favorável. Sobre a dimensão referente aos processos de gestão de riscos, os que foram incluídos (identificação, análise e avaliação, tratamento e comunicação) aparecem direta ou indiretamente na maioria dos modelos de gestão de riscos e gestão da qualidade¹³13. Gama ZAS, Saturno-Hernández PJ. Inspeção de boas práticas de gestão de riscos em serviços de saúde. Natal, RN: SEDIS-UFRN; 2017. , ¹⁶16. Langley GJ, Nolan KM, Norman CL, Provost LP, Nolan TW. The improvement guide: a practical approach to enhancing organizational performance. New York, NY: Jossey-Bass; 1996. , ²⁸28. Gama ZAS, Saturno-Hernández PJ, Ribeiro DNC, Freitas MR, Medeiros PJ, Batista AM, et al. Desenvolvimento e validação de indicadores de boas práticas de segurança do paciente: Projeto ISEP-Brasil. Cad Saude Publica. 2016;32(9):e00026215. https://doi.org/10.1590/0102-311X00026215
https://doi.org/10.1590/0102-311X0002621... . A subdimensão de identificação de riscos inclui métodos retrospectivos (como indicadores), em tempo real (como checklists ) e prospectivos (como a ronda de segurança)³3. National Quality Forum. Safe practices for better healthcare – 2010 update: a consensus report. Washington, DC; 2010. Disponível em: https://www.qualityforum.org/Publications/2010/04/Safe_Practices_for_Better_Healthcare_%E2%80%93_2010_Update.aspx
https://www.qualityforum.org/Publication... , ¹³13. Gama ZAS, Saturno-Hernández PJ. Inspeção de boas práticas de gestão de riscos em serviços de saúde. Natal, RN: SEDIS-UFRN; 2017. . Outra questão enfatizada pelo modelo é que os processos não devem ser independentes, mas integrados entre si, algo enfatizado na subdimensão “integração dos processos”.

O fato de o Questionário AGRASS ter sido originalmente desenvolvido para serviços de saúde brasileiros favorece sua validade no contexto local. Outros instrumentos com objetivos parecidos foram desenvolvidos no exterior para a avaliação da gestão de riscos clínicos¹⁵15. Briner M, Kessler O, Pfeiffer Y, Wehner T, Manser T. Assessing hospitals’ clinical risk management: development of a monitoring instrument. BMC Health Serv Res. 2010;10:337. https://doi.org/10.1186/1472-6963-10-337
https://doi.org/10.1186/1472-6963-10-337... e da gestão da qualidade¹⁴14. Wagner C, Groene O, Thompson CA, Klazinga NS, Dersarkissian M, Arah OA, et al. Development and validation of an index to assess hospital quality management systems. Int J Qual Health Care. 2014;26 Suppl 1:16-26. https://doi.org/10.1093/intqhc/mzu021
https://doi.org/10.1093/intqhc/mzu021... , porém não foram adaptados transculturalmente para o Brasil. Embora esses instrumentos pareçam a princípio semelhantes ao AGRASS, têm importantes diferenças no seu modelo conceitual e itens.

O Sistema AGRASS de Avaliação Eletrônica

Visando facilitar a utilização periódica do Questionário AGRASS, o projeto buscou combinar inovação tecnológica para superar barreiras frequentes à institucionalização de processos de avaliação de serviços de saúde no Brasil. Como nem sempre os serviços de saúde dispõem de pessoas com tempo e habilidades para realizar coleta, análise e produção de relatórios para guiar a tomada de decisão, o Sistema AGRASS facilita esses processos mediante a disponibilização de um aplicativo mobile em sistemas Android e iOS. O aplicativo proporciona automaticamente as tabelas de caracterização do serviço e de conformidade em relação aos itens, dimensões e subdimensões, além de gráficos de auxílio à tomada de decisão. O módulo web permite agregar avaliações individuais para mensurar a implantação em uma rede de serviços ou região geográfica. Os relatórios são gerados em arquivos .pdf e os bancos de dados em arquivo .xls, sendo estes últimos disponibilizados para análises mais aprofundadas.

Limitações e Estudos Futuros

O Questionário AGRASS não pretende descrever exaustivamente todas as práticas de gestão da segurança, mas aquelas mais recomendadas internacionalmente e essenciais nacionalmente. Embora possa ser utilizado para auxiliar a inspeção de normas sanitárias, o instrumento não é um roteiro completo de inspeção, pois se limita a guiar a avaliação da gestão de riscos assistenciais.

Sugere-se a realização futura de estudos descritivos da aplicação deste instrumento em diferentes regiões do contexto nacional, além de análises de fatores associados aos bons ou maus resultados de implantação da gestão de riscos assistenciais.

CONCLUSÃO

O Questionário AGRASS é um instrumento considerado válido após cinco etapas de validação e potencialmente útil para a vigilância e mensuração da estrutura organizacional para a segurança do paciente em serviços de saúde brasileiros. O Sistema AGRASS, composto por um módulo mobile e outro módulo web , permite uma análise eficiente da implantação da gestão de riscos assistenciais, facilitando a institucionalização da avaliação com foco na segurança do paciente em serviços e sistemas de saúde, que é um componente prioritário e indispensável para a qualidade do cuidado de saúde.

Referências bibliográficas

Datas de Publicação

Histórico