RESUMO:

Objetivo:

Avaliar a validade e a confiabilidade da escala Johns Hopkins Fall Risk Assessment Tool (JH-FRAT) para avaliação do risco de quedas em pacientes hospitalizados.

Método:

Estudo retroativo com 297 pacientes de um hospital privado de São Paulo usando dados de 2014. A validade foi avaliada por meio da acurácia (sensibilidade, especificidade, valores preditivos positivo - VPP e negativo - VPN), da validade de critério, verificando-se as associações entre a classificação do risco pelas escalas JH-FRAT e Morse, e da análise discriminante (comparação dos pacientes com e sem quedas em relação aos itens da escala e verificação de situações prévias de risco em relação ao dano ocorrido). Foram utilizados os testes de associação χ². A confiabilidade foi avaliada por meio da reprodutibilidade teste-reteste interobservadores, usando as estatísticas Kappa ponderado quadrático e prevalence-adjusted and bias-adjusted Kappa (PABAK).

Resultados:

A sensibilidade foi de 97,0%, a especificidade, 14,6%, o VPP, 36,2%, e o VPN, 90,6%. A análise de critério mostrou associação (p < 0,0001) entre as avaliações pelas duas escalas. Cinco dos oito itens da escala e a classificação geral mostraram capacidade de discriminação do risco (p < 0,050). A reprodutibilidade interobservadores variou entre itens (PABAK de 0,25 a 1,00) e foi substancial na classificação do risco global (PABAK = 0,71).

Conclusão:

A JH-FRAT apresentou validade e confiabilidade esperadas para um instrumento de triagem do risco de quedas, podendo contribuir na aplicação de estratégias para a gestão de quedas em hospitais.

Palavras-chave:
Acurácia dos dados; Reprodutibilidade dos testes; Confiabilidade e validade; Pesquisa metodológica em enfermagem; Acidentes por quedas; Qualidade da assistência à saúde

INTRODUÇÃO

Quedas de pacientes hospitalizados são eventos adversos com repercussões negativas para pacientes e instituições¹1. Schwendimann R, Bühler H, De Geest S, Milisen K. Falls and consequent injuries in hospitalized patients: effects of an interdisciplinary falls prevention program. BMC Health Serv Res 2006; 6: 69. https://dx.doi.org/10.1186%2F1472-6963-6-69
https://dx.doi.org/10.1186%2F1472-6963-6... ^,22. National Health Services. National Patient Safety Agency. Slips, trips and falls in hospital: The third report from the Patient Safety Observatory. London: National Health Services; 2007.^,33. Oliver D, Healy F. Falls risk prediction tools for hospital inpatients: do they work? Nurs Times 2009; 105(7): 18-21.^,44. Cumbler EU, Simpson JR, Rosenthal LD, Likosky DJ. Inpatient falls: defining the problem and identifying possible solutions. Part I: An evidence-based review. Neurohospitalist 2013; 3(3): 135-43. https://doi.org/10.1177/1941874412470665
https://doi.org/10.1177/1941874412470665... ^,55. Martinez MC, Iwamoto VE, Latorre MRDO, Noronha AM, Oliveira APS, Cardoso CEA, et al. Transcultural adaptation of the Johns Hopkins Fall Risk Assessment Tool. Rev Latino-Am Enfermagem 2016; 24: e2783. http://dx.doi.org/10.1590/1518-8345.1158.2783
http://dx.doi.org/10.1590/1518-8345.1158... , cuja prevenção deve adotar práticas baseadas em evidências, tais como campainha de chamada ao alcance do paciente, leito hospitalar em posição baixa e tratamento de causas de confusão mental²2. National Health Services. National Patient Safety Agency. Slips, trips and falls in hospital: The third report from the Patient Safety Observatory. London: National Health Services; 2007.^,33. Oliver D, Healy F. Falls risk prediction tools for hospital inpatients: do they work? Nurs Times 2009; 105(7): 18-21.^,66. Johns Hopkins Hospital. Fall risk assessment, prevention and management, adult. In: Johns Hopkins Hospital, editor. Nursing practice and organization manual: clinical protocols and procedures. Baltimore: Johns Hopkins Hospital; 2011. v. 2.^,77. Martinez MC, Iwamoto VE, Noronha AM, Oliveira APS, Sant'Ana THS, Cardoso CEA. Avaliação do risco de quedas em pacientes internados: por que realizar e como conduzir? Revista ACRED 2016; 6(11): 136-45.^,88. Agency for Healthcare Research and Quality. Preventing falls in hospitals: a toolkit for improving quality of care. Rockvilee: Agency for Healthcare Research and Quality; 2013.. Entre as práticas preconizadas está o uso de escalas que identificam condições de risco para ocorrência de quedas, seja na forma de riscos específicos, seja na de estratificação do risco, direcionando intervenções compatíveis com as necessidades identificadas²2. National Health Services. National Patient Safety Agency. Slips, trips and falls in hospital: The third report from the Patient Safety Observatory. London: National Health Services; 2007.^,33. Oliver D, Healy F. Falls risk prediction tools for hospital inpatients: do they work? Nurs Times 2009; 105(7): 18-21.^,44. Cumbler EU, Simpson JR, Rosenthal LD, Likosky DJ. Inpatient falls: defining the problem and identifying possible solutions. Part I: An evidence-based review. Neurohospitalist 2013; 3(3): 135-43. https://doi.org/10.1177/1941874412470665
https://doi.org/10.1177/1941874412470665... ^,77. Martinez MC, Iwamoto VE, Noronha AM, Oliveira APS, Sant'Ana THS, Cardoso CEA. Avaliação do risco de quedas em pacientes internados: por que realizar e como conduzir? Revista ACRED 2016; 6(11): 136-45.^,88. Agency for Healthcare Research and Quality. Preventing falls in hospitals: a toolkit for improving quality of care. Rockvilee: Agency for Healthcare Research and Quality; 2013..

Entre os instrumentos disponíveis na literatura internacional, duas escalas passaram pelo processo de adaptação transcultural para uso no Brasil, a Morse Fall Scale⁹9. Urbanetto JS, Creutzberg M, Franz F, Ojeda BS, Gustavo AS, Bittencourt HR, et al. Morse fall scale: translation and transcultural adaptation for the Portuguese language. Rev Esc Enferm USP 2013; 47(3): 569-75. http://dx.doi.org/10.1590/S0080-623420130000300007
http://dx.doi.org/10.1590/S0080-62342013... e a Johns Hopkins Fall Risk Assessment Tool (JH-FRAT)⁵5. Martinez MC, Iwamoto VE, Latorre MRDO, Noronha AM, Oliveira APS, Cardoso CEA, et al. Transcultural adaptation of the Johns Hopkins Fall Risk Assessment Tool. Rev Latino-Am Enfermagem 2016; 24: e2783. http://dx.doi.org/10.1590/1518-8345.1158.2783
http://dx.doi.org/10.1590/1518-8345.1158... , ambas sem relato quanto às propriedades de medida da versão brasileira. Neste estudo, optou-se por avaliar as propriedades de medida da escala JH-FRAT por ser um instrumento com validade de conteúdo já demonstrada na versão brasileira, apresentando aplicabilidade em protocolos sistematizados e operacionalização simples⁵5. Martinez MC, Iwamoto VE, Latorre MRDO, Noronha AM, Oliveira APS, Cardoso CEA, et al. Transcultural adaptation of the Johns Hopkins Fall Risk Assessment Tool. Rev Latino-Am Enfermagem 2016; 24: e2783. http://dx.doi.org/10.1590/1518-8345.1158.2783
http://dx.doi.org/10.1590/1518-8345.1158... .

A JH-FRAT foi estruturada por profissionais do Johns Hopkins Hospital e da Johns Hopkins University School of Nursing para integração ao programa institucional de gestão de quedas em pacientes adultos hospitalizados⁶6. Johns Hopkins Hospital. Fall risk assessment, prevention and management, adult. In: Johns Hopkins Hospital, editor. Nursing practice and organization manual: clinical protocols and procedures. Baltimore: Johns Hopkins Hospital; 2011. v. 2.^,1010. Poe SS, Cvach MM, Gartrell DG, Radzik BR, Joy TL. An Evidence-based Approach to Fall Risk Assessment, Prevention and Management: Lessons Learned. J Nurs Care Qual 2005; 20(2): 107-16.^,1111. Poe SS, Cvach MM, Dawson PB, Straus H, Hill EE. The Johns Hopkins Fall Risk assessment Tool: Postimplementation Evaluation. J Nurs Care Qual 2007; 22(4): 293-8. https://doi.org/10.1097/01.NCQ.0000290408.74027.39
https://doi.org/10.1097/01.NCQ.000029040... . Essa escala foi estruturada com base em fatores de risco identificados na literatura - disponibilizando uma classificação do risco para direcionamento de medidas preventivas -, testada em pacientes e ajustada por um grupo de consenso¹⁰10. Poe SS, Cvach MM, Gartrell DG, Radzik BR, Joy TL. An Evidence-based Approach to Fall Risk Assessment, Prevention and Management: Lessons Learned. J Nurs Care Qual 2005; 20(2): 107-16.. Após dois anos de uso na instituição, foram avaliados a aceitabilidade e o conteúdo da escala, enfocando o relacionamento entre itens, o modelo de pontuação e a clareza e pertinência dos itens, resultando na definição da sua forma final e garantindo sua validade de conteúdo¹¹11. Poe SS, Cvach MM, Dawson PB, Straus H, Hill EE. The Johns Hopkins Fall Risk assessment Tool: Postimplementation Evaluation. J Nurs Care Qual 2007; 22(4): 293-8. https://doi.org/10.1097/01.NCQ.0000290408.74027.39
https://doi.org/10.1097/01.NCQ.000029040... .

As propriedades de medida da escala foram avaliadas em pacientes hospitalizados na Coreia do Sul¹²12. Kim KS, Kim JA, Choi YK, Kim YJ, Park MH, Kim HY, et al. A Comparative Study on the Validity of Fall Risk assessment Scales in Korean Hospitals. Asian Nurs Res 2011; 5(1): 28-37. https://doi.org/10.1016/S1976-1317(11)60011-X
https://doi.org/10.1016/S1976-1317(11)60... e em idosos em casas de saúde americanas¹³13. Hnizdo S, Archuleta RA, Taylor B, Kim SC. Validity and reliability of the modified John Hopkins Fall Risk Assessment Tool for elderly patients in home health care. Geriatr Nurs 2013; 34(5): 423-7. https://doi.org/10.1016/j.gerinurse.2013.05.011
https://doi.org/10.1016/j.gerinurse.2013... , mostrando sensibilidade e especificidade aceitáveis¹²12. Kim KS, Kim JA, Choi YK, Kim YJ, Park MH, Kim HY, et al. A Comparative Study on the Validity of Fall Risk assessment Scales in Korean Hospitals. Asian Nurs Res 2011; 5(1): 28-37. https://doi.org/10.1016/S1976-1317(11)60011-X
https://doi.org/10.1016/S1976-1317(11)60... ^,1313. Hnizdo S, Archuleta RA, Taylor B, Kim SC. Validity and reliability of the modified John Hopkins Fall Risk Assessment Tool for elderly patients in home health care. Geriatr Nurs 2013; 34(5): 423-7. https://doi.org/10.1016/j.gerinurse.2013.05.011
https://doi.org/10.1016/j.gerinurse.2013... . Esses estudos, porém, apresentam limitações metodológicas que dificultam a generalização dos resultados para outras populações.

Considerando que estudos prévios mostraram a JH-FRAT com propriedades de medida aceitáveis¹⁰10. Poe SS, Cvach MM, Gartrell DG, Radzik BR, Joy TL. An Evidence-based Approach to Fall Risk Assessment, Prevention and Management: Lessons Learned. J Nurs Care Qual 2005; 20(2): 107-16.^,1111. Poe SS, Cvach MM, Dawson PB, Straus H, Hill EE. The Johns Hopkins Fall Risk assessment Tool: Postimplementation Evaluation. J Nurs Care Qual 2007; 22(4): 293-8. https://doi.org/10.1097/01.NCQ.0000290408.74027.39
https://doi.org/10.1097/01.NCQ.000029040... ^,1212. Kim KS, Kim JA, Choi YK, Kim YJ, Park MH, Kim HY, et al. A Comparative Study on the Validity of Fall Risk assessment Scales in Korean Hospitals. Asian Nurs Res 2011; 5(1): 28-37. https://doi.org/10.1016/S1976-1317(11)60011-X
https://doi.org/10.1016/S1976-1317(11)60... ^,1313. Hnizdo S, Archuleta RA, Taylor B, Kim SC. Validity and reliability of the modified John Hopkins Fall Risk Assessment Tool for elderly patients in home health care. Geriatr Nurs 2013; 34(5): 423-7. https://doi.org/10.1016/j.gerinurse.2013.05.011
https://doi.org/10.1016/j.gerinurse.2013... e que há carência de avaliações de escalas de risco para quedas no Brasil, este estudo objetivou analisar as propriedades de medida da JH-FRAT para avaliação do risco de quedas em pacientes adultos hospitalizados.

MÉTODO

O estudo foi aprovado pelo Comitê de Ética em Pesquisa do Hospital Samaritano e seguiu os princípios da Declaração de Helsinki. Por utilizar dados secundários, ­dispensou-se o Termo de Consentimento Livre e Esclarecido. Foi obtida autorização dos autores da JH-FRAT e da versão brasileira da escala Morse para uso no estudo.

A população-alvo foi composta de pacientes adultos internados em um hospital privado de alta complexidade na cidade de São Paulo que utiliza um protocolo de gerenciamento de quedas desde 2005, com implantação da JH-FRAT no fim de 2013. O protocolo prevê a avaliação diária dos riscos individuais por meio da JH-FRAT, com adoção de medidas preventivas de acordo com os riscos de cada paciente e de medidas de precauções universais, como manutenção de luzes noturnas ativadas, sinalização do risco e ambiente livre de obstáculos. A avaliação era realizada por enfermeiros e registrada em prontuário eletrônico. Para este estudo foram usados os dados de 2014, após um período de treinamento e consolidação da rotina pela equipe de enfermagem.

Trata-se de um estudo caso-controle. Foram incluídos pacientes dos setores de internação de pacientes adultos (clínico, cirúrgico, oncologia, ginecologia e obstetrícia e tratamento intensivo), com ampla variedade de condições clínicas. Foram selecionados 100,0% dos pacientes com registro de quedas em 2014 (99 casos) e 198 pacientes sem quedas (dois controles para cada caso), totalizando uma amostra de 297 indivíduos. Para controles foram selecionados pacientes internados no quarto ao lado do paciente com evento de queda, no mesmo setor de internação e na mesma data da queda, de forma a homogeneizar as características da assistência recebida. Não foram utilizados outros critérios de pareamento, visando preservar diferenças quanto a outros potenciais fatores de risco que integram a estrutura operacional da JH-FRAT. Alguns pacientes tiveram mais de um evento de queda, sendo cada um deles avaliado independentemente. Para os pacientes com quedas, considerou-se a última avaliação dentro das 24 horas anteriores à queda. Para os pacientes sem quedas, foi utilizada a mesma data correspondente aos pacientes com quedas. Foram excluídos indivíduos com menos de 18 anos de idade e/ou permanência de internação inferior a 24 horas.

Cinco enfermeiros pesquisadores coletaram os dados retroativamente a partir do prontuário eletrônico, utilizando um formulário composto de campos de identificação (nº de prontuário, nº de atendimento, idade, data de avaliação, setor de internação), pelos itens da escala JH-FRAT e da escala Morse. Também foram obtidos dados a partir das fichas de notificação de queda, preenchidas por enfermeiras assistenciais.

A escala JH-FRAT é composta de oito aspectos de risco para queda¹¹11. Poe SS, Cvach MM, Dawson PB, Straus H, Hill EE. The Johns Hopkins Fall Risk assessment Tool: Postimplementation Evaluation. J Nurs Care Qual 2007; 22(4): 293-8. https://doi.org/10.1097/01.NCQ.0000290408.74027.39
https://doi.org/10.1097/01.NCQ.000029040... :

A somatória dos pontos dos itens 2 a 8 fornece um escore de 0 a 35 pontos, que é categorizado em risco baixo (0-5 pontos), moderado (6-13 pontos) e alto (≥ 14 pontos)¹¹11. Poe SS, Cvach MM, Dawson PB, Straus H, Hill EE. The Johns Hopkins Fall Risk assessment Tool: Postimplementation Evaluation. J Nurs Care Qual 2007; 22(4): 293-8. https://doi.org/10.1097/01.NCQ.0000290408.74027.39
https://doi.org/10.1097/01.NCQ.000029040... . O item 1 da escala não entra no cômputo, apenas na classificação do risco. Mais detalhes sobre a escala são descritos na literatura⁵5. Martinez MC, Iwamoto VE, Latorre MRDO, Noronha AM, Oliveira APS, Cardoso CEA, et al. Transcultural adaptation of the Johns Hopkins Fall Risk Assessment Tool. Rev Latino-Am Enfermagem 2016; 24: e2783. http://dx.doi.org/10.1590/1518-8345.1158.2783
http://dx.doi.org/10.1590/1518-8345.1158... ^,66. Johns Hopkins Hospital. Fall risk assessment, prevention and management, adult. In: Johns Hopkins Hospital, editor. Nursing practice and organization manual: clinical protocols and procedures. Baltimore: Johns Hopkins Hospital; 2011. v. 2.^,1111. Poe SS, Cvach MM, Dawson PB, Straus H, Hill EE. The Johns Hopkins Fall Risk assessment Tool: Postimplementation Evaluation. J Nurs Care Qual 2007; 22(4): 293-8. https://doi.org/10.1097/01.NCQ.0000290408.74027.39
https://doi.org/10.1097/01.NCQ.000029040... .

A escala Morse¹⁴14. Morse JM. Preventing patient falls. California: Thousand Oaks; 1997. mostrou acurácia satisfatória na identificação de pacientes com alto risco de quedas em estudos internacionais¹⁵15. Baek S, Piao J, Jin Y, Lee SM. Validity of the Morse Fall Scale implemented in an electronic medical record system. J Clin Nurs 2014; 23(17-18): 2434-40. https://doi.org/10.1111/jocn.12359
https://doi.org/10.1111/jocn.12359... ^,1616. Costa-Dias MJM, Martins T, Araújo F. Study of the cut-off point of the Morse Fall Scale (MFS). Rev Enf Ref 2014; serIV(1): 65-74. http://dx.doi.org/10.12707/RIII13101
http://dx.doi.org/10.12707/RIII13101... . Ela é composta de seis aspectos (histórico de quedas; diagnósticos secundários; auxílio na deambulação; terapia/dispositivos endovenosos; marcha; e estado mental), com pontuações variando de 0 a 30, fornecendo um escore de 0 a 125 pontos categorizado em risco baixo (0-24 pontos), médio (25-44 pontos) e alto (≥ 45 pontos)⁹9. Urbanetto JS, Creutzberg M, Franz F, Ojeda BS, Gustavo AS, Bittencourt HR, et al. Morse fall scale: translation and transcultural adaptation for the Portuguese language. Rev Esc Enferm USP 2013; 47(3): 569-75. http://dx.doi.org/10.1590/S0080-623420130000300007
http://dx.doi.org/10.1590/S0080-62342013... .

Neste estudo, a validade foi avaliada por meio das análises de acurácia, de critério (análise concorrente) e discriminante, e a confiabilidade, por meio da análise de reprodutibilidade.

Escalas para a avaliação do risco de quedas são consideradas testes diagnósticos do risco para o evento (queda)¹⁷17. Aranda-Gallardo M, Morales-Asencio JM, Canca-Sanchez JC, Barrero-Sojo S, Perez-Jimenez C, Morales-Fernandez A, et al. Instruments for assessing the risk of falls in acute hospitalized patients: a systematic review and meta-analysis. BMC Health Serv Res 2013; 13: 122. https://dx.doi.org/10.1186%2F1472-6963-13-122
https://dx.doi.org/10.1186%2F1472-6963-1... . A validade dos testes diagnósticos é analisada por meio de estudos de acurácia, nos quais os resultados de um teste aplicado a uma população são comparados aos obtidos por um padrão ouro¹⁷17. Aranda-Gallardo M, Morales-Asencio JM, Canca-Sanchez JC, Barrero-Sojo S, Perez-Jimenez C, Morales-Fernandez A, et al. Instruments for assessing the risk of falls in acute hospitalized patients: a systematic review and meta-analysis. BMC Health Serv Res 2013; 13: 122. https://dx.doi.org/10.1186%2F1472-6963-13-122
https://dx.doi.org/10.1186%2F1472-6963-1... ^,1818. Glaros AG, Kline RB. Understanding the accuracy of tests with cutting scores: the sensitivity, specificity, and predictive value model. J Clin Psychol 1988; 44(6): 1013-23.^,1919. Parikh R, Mathai A, Parikh S, Sekhar GC, Thomas R. Understanding and using sensitivity, specificity and predictive values. Indian J Ophthalmol 2008; 56(1): 45-50.. Nesse caso, o teste é a JH-FRAT e o padrão ouro, a ocorrência de queda. A análise de acurácia verificou a sensibilidade, a especificidade, os valores preditivos positivo (VPP) e negativo (VPN) e as razões de verossimilhança positiva (RVP) e negativa (RVN). A sensibilidade avalia a probabilidade de um teste ser positivo quando existe a doença e consiste no cálculo da prevalência de expostos entre os eventos; a especificidade avalia a probabilidade de um teste ser negativo quando não existe a doença e consiste no cálculo da prevalência de não expostos entre os não eventos; o VPP avalia a probabilidade de existir a doença quando o teste foi positivo e consiste no cálculo da prevalência de eventos entre os expostos; e o VPN avalia a probabilidade de não existir a doença quando o teste foi negativo e consiste no cálculo da prevalência de não eventos entre os não expostos. A RVP informa a probabilidade de um resultado positivo ocorrer em uma pessoa com a doença em relação à probabilidade de ocorrência em uma pessoa sem a doença. A RVN informa a probabilidade de um resultado negativo ocorrer em uma pessoa com a doença em relação à probabilidade de ocorrência em uma pessoa sem a doença³3. Oliver D, Healy F. Falls risk prediction tools for hospital inpatients: do they work? Nurs Times 2009; 105(7): 18-21.^,2020. Streiner DL. Diagnosing Tests: Using and Misusing Diagnostic and Screening Tests. J Personal Assess 2003; 81(3): 209-9. https://doi.org/10.1207/S15327752JPA8103_03
https://doi.org/10.1207/S15327752JPA8103... ^,2121. Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Parte I - Introdução a conceitos teóricos. In: Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica, editor. Série A. Normas e Manuais Técnicos: Cadernos de Atenção Primária: Rastreamento. Brasília: Ministério da Saúde; 2010. n. 29. p. 17-23.. Como exposição foi considerado o risco de quedas (escala JH-FRAT), e as análises consideraram dois cenários:

A validade de critério compara a escala em escrutínio a um padrão válido que prediga o mesmo desempenho²²22. Pasquali L. Validade dos testes psicológicos: será possível reencontrar o caminho? Psic Teor e Pesq 2007; 23(n. esp.):99-107. http://dx.doi.org/10.1590/S0102-37722007000500019
http://dx.doi.org/10.1590/S0102-37722007... ^,2323. Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. COSMIN checklist manual. COSMIN. Amsterdam: University Medical Center, Department of Epidemiology and Biostatistics, Institute for Health and Care Research; 2012., sendo concorrente quando instrumento e critério são aplicados simultaneamente²²22. Pasquali L. Validade dos testes psicológicos: será possível reencontrar o caminho? Psic Teor e Pesq 2007; 23(n. esp.):99-107. http://dx.doi.org/10.1590/S0102-37722007000500019
http://dx.doi.org/10.1590/S0102-37722007... . A validade de critério concorrente investigou as associações entre a classificação do risco pela JH-FRAT e pela Morse utilizando o teste do χ².

A análise discriminante verifica se um teste é capaz de identificar diferenças quanto a uma característica dos sujeitos²²22. Pasquali L. Validade dos testes psicológicos: será possível reencontrar o caminho? Psic Teor e Pesq 2007; 23(n. esp.):99-107. http://dx.doi.org/10.1590/S0102-37722007000500019
http://dx.doi.org/10.1590/S0102-37722007... . Verificou-se se cada um dos oito itens da escala era capaz de discriminar a presença do risco específico entre os pacientes com e sem quedas utilizando o teste do χ².

Ainda na análise discriminante, verificou-se se situações prévias definidoras do risco (item 1 da escala) estavam associadas à gravidade do dano entre os eventos de queda, por meio do teste do χ². A gravidade do dano foi classificada, a partir de uma adaptação de Schwendimann et al.¹1. Schwendimann R, Bühler H, De Geest S, Milisen K. Falls and consequent injuries in hospitalized patients: effects of an interdisciplinary falls prevention program. BMC Health Serv Res 2006; 6: 69. https://dx.doi.org/10.1186%2F1472-6963-6-69
https://dx.doi.org/10.1186%2F1472-6963-6... em:

A análise da reprodutibilidade foi realizada por meio da comparação teste-reteste interobservadores, com uma subamostra aleatória de 60 pacientes. Dois pesquisadores avaliaram de forma independente o mesmo paciente por meio da escala JH-FRAT, com base na mesma data de referência, a partir de dados registrados em prontuário eletrônico. Foram utilizadas as estatísticas Kappa ponderado quadrático e prevalence-adjusted and bias-adjusted Kappa (PABAK). Para a interpretação dos resultados, foram usados os critérios de Landis & Koch²⁴24. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33(1): 159-74..

Em todas as análises foi considerado nível de significância de 5%. Foram utilizados os softwares SPSS (versão 23), STATA (versão 14) e WinPepi (versão 11.65).

RESULTADOS

A Tabela 1 mostra que a população de estudo foi composta de 297 pacientes, sendo 50,8% mulheres e 49,2% homens; 55,9% com idade a partir de 60 anos; 63,0% casadas(os)/com companheiros(as); 46,1% com ensino superior completo; 14,1% em unidades de terapia intensiva; e 85,9% em unidades abertas. Os pacientes com e sem quedas não apresentaram diferenças quanto a sexo (p = 0,870), faixa etária (p = 0,200), estado civil (0,159), escolaridade (0,189) e procedência da internação (p = 0,667). Observou-se que 10,8% dos pacientes tinham baixo risco de quedas, sendo 3,0% entre aqueles com quedas e 14,6% entre os sem quedas. Pacientes com alto risco de quedas tiveram maior percentual de ocorrência de eventos (62,6%) do que os demais (44,9%) (p = 0,002).

A análise de acurácia do cenário 1 mostrou sensibilidade = 97,0%; especificidade = 14,6%; VPP = 36,2%; VPN = 90,6%; RVP = 1,14; e RPN = 4,83. O cenário 2 mostrou sensibilidade = 62,6%; especificidade = 55,1%; VPP = 41,1%; VPN = 74,7%; RVP = 1,39; e RVN = 1,47.

A Tabela 2 mostra que, na validade de critério concorrente, houve associação estatisticamente significativa entre as duas escalas (p < 0,001). A maior proporção de pacientes classificados como baixo risco pela JH-FRAT foi classificada como baixo risco pela Morse (46,9%); a maior proporção de pacientes classificados como risco moderado pela JH-FRAT foi classificada dessa forma pela Morse (53,5%); e a maior proporção de pacientes classificados como alto risco pela JH-FRAT foi assim classificada pela Morse (57,6%). Quando risco moderado e alto são agrupados, a semelhança nos resultados entre as duas escalas sobe para 90,2%.

A análise discriminante mostrou quais itens da escala tiveram diferença estatisticamente significativa quanto à presença do risco específico (Tabela 3). No item “histórico de quedas”, 18,2% dos pacientes com evento tiveram história de uma queda nos seis meses anteriores à internação contra 2,5% daqueles sem queda (p < 0,001). No item “uso de medicamentos de alto risco para quedas”, a categoria “2 ou mais medicamentos” foi observada em 70,7% dos pacientes com evento e em 53,5% daqueles sem evento, e a sedação nas últimas 24 horas ocorreu em 3,0% dos pacientes com quedas e em 9,1% daqueles sem quedas (p = 0,027). Os resultados da categoria “sedação nas últimas 24 horas” são diferentes do esperado, mas o pequeno número de casos de queda (3 pacientes) não tem estabilidade estatística. O item “equipamentos comprometendo a mobilidade” mostrou que ≥ 3 equipamentos estiveram presentes em 5,1% dos pacientes com evento e em 11,1% daqueles sem evento (p = 0,040). Novamente, os resultados podem sofrer viés do pequeno número de sujeitos com quedas (cinco pacientes). No item “mobilidade comprometida”, os pacientes com eventos tiveram maiores percentuais do que aqueles sem eventos em todas as categorias avaliadas (p = 0,003). O mesmo ocorreu no item “cognição” (p < 0,001).

Ainda na análise da validade discriminante, as situações prévias definidoras do risco (item 1 da escala) não apresentaram associação com o(s) dano(s) decorrentes da queda (p = 0,557).

A Tabela 4 mostra os resultados da análise de confiabilidade por meio da reprodutibilidade interobservadores. Os valores do Kappa ponderado quadrático variaram de 0,15 a 1,00. Houve melhora após ajuste por prevalência e viés, com PABAK variando de 0,25 a 1,00. O item “situações prévias de risco” apresentou reprodutibilidade razoável (PABAK = 0,24). Para os demais itens foi observada reprodutibilidade substancial ou quase perfeita (PABAK de 0,60 a 1,00), e a classificação do risco global apresentou reprodutibilidade substancial (PABAK = 0,71).

DISCUSSÃO

O estudo analisou se a escala JH-FRAT é válida e confiável para a avaliação do risco de quedas em pacientes adultos internados. Os resultados sugerem que a JH-FRAT tem melhor sensibilidade no ponto de corte > 6 do escore, agrupando pacientes de risco moderado e alto na mesma categoria. Uma explicação para tal é a existência de um protocolo gerenciado para quedas na instituição de estudo, onde pacientes em determinadas condições (risco de sangramento, fragilidade óssea, entre outras) são classificados como de alto risco segundo o item 1 da escala (situações prévias definidoras de risco). Uma versão modificada da JH-FRAT avaliando 107 pacientes ambulatoriais a partir de 65 anos em casas de saúde no sul da Califórnia mostrou sensibilidade de 100,0% no ponto de corte > 6 e de 86,2% no ponto de corte > 13¹³13. Hnizdo S, Archuleta RA, Taylor B, Kim SC. Validity and reliability of the modified John Hopkins Fall Risk Assessment Tool for elderly patients in home health care. Geriatr Nurs 2013; 34(5): 423-7. https://doi.org/10.1016/j.gerinurse.2013.05.011
https://doi.org/10.1016/j.gerinurse.2013... . Um estudo utilizando a JH-FRAT com 356 pacientes maiores de 18 anos em cinco hospitais-escola gerais na Coreia do Sul, com ponto de corte > 13 pontos, mostrou sensibilidade de 62,0%¹²12. Kim KS, Kim JA, Choi YK, Kim YJ, Park MH, Kim HY, et al. A Comparative Study on the Validity of Fall Risk assessment Scales in Korean Hospitals. Asian Nurs Res 2011; 5(1): 28-37. https://doi.org/10.1016/S1976-1317(11)60011-X
https://doi.org/10.1016/S1976-1317(11)60... .

A JH-FRAT mostrou melhor especificidade no ponto de corte > 13, separando os pacientes de risco alto dos demais. Sensibilidade e especificidade são inversamente proporcionais¹⁹19. Parikh R, Mathai A, Parikh S, Sekhar GC, Thomas R. Understanding and using sensitivity, specificity and predictive values. Indian J Ophthalmol 2008; 56(1): 45-50.^,2121. Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Parte I - Introdução a conceitos teóricos. In: Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica, editor. Série A. Normas e Manuais Técnicos: Cadernos de Atenção Primária: Rastreamento. Brasília: Ministério da Saúde; 2010. n. 29. p. 17-23., e a sensibilidade foi elevada. Considerando que as ações sistematizadas preveniram a ocorrência de quedas, houve aumento do número de falso-positivos (pacientes em risco, porém sem quedas), com consequente diminuição da especificidade. O diagnóstico de uma condição e a exclusão dos falso-positivos são definidos por exames confirmatórios que devem ter alta especificidade, mas são subsequentes aos exames de rastreamento²¹21. Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Parte I - Introdução a conceitos teóricos. In: Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica, editor. Série A. Normas e Manuais Técnicos: Cadernos de Atenção Primária: Rastreamento. Brasília: Ministério da Saúde; 2010. n. 29. p. 17-23.. O estudo no sul da Califórnia mostrou especificidade de 0,0% no ponto de corte > 6 e de 49,3% no ponto de corte > 13 pontos¹³13. Hnizdo S, Archuleta RA, Taylor B, Kim SC. Validity and reliability of the modified John Hopkins Fall Risk Assessment Tool for elderly patients in home health care. Geriatr Nurs 2013; 34(5): 423-7. https://doi.org/10.1016/j.gerinurse.2013.05.011
https://doi.org/10.1016/j.gerinurse.2013... . O estudo na Coreia do Sul, com ponto de corte > 13 pontos, mostrou especificidade de 69,5%¹²12. Kim KS, Kim JA, Choi YK, Kim YJ, Park MH, Kim HY, et al. A Comparative Study on the Validity of Fall Risk assessment Scales in Korean Hospitals. Asian Nurs Res 2011; 5(1): 28-37. https://doi.org/10.1016/S1976-1317(11)60011-X
https://doi.org/10.1016/S1976-1317(11)60... .

Os VPPs mostram que 63,8% (no corte > 6) e 58,9% (no corte > 13) dos pacientes com teste positivo para risco receberam cuidados preventivos desnecessários para quedas. Essa interpretação deve ser cautelosa. O aumento da prevalência do evento determina o aumento do VPP e a diminuição do VPN, e ambos dependem do contexto em que o teste é aplicado¹⁶16. Costa-Dias MJM, Martins T, Araújo F. Study of the cut-off point of the Morse Fall Scale (MFS). Rev Enf Ref 2014; serIV(1): 65-74. http://dx.doi.org/10.12707/RIII13101
http://dx.doi.org/10.12707/RIII13101... ^,1818. Glaros AG, Kline RB. Understanding the accuracy of tests with cutting scores: the sensitivity, specificity, and predictive value model. J Clin Psychol 1988; 44(6): 1013-23.^,2020. Streiner DL. Diagnosing Tests: Using and Misusing Diagnostic and Screening Tests. J Personal Assess 2003; 81(3): 209-9. https://doi.org/10.1207/S15327752JPA8103_03
https://doi.org/10.1207/S15327752JPA8103... . Considerando que o efeito da população “tratada” reduz a ocorrência de quedas entre os portadores de risco, pode ocorrer viés ao diminuir o VPP e elevar o VPN. O estudo no sul da Califórnia mostrou VPP de 39,7% e VPN de 92,9% no ponto de corte > 13 pontos¹³13. Hnizdo S, Archuleta RA, Taylor B, Kim SC. Validity and reliability of the modified John Hopkins Fall Risk Assessment Tool for elderly patients in home health care. Geriatr Nurs 2013; 34(5): 423-7. https://doi.org/10.1016/j.gerinurse.2013.05.011
https://doi.org/10.1016/j.gerinurse.2013... . O estudo na Coreia do Sul, com ponto de corte > 13 pontos, mostrou VPP de 33,6% e VPN de 86,0%¹²12. Kim KS, Kim JA, Choi YK, Kim YJ, Park MH, Kim HY, et al. A Comparative Study on the Validity of Fall Risk assessment Scales in Korean Hospitals. Asian Nurs Res 2011; 5(1): 28-37. https://doi.org/10.1016/S1976-1317(11)60011-X
https://doi.org/10.1016/S1976-1317(11)60... .

A RV oferece uma medida de razão de chances, combinando sensibilidade e especificidade no mesmo indicador²⁰20. Streiner DL. Diagnosing Tests: Using and Misusing Diagnostic and Screening Tests. J Personal Assess 2003; 81(3): 209-9. https://doi.org/10.1207/S15327752JPA8103_03
https://doi.org/10.1207/S15327752JPA8103... . Os resultados foram maiores que 1,00 e, portanto, contribuem para a identificação do risco²⁰20. Streiner DL. Diagnosing Tests: Using and Misusing Diagnostic and Screening Tests. J Personal Assess 2003; 81(3): 209-9. https://doi.org/10.1207/S15327752JPA8103_03
https://doi.org/10.1207/S15327752JPA8103... , especialmente a RVN do cenário 1, em que os pacientes sem quedas tiveram 4,83 vezes a chance de obter classificação de baixo risco quando comparados aos demais.

Para um teste de triagem, a característica mais importante é a sensibilidade, com elevada taxa de verdadeiro-positivos e baixa taxa de falso-negativos²⁰20. Streiner DL. Diagnosing Tests: Using and Misusing Diagnostic and Screening Tests. J Personal Assess 2003; 81(3): 209-9. https://doi.org/10.1207/S15327752JPA8103_03
https://doi.org/10.1207/S15327752JPA8103... ^,2121. Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Parte I - Introdução a conceitos teóricos. In: Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica, editor. Série A. Normas e Manuais Técnicos: Cadernos de Atenção Primária: Rastreamento. Brasília: Ministério da Saúde; 2010. n. 29. p. 17-23.. A JH-FRAT, instrumento para triagem de risco, mostrou elevada sensibilidade.

A análise da validade de critério concorrente mostrou equivalências entre as classificações do risco das duas escalas (JH-FRAT e Morse), com melhor desempenho quando os riscos moderado e alto são agrupados, sugerindo que a JH-FRAT tem maior validade ao separar os pacientes de baixo risco dos demais.

Cinco dos oito itens da JH-FRAT e a classificação geral do risco discriminaram o risco, com maiores prevalências entre pacientes com quedas do que entre aqueles sem quedas, conforme o esperado.

As situações prévias definidoras do risco (item 1 da escala) não foram capazes de discriminar o tipo de dano decorrente da queda. Esses resultados podem ter viés decorrente do protocolo institucional, reduzindo tanto a ocorrência quanto a gravidade das quedas.

A prevalência de pacientes classificados como risco moderado/alto, tanto pela JH-FRAT quanto pela Morse, foi de 90,2%. Um paradoxo nas análises de reprodutibilidade por meio do Kappa pode ser induzido por elevada prevalência da condição analisada, podendo ser ajustado pela estatística PABAK²⁵25. Sim J, Wright CC. The Kappa statistic in reliability studies: use, interpretation, and sample size requirements. Phys Ther 2005; 85(3): 257-68.. A reprodutibilidade entre testes mostrou substancial concordância após ajuste por essa estatística.

As medidas teste-reteste interobservadores mostraram concordância substancial ou quase perfeita após o uso da estatística PABAK em todos os itens, exceto nas “situações prévias de risco”. Os resultados obtidos pelo Kappa ponderado quadrático apresentaram melhora após correção pela estatística PABAK, apontando para o paradoxo já citado. O estudo no sul da Califórnia também mostrou concordância substancial ou quase perfeita na maioria dos itens e na classificação geral (ponto de corte ≥ 14)¹³13. Hnizdo S, Archuleta RA, Taylor B, Kim SC. Validity and reliability of the modified John Hopkins Fall Risk Assessment Tool for elderly patients in home health care. Geriatr Nurs 2013; 34(5): 423-7. https://doi.org/10.1016/j.gerinurse.2013.05.011
https://doi.org/10.1016/j.gerinurse.2013... .

O estudo apresenta algumas limitações. A mais importante é o fato de reunir uma população “tratada”, já que intervenções preventivas reduzem a ocorrência e a gravidade dos eventos, podendo alterar os desfechos e a acurácia de uma escala de avaliação de risco²⁶26. Oliver D, Daly F, Martin FC, McMurdo MET. Risck factors and risk assessment tools for falls in hospital in-patients: a systematic review. Age Ageing 2004; 33(2): 122-30. https://doi.org/10.1093/ageing/afh017
https://doi.org/10.1093/ageing/afh017... ^,2727. Milisen K, Staelens N, Schwendimann R, De Paepe L, Verhaeghe J, Braes T, et al. Fall Prediction in Inpatients by Bedside Nurses Using the St. Thomas's Risk Assessment Tool in Falling Elderly Inpatients (STRATIFY) Instrument: A Multicenter Study. J Am Geriatr Soc 2007; 55(5): 725-33. https://doi.org/10.1111/j.1532-5415.2007.01151.x
https://doi.org/10.1111/j.1532-5415.2007... . Outra limitação refere-se à utilização de dados coletados retrospectivamente, tipo de coleta que é afetado pela qualidade dos dados disponíveis²⁸28. Dawson-Saunder B, Trapp RG. Reading the medical literature. In: Dawson-Saunder B, Trapp RG, editores. Basic & Clinical Biostatistics. Connecticut: Appleton & Lange; 1994. p. 268-88.. Por fim, o número relativamente pequeno de quedas avaliado pode ter gerado algum viés.

Quedas são eventos sensíveis às práticas assistenciais e podem ser prevenidas por meio de abordagens sistematizadas em programas institucionais²2. National Health Services. National Patient Safety Agency. Slips, trips and falls in hospital: The third report from the Patient Safety Observatory. London: National Health Services; 2007.^,33. Oliver D, Healy F. Falls risk prediction tools for hospital inpatients: do they work? Nurs Times 2009; 105(7): 18-21.^,44. Cumbler EU, Simpson JR, Rosenthal LD, Likosky DJ. Inpatient falls: defining the problem and identifying possible solutions. Part I: An evidence-based review. Neurohospitalist 2013; 3(3): 135-43. https://doi.org/10.1177/1941874412470665
https://doi.org/10.1177/1941874412470665... ^,55. Martinez MC, Iwamoto VE, Latorre MRDO, Noronha AM, Oliveira APS, Cardoso CEA, et al. Transcultural adaptation of the Johns Hopkins Fall Risk Assessment Tool. Rev Latino-Am Enfermagem 2016; 24: e2783. http://dx.doi.org/10.1590/1518-8345.1158.2783
http://dx.doi.org/10.1590/1518-8345.1158... ^,1515. Baek S, Piao J, Jin Y, Lee SM. Validity of the Morse Fall Scale implemented in an electronic medical record system. J Clin Nurs 2014; 23(17-18): 2434-40. https://doi.org/10.1111/jocn.12359
https://doi.org/10.1111/jocn.12359... ^,2626. Oliver D, Daly F, Martin FC, McMurdo MET. Risck factors and risk assessment tools for falls in hospital in-patients: a systematic review. Age Ageing 2004; 33(2): 122-30. https://doi.org/10.1093/ageing/afh017
https://doi.org/10.1093/ageing/afh017... . Os melhores resultados são obtidos pela combinação de múltiplas intervenções, inclusive a avaliação individualizada dos riscos e as precauções universais⁴4. Cumbler EU, Simpson JR, Rosenthal LD, Likosky DJ. Inpatient falls: defining the problem and identifying possible solutions. Part I: An evidence-based review. Neurohospitalist 2013; 3(3): 135-43. https://doi.org/10.1177/1941874412470665
https://doi.org/10.1177/1941874412470665... ^,88. Agency for Healthcare Research and Quality. Preventing falls in hospitals: a toolkit for improving quality of care. Rockvilee: Agency for Healthcare Research and Quality; 2013.. O uso de intervenções multifacetadas pode reduzir em até 18,0% a ocorrência de quedas, mas essa redução pode variar em função da quantidade e do tipo de ações²2. National Health Services. National Patient Safety Agency. Slips, trips and falls in hospital: The third report from the Patient Safety Observatory. London: National Health Services; 2007.. Os resultados mostraram a JH-FRAT como válida e confiável em termos de acurácia, capacidade discriminante e concordância na reprodutibilidade, confirmando-a como instrumento para triagem do risco de quedas e trazendo contribuições para profissionais e instituições interessados no uso de estratégias baseadas em evidências para a gestão de quedas em hospitais.

Há poucos estudos sobre a validade e a confiabilidade da JH-FRAT, e a presente pesquisa é a primeira no Brasil. É recomendável a realização de novos estudos com maiores grupos de pacientes hospitalizados, preferencialmente com corte prospectivo. Não ocorrendo conflitos éticos, são desejáveis a realização de estudos em populações “não tratadas” e a comparação de resultados antes e após a implantação de protocolos preventivos.

CONCLUSÕES

O estudo sugere que a versão brasileira da escala JH-FRAT tem validade e confiabilidade satisfatórias em termos de acurácia, critério, capacidade discriminante e reprodutibilidade. Ela pode ser utilizada na avaliação do risco de quedas em pacientes internados, subsidiando o direcionamento de ações preventivas. Este é o primeiro estudo no Brasil a avaliar a JH-FRAT e apresenta limitações, sendo desejáveis novas pesquisas.

AGRADECIMENTOS

Os autores agradecem ao Hospital Samaritano de São Paulo pelo apoio e suporte no desenvolvimento do estudo por meio da disponibilização de equipamentos, materiais e recursos humanos, sem os quais a pesquisa não seria possível.

REFERÊNCIAS

Datas de Publicação

Histórico