Resumo:

Estudos indicam a importância de incluir a experiência do usuário na medição da usabilidade de dispositivos médicos. Contudo, a avaliação atribuída pelo usuário depende do contexto de uso recebido no tratamento. Para medir a usabilidade de forma a separar esses efeitos e compreender as fontes que afetam a percepção do usuário, este artigo tem por objetivo propor uma estratégia de análise que avalia o efeito do contexto de uso na medição de usabilidade do dispositivo. Na sequência, são criados indicadores livres desses efeitos para compreender a avaliação global do dispositivo. Para atingir os objetivos, as técnicas de análise de variância multivariada e análise fatorial exploratória são empregadas. O estudo é ilustrado por meio de uma survey com pacientes em tratamento de hemodiálise, conduzido em hospitais e clínicas na cidade de Porto Alegre, Rio Grande do Sul, Brasil, com a participação de 200 pacientes. Os resultados apontam que a avaliação do dispositivo médico difere (p < 0,05) de acordo com o ambiente, a posição da fístula, o gênero, a idade e a escolaridade do paciente. O ambiente mostrou influência sobre um maior número de variáveis, afetando, inclusive, o grau de confiança nos procedimentos. Três indicadores foram criados: procedimentos de uso, ambiente e aspectos da máquina. Os indicadores permitiram avaliar quais marcas, tipos de procedimentos e quais ambientes têm melhores resultados. O método empregado pode ser replicado em casos de avaliação de dispositivos médicos, capacitando os gestores de saúde a avaliar a usabilidade por meio de indicadores sintéticos e identificar aspectos para melhorar a usabilidade no tratamento médico.

Palavras-chave:
Avaliação da Tecnologia Biomédica; Diálise Renal; Satisfação do Paciente

Abstract:

Studies have shown the importance of including the user’s experience in measuring the usability of medical devices. Still, the user’s assessment depends on the context of use for the treatment received. To measure the usability in such a way as to separate these effects and understand the sources affecting users’ perceptions, the article proposes an analytical strategy that assesses the effect of the context of use on measuring the device’s usability. Next, we create indicators that are free of these effects to understand the overall assessment of the device. Multivariate analysis of variance and exploratory factor analysis are used to achieve the objectives. The study is illustrated by means of a survey of 200 hemodialysis patients in hospitals and clinics in Porto Alegre, Rio Grande do Sul State, Brazil. The results suggest that assessment of the medical device differs (p < 0.05) according to the setting, fistula site, and patient’s sex, age, and schooling. The setting influenced the most variables, including the degree of trust in the procedures. Three indicators were created: procedures, treatment setting, and device characteristics. The indicators allowed assessing which equipment brands, types of procedures, and treatment settings provide the best results. The method can be replicated in the assessment of medical devices, training health administrators, and assessing usability through summary indicators, besides identifying aspects to improve usability in medical treatment.

Keywords:
Biomedical Technology Assessment; Renal Dialysis; Patient Satisfaction

Resumen:

Estudios indican la importancia de incluir la experiencia del usuario en la medición de la facilidad de uso de dispositivos médicos. No obstante, la evaluación atribuida por el usuario depende del contexto de uso recibido en el tratamiento. Para medir la facilidad de uso, de forma que se separen esos efectos, así como comprender las fuentes que afectan la percepción del usuario, este artículo tiene como objetivo proponer una estrategia de análisis que evalúa el efecto del contexto de uso en la medición de la facilidad de uso del dispositivo. En la secuencia, se crean indicadores libres de esos efectos para comprender la evaluación global del dispositivo. Para alcanzar los objetivos se emplean técnicas de análisis de variancia multivariada y análisis factorial exploratorio. El estudio está ilustrado mediante una encuesta con pacientes en tratamiento de hemodiálisis, realizados en hospitales y clínicas en la ciudad de Porto Alegre, Rio Grande do Sul, Brasil, con la participación de 200 pacientes. Los resultados apuntan que la evaluación del dispositivo médico difiere (p < 0,05), de acuerdo al ambiente, posición de la fístula, género, edad y escolaridad del paciente. El ambiente mostró influencia sobre un mayor número de variables, afectando, inclusive, el grado de confianza en los procedimientos. Se crearon tres indicadores: procedimientos de uso, ambiente y aspectos de la máquina. Los indicadores permitieron evaluar qué marcas, tipos de procedimientos y qué ambientes tienen los mejores resultados. El método empleado puede ser replicado en casos de evaluación de dispositivos médicos, capacitando a los gestores de salud a evaluar la facilidad de uso mediante indicadores sintéticos e identificar aspectos para mejorar la facilidad de uso en el tratamiento médico.

Palabras-clave:
Avaliação da Tecnologia Biomédica; Diálisis Renal; Satisfacción del Paciente

Introdução

O mercado de serviços de saúde atravessa intensas mudanças, influenciadas por fatores epidemiológicos, político-econômicos, demográficos e pelas constantes evoluções tecnológicas. No domínio dos dispositivos médicos, o processo de desenvolvimento é suportado por rigorosos padrões de regulamentação, apoiado por boas práticas de fabricação, questões de usabilidade e gestão de riscos. A falta de envolvimento dos usuários no desenvolvimento desses dispositivos, inevitavelmente, afeta a qualidade dos resultados clínicos ¹1. Grocott P, Weir H, Ram MB. A model of user engagement in medical device development. Int J Health Care Qual Assur 2007; 20:484-93.. Observa-se um interesse crescente em novas abordagens para identificar as necessidades dos usuários, bem como em métodos para incluí-las durante o desenvolvimento de dispositivos médicos, especialmente para melhorar o seu funcionamento e garantir a segurança do paciente ¹1. Grocott P, Weir H, Ram MB. A model of user engagement in medical device development. Int J Health Care Qual Assur 2007; 20:484-93.^,22. Martin JL, Murphy E, Crowe JA, Norris BJ. Capturing user requirements in medical device development: the role of ergonomics. Physiol Meas 2006; 27:R49-62.^,33. Martin JL, Barnett J. Integrating the results of user research into medical device development: insights from a case study. BMC Med Inform Decis Mak 2012; 12:74.^,44. Shah SG, Robinson I. Benefits of and barriers to involving users in medical device technology development and evaluation. Int J Technol Assess Health Care 2007; 23:131-7..

No Brasil, alguns esforços têm sido observados em relação ao aprendizado dos métodos da Engenharia de Fatores Humanos e, especificamente, da usabilidade de equipamentos médico-hospitalares ⁵5. Custódio RAR, Almeida APSS, Almeida RMA, Ferreira Filho JA, Ramos ACB. A discipline about human factors engineering and usability applied to medical devices for under graduation courses using active learning techniques. In: Jaffray D, editor. World Congress on Medical Physics and Biomedical Engineering. Cham: Springer; 2015. p. 1631-4. (IFMBE Proceedings, 51).. Quanto à formalização de sua investigação, a análise de usabilidade está inserida no método de Avaliação Tecnológica da Saúde (ATS) ⁶6. Departamento de Ciência e Tecnologia, Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Ministério da Saúde. Diretrizes metodológicas: elaboração de estudos para avaliação de equipamentos médico-assistenciais. Brasília: Ministério da Saúde; 2013., mas ainda é pouco conhecida ou difundida no país ⁷7. Mendonça GS, Andrade AO, Pereira AA, Milagre ST. Detecção de problemas de usabilidade em um monitor multiparamétrico através de avaliação heurística. In: Anais do XXIV Congresso Brasileiro de Engenharia Biomédica. Uberlândia: Sociedade Brasileira de Engenharia Biomédica/Universidade Federal de Uberlândia; 2014. p. 1636-9.. A usabilidade pode ser definida como “a medida em que um produto pode ser utilizado por usuários específicos, para alcançar objetivos específicos, com eficácia, eficiência e satisfação em um contexto específico de uso” ⁸8. International Organization for Standardization. ISO 9241-11. Ergonomic requirements for office work with visual display terminals (VDTs). Part 11: guidance on usability. Geneva: International Organization for Standardization; 1998..

A ISO/IEC 9241 indica os conceitos das medidas de usabilidade: (i) eficácia - acurácia e completude com as quais usuários alcançam objetivos específicos; (ii) eficiência - recursos gastos em relação à acurácia e abrangência para atingir os objetivos e (iii) satisfação - ausência do desconforto e presença de atitudes positivas para com o uso ⁹9. International Organization for Standardization. ISO/IEC 9241. Ergonomics requirements for office with visual display terminals (VDTs). Geneva: International Organization for Standardization; 2001.. Caso não seja possível a obtenção dessas três medidas objetivamente, as medidas subjetivas, baseadas na percepção dos usuários, podem fornecer dados indicativos ⁹9. International Organization for Standardization. ISO/IEC 9241. Ergonomics requirements for office with visual display terminals (VDTs). Geneva: International Organization for Standardization; 2001.. A usabilidade é afetada não apenas pelas características do produto em si, mas também pelas características dos usuários, das tarefas executadas e dos ambientes técnico, organizacional e físico nos quais o produto é utilizado ¹⁰10. Thomas C, Bevan N. Usability context analysis: a practical guide, v.4. Teddington: Serco Usability Services; 1996.. Além disso, a usabilidade de um dispositivo médico depende, de certa forma, de como os usuários a percebem.

Para um produto desenvolvido para a área de saúde, devem-se considerar as características, necessidades e preferências dos usuários, pois são informações fundamentais para o entendimento do contexto de uso e, por consequência, do desenvolvimento do projeto para um uso mais seguro e eficaz ¹¹11. International Organization for Standardization. IEC 62366:2007. Medical devices: application of usability engineering to medical devices. Geneva: International Organization for Standardization; 2007.. O estudo da usabilidade pode incorporar medidas objetivas e subjetivas. Ressalta-se que, de acordo com a IEC 62366:2007 “...ambos os tipos de dados, objetivos e subjetivos, são importantes para um entendimento abrangente dos atributos de sucesso para o projeto, ou aqueles de menor êxito” ¹¹11. International Organization for Standardization. IEC 62366:2007. Medical devices: application of usability engineering to medical devices. Geneva: International Organization for Standardization; 2007.. Ainda de acordo com essa norma, temos, como exemplos de dados objetivos, as medidas de desempenho, os incidentes de erro, os problemas identificados, entre outros. Enquanto que os dados subjetivos podem ser exemplificados com opiniões sobre aparências e reações (positivas e negativas) em relação ao produto.

Diversos autores apontam que os usuários, em diferentes tratamentos, com dificuldades específicas, inseridos em diferentes contextos de uso, apresentam diferentes perspectivas em relação à usabilidade de um dispositivo ²2. Martin JL, Murphy E, Crowe JA, Norris BJ. Capturing user requirements in medical device development: the role of ergonomics. Physiol Meas 2006; 27:R49-62.^,44. Shah SG, Robinson I. Benefits of and barriers to involving users in medical device technology development and evaluation. Int J Technol Assess Health Care 2007; 23:131-7.^,1212. Liljegren E. Usability in a medical technology context assessment of methods for usability evaluation of medical equipment. Int J Ind Ergon 2006; 36:345-52.. Uma abordagem para avaliação da usabilidade é a abordagem centrada no usuário. Essa abordagem pode ser definida como design centrado no usuário (user-centered design), sendo esse um termo amplo para descrever uma variedade de métodos que têm como objetivo inserir os usuários finais nos processos de desenvolvimento de produtos e serviços, influenciando o projeto ¹³13. Abras C, Maloney-Krichmar D, Preece J. User-centered design. In: Bainbridge W, editor. Encyclopedia of human-computer interaction. Thousand Oaks: Sage Publications; 2004. p. 445-6. e aumentando a satisfação do usuário ¹⁴14. Harrison S, Dowswell G, Milewa T. Guest editorial: public and user "involvement" in the UK National Health Service. Health Soc Care Community 2002; 10:63-6..

Nesse sentido, o objetivo deste estudo é propor uma estratégia de análise para avaliar como o contexto de uso afeta a percepção do usuário em relação ao uso do dispositivo médico. Essa estratégia é aplicada em um estudo com pacientes em tratamento de hemodiálise. A escolha da hemodiálise para o estudo de caso se deve à criticidade da tecnologia envolvida para o contexto brasileiro, além da vivência de graves acidentes relativos ao ambiente da terapia, como a tragédia de Caruaru (Pernambuco), ocasionada pela qualidade da água que alimentava as máquinas ¹⁵15. Gadelha CAG. O complexo industrial da saúde e a necessidade de um enfoque dinâmico na economia da saúde. Ciênc Saúde Coletiva 2003; 2:521-35.. No Brasil, esse tipo de estudo não é frequente, destacam-se alguns exemplos relacionados ao uso da máquina de hemodiálise a partir da avaliação de dois tipos de interface gráfica do usuário de máquinas de diálise: a máquina de hemodiálise para uso hospitalar por profissionais enfermeiros e uma máquina de diálise peritoneal para uso doméstico pelos pacientes como os principais usuários ¹⁶16. Liu Y, Osvalder AL, Dahlman S. Exploring user background settings in cognitive walkthrough evaluation of medical prototype interfaces: a case study. Int J Ind Ergon 2005; 35:379-90..

No cenário internacional, nota-se uma lacuna referente às pesquisas sobre usabilidade de máquinas de hemodiálise. A maior parte das pesquisas tem o foco na análise do sistema computacional e de alarmes, como, por exemplo: Mueller ¹⁷17. Mueller C. Dialysis equipment: safety and usability - actual situation and progress in the relevant standards. J Biomech 2006; 39 Suppl 1:S249., Bligård & Thunberg ¹⁸18. Bligård L-O, Thunberg A. An analytical usability method for alarm message evaluation: Alarm-ECW. In: Proceedings of the 39th Nordic Ergonomics Society Conference. https://research.chalmers.se/en/publication/?id=62202.
https://research.chalmers.se/en/publicat... , Bligård & Andersson ¹⁹19. Bligård L-O, Andersson J. Use errors and usability problems in relation to automation levels of medical devices. In: Proceedings of the ECCE '09 European Conference on Cognitive Ergonomics. Designing beyond the product: understanding activity and user experience in ubiquitous environments. Espoo: VTT; 2009. p. 111-4. e Andersson & Farmansson ²⁰20. Andersson M, Farmansson M. Develop and test user interface concept for a dialysis machine [Master Thesis]. Lund: Department of Design Sciences, Lund University; 2011.. Além disso, as atuais pesquisas sobre a usabilidade em equipamentos médicos publicadas em jornais nacionais e internacionais como, por exemplo, os trabalhos de Zhang et al. ²¹21. Zhang J, Johnson TR, Patel VL, Paige DL, Kubose T. Using usability heuristics to evaluate patient safety of medical devices. J Biomed Inform 2003; 36:23-30., Osvalder & Bligård ²²22. Osvalder A-L, Bligård L-O. Usability and ergonomics in medical equipment. In: Proceedings of the 39th Nordic Ergonomic Society Conference. https://research.chalmers.se/en/publication/62200.
https://research.chalmers.se/en/publicat... , Martin et al. ²³23. Martin JL, Norris BJ, Murphy E, Crowe JA. Medical device development: the challenge for ergonomics. Appl Ergon 2008; 39:271-83. e Silva ²⁴24. Silva BD. Avaliação de usabilidade situada para aperfeiçoamento de equipamentos médicos [Dissertação de Mestrado]. São Paulo: Escola Politécnica, Universidade de São Paulo; 2008., carecem de uma análise quantitativa dos dados, a qual pode permitir embasamento para uma tomada de decisão mais assertiva sobre sua aquisição ou processo de desenvolvimento. Ainda, as pesquisas supracitadas avaliam apenas os dados objetivos, sem considerar a satisfação dos usuários.

A usabilidade do dispositivo contempla percepções sobre o dispositivo, os serviços, os procedimentos executados e o ambiente em que o tratamento é realizado. Conforme a ISO/IEC 9241, a usabilidade contempla, como métricas, a eficácia, a eficiência e a satisfação. Assim, o presente estudo tem como escopo a medição da satisfação dos usuários em tratamento de hemodiálise. Para atingir o objetivo da pesquisa, duas questões foram formuladas: (i) quais características do contexto de uso mais afetam a avaliação do usuário sobre a usabilidade do dispositivo e (ii) como descrever a avaliação global do usuário por um número mínimo de indicadores por meio de construtos multivariados.

O estudo foi conduzido por meio da elaboração de uma survey, realizada em hospitais e clínicas durante a sessão de diálise, com a participação de 200 pacientes em tratamento. Para responder ao objetivo da pesquisa, duas técnicas estatísticas foram utilizadas: a análise de variância multivariada (multivariate analysis of variance - MANOVA) e a análise fatorial exploratória (exploratory factor analysis - EFA). A MANOVA foi empregada para investigar a existência de diferenças significativas em vetores de médias da avaliação de usabilidade, medidas pelo grau de satisfação em relação aos diferentes contextos de uso. Para este estudo, o contexto de uso contemplou o tipo de máquina (marca/modelo) utilizada para o tratamento, local (hospital/clínica) e perfil do próprio paciente (como gênero, idade, renda, escolaridade, tipo de convênio). A EFA foi conduzida a partir dos resíduos gerados pela MANOVA, com o objetivo de gerar fatores livres do efeito dos diferentes contextos de uso e, assim, reduzir o número de variáveis que explicam a avaliação global do usuário.

Materiais e método

Para a elaboração deste estudo, foram percorridas as seguintes etapas: planejamento da pesquisa, execução em campo e análise dos dados. As principais considerações de cada uma das etapas são realizadas a seguir.

Planejamento da pesquisa

Para o levantamento dos requisitos a serem avaliados, foram realizadas consultas aos manuais operacionais da máquina de hemodiálise e às suas normas técnicas. Após o levantamento dos requisitos, esses foram avaliados e ajustados como resultado à aplicação do método face validity²⁵25. Hair J, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5ª Ed. Porto Alegre: Bookman; 2005.. Esse método caracteriza-se como uma avaliação subjetiva que envolve consulta a uma pequena amostra de especialistas com o intuito de julgar a adequação dos itens escolhidos para representar o construto ²⁰20. Andersson M, Farmansson M. Develop and test user interface concept for a dialysis machine [Master Thesis]. Lund: Department of Design Sciences, Lund University; 2011.. Participaram dessa avaliação dois engenheiros clínicos, um nefrologista, dois enfermeiros especialistas no cuidado de pacientes de hemodiálise, um pesquisador na área de ergonomia e um paciente de hemodiálise. Assim, as avaliações de satisfação serão desenvolvidas a partir dos aspectos observados pelo paciente quando ligado à máquina, períodos de incômodos ou desconforto, do local (sala) em que está a máquina, as características do equipamento como: aparência, sinais sonoros, tamanho, tecnologia e ainda o serviço da unidade de tratamento.

O contexto de uso, conforme a ISO 9241-11 (1998), é definido como os usuários, as tarefas, os equipamentos e os ambientes físicos e sociais em que o equipamento é utilizado. Para este estudo, o contexto de uso contemplou o tipo de máquina (marca/modelo) utilizada para o tratamento, o local (hospital/clínica) e o perfil do próprio paciente (como gênero, idade, renda, escolaridade, tipo de convênio, entre outros).

Instrumento

Como método de avaliação, procedeu-se um inquérito com os pacientes a partir da aplicação de um questionário estruturado, proposto por Tanure ²⁶26. Tanure RLZ. Análise multidimensional de requisitos funcionais e emocionais para avaliação de produtos na perspectiva do usuário [Tese de Doutorado]. Porto Alegre: Escola de Engenharia, Universidade Federal do Rio Grande do Sul; 2015.^,2727. Tanure RLZ, Magnago PF, Echeveste MES. Functional and emotional dimensions: method to measure through data collection instruments for new products in healthcare. In: 2013 Proceedings of PICMET '13: Technology Management in the IT-Driven Services (PICMET). https://ieeexplore.ieee.org/xpl/mostRecentIssue.jsp?punumber=6624250.
https://ieeexplore.ieee.org/xpl/mostRece... . A elaboração do instrumento partiu do pressuposto que, de acordo com a IEC 62366 ¹¹11. International Organization for Standardization. IEC 62366:2007. Medical devices: application of usability engineering to medical devices. Geneva: International Organization for Standardization; 2007., para um produto da área da saúde, devem-se considerar as características, capacidades, necessidades e preferências dos usuários. Os dados subjetivos, objetos de investigação deste estudo, podem ser exemplificados com opiniões sobre características, aparências, reações (positivas e negativas) para com o produto para a saúde. No Quadro 1, estão descritas as variáveis observadas para medir a percepção (grau de satisfação) do paciente e as que definem o seu contexto de uso (caracterização do ambiente e paciente).

Amostra

A população referenciada são clínicas e unidades hospitalares para hemodiálise da cidade de Porto Alegre, Rio Grande do Sul, Brasil. Foram levantados 12 locais para hemodiálise entre clínicas especializadas e unidades hospitalares. Cinco desses locais, disponibilizaram-se a fazer parte deste estudo, sendo três clínicas e dois hospitais. Os hospitais são locais de atendimento exclusivo para a saúde suplementar, e as clínicas, mistas, de atendimento à saúde suplementar e pública. Um dos hospitais possui duas unidades, e, por isso, a segunda unidade foi tratada como uma terceira unidade neste estudo. Todos os pacientes em tratamento nos locais amostrados foram convidados a participar.

Execução em campo

A execução em campo se iniciou após a aprovação do Comitê de Ética em Pesquisa da Universidade Federal do Rio Grande do Sul (CAAE 09835113.9.0000.5347), e pelo comitê de ética dos hospitais participantes. Foram agendadas as visitas previamente com os responsáveis pelos locais de pesquisa, e os pesquisadores foram devidamente treinados e orientados quanto aos procedimentos durante o inquérito.

Esta foi uma pesquisa não invasiva, sem qualquer preparação prévia do paciente, tão pouco de recursos dos hospitais ou clínicas amostrados. A abordagem dos pacientes foi realizada de forma presencial. O pesquisador informou sobre os objetivos da pesquisa, apresentando o Termo de Consentimento Livre e Esclarecido, e informou também o tempo médio de preenchimento do questionário (aproximadamente, 17 minutos). Em seguida, o questionário foi entregue pelo pesquisador aos pacientes para autopreenchimento ou, quando necessário, preenchidos pelo próprio pesquisador. As entrevistas foram realizadas na fase inicial das sessões, tendo em vista que muitos pacientes ficam sonolentos com o tratamento, o que impossibilitaria a realização do questionário.

Análise de dados

Após a coleta de dados, procede-se à etapa de análise dos dados. Nessa etapa, as técnicas estatísticas pertinentes para alcançar os objetivos de pesquisa foram empregadas. Para o entendimento da amostra pesquisada, primeiramente, é realizada uma análise descritiva dos dados, e, para responder às duas questões de pesquisa formuladas, duas técnicas estatísticas foram utilizadas: a MANOVA e a EFA, respectivamente.

A MANOVA é uma técnica apropriada para questões de pesquisa envolvendo a comparação de vetores de médias para duas ou mais variáveis dependentes métricas, com base em um conjunto de variáveis independentes categóricas (não métricas) ²⁸28. Bray JH, Scott EM. Multivariate analysis of variance. Newbury Park: Sage; 1985. (Sage University Paper Series on Quantitative Research Methods, 54).^,2929. Johnson RA, Wichern DW. Applied multivariate statistical analysis. 6th Ed. Englewood Cliffs: Prentice Hall; 2007.. Em outras palavras, a MANOVA tem por objetivo analisar simultaneamente múltiplas medidas de cada indivíduo da amostra ²⁵25. Hair J, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5ª Ed. Porto Alegre: Bookman; 2005.. A análise é usualmente conduzida em duas etapas, sendo que, na primeira, a hipótese geral de que não há diferenças nas médias dos diferentes grupos é testada. Para testar a igualdade das médias entre grupos, os seguintes testes estatísticos são utilizados: traço de Pillai, lambda de Wilks, traço de Hotelling e a maior raiz de Roy ²⁵25. Hair J, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5ª Ed. Porto Alegre: Bookman; 2005.. Nesse teste, a rejeição da hipótese nula, de igualdade das médias, representa que as médias das variáveis dependentes diferem significativamente entre as diferentes variáveis independentes (fator). Quando o teste é significativo, a segunda etapa consiste em realizar ANOVAs univariadas para verificar as diferenças de média em cada um dos fatores que obtiveram efeito significativo na etapa anterior. Nessa verificação, procura-se rejeitar a hipótese nula e, então, obter evidências de que os diferentes níveis do fator avaliado contribuem para a diferenciação das médias da variável dependente. Por fim, para identificar quais níveis do fator possuem influência sobre a média da variável dependente, são empregados testes de comparações múltiplas ²⁸28. Bray JH, Scott EM. Multivariate analysis of variance. Newbury Park: Sage; 1985. (Sage University Paper Series on Quantitative Research Methods, 54).^,2929. Johnson RA, Wichern DW. Applied multivariate statistical analysis. 6th Ed. Englewood Cliffs: Prentice Hall; 2007.. Como suposições ao uso da técnica, temos a independência das observações, a igualdade de matrizes de variância-covariância, a normalidade multivariada e a linearidade entre variáveis dependentes ²⁹29. Johnson RA, Wichern DW. Applied multivariate statistical analysis. 6th Ed. Englewood Cliffs: Prentice Hall; 2007..

A MANOVA é utilizada neste estudo para responder à primeira questão de pesquisa, formulando a seguinte hipótese:

H₀: Os vetores de médias da avaliação de usabilidade da máquina de hemodiálise não diferem significativamente para os diferentes contextos de uso.

Para este estudo, as variáveis dependentes são as 19 variáveis definidas no instrumento de pesquisa que objetivam medir o grau de satisfação do paciente. As variáveis independentes, ou fatores, são as variáveis que representam o contexto de uso, que se referem às características do ambiente e do paciente definidas no instrumento de pesquisa.

Para responder à segunda questão de pesquisa, a EFA é conduzida. A EFA é adequada quando o pesquisador não tem conhecimento sobre o número ou a natureza dos fatores subjacentes, uma vez que a técnica não exige que o pesquisador declare tais informações ³⁰30. Thompson B. Exploratory and confirmatory factor analysis: understanding concepts and applications. Washington DC: American Psychological Association; 2004.. O objetivo da EFA é descobrir a natureza da estrutura subjacente entre as variáveis dependentes. As variáveis são agrupadas em função de suas correlações, as variáveis que compõem determinado fator devem ser altamente correlacionadas entre si e fracamente correlacionadas com as variáveis que entram na composição do outro fator ²⁹29. Johnson RA, Wichern DW. Applied multivariate statistical analysis. 6th Ed. Englewood Cliffs: Prentice Hall; 2007..

Para este estudo, a aplicação da EFA teve por objetivo encontrar um número menor de variáveis (indicadores) que melhor representem a avaliação global do paciente de hemodiálise. Uma vez definidas, por meio da aplicação da MANOVA, quais características do contexto de uso possuem efeito significativo sobre o grau de satisfação, os resíduos resultantes do modelo MANOVA são padronizados e, então, utilizados como variáveis de entrada no modelo EFA. Esse procedimento tem por objetivo gerar fatores livres dos efeitos dos diferentes contextos de uso avaliados. Para obter os resíduos padronizados, os resíduos são divididos pela raiz quadrada do quadrado médio do resíduo (QMR) da análise de variância. Na análise da adequação da amostra ao modelo resultante, são utilizados a estatística de Kaiser-Meyer-Olkin (KMO), que indica a proporção da variância dos dados comum a todas as variáveis, e o teste de esfericidade de Bartlett, que testa a hipótese nula de que a matriz de correlação é uma matriz identidade, o que indicaria que não há correlação entre os dados ²⁵25. Hair J, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5ª Ed. Porto Alegre: Bookman; 2005..

A Figura 1 resume o método de análise aqui proposto.

Resultados

Os resultados estão organizados em duas partes: (i) análise multivariada da usabilidade e (ii) avaliação global do paciente de hemodiálise. A tabulação dos dados e análises estatísticas foram realizadas no software IBM SPSS, versão 20.0 (IBM Corp., Armonk, Estados Unidos). Por questões de confidencialidade de pesquisa, os locais de tratamento e as marcas das máquinas em estudo foram mantidos em sigilo.

Como apresentado na Tabela 1, do total de 200 pacientes de hemodiálise respondentes, 52,5% dos pacientes têm menos de 63 anos, e 66,1% declararam possuir renda de até cinco salários mínimos. Do total de pacientes, 65,5% eram homens, 74,2% declararam ter, ao menos, um nível de escolaridade completo, e 51,8% dos pacientes realizam o tratamento por meio de convênio com plano de saúde. As entrevistas foram realizadas em três turnos, sendo que a maior parte dos entrevistados (39,5%) realizam o tratamento no turno da manhã. A maioria dos pacientes (46,7%) realizam o tratamento com uma determinada máquina de Marca C. Ainda, 62,1% utilizam a fístula em seu braço esquerdo, sendo que a máquina de hemodiálise está posicionada ao lado esquerdo do paciente em 75% dos casos avaliados. Nas sessões avaliadas, os pacientes precisavam perder, em média, 2,5 litros e declararam estar em terapia há, em média, quatro anos.

Quando questionados sobre o grau de importância com os aspectos de uso, em uma escala de 1 a 10, o atendimento do hospital ou clínica foi o aspecto de maior importância para os pacientes, alcançando um nível médio de importância de 9,14. Na sequência, estão as características do ambiente (sala) em que está a máquina (8,81), os procedimentos de uso (8,52), a integração paciente-máquina (7,38) e os aspectos externos percebidos pela máquina (5,68). A amostra em estudo considera que o contexto de uso é muito importante para o seu tratamento, e isso pode influenciar a maneira como o paciente percebe o uso da máquina. Contextos de uso diferentes proporcionam percepções diferentes para os pacientes e podem influenciar na maneira como eles são tratados pela equipe de enfermagem, o conforto com que recebem o tratamento (alguns sentados em cadeiras, outros deitados em camas) ou na segurança que sentem quanto aos procedimentos realizados.

Quando questionados sobre o grau de satisfação com os aspectos de uso, em uma escala de 1 a 10, o pior grau de satisfação observado foi em relação à percepção dos sinais sonoros da máquina, alcançando um nível de satisfação médio de 5,98, seguido pelo conforto da cadeira para o paciente (6,79). Isso mostra que os pacientes estão menos satisfeitos com aspectos que influenciam no seu conforto durante a sessão de hemodiálise, uma vez que muitos declararam dormir durante a sessão, o que pode ser afetado caso a máquina emita muitos sinais ou se a cadeira (ou cama) for desconfortável. Os maiores níveis foram observados na cordialidade e preparação da equipe de enfermagem (9,05) e monitoramento durante a sessão (8,95).

Análise multivariada da usabilidade

A MANOVA foi empregada de modo a identificar diferenças significativas entre o grau de satisfação com a usabilidade e os diferentes contextos de uso em que o paciente está inserido. Como variáveis dependentes, temos as variáveis de satisfação com os aspectos de uso X_2.1 a X_6.4, já descritas no Quadro 1, e, como variáveis independentes, as variáveis observadas na seção de caracterização do ambiente e perfil do paciente (contexto de uso).

As variáveis dependentes foram padronizadas pela sua média e desvio padrão para análise dos dados (variável Z). As observações faltantes e os valores atípicos foram tratados de modo a restarem 192 observações completas para a construção do modelo. Cada variável foi avaliada individualmente, todas as variáveis dependentes consideradas na análise apresentaram uma distribuição assimétrica negativa, tendo sido aplicadas transformações adequadas sobre os dados de modo a torná-las normalmente distribuídas. Na análise bivariada, foi encontrada uma correlação positiva moderada entre todas as variáveis dependentes (p < 0,05).

O modelo inicialmente proposto foi formado a partir de 19 variáveis dependentes contínuas, referentes ao grau de satisfação do paciente (X_2.1 a X_6.4) e 8 variáveis independentes ou fatores (local, marca da máquina, posição da fístula, gênero, litros perdidos, renda familiar, idade e escolaridade). Os resultados são apresentados em duas etapas.

Na primeira etapa, que compreende o teste de igualdade de médias, observou-se que, dentre o conjunto de variáveis analisadas, os efeitos dos fatores “local”, “posição da fístula” “gênero”, “idade” e “escolaridade” apresentaram significância estatística (p < 0,05). Nesse caso, os testes indicam que o grau de satisfação com os aspectos de uso varia entre os pacientes na presença de diferentes níveis/condições desses fatores.

Na segunda etapa, o objetivo é investigar quais fatores exercem influência sobre quais variáveis dependentes. Portanto, é testado cada um dos fatores resultantes da etapa anterior (local, posição da fístula, gênero, idade e escolaridade) em relação a cada uma das variáveis dependentes (grau de satisfação). Os efeitos significativos (p < 0,05) encontrados são apresentados na Tabela 2.

O local de tratamento é o fator de maior influência no grau de satisfação do paciente em relação aos aspectos de uso da máquina, com efeito significativo em 13 das 19 variáveis medidas, conforme observado na Tabela 2. O local de tratamento possui influência na percepção da máquina de diálise pelo paciente no que se refere à higiene e aos capilares que conduzem sangue. Observou-se, também, que o local possui efeito significativo na confiança nos procedimentos adotados ao longo da sessão de diálise, além de aspectos relacionados à preparação da equipe de enfermagem, à cordialidade e ao atendimento. Aspectos de conforto da sala, como luminosidade, temperatura, cadeira/cama e higiene também foram significativos.

Em seguida, são exploradas as diferenças entre as médias do grau de satisfação em cada nível dos fatores avaliados. Comparando o escore médio desses locais em cada uma das variáveis de satisfação, é possível identificar que o Hospital B possui grau de satisfação médio com os aspectos de uso superiores aos demais locais (p < 0,05). O Hospital B apresentou diferença significativa para todas as variáveis analisadas em relação a, pelo menos, um dos demais locais de tratamento, apresentando, para todas as variáveis, escore superior aos demais locais. As maiores diferenças foram encontradas quando o Hospital B foi comparado com as três clínicas, que obtiveram resultados inferiores em relação aos três hospitais avaliados. O Hospital B, assim como os demais hospitais participantes, atende exclusivamente pacientes que possuam convênio com planos de saúde ou pacientes que realizam o custeio do seu tratamento. As clínicas, que obtiveram médias significativamente inferiores aos hospitais, são clínicas mistas, de atendimento à saúde suplementar e pública.

A posição da fístula exerce influência sobre a satisfação com o preparo da sessão (p < 0,05). Pacientes que utilizam a fístula em seu braço direito ou esquerdo estão mais satisfeitos durante o preparo da sessão, atingindo escore médio de 8,45 e 8,66, respectivamente, enquanto que os pacientes que utilizam a fístula de outras maneiras (pescoço, perna etc.) atingiram um grau médio de 7,56.

Em relação ao gênero do paciente, diferenças significativas (p < 0,05) nas médias de satisfação indicam que os pacientes homens estão mais satisfeitos que as pacientes mulheres em três aspectos: (i) percepção dos sinais sonoros da máquina; (ii) conforto da cadeira para o paciente e (iii) atendimento da equipe de agendamentos e contatos.

Pode-se perceber que, com o avanço da idade, os pacientes são mais críticos quanto à satisfação aos aspectos de luminosidade (p < 0,05). Em contrapartida, é possível identificar uma diferença significativa também para a higiene da máquina, na qual os pacientes com maior nível de escolaridade percebem mais aspectos de higiene, além de aspectos como a disposição e visualização dos sinais sonoros da máquina.

Avaliação global do paciente de hemodiálise

Para compreender a avaliação global do paciente, foi realizada a EFA. As variáveis utilizadas para rodar a EFA foram os resíduos padronizados resultantes da MANOVA, gerada na etapa anterior. Para obter os resíduos padronizados, os resíduos são divididos pela QMR da análise de variância. A vantagem de utilizar os resíduos na EFA é gerar fatores livres do efeito dos diferentes contextos de uso investigados.

Na análise do modelo resultante, para a estatística de KMO, foi encontrado um valor de 0,83, e o teste de esfericidade de Bartlett rejeitou a hipótese nula de que a matriz de correlação é uma matriz identidade (p < 0,05), indicando a adequação da amostra à aplicação da EFA.

A extração dos fatores seguiu o método de componentes principais e rotação varimax. Três fatores foram extraídos, alcançando um total de 62% de variância explicada. Os fatores (indicadores), a variância explicada por cada um deles, as variáveis que os compõem e o escopo relacionado são apresentados no Quadro 2.

Neste estudo, as variáveis com carga fatorial superior a 0,40 foram incluídas nos fatores. Os resultados apontaram que o fator de maior importância para explicar a avaliação global do paciente é composto por variáveis referentes aos procedimentos de uso. Os procedimentos de uso referem-se aos procedimentos realizados pela equipe de enfermagem junto à máquina de hemodiálise durante a terapia.

Discussão

Esses resultados podem ser interpretados sob diversas perspectivas. Um problema já levantado por constatações práticas e acadêmicas, como visitas a instituições de saúde, entrevistas de gestores públicos e publicações ³¹31. Bittar OJNV. Indicadores de qualidade e quantidade em saúde. Rev Adm Saúde 2001; 3:21-8.^,3232. Arretche M, Marques EC. Municipalização da saúde no Brasil: diferenças regionais, poder de voto e estratégia de governo. Ciênc Saúde Coletiva 2002; 7:455-79.^,3333. Senhoras EM. A cultura na organização hospitalar e as políticas culturais de coordenação de comunicação e aprendizagem. RECIIS (Online) 2007; 1:45-55., é quanto às diferenças políticas e de gestão administrativa existentes em hospitais e clínicas nacionais. Essas diferenças, acentuadas devido ao montante de investimento recebido por cada instituição e à sua cultura regional, acabam gerando a falta de padrões e a necessidade de regulamentações e fiscalizações para um mínimo controle sobre a qualidade e o desempenho dos processos de serviços e dos bens facilitadores (produtos hospitalares). Este estudo permite ainda concluir que, para a cidade de Porto Alegre, essa diferença entre as instituições possui efeito significativo no tratamento do paciente de hemodiálise.

Igualmente, o estudo apresenta recomendações para os diferentes stakeholders envolvidos no ciclo de vida das máquinas de hemodiálise. Entre esses, estão as clínicas e os hospitais amostrados, que precisam perceber as oportunidades de melhorias, visto que foram encontradas diferenças significativas nos níveis de usabilidade observados. Essas oportunidades de melhorias tratam de aspectos da rotina das sessões, como as variáveis ergonômicas, já citadas como iluminação, temperatura, ruído, conforto da cadeira, e o atendimento e a cordialidade da equipe de enfermagem. Essas variáveis que afetam não apenas o bem-estar do paciente, mas a continuidade da terapia por esses, a moral da equipe e, inclusive, a sobrevivência da clínica ou hospital como negócio. Uma clínica ou unidade não consegue sustentar-se apenas com o custeio da terapia via Sistema Único de Saúde (SUS), nesse sentido, entender a percepção do paciente conveniado para aumentar sua satisfação com o tratamento é essencial para a saúde financeira da organização. Ressalta-se que, treinamentos e investimento na infraestrutura das salas de tratamento podem ser tão relevantes para continuidade da terapia como a tecnologia da máquina de hemodiálise.

Para os demais stakeholders envolvidos em ATS, em especial para equipamentos eletromédicos, o artigo apresentou uma proposta de avaliação utilizando a MANOVA seguida por uma EFA dos resíduos. Da mesma forma, para os fabricantes e desenvolvedores de máquina de hemodiálise, o artigo instiga sobre os desafios ainda existentes no monitoramento em campo ao longo do uso e sobre o projeto de engenharia desses equipamentos, uma vez que o atendimento às funções do produto apresentou-se dependente da intervenção (antes, durante e pós-sessão) da equipe de enfermagem para garantir melhor desempenho.

Conclusão

Este estudo foi desenvolvido com o intuito de colaborar com o avanço da ATS, que ainda é pouco conhecida ou difundida no país ⁷7. Mendonça GS, Andrade AO, Pereira AA, Milagre ST. Detecção de problemas de usabilidade em um monitor multiparamétrico através de avaliação heurística. In: Anais do XXIV Congresso Brasileiro de Engenharia Biomédica. Uberlândia: Sociedade Brasileira de Engenharia Biomédica/Universidade Federal de Uberlândia; 2014. p. 1636-9., apresentando uma estratégia de análise para identificar como o contexto de uso pode afetar a usabilidade do dispositivo médico na percepção do usuário. A inclusão das necessidades do usuário no processo de desenvolvimento de dispositivos médicos é importante especialmente para melhorar o seu funcionamento e garantir a segurança do paciente ¹1. Grocott P, Weir H, Ram MB. A model of user engagement in medical device development. Int J Health Care Qual Assur 2007; 20:484-93.^,22. Martin JL, Murphy E, Crowe JA, Norris BJ. Capturing user requirements in medical device development: the role of ergonomics. Physiol Meas 2006; 27:R49-62.^,33. Martin JL, Barnett J. Integrating the results of user research into medical device development: insights from a case study. BMC Med Inform Decis Mak 2012; 12:74.^,44. Shah SG, Robinson I. Benefits of and barriers to involving users in medical device technology development and evaluation. Int J Technol Assess Health Care 2007; 23:131-7..

A estratégia de análise proposta tem o intuito de identificar como o contexto de uso pode afetar a usabilidade do dispositivo médico na percepção do usuário. Uma survey foi realizada com 200 pacientes em tratamento de hemodiálise por meio de um questionário estruturado, e a população-alvo se concentrou em clínicas e unidades hospitalares para hemodiálise da cidade de Porto Alegre. A estratégia de análise proposta englobou duas técnicas: a MANOVA e a EFA. Essas duas técnicas são propostas como procedimentos de análise para estudos futuros, que podem ser replicadas para diferentes dispositivos.

A aplicação dessa estratégia de análise se mostrou satisfatória para o estudo de caso, permitindo avaliar quais marcas, tipos de procedimentos e quais ambientes têm melhores resultados. Os resultados mostraram que o grau médio de satisfação com a usabilidade da máquina de hemodiálise difere significativamente (a um nível de 5% de significância) de acordo com os locais de tratamento, posição da fístula, gênero, idade e a escolaridade do paciente. Por outro lado, não difere significativamente quanto a turnos e convênios. O local de tratamento mostrou influência sobre um maior número de variáveis, afetando, inclusive, o grau de confiança nos procedimentos, a percepção da máquina de diálise no que se refere à higiene e aos capilares que conduzem sangue, além de aspectos relacionados à preparação da equipe de enfermagem, à cordialidade e ao atendimento. Em relação ao local, observou-se ainda que os hospitais alcançaram médias significativamente superiores quando comparados às clínicas. Três indicadores foram extraídos para explicar a avaliação global do usuário: procedimentos de uso, ambiente e aspectos da máquina. Esses indicadores foram construídos a partir dos resíduos resultantes da análise anterior, gerando indicadores livres de efeitos dos diferentes contextos de uso. O indicador que representa os procedimentos de uso apresentou maior variância explicada pelo modelo gerado.

Adicionalmente, são recomendados, a partir do aprendizado desta pesquisa, os seguintes aspectos: (i) a incorporação da variável localização para o estudo do processo de escolha da clínica ou unidade hospitalar de hemodiálise nas capitais brasileiras; (ii) a replicação da pesquisa em outras regiões do país; (iii) a replicação da pesquisa nos mesmos locais para fins de acompanhamento e comparação das variáveis monitoradas neste estudo; e (iv) a interpretação da usabilidade sobre o ponto de vista da enfermagem e da administração dos locais amostrados.

Por fim, este estudo teve por escopo a proposição de uma metodologia de análise, que pode ser incorporada às avaliações de usabilidade de dispositivos médicos no que tange, principalmente, a considerar a percepção do usuário paciente. Quanto aos resultados apresentados, é importante ressaltar que esses não podem ser generalizados para os demais locais que oferecem o tratamento, uma vez que a amostra é limitada a clínicas e hospitais localizados na cidade de Porto Alegre.

Agradecimentos

À Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) pela concessão de bolsas.

Referências

Datas de Publicação

Histórico