Resumo

Introdução

Cada vez mais os sistemas computadorizados e o meio digital estão sendo utilizados no campo das pesquisas relacionadas à saúde da população. Documentos, dados e imagens podem ser transferidos simultaneamente em um circuito digital, permitindo desta forma o desenvolvimento de aplicativos na promoção da saúde primária e no acompanhamento da dieta dos indivíduos¹1. Wang DH, Kogashiwa M, Kira S. Development of a new instrument for evaluating individuals' dietary intakes. J Am Diet Assoc 2006; 106(10): 1588-93. ^{, 2}2. Smith B, Smith TC, Gray CG, Ryan MAK, Millennium Cohort Study Team. When epidemiology meets the Internet: Web- based surveys in the Millennium Cohort Study. Am J Epidemiol 2007; 166(11): 1345-54..

Paralelamente, a Internet tem propiciado à epidemiologia, alternativas para a coleta de dados. Novos adeptos da pesquisa epidemiológica estão aderindo a estas novas tecnologias²2. Smith B, Smith TC, Gray CG, Ryan MAK, Millennium Cohort Study Team. When epidemiology meets the Internet: Web- based surveys in the Millennium Cohort Study. Am J Epidemiol 2007; 166(11): 1345-54.. Entretanto, é evidente que nesta fase, torna-se importante investigar os benefícios, assim como as armadilhas do uso da internet e dos novos instrumentos desenvolvidos para a coleta de dados epidemiológicos.

No decorrer dos anos, inúmeros softwares foram desenvolvidos e a literatura mostra que é necessário analisar a relação usuário-sistema. Entende-se por "sistema" todo software que apresente uma interação homem vs máquina, através de alguma interface, não se restringindo apenas aos programas comumente utilizados em microcomputadores, mas também os sistemas operacionais, editores de texto e planilhas eletrônicas³3. Santos RC. Desenvolvimento de uma metodologia para avaliação de usabilidade de sistemas utilizando a Lógica Fuzzy baseado na ISO. 2007. 115 p [dissertação de mestrado]. Rio de Janeiro: Faculdade de Economia e Finanças IBMEC; 2007. .

Para avaliar a qualidade dos sistemas foram desenvolvidos testes de usabilidade que permitem descrever características de um determinado produto, ou seja, se o mesmo é fácil de usar, fácil e rápido de aprender, se não provoca erros (e caso ocorram, se são facilmente resolvidos) e se oferece um alto grau de satisfação para seus usuários. Ainda, a usabilidade determina o sucesso de um sistema. Interfaces mal projetadas, principalmente para sistemas que trabalham com informação, podem ser responsáveis pelo desinteresse ou descrédito do usuário, causando prejuízos e perdas, entre outros fatores⁴4. Nielsen J. Usability Engineering. Boston: Academic Press; 1993. ^{, 5}5. Shneiderman B. Designing the User Interface: Strategies for Effective Human- Computer Interaction. EUA: Addison Wesley; 1998..

Marchionini⁶6. Marchionini G. Evaluating Hypermedia-Based Learning. In: Jonassen DH, Mandl H. Designing Hypermedia for Learning. Berlin: Springer-Verlag; 1990. p. 355-73. e Nielsen⁷7. Nielsen J. Multimedia and Hypertext: the Internet and beyond. Boston: AP. Professional; 1995. demonstram em seus estudos que dois tipos de avaliadores devem proceder a avaliação da usabilidade de um sistema: especialistas em interação Homem-Computador e sujeitos provenientes da mesma população dos futuros utilizadores. Segundo Rubin⁸8. Rubin J. Handbook of Usability Testing. New York: John Wiley and Sons; 1994., um especialista que avalia o sistema pode detectar facilmente problemas de inconsistência do sistema, interfaces confusas, entre outros. Já o usuário poderá verbalizar e registrar as dificuldades em relação à tarefa que está realizando, para que entraves do sistema sejam identificados, inclusive o desempenho e as preferências do usuário.

Assim, os estudos de usabilidade são utilizados para descrever ou classificar, de forma detalhada e gradual, as respostas referentes à capacidade dos usuários, frente ao uso de um sistema operacional. Tal qual na comunicação humana, as respostas dos usuários são expressões verbais imprecisas e vagas, é necessário traduzi-las a valores numéricos. Para melhor interpretação da linguagem verbal, tem sido utilizada a Lógica Fuzzy ou lógica nebulosa.

Por meio desta abordagem, é possível resolver os paradoxos gerados a partir da classificação "verdadeiro ou falso". Na Lógica Fuzzy, uma premissa varia em grau de verdade de 0 a 1, o que a leva a ser parcialmente verdadeira ou parcialmente falsa³3. Santos RC. Desenvolvimento de uma metodologia para avaliação de usabilidade de sistemas utilizando a Lógica Fuzzy baseado na ISO. 2007. 115 p [dissertação de mestrado]. Rio de Janeiro: Faculdade de Economia e Finanças IBMEC; 2007. . Ainda, os valores "verdadeiro/falso", expressos linguisticamente, são interpretados como um subconjunto fracionário, finito, de zero a um⁹9. Gomide FAC, Gudwin RR. Modelagem, controle, sistemas e lógica fuzzy. SBA Controle & Automação 1994; 4(3): 97-115.. Neste sentido, a Lógica Fuzzy expressa o princípio de dualidade, estabelecendo que dois eventos opostos podem coexistir, ou seja, um elemento pode pertencer, em um certo grau, a um conjunto e, em um outro grau, a um outro conjunto, representado por um valor fracionário dentro de um intervalo numérico. A aplicação desse conceito pode ser verificada em atividades diárias, principalmente quando se trata de conceitos abstratos, por exemplo, definir se uma porção de alimentos é grande ou média³3. Santos RC. Desenvolvimento de uma metodologia para avaliação de usabilidade de sistemas utilizando a Lógica Fuzzy baseado na ISO. 2007. 115 p [dissertação de mestrado]. Rio de Janeiro: Faculdade de Economia e Finanças IBMEC; 2007. .

Diante do exposto, o presente trabalho tem por objetivo avaliar a usabilidade de um sistema computadorizado, desenvolvido por pesquisadores da Faculdade de Saúde Pública da Universidade de São Paulo, que avalia e monitora a saúde e o consumo alimentar de crianças e adolescentes brasileiros.

Métodos

O presente estudo avaliou a usabilidade do software "Sistema de Monitoramento da Saúde e Alimentação - Nutrição do escolar" (NUTRISIM)¹⁰10. NutriSim - Sistema de Monitoramento da Saúde-Nutrição e alimentação do escolar. [software na internet]. versão 1. São Paulo (SP): Departamento de Nutrição da Faculdade de Saúde Pública - USP; 2011. Disponível em http://www.fsp.usp.br/nutrisim.
Disponível em http://www.fsp.usp.br/nutr... , sistema computadorizado para a coleta de dados, avaliação e monitoramento da saúde e estado nutricional de escolares. O sistema engloba diferentes blocos temáticos, entre eles o consumo alimentar, avaliado por meio de um Recordatório de 24 horas estruturado, de autopreenchimento e com atlas fotográfico. O NUTRISIM encontra-se disponível no website: http://www.fsp.usp.br/nutrisim.

Profissionais da área da tecnologia da informação (TI), tais como: webdesigner, analista de sistemas, designer de interfaces entre outros, foram convidados para avaliar o sistema. Inicialmente apresentaram-se 20 profissionais, mas ocorreram exclusões e permaneceram 17 participantes, número dentro das recomendações propostas por Nielsen¹¹11. Nielsen J. Why you only need to test with 5 users. Jakob Nielsen's Alertbox, 2000. Disponível em http://www.useit.com/alertbox/20000319.html (Acessado em 20 de janeiro de 2011).
Disponível em http://www.useit.com/alert... . O acesso ao sistema foi realizado através de um link enviado para os profissionais por correio eletrônico, e para cada um deles, foram enviados um login (nome de usuário) e uma senha individuais, previamente definidos. Os profissionais foram monitorados durante todo o acesso pelos desenvolvedores do sistema para garantir que o processo fosse concluído.

Após o cumprimento de todas as etapas propostas para o teste, os profissionais preencheram o "Questionário para Usabilidade de Sistemas" desenvolvido por Santos³3. Santos RC. Desenvolvimento de uma metodologia para avaliação de usabilidade de sistemas utilizando a Lógica Fuzzy baseado na ISO. 2007. 115 p [dissertação de mestrado]. Rio de Janeiro: Faculdade de Economia e Finanças IBMEC; 2007. .

A primeira parte do questionário corresponde a perguntas que definem o perfil do usuário (sexo, idade, escolaridade, tempo de experiência no uso de computador) e a segunda parte é composta por 30 questões que avaliam a usabilidade do sistema estudado, divididas em seis métricas: "facilidade de aprender", "facilidade de relembrar", "controle de erros", "eficiência"; "eficácia" e "satisfação". Assim, cada métrica possui várias questões e cada questão possui cinco opções de resposta: muito insatisfeito, insatisfeito, indiferente, satisfeito e muito satisfeito.

A avaliação da usabilidade do sistema consiste em determinar para cada um dos seis critérios, um conceito na seguinte escala Fuzzy: "muito ruim", "ruim", "média", "boa" e "muito boa", associada a um suporte com valores 0, 2, 4, 6 e 8, respectivamente (Figuras 1 e 2). Nesta abordagem deve-se encontrar o Número Nebuloso (NN) e o Conjunto Triangular Fuzzy Normalizado que mais se aproxima à frequência modal de opiniões dos usuários (FOUN). Depois de avaliados os Números Triangulares Nebulosos (NTN), para cada questão da métrica, é calculado o Número Nebuloso Médio (NNM), que se dá a partir de uma fórmula específica. Depois de encontrado o NNM, o número deve ser normalizado, dividindo todos os valores de pertinência µ pela pertinência máxima desse mesmo número nebuloso, encontrando-se então o número nebuloso médio normalizado (NNMN). O NNMN é comparado com os NTNs de mesma moda, encontrando-se assim o NTN final, que determina a classificação da usabilidade para a métrica como um todo, com uso do mesmo suporte e classificação³ (Figuras 3 e 4).

Quanto menor a amplitude do intervalo, maior a confiabilidade dos dados. A Amplitude deve ser interpretada com a adoção de 1, 2, 3 e 4 para Mínima, Média, Alta e Muito Alta, respectivamente. Quando a amplitude encontrada no resultado final da métrica for igual ou maior que dois, recomenda-se que o sistema seja reavaliado sob o ponto de vista desta métrica, e que se aumente o número de especialistas convidados. A amplitude desse NTN final determinará a dispersão das opiniões dos usuários e a qualidade do resultado final.

Para a caracterização dos grupos estudados, realizou-se uma análise descritiva das informações pessoais por meio de frequência, cálculo da média e desvio-padrão. Os resultados do teste de usabilidade foram gerados graficamente pelo programa MatLab.

Os procedimentos para o desenvolvimento da pesquisa respeitaram o preconizado na resolução n° 196, de 10 de outubro de 1996, do Conselho Nacional de Saúde, levando em conta os princípios éticos de respeito pela autonomia das pessoas, bem como a obrigação ética de aumentar ao máximo os benefícios e reduzir ao mínimo os danos. Este projeto de pesquisa foi encaminhado ao Comitê de Ética da Faculdade de Saúde Pública da Universidade de São Paulo, sob protocolo 014/11.

Resultados

A média de idade dos profissionais especialistas corresponde a 33 ± 8,7 anos, sendo 70,5% do sexo masculino, com curso superior completo na área de Tecnologia da Informação e tempo médio de experiência de 16 ± 8,5 anos.

Neste trabalho, dar-se-á ênfase aos resultados da métrica "Facilidade de Aprender", sendo as informações das demais métricas apresentadas de forma sumarizada por meio dos gráficos "resultado final" retro mencionados.

A métrica "facilidade de aprender" possui dez questões, sendo que cinco delas apresentaram o NTN 8/2 (Figura 1), a moda oito representou a opinião "muito boa", com amplitude 2, o que indicou uma dispersão que pode ser classificada como "média".

A Figura 2 representa o gráfico resultante de três questões que obtiveram o NTN 6/2, que representa a opinião "boa" com amplitude 2, indicando uma dispersão "média", na opinião dos usuários.

A questão quatro apresentou o NTN 8/1 com amplitude 1, opinião classificada como "muito boa", com dispersão "mínima", o que pode ser interpretado que as opiniões dos usuários foram mais concordantes. A questão oito foi categorizada como "boa", traduzida pelo NTN 6/1 com amplitude 1, dispersão "mínima" entre as respostas.

O resultado final para a métrica "facilidade de aprender" apresentou o NTN 8/3 como resposta, o que, como a metodologia propõe, representa a convergência de todos os resultados das dez questões que compõe essa mesma métrica.O número nebuloso 8/3 representa uma avaliação "muito boa" para a "facilidade de aprender" do sistema analisado, porém com amplitude 3, que representa dispersão "alta" entre as opiniões dos usuários (Figura 3).

Os gráficos finais para as demais métricas são representados na Figura 4. A métrica "controle de erros" apresentou o NTN 6/2 como resposta, o que representa uma opinião "boa", com dispersão "média".

Já as métricas "eficiência" e "facilidade de relembrar" apresentaram como resposta os NTNs 8/2 e 8/3, representando uma avaliação "muito boa" com dispersão "média" e "alta" respectivamente, entre a opinião dos usuários.

Assim como a métrica "facilidade de relembrar", a métrica "eficácia" apresentou o NTN 8/3, refletindo uma avaliação "muito boa", no entanto com dispersão "alta".

O resultado final para a métrica "satisfação" obteve o NTN 8/2, representando uma avaliação "muito boa" com uma dispersão "média".

A Tabela 1 sintetiza os resultados e o trabalho apontou uma avaliação "boa" e "muito boa". O sistema é fácil de aprender e satisfaz ao usuário. No entanto com amplitudes que indicam um grau de confiança baixo. Esta dispersão poderia ser corrigida convidando mais especialistas, mas se a dispersão persistisse, estas métricas deveriam ser repensadas.

Discussão

Atualmente a Tecnologia da Comunicação e Informação (TCI) oferece um grande potencial para desenvolver instrumentos de levantamento de dados para pesquisas relacionadas à saúde da população. O uso da TCI fornece elementos que permitem relações interativas, isto é, relacionamentos com componentes de igual para igual, dentro de um ambiente ideal para a interatividade e a interação¹²12. Skinner HA, Maley O, Norman CD. Developing internet-based eHealth promotion programs: the Spiral Technology Action Research (STAR) model. Health Promot Pract 2006; 7(4): 406-17.. Estudos recentes afirmam que o futuro da pesquisa biomédica envolverá a participação de muitos colaboradores em diferentes localidades, todos estes interligados através de redes de informática de alta velocidade, podendo apresentar, analisar, e compartilhar dados de forma simultânea. Assim, o presente trabalho mostrou por meio do estudo de usabilidade, que o sistema NUTRISIM é um instrumento de fácil compreensão e uso.

A dispersão da métrica "Facilidade de Aprender" pode estar relacionada à dificuldade ou demora em concluir alguma tarefa. A dispersão na métrica "eficácia" pode ser atribuída à quantidade de erros produzidos e também ao desempenho do sistema em relação à velocidade de operação. Em conjunto, as duas métricas podem estar relacionadas ao tempo de execução e acredita-se que os usuários, quando estão sendo avaliados, podem não concluir tarefas com a produtividade esperada.

Outra métrica que apresentou alta dispersão foi a "facilidade de relembrar". A memorização está relacionada ao treinamento e/ou repetição, e o sistema foi apresentado uma única vez aos usuários, o que dificulta a possibilidade de relembrar. Diante desta hipótese, considera-se importante que o usuário conheça o sistema, telas e comandos previamente à avaliação.

Uma limitação que deve ser mencionada é a de que ainda são relativamente poucos os estudos que apresentam a usabilidade de sistemas voltados para a avaliação do consumo alimentar (ou ainda mesmo voltados à área da saúde), principalmente direcionados a grupos populacionais na faixa etária estudada. Os estudos encontrados, em geral, são internacionais e dão mais enfoque para a descrição do desenvolvimento e das funcionalidades integrantes do sistema do que para o detalhamento do método utilizado para a avaliação da sua usabilidade¹³13. Britto MT, Jimison HB, Munafo JK, Wissman J, Rogers ML, Hersh W. Usability testing finds problems for novice users of pediatric portals. J Am Med Inform Assoc 2009; 16(5): 660-9.

14. Biltoft-Jensen A, Trolle E, Christensen T, Islam N, Andersen LF, Egenfeldt-Nielsen S, Tetens I. WebDASC: a web-based dietary assessment software for 8-11-year-old Danish children. J Hum Nutr Diet 2012; [Epub ahead of print].

15. Thompson DA, Joshi A, Hernandez RG, Jennings JM, Arora M, Ellen JM. Interactive nutrition education via a touchscreen: is this technology well received by low-income Spanish-speaking parents? Technol Health Care 2012; 20(3): 195-203.

16. Foster E, Hawkins A, Delve J, Adamson AJ. Reducing the cost of dietary assessment: Self-Completed Recall and Analysis of Nutrition for use with children (SCRAN24). J Hum Nutr Diet 2013; [Epub ahead of print].

17. Lang AR, Martin JL, Sharples S, Crowe JA. The effect of design on the usability and real world effectiveness of medical devices: a case study with adolescent users. Appl Ergon 2013; 44(5): 799-810.

18. Lee MK, Park HA, Yun YH, Chang YJ. Development and formative evaluation of a web-based self-management exercise and diet intervention program with tailored motivation and action planning for cancer survivors. JMIR Res Protoc 2013; 2(1): e11.

19. Riiser KP, Løndal K, Ommundsen Y, Sundar T, Helseth S. Development and usability testing of an internet intervention to increase physical activity in overweight adolescents. JMIR Res Protoc 2013; 2(1): e7.

20. Vandelanotte C, Caperchione CM, Ellison M, George ES, Maeder A, Kolt GS, et al. What kinds of website and mobile phone-delivered physical activity and nutrition interventions do middle-aged men want? J Health Commun 2013; 18(9): 1070-83. ^{- 21}21. Wyatt TH, Li X, Huang Y, Farmer R, Reed D, Burkhart PV. Developing an interactive story for children with asthma. Nurs Clin North Am 2013; 48(2): 271-85..

Dentre os estudos encontrados, pode-se citar o estudo de Foster¹⁶16. Foster E, Hawkins A, Delve J, Adamson AJ. Reducing the cost of dietary assessment: Self-Completed Recall and Analysis of Nutrition for use with children (SCRAN24). J Hum Nutr Diet 2013; [Epub ahead of print]. que desenvolveu e testou um Recordatório de 24 horas computadorizado (SCRAN24), preenchido pelo próprio entrevistado, direcionado à população adolescente com idade entre 11 e 16 anos. Assim como o Recordatório de 24 horas, estruturado que compõe um dos módulos do NUTRISIM, o citado software continha divisões de acordo com as refeições principais e lanches, espaço para preenchimento do horário das refeições e fotografias de porções de alimentos para auxiliar a quantificação. Uma diferença entre os sistemas diz respeito à lista de alimentos, sendo que no SCRAN24 o entrevistado tinha espaço para livre digitação e busca do alimento, enquanto no NUTRISIM os alimentos eram organizados em uma pré-lista e também dispunha de campo para pesquisa com livre digitação para alimentos menos comuns não inseridos na pré-lista. Segundo os autores, o SCRAN24 apresentou acurácia e precisão próximas às observadas em sistemas semelhantes, utilizados em estudos de consumo alimentar, e foi bem recebido pela população usuária e teve preenchimento relativamente rápido.

Outra ferramenta voltada para indivíduos com idades entre 8 e 11 anos é o Web-based Dietary Assessment Software for Children (WebDASC), desenvolvida com o objetivo de medir mudanças dietéticas resultantes de intervenções em ambiente escolar. O sistema foi desenvolvido para ser preenchido pelas crianças com a ajuda dos pais. A exemplo do recordatório no NUTRISIM, o referido sistema possui os alimentos organizados em lista ou podem ser acessados por um campo de busca de livre digitação, no entanto, com uma base de alimentos de 1300 itens, mais extensa que a utilizada no NUTRISIM. Também possui imagens de porções de alimentos em quatro diferentes tamanhos¹⁴14. Biltoft-Jensen A, Trolle E, Christensen T, Islam N, Andersen LF, Egenfeldt-Nielsen S, Tetens I. WebDASC: a web-based dietary assessment software for 8-11-year-old Danish children. J Hum Nutr Diet 2012; [Epub ahead of print].. Os referidos autores descrevem que, em testes preliminares, o sistema demonstrou boa aceitabilidade pelos entrevistados da referida faixa etária.

O estudo de Riiser¹⁹19. Riiser KP, Løndal K, Ommundsen Y, Sundar T, Helseth S. Development and usability testing of an internet intervention to increase physical activity in overweight adolescents. JMIR Res Protoc 2013; 2(1): e7. testou a usabilidade de um programa de internet voltado para o estímulo de atividade física em adolescentes com excesso de peso, o Young & Active. Assim como no NUTRISIM, por meio dos resultados do teste de usabilidade, foram realizados ajustes que tornaram o conteúdo e os objetivos mais visíveis e explícitos. Neste estudo foi realizado um segundo teste de usabilidade e avaliou-se o programa com os ajustes do primeiro teste, revelando que o programa foi bem aceito pelos participantes e apenas pequenos ajustes estéticos tiveram que ser feitos para completar a versão final do programa.

Ademais da limitação no que se refere à comparabilidade externa por escassez de estudos de delineamento semelhante, deve-se citar o fato de que as características do grupo estudado no presente trabalho podem haver interferido nos resultados. Os resultados positivos observados podem estar atrelados ao fato de os usuários serem adultos, com alto grau de escolaridade e, principalmente, habituados ao manuseio de ferramentas informatizadas, apresentando maior facilidade em operar o sistema.

Vale ressaltar que o trabalho ora apresentado representa um primeiro passo no que se refere aos testes com o mencionado sistema, uma vez que necessariamente se deve realizar uma avaliação técnica, voltada à observação de fluxos de preenchimento, existência e quantificação de erros durante a execução, dentre outros aspectos técnicos, para em continuidade, ser testado pelo público usuário. Testes envolvendo o uso do sistema por escolares e pelos próprios pesquisadores (em relação ao ambiente a eles designado dentro do programa) estão em fase de planejamento e execução em curto prazo.

Conclusão

O estudo de usabilidade com profissionais da TI obteve bons resultados, porém algumas métricas relacionadas ao tempo de uso e treinamento deverão ser reavaliadas em uma amostra maior para obter-se maior precisão dos resultados.

Considerações finais

O instrumento mostrou ser uma ferramenta útil para a avaliação e monitoramento da saúde e do consumo alimentar em pesquisas epidemiológicas de pequeno à grande porte.

Referências bibliográficas

Datas de Publicação

Histórico