Resumo:

O objetivo do trabalho foi traduzir, adaptar culturalmente e testar o desempenho psicométrico de um questionário para avaliar a literacia em saúde. Estudantes universitários brasileiros (n = 472) com idade média de 22,7 (5,3) anos participaram do estudo. As validades da estrutura fatorial, convergente e discriminante foram testadas utilizando-se análise de equações estruturais. Mesmo apresentando resultados sofríveis, o modelo de 4-fatores foi o que se mostrou mais adequado quanto à validade fatorial e se manteve invariante em amostras independentes. A validade convergente foi adequada apenas para o fator "Busca de Informações em Saúde" e a validade discriminante foi adequada para os fatores "Busca de Informações" e "Entendimento das Informações". A consistência interna apresentou resultado adequado em relação à totalidade dos itens. O modelo hierárquico de segunda ordem, ainda que não seja totalmente adequado, apresentou índices de ajustamento levemente superiores, e desta forma permite o cálculo de uma pontuação geral sobre Literacia em saúde considerando o devido peso para cada item.

Palavras-chave:
Alfabetização em Saúde; Educação em Saúde; Inquéritos e Questionários; Reprodutibilidade dos Testes; Promoção da Saúde

Abstract:

The aim of this study was to translate, culturally adapt, and test the psychometric performance of a questionnaire to assess health literacy. Brazilian university students (n = 472) with a mean age of 22.7 (5.3) years participated in the study. The validities of the factor, convergent, and discriminant structure were tested using structural equations analysis. The 4-factors model showed only fair results, but was nevertheless the most adequate in terms of factor validity and proved invariant in independent samples. Convergent validity was only adequate for the factor "Search for Health Information", while discriminant validity was adequate for the factors "Search for Information" and "Understanding Information". Internal consistency showed adequate results on all the items. The second-order hierarchical model, although not totally adequate, slowly slightly higher fit indices and thus allowed calculating an overall health literacy score considering each item's best weight.

Keywords:
Health Literacy; Health Education; Surveys and Questionnaires; Reproducibility of Results; Health Promotion

Resumen:

El objetivo del trabajo fue traducir, adaptar culturalmente y comprobar el desempeño psicométrico de un cuestionario para evaluar la cualificación en salud. Estudiantes universitarios brasileños (n = 472) con una edad media de 22,7 (5,3) años participaron en el estudio. Se probó la validez de las estructuras factorial, convergente y discriminante, utilizándose un análisis de ecuaciones estructurales. Incluso presentando pobres resultados, el modelo de 4-factores fue el que se mostró más adecuado en cuanto a la validez factorial y se mantuvo invariable en muestras independientes. La validez convergente fue adecuada solo para el factor "Búsqueda de Información en Salud", y la validez discriminante fue adecuada para los factores "Búsqueda de Información" y "Comprensión de la Información". La consistencia interna presentó un resultado adecuado en relación a la totalidad de los ítems. El modelo jerárquico de segundo orden, aunque no sea totalmente adecuado, presentó índices de ajuste levemente superiores, y, de esta forma, permite el cálculo de una puntuación general sobre cualificación en salud, considerando el debido peso para cada ítem.

Palabras-clave:
Alfabetización en Salud; Educación en Salud; Encuestas y Cuestionarios; Reproducibilidad de Resultados; Promoción de la Salud

Introdução

A promoção da saúde e prevenção de doenças, assim como a educação na atenção primária à saúde têm sido temas de publicações no Brasil durante a última década ¹1. Castro RCL, Knauth DR, Harzheim E, Hauser L, Duncan BB. Avaliação da qualidade da atenção primária pelos profissionais de saúde: comparação entre diferentes tipos de serviços. Cad Saúde Pública 2012; 28:1772-84.^,22. Ferreira Neto JL, Kind L, Resende MCC, Colen NS. Processos da construção da Política Nacional de Promoção da Saúde. Cad Saúde Pública 2013; 29:1997-2007.^,33. Czeresnia D, Freitas CM. Promoção da saúde: conceitos, reflexões, tendências. Rio de Janeiro: Editora Fiocruz; 2009.^,44. Ferreira JO, Jardim PC, Peixoto MRG. Evaluation of projetct promoting heath in adolescents. Rev Saúde Pública 2013; 47:257-65.^,55. Silva EC, Pelicioni MCF. Participação social e promoção da saúde: estudo de caso na região de Paranapiacaba e Parque Andreense. Ciênc Saúde Coletiva 2013; 18:563-72.^,66. Correa LS, Hökerberg YH, Daumas RP, Brasil P. Tradução e adaptação transcultural do instrumento da Organização Mundial da Saúde sobre o uso de sinais de alarme para dengue por profissionais de saúde. Cad Saúde Pública 2015; 31:247-56.. A literacia em saúde consiste na capacidade de obter, processar e interpretar informações básicas em saúde para tomar decisões adequadas ⁷7. Nielsen-Bohlman L, Panzer AM, Kinding DA, editors. Health literacy: a prescription to end confusion. Washington DC: National Academies Press; 2004.^,88. Sørensen K, van den Broucke S, Fullam J, Doyle G, Pelikan J, Slonska Z, et al. Health literacy and public health: a systematic review and integration of definitions and models. BMC Public Health 2012; 25:80.. Diferentes materiais, como bulas de medicamentos, sites e folhetos informativos são utilizados para informar a população ⁹9. Cavaco A, Santos AL. Avaliação da legibilidade de folhetos informativos e literacia em saúde. Rev Saúde Pública 2012; 46:918-22.^,1010. Pires C, Vigário M, Cavaco A. Legibilidade das bulas dos medicamentos: revisão sistemática. Rev Saúde Pública 2015; 49:1-13.. A literacia em saúde da população afeta o acesso e compreensão de informações sobre os cuidados com a saúde e prevenção de doenças ¹⁰10. Pires C, Vigário M, Cavaco A. Legibilidade das bulas dos medicamentos: revisão sistemática. Rev Saúde Pública 2015; 49:1-13.^,1111. Baker DW, Parker RM, Williams MV, Clark WS. Health literacy and the risk of hospital admission. J Gen Intern Med 1998; 13:791-8.^,1212. Paskulin LMG, Bierhals KBCC, Valer BD, Aires M, Guimarães VN, Brocker RA, et al. Alfabetização em saúde de pessoas idosas na atenção básica. Acta Paul Enferm 2012; 25:129-35.. Por outro lado, a baixa literacia em saúde é frequentemente acompanhada por vergonha e menor capacidade de entender como prevenir doenças e promover saúde ¹¹11. Baker DW, Parker RM, Williams MV, Clark WS. Health literacy and the risk of hospital admission. J Gen Intern Med 1998; 13:791-8.. Nesse sentido, estudos sobre os níveis de literacia em saúde são necessários para facilitar e melhorar a educação em saúde no Brasil ¹²12. Paskulin LMG, Bierhals KBCC, Valer BD, Aires M, Guimarães VN, Brocker RA, et al. Alfabetização em saúde de pessoas idosas na atenção básica. Acta Paul Enferm 2012; 25:129-35..

Os instrumentos de literacia em saúde avaliam o conhecimento da população e ajudam a determinar intervenções para promover saúde ¹³13. Pleasant A. Advancing health literacy measurement: a pathway to better health and health system performance. J Health Commun 2014; 19:1481-96.. Apesar dos esforços para desenvolver e testar medidas de intervenções para melhorar e despertar o interesse da população por conhecimentos sobre saúde e para melhorar os meios e formas de transmitir informações ¹⁴14. Mancuso JM. Assessment and measurement of health literacy: an integrative review of the literature. Nurs Health Sci 2009; 11:77-89., muitas vezes os instrumentos não são adequados e podem trazer informações distorcidas ¹⁵15. Guzys D, Kenny A, Dickson-Swift V, Threlkeld G. A critical review of population health literacy assessment. BMC Public Health 2015; 15:215.^,1616. Baur C. New directions in research on public health and health literacy. J Health Commun 2010; 15:42-50.. No Brasil, foi encontrado um instrumento validado para avaliar a literacia em saúde. Entretanto, o instrumento foi avaliado na população idosa e apresentou algumas limitações no processo de validação ¹⁷17. Apolinario D, Braga RC, Magaldi RM, Busse AL, Campora F, Brucki S, et al. Short assessment of health literacy for Portuguese-speaking adults. Rev Saúde Pública 2012; 46:702-11., o que aponta para a necessidade de novos instrumentos dentro da área e voltados para a população brasileira.

Um instrumento de avaliação da literacia em saúde foi desenvolvido e testado na Suíça em uma população de adultos jovens ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35.. É composto por oito questões com respostas em uma escala do tipo Likert de quatro a cinco pontos, e no contexto em que foi testada a estrutura fatorial que apresentou maior adequação à amostra foi aquela composta por quatro fatores: (i) Entendimento das Informações em Saúde (EIS; itens 1 e 2); (ii) Busca das Informações em Saúde (BIS; itens 3 e 4); (iii) Interatividade em Saúde (IS; itens 5 e 6); e (iv) Conhecimento Crítico em Saúde (CCS; itens 7 e 8). A consistência interna estimada pelo alfa de Cronbach se mostrou aceitável quando considerado o escore total pela soma dos seus itens ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35.. A validade de construto foi verificada por meio da técnica dos grupos conhecidos e também apresentou valores satisfatórios ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35.. No entanto, autores que desenvolveram o instrumento discutem que o construto Literacia em saúde seria usualmente representado por três dimensões/fatores (Literacia Funcional, Literacia Interativa e Literacia Crítica), e que a configuração estrutural do instrumento em quatro fatores não era a esperada inicialmente, quando o estudo foi desenvolvido. Dessa forma, os objetivos deste estudo foram traduzir e adaptar culturalmente um instrumento de avaliação da literacia em saúde ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35. para o Brasil; avaliar o desempenho psicométrico (validade e confiabilidade) do instrumento traduzido e adaptado em uma amostra de universitários brasileiros.

Métodos

Tradução e adaptação cultural do questionário

O processo metodológico de tradução e adaptação cultural do questionário sobre literacia em saúde teve como base as recomendações propostas no roteiro estabelecido por Reichenheim & Moraes ¹⁹19. Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saúde Pública 2007; 41:665-73., quanto às equivalência conceitual, equivalência dos itens, equivalência semântica, equivalência operacional e equivalência de mensuração.

Para a avaliação das equivalências conceitual e dos itens, o grupo de pesquisadores se reuniu em ocasiões distintas para discutir sobre a relevância e pertinência dos conceitos abordados pelo instrumento de literacia proposto pelo estudo original ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35.. As discussões foram pautadas com base em buscas na literatura sobre instrumentos disponíveis que avaliassem literacia em saúde na população brasileira, o que resultou num único instrumento para o contexto brasileiro. O referido instrumento foi utilizado em uma amostra de idosos (> 60 anos) ¹⁷17. Apolinario D, Braga RC, Magaldi RM, Busse AL, Campora F, Brucki S, et al. Short assessment of health literacy for Portuguese-speaking adults. Rev Saúde Pública 2012; 46:702-11. e não atendia aos objetivos dos pesquisadores.

Seguindo os passos para a avaliação da equivalência semântica, o questionário foi traduzido da versão original em inglês para o português, de modo independente, por três pessoas com formação na área da saúde e fluentes na língua inglesa. As três versões foram comparadas e discutidas pelos profissionais até a construção de uma versão comum que foi avaliada por um quarto profissional de saúde. Essa última versão foi retrotraduzida por outro profissional bilíngue, que não teve acesso à versão original, e foi então apresentada aos autores da escala original para apreciação. O pré-teste foi realizado com universitários brasileiros (n = 10), os quais não fizeram parte da amostra final do estudo. Durante o pré-teste, o questionário foi aplicado coletivamente por um dos pesquisadores (P.R.V.Q.), e após o preenchimento foi realizada a leitura conjunta do instrumento, discutindo as instruções, os itens e as alternativas de pontuação. Os participantes tiveram dificuldade de entender o termo "brochuras de informação", que foi revisado para "folhetos/cartilhas". Para os demais itens e conteúdo do questionário não houve dificuldade de compreensão.

Quanto à equivalência operacional, o veículo e formato das questões/instruções foram bastante similares ao desenvolvido pelo estudo original (papel/caneta), bem como o modo de aplicação (autorrespondido). Houve alguma diferença quanto ao cenário de administração do questionário. No contexto suíço, essa administração aconteceu via correio postal (no caso das mulheres) e durante o processo de alistamento obrigatório ao serviço militar (para os homens), já no Brasil esta fase aconteceu dentro da sala de aula. A versão final do questionário é apresentada na Figura 1.

Em relação à avaliação da equivalência de mensuração ¹⁹19. Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saúde Pública 2007; 41:665-73., o presente trabalho optou por denominar esta etapa de "avaliação do desempenho psicométrico", que será descrita nos próximos itens.

Desenho de estudo e amostra

Estudo metodológico de desenho transversal com uma amostra não probabilística, composta por estudantes universitários brasileiros maiores de 18 anos, matriculados em cursos de graduação de diversas áreas do conhecimento em uma universidade particular do interior do Estado de São Paulo.

O tamanho amostral mínimo foi estimado com base nas recomendações feitas por Hair et al. ²⁰20. Hair JF, Black WC, Babin B, Anderson RE, Tatham RL. Multivariate data analysis. 7th Ed. Upper Saddle River: Prentice Hall; 2009., que considera que para um nível de 5% de significância, e um poder de 80%, há necessidade de incluir de 5 a 10 sujeitos por item do questionário. Dessa maneira, para este estudo era necessário um mínimo de 40 a 80 sujeitos. Considerando que também avaliamos a estabilidade do modelo independente para amostras da mesma população, o tamanho amostral mínimo foi estimado entre 80 a 160 pessoas. Foram convidados 501 sujeitos, dos quais 29 não responderam a todas as questões e por isto foram excluídos do estudo. A amostra final foi de 472 pessoas (taxa de resposta de 94,2%).

Instrumentos, procedimentos e aspectos éticos

Além do questionário traduzido e adaptado sobre literacia em saúde, utilizou-se um breve questionário sociodemográfico que incluía questões sobre sexo, idade e estado civil, questões sobre a área de conhecimento da graduação cursada e o período em que o aluno estava matriculado.

Os questionários foram aplicados coletivamente nas salas de aulas após a autorização da instituição e liberação do professor responsável pela classe no momento da coleta de dados. Os pesquisadores informaram aos alunos os objetivos do estudo e os convidaram a participar. A fim de garantir o anonimato dos sujeitos, os questionários foram numerados de forma aleatória e distribuídos também da mesma forma. A obtenção dos dados foi conduzida pelo pesquisador e por três colaboradores devidamente treinados e com conhecimento sobre o instrumento e o estudo.

O presente trabalho foi aprovado pelo Comitê de Ética em Pesquisa com Seres Humanos da Universidade de Franca (protocolo CAAE: 36925614.0.0000.5495), seguindo os princípios do Conselho Nacional de Saúde (Resolução nº 466/12). Todos os participantes que aceitaram participar do estudo assinaram duas vias do termo de consentimento livre e esclarecido. Além disso, a utilização do instrumento sobre literacia em saúde foi autorizada pelos autores suíços.

Avaliação do desempenho psicométrico

As análises dos dados foram realizadas nos programas IBM SPSS e AMOS v. 20 (IBM Company, Chicago, Estados Unidos) e para todos os testes utilizados adotou-se um nível de significância de 5%.

Estatística descritiva foi utilizada para a apresentação das características dos sujeitos (sexo, idade, estado civil, área do conhecimento e ano da graduação). Cada item da escala de literacia em saúde foi avaliado por meio de medidas de resumo (média e desvio padrão) e distribuição (assimetria e curtose).

Na análise e tratamento dos dados, as opções de resposta externa à escala ordinal representada por "(0)" foram tratadas como sendo equivalentes às opções de resposta representadas por "(1)", devido apresentarem sentidos semânticos semelhantes.

A avaliação do desempenho psicométrico dos dados foi realizada por meio da estimativa da sensibilidade psicométrica, da confiabilidade da validade da estrutura fatorial, validade convergente e da validade discriminante ²⁰20. Hair JF, Black WC, Babin B, Anderson RE, Tatham RL. Multivariate data analysis. 7th Ed. Upper Saddle River: Prentice Hall; 2009.^,2121. Anastasi A. Psychological testing. 6th Ed. New York: MacMillan Publishing Co.; 1988.. A estratégia metodológica proposta para análises dos dados neste estudo tem sido considerada bastante robusta para a avaliação de instrumentos de medida em diferentes áreas e amostras ²²22. Maroco J. Análise de equações estruturais: fundamentos teóricos, software e aplicações. Pêro Pinheiro: Report Number; 2010.^,2323. Pais-Ribeiro JL. Medida na avaliação psicológica. Psicol Saúde Doenças 2013; 14:245-63.^,2424. Kane M. Validating the interpretations and uses of test scores. J Educ Meas 2013; 50:1-73.. A sensibilidade psicométrica dos itens foi considerada adequada quando os valores absolutos de assimetria eram menores de 3 e os valores de curtose menores que 7 ²²22. Maroco J. Análise de equações estruturais: fundamentos teóricos, software e aplicações. Pêro Pinheiro: Report Number; 2010.^,2525. Kline RB. Principles and practice of structural equation modeling. 3rd Ed. New York: Guilford; 2011..

Validade da estrutura fatorial, validade convergente e validade discriminante

Para verificar o grau com que a versão brasileira desse questionário satisfazia a mesma estrutura de quatro fatores da versão original ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35., conduziu-se uma análise fatorial confirmatória pelo método de Estimação da Máxima Verossimilhança. Para isso, foram considerados os seguintes índices de avaliação quanto à qualidade do ajustamento: razão do qui-quadrado pelos graus de liberdade (χ²/gl), sendo este considerado aceitável quando < 5, e bom quando ≤ 2,0; Goodness of Fit Index (GFI); Comparative Fit Index (CFI) e Tucker-Lewis Index (TLI) considerados inadequados quando < 0,90, bom para valores entre 0,90 e 0,95, e muito bom quando ≥ 0,95; Root Mean Square Error of Aproximation (RMSEA) < 0,10 com intervalo de 90% de confiança (IC90%) ²⁰20. Hair JF, Black WC, Babin B, Anderson RE, Tatham RL. Multivariate data analysis. 7th Ed. Upper Saddle River: Prentice Hall; 2009.^,2222. Maroco J. Análise de equações estruturais: fundamentos teóricos, software e aplicações. Pêro Pinheiro: Report Number; 2010.. As cargas fatoriais (λ) dos itens também foram avaliadas e consideradas adequadas quando maiores ou iguais a 0,40. Os itens com cargas fatoriais menores do que 0,40 eram candidatos à remoção do modelo ²⁰20. Hair JF, Black WC, Babin B, Anderson RE, Tatham RL. Multivariate data analysis. 7th Ed. Upper Saddle River: Prentice Hall; 2009.. Nos casos em que o modelo apresentou ajustamento inapropriado, recorreu-se aos índices de modificação estimados pelo método dos multiplicadores de Lagrange ²²22. Maroco J. Análise de equações estruturais: fundamentos teóricos, software e aplicações. Pêro Pinheiro: Report Number; 2010..

Uma vez que o construto de literacia em saúde é usualmente apresentado por uma estrutura fatorial de três fatores ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35., e que os pesquisadores suíços esperavam como hipótese inicial que a configuração estrutural do questionário fosse melhor representada por esta mesma estrutura em detrimento de quatro fatores, o presente estudo além de testar a qualidade do modelo de 4-fatores, também testou a qualidade do modelo fatorial de 3-fatores na amostra brasileira.

O estudo suíço ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35. também discute ter testado um modelo alternativo, unidimensional para o questionário de literacia em saúde em questão, e que este teria apresentado índices de ajustamento muito abaixo do recomendado. Com a finalidade de comparar com os resultados suíços, este trabalho também testou a estrutura fatorial unidimensional nos universitários brasileiros. Para determinar a estrutura fatorial com melhor parcimônia, foram utilizados os índices da teoria da informação: Akaike Information Criterion (AIC), Browne-Cudeck Criterion (BCC) e Bayes Information Criterion (BIC). Considerou-se como o modelo mais parcimonioso aquele que apresentasse os menores valores para um ou mais desses índices ²²22. Maroco J. Análise de equações estruturais: fundamentos teóricos, software e aplicações. Pêro Pinheiro: Report Number; 2010..

A validade convergente dos fatores foi estimada por meio da Variância Extraída Média (VEM) e Confiabilidade Composta (CC) que foram consideradas adequadas se VEM ≥ 0,50 e CC ≥ 0,70 ²⁰20. Hair JF, Black WC, Babin B, Anderson RE, Tatham RL. Multivariate data analysis. 7th Ed. Upper Saddle River: Prentice Hall; 2009.^,2626. Fornell C, Larcker DF. Evaluating structural equation models with unobservable variables and measurement error. J Mark Res 1981; 18:39-50..

Os modelos de 4-fatores e de 3-fatores foram também verificados quanto à validade discriminante. Essa foi avaliada por meio da comparação da VEM de cada fator com o quadrado da correlação entre os fatores (ρ_ij ²), em que se VEM_i e VEM_j ≥ ρ_ij ², considera-se que há validade discriminante ²²22. Maroco J. Análise de equações estruturais: fundamentos teóricos, software e aplicações. Pêro Pinheiro: Report Number; 2010.^,2626. Fornell C, Larcker DF. Evaluating structural equation models with unobservable variables and measurement error. J Mark Res 1981; 18:39-50..

Modelo hierárquico de segunda ordem

O estudo suíço ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35. orienta sobre a possibilidade de o instrumento fornecer um escore geral de literacia em saúde. Com o objetivo de que um escore geral de literatura em saúde possa ser calculado na amostra de universitários brasileiros de maneira que se preservasse a diferença teórica entre os itens, propôs-se um modelo hierárquico de segunda ordem ²²22. Maroco J. Análise de equações estruturais: fundamentos teóricos, software e aplicações. Pêro Pinheiro: Report Number; 2010.. Essa proposta foi feita após a análise das correlações e ajustamento do modelo de 4-fatores. A qualidade desse modelo foi avaliada em relação ao modelo com estrutura fatorial de primeira ordem de 4-fatores, e utilizando-se os mesmos índices de ajustamento apresentados anteriormente. O algoritmo para o cálculo da pontuação dos fatores individuais (Literacia Funcional/Entendimento, Literacia Funcional/Informação, Criticidade e Interatividade) e da pontuação geral da literacia em saúde foi estimado para os modelos que se ajustaram adequadamente à amostra. Para isso, os pesos fatoriais foram gerados por meio da matriz dos pesos de regressão, matriz de covariância entre variáveis latentes e manifestas, e matriz de covariância entre as variáveis manifestas conforme a seguinte equação ²²22. Maroco J. Análise de equações estruturais: fundamentos teóricos, software e aplicações. Pêro Pinheiro: Report Number; 2010.^,2727. Campos JADB, Bonafé FSS, Dovigo LN, Maroco J. Psychometric assessment of the attitudes towards statistics scale. Revista Brasileira de Biometria 2013; 31:327-37.: W = BS^-1.

Em que: W = matriz dos pesos de regressão; B = matriz de covariâncias entre as variáveis latentes e manifestas; S = matriz de covariâncias entre as variáveis manifestas.

Os referidos pesos W são gerados para estimar os escores a partir dos itens. No software utilizado neste trabalho (AMOS v. 20), esses pesos (W) estão disponibilizados seguindo-se o caminho: Output → Estimates → Matrices → Factor Score Weights.

Invariância fatorial

Para estimar a estabilidade da solução fatorial, realizou-se a validação cruzada do modelo em amostras independentes (moças x rapazes) pela análise multigrupos e utilização do teste da diferença do qui-quadrado (Δχ²). A invariância do modelo foi avaliada nas duas amostras por comparação entre o modelo livre (com pesos fatoriais e variâncias/covariâncias dos fatores livres) e o modelo restrito (em que foram fixados, sequencialmente, os pesos fatoriais e as variâncias/covariâncias das duas amostras) ²²22. Maroco J. Análise de equações estruturais: fundamentos teóricos, software e aplicações. Pêro Pinheiro: Report Number; 2010.^,2828. Byrne BM. Structural equation modeling with Amos: basic concepts, applications, and programming. 2nd Ed. New York: Routledge; 2009.. Quando a hipótese da invariância do peso fatorial foi aceita (invariância fraca), prosseguiu-se com a análise da invariância das covariâncias e dos resíduos (forte invariância) ²⁹29. Kaplan D. Structural equation modeling: foundations and extensions. Thousand Oaks: Sage Publications; 2000..

Confiabilidade

A consistência interna foi avaliada por meio dos valores de CC gerada com base nos pesos fatoriais de cada item ²⁶26. Fornell C, Larcker DF. Evaluating structural equation models with unobservable variables and measurement error. J Mark Res 1981; 18:39-50. e também usando-se os coeficientes alfa de Cronbach ³⁰30. Cronbach L. Coefficient alpha and the internal structure of tests. Psychometrika 1951; 16:297-37. (α), tanto padronizado quanto estratificado ³⁰30. Cronbach L. Coefficient alpha and the internal structure of tests. Psychometrika 1951; 16:297-37.^,3131. Maroco J, Garcia-Marques T. Qual a fiabilidade do alfa de Cronbach? Questões antigas e soluções modernas? Laboratório de Psicologia 2006; 4:65-90.. A utilização do alfa padronizado e estratificado é uma estratégia indicada por pesquisadores, de forma a evitar os problemas/limitações já conhecidos com relação à tendência do alfa em fornecer valores subestimados de confiabilidade total de uma medida, especialmente nos casos em que essas medidas são multifatoriais. Para um maior detalhamento e discussões robustas sobre o cálculo e utilização dos coeficientes alfa de Cronbach padronizado e estratificado, verificar o estudo de Maroco & Garcia-Marques ³¹31. Maroco J, Garcia-Marques T. Qual a fiabilidade do alfa de Cronbach? Questões antigas e soluções modernas? Laboratório de Psicologia 2006; 4:65-90.. A consistência interna foi considerada adequada quando α ≥ 0,70 ³¹31. Maroco J, Garcia-Marques T. Qual a fiabilidade do alfa de Cronbach? Questões antigas e soluções modernas? Laboratório de Psicologia 2006; 4:65-90.^,3232. Nunnally JC, Bernstein IH. Psychometric theory. 3rd Ed. New York: McGraw-Hill; 1994..

Resultados

Participantes

Participaram do estudo 472 sujeitos (taxa de resposta de 94,2%). A média da idade dos participantes foi de 22,7 (5,3) anos, sendo que 66,1% (n = 312) eram do sexo feminino, 89,2% solteiros, 9,7% casados e 1% divorciados ou viúvos. Com relação ao período do curso de graduação, 54,7% estavam matriculados no primeiro ano, 11,9% no segundo, 27,1% no terceiro e 6,3% no quarto ou quinto ano. Quanto à área do conhecimento, 33,5% cursavam Ciências Administrativas e Jurídicas, 30,7% Ciências Biológicas e da Saúde, 18,9% Ciências Exatas e Tecnológicas e 16,9% Ciências Humanas e Artes.

Estatística univariada e sensibilidade psicométrica

Com relação à análise descritiva das respostas aos itens do questionário, todas as categorias de respostas foram assinaladas. Além disso, não houve alta concentração (> 90%) de respostas em apenas uma resposta que pudesse indicar efeitos de chão ou teto. Os valores absolutos de assimetria < 3 e curtose < 7 indicaram que não houve violação séria dos pressupostos de normalidade quanto à distribuição e forma dos dados e consequentemente a análise fatorial pôde ser conduzida ²²22. Maroco J. Análise de equações estruturais: fundamentos teóricos, software e aplicações. Pêro Pinheiro: Report Number; 2010.^,2525. Kline RB. Principles and practice of structural equation modeling. 3rd Ed. New York: Guilford; 2011.. A Tabela 1 apresenta a estatística descritiva e a frequência da distribuição das respostas aos itens do questionário.

Validade

Os resultados da análise fatorial confirmatória estão apresentados na Tabela 2. O modelo de 4-fatores (Figura 2a) apresentou ajuste apropriado em todos os índices sem a necessidade de exclusão de itens nem adição de correlação entre os erros, o que demonstra a validade da estrutura fatorial deste modelo para a amostra de universitários brasileiros.

A avaliação da validade convergente dos fatores nesse modelo apresentou valores de VEM e CC adequados apenas para o fator BIS (VEM_BIS = 0,55 e CC_BIS = 0,71) e valores abaixo do recomendado para os demais fatores: EIS (VEM_EIS = 0,44 e CC_EIS = 0,59); CCS (VEM_CCS = 0,26 e CC_CCS = 0,41); e IS (VEM_IS = 0,28 e CC_IS = 0,43).

A comparação dos valores das VEMs com o quadrado da correlação entre fatores (ρ_ij ²) indicou que apenas os fatores BIS e EIS apresentaram validade discriminante.

O modelo de 3-fatores e o modelo de 1-fator também foram testados, mas apresentaram índices de ajustamento fracos e precisaram ser refinados (Tabela 2). Além disso, também apresentaram baixas cargas fatoriais λ < 0,40 para alguns itens.

Para refinar o modelo de 3-fatores, notou-se que o item 1 apresentou carga fatorial muito baixa λ_Q1 = 0,18 e por isto foi removido do modelo. Ao excluir o item 1, verificou-se que a carga fatorial do item 2 foi prejudicada. Além disso, considerou-se que ao remover o item 1 e/ou o item 2 o questionário sobre literacia em saúde ficaria comprometido quanto a sua validade de conteúdo. Assim, optou-se pela manutenção desses itens no modelo e recorreu-se à análise dos índices de modificação estimados pelo método dos multiplicadores de Lagrange. Correlação entre os pares de erros dos itens 1 e 2 foi incluída e o modelo de 3-fatores foi refinado (Figura 2b), apresentando índices de ajustamento mais adequados (Tabela 2) quando comparados com o modelo não refinado.

A avaliação da validade convergente para o modelo de 3-fatores apresentou valores de VEM e CC abaixo do recomendado: Informações em Saúde (VEM_IFS = 0,30 e CC_IFS = 0,57); CCS (VEM_CCS = 0,26 e CC_CCS = 0,41); IS (VEM_IS = 0,28 e CC_IS = 0,44). Além disso, nenhum dos fatores apresentou validade discriminante.

No modelo unidimensional (1-fator), o item 1 também se mostrou problemático (λ_Q1 = 0,26) mas foi mantido no modelo para não prejudicar a validade de conteúdo do questionário. Conforme os índices de modificação, os pares de erros dos itens 1 e 2, e itens 3 e 4 necessitaram de correlações para que o modelo de 1-fator pudesse ser ajustado e assim apresentar índices de ajustamento mais adequados (Figura 2c). No entanto, esse modelo também não apresentou validade convergente (VEM = 0,22 e CC = 0,68).

Modelo hierárquico de segunda ordem

De acordo com o estudo suíço ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35., o questionário estimaria um escore geral de literacia em saúde. Com base nessa informação, propusemos um modelo hierárquico de segunda ordem (Figura 2d). Conforme a Tabela 2 e baseando-se nos índices da teoria da informação, esse modelo apresentou índices de ajustamento adequados com uma qualidade de ajustamento superior ao modelo de 4-fatores. Dessa forma, o modelo hierárquico de segunda ordem a partir de um algoritmo que leva em consideração o peso (W) de cada item, permite calcular a estimativa de uma pontuação para cada fator, assim como de uma pontuação geral sobre literacia em saúde (Tabela 3).

Para gerar uma pontuação para cada fator e/ou uma pontuação geral para a literacia em saúde, os pesos devem ser multiplicados pelos valores das respostas obtidas em cada um dos itens que devem ser somados.

Invariância fatorial

O modelo de 4-fatores apresentou um bom ajustamento simultâneo na análise multigrupos (moças x rapazes): (χ²/gl = 1,53; CFI = 0,97; GFI = 0,98; TLI = 0,95; RMSEA = 0,03). Os resultados da comparação do modelo livre com o modelo restrito em que foram fixados os pesos fatoriais e as variâncias/covariâncias das duas amostras atestaram a invariância do modelo de 4-fatores para ambas as amostras:

Δλ: χ²(gl) = 6,29(4) p = 0,18; ΔCov: χ²(gl) = 23,06(14) p = 0,06; ΔRes: χ²(gl) = 67,63(22) p < 0,01.

O modelo hierárquico de segunda ordem também apresentou ajustamento simultâneo adequado na análise multigrupos: (χ²/gl = 1,58; CFI = 0,97; GFI = 0,97; TLI = 0,94; RMSEA = 0,04) e a sua invariância também foi confirmada: Δλ: χ²(gl) = 6,44(4) p = 0,17; ΔCov: χ²(gl) = 13,25(8) p = 0,1; ΔRes: χ²(gl) = 59,9(19) p < 0,01.

A opção por avaliar a análise de invariância entre moças e rapazes se deu no sentido de comparar e contrastar os resultados do presente estudo com o estudo original suíço que também avaliou as estruturas fatoriais em homens e mulheres ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35..

Confiabilidade

Com exceção do fator BIS (CC_BIS = 0,71 e α_BIS = 0,71), os valores dos coeficientes α de Cronbach padronizados e de CC para avaliação da consistência interna de cada um dos fatores apresentaram-se abaixo do recomendado: EIS (CC_EIS = 0,59 e α_EIS = 0,55); CCS (CC_CCS = 0,41 e α_CCS = 0,40) e IS (CC_IS = 0,43 e α_IS = 0,42). Por outro lado, a consistência interna referente à totalidade dos itens avaliada pelo α estratificado e pelo CC total foi adequada (α_TOTAL = 0,74; CC_TOTAL = 0,83).

Discussão

Este trabalho realizou a adaptação cultural e a avaliação das qualidades psicométricas (validade da estrutura fatorial, validade convergente, validade discriminante e invariância fatorial) de um questionário sobre literacia em saúde dentre universitários brasileiros. O estudo suíço ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35. que desenvolveu o instrumento discute que o construto literacia em saúde é usualmente composto de três fatores e que o esperado era que o conjunto de 8-itens representasse estes três fatores. No entanto, as análises demonstraram que o modelo de literacia em saúde estaria mais bem representado para a amostra em quatro fatores. Por esse motivo, o presente estudo testou e avaliou a estrutura fatorial dos modelos de 4-fatores, 3-fatores e 1-fator.

Dentre os modelos testados, aquele representado pelos mesmos 4-fatores do estudo suíço foi o que se mostrou mais adequado e se manteve invariante nas amostras independentes (moças x rapazes), mesmo que ainda apresente alguns resultados sofríveis em relação à validade convergente e discriminante para alguns fatores.

Os valores de VEM e CC no modelo de 4-fatores ficaram abaixo dos valores desejáveis e por isto a validade convergente dos fatores só foi demonstrada para a BIS. Uma das justificativas para esses baixos valores é o fato de existirem apenas dois itens por fator, sendo que psicometristas sugerem que para o desenvolvimento de novas escalas devam ser incluídas pelo menos três e preferencialmente quatro variáveis manifestas (itens) para cada fator ³³33. Fabrigar LR, Wegener DT, MacCallum RC, Strahan EJ. Evaluating the use of exploratory factor analysis in psychological research. Psychol Methods 1999; 4:272-99.. Uma possível solução para a melhora da validade convergente seria o aumento do número de itens em cada fator ³⁴34. Maroco JP, Campos JADB, Vinagre MG, Pais-Ribeiro JL. Adaptação transcultural Brasil-Portugal da Escala de Satisfação com o Suporte Social para estudantes do ensino superior. Psicol Reflex Crit 2014; 27:247-56. em estudos futuros.

A validade discriminante também não foi adequada para os fatores CCS e IS, uma vez que os valores de VEM foram menores que 0,50 e a correlação entre eles foi forte. O fato de existirem apenas dois itens por fator também explica o motivo da consistência interna ter sido baixa para a maioria dos fatores. O coeficiente α de Cronbach é diretamente afetado pelo número de itens de uma escala ³⁵35. Green SB, Lissitz RW, Mulaik AS. Limitations of coefficient alfa as an index of test unidimensionality. Educ Psychol Meas 1977; 37:827-38., por isto a verdadeira confiabilidade estaria penalizada devido ao número reduzido de itens no construto e a confiabilidade composta é dependente das cargas fatoriais. O estudo suíço avaliou a consistência interna do questionário sobre literacia em saúde considerando a totalidade de seus itens e obteve um α de 0,65. No presente trabalho, devido ao fato do modelo ter se apresentado multidimensional (4-fatores) ³³33. Fabrigar LR, Wegener DT, MacCallum RC, Strahan EJ. Evaluating the use of exploratory factor analysis in psychological research. Psychol Methods 1999; 4:272-99.^,3636. Kamata A, Turhan A, Darandari E. Estimating reliability for multidimensional composite scale scores. In: Annual Meeting of American Educational Research Association. Chicago: American Educational Research Association; 2003.^,3737. Osbourn HG. Coefficient alpha and related internal consistency reliability coefficients. Psychol Methods 2000; 5:343-55., realizou-se a estimativa do α estratificado. Esse índice é o que apresenta melhor desempenho nos casos de multidimensionalidade. Assim, o instrumento em geral (na totalidade de seus itens) apresentou consistência interna adequada para a amostra de universitários brasileiros (α = 0,74) e o CC referente ao instrumento geral também se mostrou adequado (CC = 0,83).

Este estudo também avaliou a estrutura hierárquica com um fator latente global de segunda ordem, denominado Literacia em Saúde Global. Tal proposta foi elaborada levando-se em consideração as fortes relações entre os fatores de primeira ordem ²²22. Maroco J. Análise de equações estruturais: fundamentos teóricos, software e aplicações. Pêro Pinheiro: Report Number; 2010. e a proposta do estudo suíço ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35. que sugere um escore geral por meio da soma dos itens. Considerou-se também as diferentes contribuições dos diversos fatores para a análise de um fator geral. Mesmo que ainda apresente alguns resultados sofríveis, os resultados demonstram que o modelo hierárquico de segunda ordem apresentou índices de ajustamento adequados, mostrou-se mais parcimonioso e demonstrou uma qualidade levemente superior quando comparado ao modelo de primeira ordem de 4-fatores. Assim, o presente trabalho sugere que a pontuação final considere o peso de cada um dos itens e fatores ao invés da soma direta da pontuação de cada item como sugere o estudo suíço ¹⁸18. Abel T, Hofmann K, Ackermann S, Bucher S, Sakarya S. Health literacy among young adults: a short survey tool for public health and health promotion research. Health Promot Int 2015; 30:725-35.. Dessa maneira, o instrumento pode captar um construto de acordo com a variabilidade de respostas que é inerente de cada amostra ²¹21. Anastasi A. Psychological testing. 6th Ed. New York: MacMillan Publishing Co.; 1988.. Além disso, a estimativa da pontuação geral, utilizando-se os pesos de regressão, tem maior qualidade pois as informações relacionadas ao construto são mais válidas e mais confiáveis.

Novos estudos devem ser realizados em populações diversas para verificar se a estrutura fatorial de 4-fatores do modelo se mantém, e para permitir a comparação com os resultados deste trabalho. Novas pesquisas também podem tentar aprimorar o questionário, e a inclusão de alguns novos itens pode resultar em uma melhora significativa das validades convergente e discriminantes referentes aos fatores do questionário. Isso consequentemente aumentaria a credibilidade e a difusão do questionário entre os interessados pela temática. Contudo, a praticidade de aplicação de questionários é influenciada pelo número de questões incluídas. Então, é necessário achar um equilíbrio entre o número de questões a serem incluídas e a viabilidade de aplicação.

Algumas limitações deste estudo estão relacionadas à ausência de resultados brasileiros com outras escalas que avaliam literacia em saúde. A inexistência de trabalhos e de escalas sobre essa temática no Brasil impossibilitou o presente estudo de realizar a análise da validade concorrente, e por isto a validade de construto foi avaliada pela estimação dos valores de VEM e CC. Ainda que tenhamos sido bastante cuidadosos, é possível que haja algumas lacunas em relação ao processo de tradução e adaptação cultural, visto que pode haver diferenças entre os conceitos nos contextos do Brasil e da Suíça, e devido a não termos conseguido seguir exatamente todas as recomendações propostas por Reichenheim & Moraes ¹⁹19. Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saúde Pública 2007; 41:665-73., referentes às avaliações de todos os tipos de equivalências propostas. Outras limitações deste trabalho referem-se à inerência de estudos dependentes de dados autorreportados que estão sujeitos aos efeitos de desejabilidade social e outros tipos de vieses de resposta.

Conclusão

Ainda que apresente resultados sofríveis em relação à validade convergente e discriminante para a maioria dos fatores, o modelo de 4-fatores da versão brasileira do questionário sobre literacia em saúde foi o que se mostrou mais adequado quanto à validade da estrutura fatorial e se manteve invariante em amostras independentes. A consistência interna também foi adequada em relação à totalidade dos itens. O modelo hierárquico de segunda ordem proposto apresentou índices de ajustamento adequados, mostrou-se mais parcimonioso e uma qualidade levemente superior quando comparado ao modelo de primeira ordem de 4-fatores. Mesmo que não totalmente adequado, esse modelo permite o cálculo de uma pontuação geral sobre literacia em saúde considerando o devido peso para cada item.

O questionário pode ser utilizado para a avaliação da literacia em saúde na população de universitários brasileiros, desde que os resultados sejam analisados e interpretados com cautela e considerando que o instrumento precisa de um melhor aprimoramento em estudos futuros.

Agradecimentos

Agradecemos ao Professor Luiz Cesar Peres e à Professora Carolina de Meneses Gaya pelo auxílio com a tradução.

Referências

Datas de Publicação

Histórico