Resumo

Este estudo analisou as propriedades psicométricas da versão brasileira do Questionário sobre Conhecimento de Doenças Sexualmente Transmissíveis (STD-KQ). Participou uma amostra de conveniência de 429 estudantes de uma universidade pública brasileira. A análise fatorial exploratória sugere uma estrutura com um fator (variância explicada = 61,1%; eigenvalue = 7,2), sendo corroborada pela análise confirmatória (Root Mean Square Error of Approximation = 0,04; Comparative Fit Index = 0,91; Tucker-Lewis Index = 0,90; Standardized Root Mean Square Residual = 0,05). Cinco itens apresentaram carga menor que 0,30 e por isso foram excluídos. O instrumento demonstrou consistência interna (confiabilidade composta = 0,97; alfa de Cronbach = 0,83) e estabilidade temporal (correlação de Pearson = 0, 86; kappa = 0,16) para um curto período. O conhecimento significativamente variou conforme a idade, o sexo e o curso. Concluindo, o presente estudo destaca as satisfatórias propriedades psicométricas da versão brasileira do STD-KQ em estudantes universitários.

Palavras-chave
Análise fatorial; Conhecimento; Doenças sexualmente transmissíveis; Estudos de validação; Inquéritos e questionários

Abstract

This study evaluated the psychometric properties of the Brazilian version of the Sexually Transmitted Disease Knowledge Questionnaire (STD-KQ). A convenience sample of 429 students of a Brazilian public university participated in the study. Exploratory Factor Analysis suggested one factor solution (variance explained = 61.1%, eigenvalue = 7.2), confirmed by the confirmatory analysis (Root Mean Square Error of Approximation = 0.04; Comparative Fit Index = 0.91; Tucker-Lewis Index = 0.90; Standardized Root Mean Square Residual = 0.05). Five items feature charges less than 0.30 and wer eliminated. The instrument demonstrated internal consistency (Composite reliability = 0.97; Cronbach’s alpha = 0.83) and temporal stability (Pearson correlation = 0.86; kappa = 0.16) over a brief period. The knowledge significantly varies by age, sex and course of study. In conclusion, this study highlights the satisfactory psychometric proprieties of the Brazilian version of STD-KQ in university students.

Key words
Statistical Factor Analysis; Knowledge; Sexually Transmitted Disease; Validation studies; Surveys and questionnaires

Introdução

As doenças sexualmente transmissíveis (DST) frequentemente causam morbidade, além de influenciar nas taxas de mortalidade materna e infantil¹1 World Health Organization (WHO). Sexually transmitted infections (STIs). [online]. Nov 2013 [cited 2015 Nov 15]. Available: http://www.who.int/mediacentre/factsheets/fs110/en/
http://www.who.int/mediacentre/factsheet... ^,22 Jaworski BC, Carey MP. Development and psychometric evaluation of a self-administered questionnaire to measure knowledge of sexually transmitted diseases. AIDS Behav 2007; 11(4):557-574.. A Organização Mundial da Saúde (OMS) estima que um milhão de pessoas adquiram uma DST todos os dias¹1 World Health Organization (WHO). Sexually transmitted infections (STIs). [online]. Nov 2013 [cited 2015 Nov 15]. Available: http://www.who.int/mediacentre/factsheets/fs110/en/
http://www.who.int/mediacentre/factsheet... . Assim, a redução da incidência dessas doenças é o objetivo das autoridades e dos profissionais da saúde.

O conhecimento individual preexistente, que é considerado modificável, influencia na aquisição dessas enfermidades²2 Jaworski BC, Carey MP. Development and psychometric evaluation of a self-administered questionnaire to measure knowledge of sexually transmitted diseases. AIDS Behav 2007; 11(4):557-574.. Embora durante a formação universitária os estudantes tenham mais acesso as informações sobre a sexualidade humana, nessa fase, os jovens vivenciam novas experiências sexuais que ocasionam comportamentos que facilitam a aquisição de uma DST³3 Dermen KH, Thomas SN. Randomized Controlled Trial of Brief Interventions to Reduce College Students’ Drinking and Risky Sex. Psychol Addict Behav 2011; 25(4):583-594..

O “Questionário Conhecimento sobre as Doenças Sexualmente Transmissíveis” (STD-KQ) avalia o conhecimento sobre Vírus da Imunodeficiência Humana (HIV), síndrome da imunodeficiência adquirida (Aids), Hepatite B, Papilomavírus Humano (HPV), Herpes Genital, Clamídia e Gonorréia²2 Jaworski BC, Carey MP. Development and psychometric evaluation of a self-administered questionnaire to measure knowledge of sexually transmitted diseases. AIDS Behav 2007; 11(4):557-574.. A versão original desse instrumento apresenta valores satisfatórios para a consistência interna (alfa de Cronbach = 0,86), para a correlação teste-reteste (r = 0,72) e validade convergente com o HIV - KQ questionnaire (0,64; p < 00,1). Diversos estudos avaliam o conhecimento com esse instrumento em diferentes populações⁴4 Teixeira LO, Figueiredo VL, Mendoza-Sassi RA. Adaptação transcultural do Questionário sobre Conhecimento de Doenças Sexualmente Transmissíveis para o português brasileiro. J Bras Psiquiatr 2015: 64(3):247-256.. Em relação aos países, o questionário foi adaptado e validado para o Canadá⁵5 Logie CH, Navia D, Rwigema MJ, Tharao W, Este D, Loutfy MR. A group-based HIV and sexually transmitted infections prevention intervention for lesbian, bisexual, queer and other women who have sex with women in Calgary and Toronto, Canada: study protocol for a non-randomised cohort pilot study. BMJ Open 2014; 4(4):1-8., Portugal⁶6 Pereira H, Carmo A. Sexually transmitted diseases: knowledge and perceived prevalence of symptoms in university students. Int STD Res Rev 2014; 2(1):1-11., Haiti⁷7 Logie CH, Daniel C, Newman PA, Weaver J, Loutfy MR. A psycho-educational HIV/STI prevention intervention for internally displaced women in Leogane, Haiti: results from a non-randomized cohort pilot study. PLoS ONE 2014; 9(2):e89836. e Nigéria⁸8 Saad A, Rampal L, Sabitu K, AbdulRahman H, Awaisu A, AbuSamah B, Ibrahim A. Impact of a customized peer-facilitators training program related to sexual health intervention. Int Health 2012; 4(4):277-282..

Segundo Reichenhein e Moraes⁹9 Reichenheim ME, Moraes CL. Adaptação transcultural de instrumentos de aferição epidemiológicos: uma proposta de operacionalização. Rev Saude Publica 2007; 41(4):665-673, a adaptação transcultural inclui diferentes tipos de equivalências como conceitual, dos itens, semântica, operacional, mensuração e funcional. Em um artigo anterior já foram publicados os valores satisfatórios da equivalência conceitual, dos itens, semântica e operacional⁴4 Teixeira LO, Figueiredo VL, Mendoza-Sassi RA. Adaptação transcultural do Questionário sobre Conhecimento de Doenças Sexualmente Transmissíveis para o português brasileiro. J Bras Psiquiatr 2015: 64(3):247-256.. No entanto, a aplicabilidade deste questionário ainda depende da equivalência de mensuração, a qual possui como enfoques a análise das propriedades psicométricas. A mensuração das propriedades psicométricas é a avaliação da adequação de um instrumento por meio de uma operacionalização otimizada, correspondendo a um estudo epidemiológico minucioso¹⁰10 Reichenheim ME, Moraes CL. Qualidade dos instrumentos epidemiológicos. Epidemiologia: fundamentos, métodos e aplicações. In: Almeida-Filho N, Barreto M, organizadores. Epidemiologia & Saúde - Fundamentos, Métodos e Aplicações. Rio de Janeiro: Guanabara-Koogan; 2011. p. 150-159.. Assim, é fundamental o emprego de instrumentos com qualidade, a fim de garantir a validade interna das pesquisas epidemiológicas e possibilitar a comparação dos achados entre os diferentes trabalhos realizados¹⁰10 Reichenheim ME, Moraes CL. Qualidade dos instrumentos epidemiológicos. Epidemiologia: fundamentos, métodos e aplicações. In: Almeida-Filho N, Barreto M, organizadores. Epidemiologia & Saúde - Fundamentos, Métodos e Aplicações. Rio de Janeiro: Guanabara-Koogan; 2011. p. 150-159.. Neste contexto, o presente artigo teve como objetivo analisar as propriedades psicométricas da versão brasileira do STD-QK em uma amostra de conveniência de estudantes universitários.

Métodos

Trata-se de um estudo metodológico de validação que faz parte de um projeto maior intitulado “Conhecimento sobre HIV/AIDS e outras DST entre estudantes universitários: fidedignidade e validação de um instrumento e avaliação dos fatores associados”. O estudo foi aprovado pelo Comitê de ética da Área da Saúde da Instituição de Ensino Superior onde foi realizado e está de acordo com princípios contidos na Declaração de Helsinque da Associação Médica Mundial de 1964 e as posteriores alterações.

A presente investigação foi realizada de acordo com o Consensus-based Standards for the selection of health Measurement Instruments (COSMIN checklist). Esse checklist é uma ferramenta crítica que inclui normas que determinam a qualidade metodológica dos estudos que avaliam as propriedades psicométricas dos questionários utilizados na área da saúde¹¹11 Terwee CB, Mokkink LB, Knol DL, Ostelo RWJG, Bouter LM, de Vet HCW. Rating the methodological quality in systematic reviews of studies on measurement properties: a scoring system for the COSMIN checklist. Qual Life Res 2012; 21(4):651-657..

Instrumento

A escala original do STD-KQ está escrita em inglês, é autoaplicada e composta por 27 itens. O objetivo é avaliar o conhecimento sobre as DST e foi elaborada com base nas cinco DST mais prevalentes nos Estados Unidos. A população estudada na qual a escala foi validada foram os estudantes universitários. As respostas são categorizadas em “verdadeiro”, “falso” e “não sei”, onde a resposta correta equivale um (01) ponto e a errada ou não sei” equivalem a zero (0) pontos. O escore é o somatório das respostas corretas, variando de zero a 27²2 Jaworski BC, Carey MP. Development and psychometric evaluation of a self-administered questionnaire to measure knowledge of sexually transmitted diseases. AIDS Behav 2007; 11(4):557-574..

A adaptação transcultural para o Brasil e a avaliação da equivalência conceitual, dos itens, semântica e operacional foi realizada em uma etapa anterior⁴4 Teixeira LO, Figueiredo VL, Mendoza-Sassi RA. Adaptação transcultural do Questionário sobre Conhecimento de Doenças Sexualmente Transmissíveis para o português brasileiro. J Bras Psiquiatr 2015: 64(3):247-256.. A versão brasileira do STD-KQ também é autoaplicada, composta por 28 itens e recebeu o nome de “Questionário sobre Conhecimento de Doenças Sexualmente Transmissíveis (STD-KQ)”. Um item sobre camisinha de pele de cordeiro (lambskin condom) foi retirado do instrumento, visto que esse material não é encontrado no país. Em adição, a fim de contemplar o cenário epidemiológico brasileiro, os pesquisadores adicionaram duas questões sobre Sífilis⁴4 Teixeira LO, Figueiredo VL, Mendoza-Sassi RA. Adaptação transcultural do Questionário sobre Conhecimento de Doenças Sexualmente Transmissíveis para o português brasileiro. J Bras Psiquiatr 2015: 64(3):247-256..

Participantes

Participaram do estudo estudantes com mais de 18 anos de uma universidade do sul do Brasil. Na presente investigação o cálculo do tamanho amostral foi calculado apenas para a Análise Fatorial. Não foi calculado o tamanho amostral para a análise da fidedignidade do instrumento e nem para a avaliação do conhecimento. Assim, o tamanho da amostra deve ser de preferência maior ou igual a 100 participantes, tendo como regra geral cinco¹²12 Hair JF, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5ª ed. Porto Alegre: Bookman Editora; 2009. ou dez¹³13 Crocker L, Algina J. Introduction to classical and modern test theory. Orlando: Harcourt Brace Jovanovich College Publishers; 1986. vezes mais observações do que o número de variáveis de acordo com cada autor e no mínimo sete vezes segundo o COSMIN Checklist, para o estudo ser considerado excelente neste tópico¹¹11 Terwee CB, Mokkink LB, Knol DL, Ostelo RWJG, Bouter LM, de Vet HCW. Rating the methodological quality in systematic reviews of studies on measurement properties: a scoring system for the COSMIN checklist. Qual Life Res 2012; 21(4):651-657.. Como a versão brasileira do STD-KQ é composta por 28 itens, para um critério mais rigoroso, no mínimo 280 participantes seriam necessários. É preciso destacar também que, de acordo com este método, a categorização da resposta em verdadeiro, falso e não sei não foi considerada para o cálculo do tamanho amostral.

No ano de 2013, a universidade contava com 48 cursos. Todos os cursos da instituição foram numerados de 1 a 48, estimando uma média de 46 alunos por curso. Como esse estudo faz parte de um projeto maior, que requeria um tamanho amostral maior, dez cursos foram sorteados por meio de uma lista de números aleatórios. Os pesquisadores informaram as autoridades educacionais da Instituição Superior sobre o estudo e requisitaram uma autorização. Em seguida, os autores informaram verbalmente e/ou por e-mail os professores dos cursos sorteados e solicitaram permissão para administrar o questionário. Em cada curso, de acordo com a disponibilidade dos professores, uma turma foi convenientemente selecionada para aplicação do questionário. Caso o tamanho amostral não fosse completado depois do sorteio, devido à variação na quantidade de alunos entre as turmas, os cursos subsequentes após o primeiro sorteado eram incluídos. Os pesquisadores preferiram excluir os alunos dos cursos de Medicina e Enfermagem a fim de evitar a superestimação do conhecimento dos universitários em geral, o que poderia provocar a eliminação de itens importantes. Finalmente, os pesquisadores, na sala de aula, informaram os estudantes e solicitaram que os mesmos fornecessem o consentimento por escrito para participar do estudo. O instrumento autoaplicado foi administrado coletivamente em sala de aula. Os estudantes também preencheram outro questionário autoaplicado composto por variáveis sociodemográficas com o objetivo de caracterizar a amostra. Não houve delimitação de tempo para o preenchimento dos questionários.

Um total de 468 estudantes foram selecionados, sendo que 450 concordaram em participar do estudo (96%). Desses, 429 (95,3%) responderam a todas as questões do questionário de avaliação do conhecimento e, por isso, foram incluídos no estudo. A respeito das características demográficas, 57,6% eram mulheres, 79,0% se autodeclararam com cor da pele branca e 68,4% eram solteiros. A média de idade foi de 24,3 anos (DP 7,3 anos), variando de 18 a 55 anos. Foram incluídos no estudo 16 cursos, representando 33,3% do total da sede. A frequência de cursos e alunos que participaram foi similar à distribuição existente na instituição, sendo 35,9% estudantes dos cursos de Engenharia, 23,2% dos cursos de Ciências Contábeis, 20,8% dos cursos de Direito, 9,4% dos cursos de Biologia, 7,8% dos cursos de Letras e 7,8% de alunos dos cursos de Geografia. A maior proporção de alunos (43,9%) estava no terceiro semestre, variando do primeiro ao oitavo.

Análise dos dados para a avaliação das propriedades psicométricas da escala

Os dados foram codificados e digitados por dois pesquisadores de forma independente e em ordem inversa, utilizando o programa Epidata 3.1^(®.) Para a análise estatística, o programa utilizado foi o Stata versão 13^(®.). Segundo Reichenheim e Moraes⁹9 Reichenheim ME, Moraes CL. Adaptação transcultural de instrumentos de aferição epidemiológicos: uma proposta de operacionalização. Rev Saude Publica 2007; 41(4):665-673, a corroboração da validade dimensional e da adequação dos itens pode ser iniciada a partir de uma análise fatorial exploratória, mesmo que já se tenha uma estrutura postulada a priori. Além disso, devido ao acréscimo e retirada de itens durante a etapa de adaptação transcultural, os pesquisadores decidiram iniciar a análise psicométrica com a análise exploratória e, posteriormente, durante a análise fatorial confirmatória, comparar o modelo encontrado na exploratória com o modelo teórico existente, a fim de se avaliar o modelo mais adequado para a população. A escolha da aplicação da análise fatorial em dados binários foi em razão da comparabilidade do estudo com o questionário original²2 Jaworski BC, Carey MP. Development and psychometric evaluation of a self-administered questionnaire to measure knowledge of sexually transmitted diseases. AIDS Behav 2007; 11(4):557-574. e com outros estudos similares a fim de ter um parâmetro e melhor compreensão do cenário. Segundo Reichennhein e Moares¹⁰10 Reichenheim ME, Moraes CL. Qualidade dos instrumentos epidemiológicos. Epidemiologia: fundamentos, métodos e aplicações. In: Almeida-Filho N, Barreto M, organizadores. Epidemiologia & Saúde - Fundamentos, Métodos e Aplicações. Rio de Janeiro: Guanabara-Koogan; 2011. p. 150-159., a análise fatorial pode ser utilizada em dados binários, tendo a performance de matrizes de correlações tetracóricas previamente às análises como uma opção para contornar as más especificações dos modelos¹⁰10 Reichenheim ME, Moraes CL. Qualidade dos instrumentos epidemiológicos. Epidemiologia: fundamentos, métodos e aplicações. In: Almeida-Filho N, Barreto M, organizadores. Epidemiologia & Saúde - Fundamentos, Métodos e Aplicações. Rio de Janeiro: Guanabara-Koogan; 2011. p. 150-159.. Além disso, existem formas especializadas de análise fatorial quando todas as variáveis são dicotômicas¹²12 Hair JF, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5ª ed. Porto Alegre: Bookman Editora; 2009.. Outrossim, é preciso salientar que nem Hair¹²12 Hair JF, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5ª ed. Porto Alegre: Bookman Editora; 2009. nem Reichennhein e Moraes¹⁰10 Reichenheim ME, Moraes CL. Qualidade dos instrumentos epidemiológicos. Epidemiologia: fundamentos, métodos e aplicações. In: Almeida-Filho N, Barreto M, organizadores. Epidemiologia & Saúde - Fundamentos, Métodos e Aplicações. Rio de Janeiro: Guanabara-Koogan; 2011. p. 150-159. fazem distinções entre dados dicotômicos utilizados para avaliar atitudes ou para avaliar conhecimento, referenciando-se apenas à utilização da análise fatorial em dados dicotômicos. Os pré-requisitos para a realização da Análise Fatorial Exploratória (AFE) foram o teste de Kaiser Meyer Olkin (KMO) maior que 0,5 e o teste de esfericidade de Bartlett menor que 0,001¹⁴14 Liu MF, Miao N-F, Chen I-H, Lin Y-K, Ho MH, Roberts BL, Chang CC. Development and Psychometric Evaluation of the Chinese Feeding Difficulty Index (Ch-FDI) for People with Dementia. PLoS ONE 2015; 10(7):e0133716..

Previamente às análises fatoriais, matrizes de correlações tetracóricas foram utilizadas. O método empregado foi o Iterated Principal Factors com rotação oblimin. A fim de verificar o modelo com melhor ajuste, as análises fatoriais foram realizadas com três modelos diferentes (Tabela 1). Para a extração dos fatores, os critérios utilizados foram o de Guttman-Kaiser (eigenvalue acima de 1,0)¹⁵15 Ching SM, Yee A, Ramachandran V, Sazlly Lim SM, Wan Sulaiman WA, Foo YL, Hoo FK. Validation of a Malay Version of the Smartphone Addiction Scale among Medical Students in Malaysia. PLoS ONE 2015; 10(10):e0139337., o diagrama de eigenvalues (scree plot)¹⁶16 Varraso R, Garcia-Aymerich J, Monier F, Le NM, De Batlle J, Miranda G, Pison C, Romieu I, Kauffmann F, Maccario J. Assessment of dietary patterns in nutritional epidemiology: principal component analysis compared with confirmatory factor analysis. Am J Clin Nut 2012; 96(5):1079-1092. e a interpretação dos fatores¹⁶16 Varraso R, Garcia-Aymerich J, Monier F, Le NM, De Batlle J, Miranda G, Pison C, Romieu I, Kauffmann F, Maccario J. Assessment of dietary patterns in nutritional epidemiology: principal component analysis compared with confirmatory factor analysis. Am J Clin Nut 2012; 96(5):1079-1092.. Finalmente, foram retidos os itens com carga fatorial ≥ 0,30¹⁵15 Ching SM, Yee A, Ramachandran V, Sazlly Lim SM, Wan Sulaiman WA, Foo YL, Hoo FK. Validation of a Malay Version of the Smartphone Addiction Scale among Medical Students in Malaysia. PLoS ONE 2015; 10(10):e0139337.^,1717 Van Sonsbeek MAM, Veerman JW, Kleinjan M, Aarons GA, Tiemens BG. Psychometric properties of the Dutch version of the Evidence-Based Practice Attitude Scale (EBPAS). Health Research Policy and Systems 2015; 13:69..

A Análise Fatorial Confirmatória (AFC) foi realizada por meio do Maximum Likelihood Estimation corrigido pela técnica de Satorra-Bentler. Essa técnica é usada quando os dados não apresentam distribuição normal²2 Jaworski BC, Carey MP. Development and psychometric evaluation of a self-administered questionnaire to measure knowledge of sexually transmitted diseases. AIDS Behav 2007; 11(4):557-574.. Nessa etapa, sete modelos diferentes foram avaliados (Tabela 2). A partir do Lagrange multiplier test (LM test), vias adicionais teoricamente plausíveis foram inseridas como modificações post hoc com o objetivo de aprimorar o modelo²2 Jaworski BC, Carey MP. Development and psychometric evaluation of a self-administered questionnaire to measure knowledge of sexually transmitted diseases. AIDS Behav 2007; 11(4):557-574.. Os testes utilizados para avaliar o modelo foram o Root Mean Square Error of Approximation (RMSEA), Comparative Fit Index (CFI), Tucker-Lewis Index (TLI) e The Standardized Root Mean Square Residual (SRMR) e o Qui-quadrado. O modelo foi considerado adequado quando apresentou RMSEA<0,06, CFI e TLI >0,90, SRMR <0,08 e Qui-quadrado > 0,05¹⁸18 Ayuso-Mateos JL, Miret M, Caballero FF, Olaya B, Haro JM, Kowal P, Chatterji S. Multi-Country Evaluation of Affective Experience: Validation of an Abbreviated Version of the Day Reconstruction Method in Seven Countries. PLoS ONE 2013;8(4):e61534.^,1919 Krägeloh CU, Billington DR, Henning MA, Chai PPM. Spiritual quality of life and spiritual coping: evidence for a two-factor structure of the WHOQOL spirituality, religiousness, and personal beliefs module. Health and Quality of Life Outcomes 2015; 13:26..

A avaliação da fidedignidade compreendeu a análise da Consistência Interna pelo Alfa de Cronbach, a estabilidade temporal pelo teste-reteste e a mensuração da relevância de cada item¹¹11 Terwee CB, Mokkink LB, Knol DL, Ostelo RWJG, Bouter LM, de Vet HCW. Rating the methodological quality in systematic reviews of studies on measurement properties: a scoring system for the COSMIN checklist. Qual Life Res 2012; 21(4):651-657.. Foram considerados aceitáveis valores ≥ 0,70²⁰20 Brown TA. Confirmatory Factor Analysis for Applied Reaserch. New York: The Guilford Press; 2006.. A estabilidade temporal em 14 dias foi avaliada pelo teste-reteste em uma sub-amostra de 83 estudantes convenientemente selecionados. Para o teste-reteste, os estimadores utilizados foram o Coeficiente de Correlação de Pearson²¹21 Pearson ES, Pearson K, Hartley HO. Biometrika tables for statisticians. Biometrika tables for statisticians by Pearson ES, Pearson K, Hartley HO. Cambridge: Biometrika Trustees at the University Press; 1956. e o coeficiente Kappa²²22 Lands JR, Koch GG. The measurement of observer agreement for categorial data. Biometrics 1977; 33(1):159-174.. Os pontos de corte utilizado são os sugeridos por Landis e Koch²²22 Lands JR, Koch GG. The measurement of observer agreement for categorial data. Biometrics 1977; 33(1):159-174..

Para analisar a relevância de cada item, os estimadores utilizados foram a correlação item-total, que avalia a correlação entre o escore de cada item e o escore total do instrumento, incluindo o item em análise e a correlação item-resto, que avalia a correlação entre o escore de cada item e o escore total do instrumento, excluindo o item em análise. Para as correlações, o ponto de corte adotado foi ≥ 0,30¹²12 Hair JF, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5ª ed. Porto Alegre: Bookman Editora; 2009..

Análise dos dados para avaliação do conhecimento

A média dos escores e seus desvios padrões foram calculados para toda a amostra e para subcategorias¹¹11 Terwee CB, Mokkink LB, Knol DL, Ostelo RWJG, Bouter LM, de Vet HCW. Rating the methodological quality in systematic reviews of studies on measurement properties: a scoring system for the COSMIN checklist. Qual Life Res 2012; 21(4):651-657.. As variáveis independentes investigadas foram sexo, cor da pele, idade, condição marital, curso e semestre. A normalidade foi avaliada pelo o teste de Shapiro-Wilk, sendo o Teste t de Student e os testes paramétricos Qui-quadrado de Pearson e de Kruskal-Wallis utilizados para avaliação dos fatores associados ao conhecimento. Em todos os procedimentos de análise, o nível de significância foi p < 0,05.

Resultados

Propriedades psicométricas da escala

O valor de KMO foi de 0,82 e o teste de esfericidade apresentou p-valor < 0,0001, indicando que a AFE pôde ser realizada. A extração dos fatores sem limite de fatores e sem rotação identificou quatro componentes com eigenvalue maior que 1,0. No que tange aos itens, cinco apresentaram carga menor que 0,30 (Item 2 sobre Clamídia; Itens 2 e 6 sobre formas de transmissão; Item 10 sobre Gonorreia e item 26 sobre vacina contra Hepatite B) e por isso foram removidos. O melhor modelo teórico com plausibilidade considerou a retenção de um fator com 61,1% da variância total explicada e eigenvalue igual a 7,2. A confiabilidade composta da escala foi de 0,97 e o Alfa de Cronbach foi de 0,83. As cargas fatoriais dos modelos analisados estão presentes na Tabela 1.

No que tange a AFC, dez vias não hipotetizadas foram adicionadas. O modelo final (Modelo 3) corrigido por Satorra-Bentler apresentou RMSEA = 0,04; CFI = 0,91; TLI = 0,90 e SRMR = 0,05, mostrando-se aceitável. No entanto, o modelo da versão original do instrumento (Modelo 6) com 28 itens e dois fatores apresentou RMSEA = 0,07, CFI = 0,66, TLI = 0,67 e SRMR = 0,109, salientando que esse último modelo não é aceitável. O modelo final da AFC com um fator e com os coeficientes padronizados está presente na Tabela 2.

Para o teste-reteste (N = 83), o Coeficiente de Correlação de Pearson foi de 0,86 (p = 0,01) e o Coeficiente Kappa foi 0,16; com 20,7% de concordância. Claramente, é importante enfatizar que 16 (19,5%) dos estudantes anunciaram que buscaram informações sobre as DST entre a primeira e a segunda aplicação. Particularmente, a diferença nos escores entre as duas aplicações foi significativamente maior nos estudantes que procuraram por informações (p < 0,01). Além disso, os itens 2, 4, 6, 10 e 26 exibiram baixa correlação item-total e item-resto. Outros três itens (16, 19, 20) apresentaram baixa correlação item-resto.

Avaliação do conhecimento

A avaliação utilizando o questionário com 23 itens (sem os itens 2,4,6,10 e 26) apresentou uma média de 12 acertos (52,2%), com desvio padrão de 5,1. Três estudantes (0,7%) acertaram as 23 questões e dois (0,4%) não acertaram nenhuma questão. O item 11 (Um mesmo vírus causa todas as doenças sexualmente transmissíveis - DST) foi o item com maior porcentagem de estudantes que acertaram (81,4%). Em contrapartida, o item 20 (Uma pessoa com Herpes Genital deve ter feridas abertas para passar a infecção para o seu parceiro ou a sua parceira sexual) apresentou a menor porcentagem de acertos (21,5%). Os estudantes mais velhos e os do sexo feminino apresentaram um conhecimento significativamente maior que os seus colegas. Além disso, foi observada uma diferença significativa do conhecimento entre os diferentes cursos, onde os estudantes de Biologia e Geografia apresentaram melhor conhecimento (Tabela 3). A versão final do questionário para os estudantes universitários está presente no Quadro 1.

Discussão

O presente estudo coloca em evidência as satisfatórias propriedades psicométricas da versão brasileira do questionário STD-KQ o qual avalia o conhecimento a respeito das DST. O COSMIN Checklist é uma importante ferramenta que determinam a qualidade metodológica dos estudos que avaliam as propriedades psicométricas dos questionários utilizados na área da saúde¹¹11 Terwee CB, Mokkink LB, Knol DL, Ostelo RWJG, Bouter LM, de Vet HCW. Rating the methodological quality in systematic reviews of studies on measurement properties: a scoring system for the COSMIN checklist. Qual Life Res 2012; 21(4):651-657.. Consoante a esse checklist, a presente investigação apresentou qualidade excelente na execução da análise da unidimensionalidade, no tamanho amostral das análises fatoriais (com uma amostra ≥100 e com mais de sete vezes a quantidade de itens), na avaliação da análise fatorial exploratória e confirmatória para todos os modelos, na avaliação da consistência interna para cada subescala nos diferentes modelos analisados e na descrição da percentagem dos missing dates e como esses foram tratados. Além disso, outras recomendações desse checklist¹¹11 Terwee CB, Mokkink LB, Knol DL, Ostelo RWJG, Bouter LM, de Vet HCW. Rating the methodological quality in systematic reviews of studies on measurement properties: a scoring system for the COSMIN checklist. Qual Life Res 2012; 21(4):651-657. como a percentagens de participantes que tiveram o maior e o menor escore possível, a mudança de escores (em média e desvio-padrão) em subgrupos relevantes, o método utilizado para a seleção dos participantes e as característica da amostra, também estão descritas, reforçando a qualidade metodológica da investigação.

A respeito da metodologia do emprego do teste-reteste¹¹11 Terwee CB, Mokkink LB, Knol DL, Ostelo RWJG, Bouter LM, de Vet HCW. Rating the methodological quality in systematic reviews of studies on measurement properties: a scoring system for the COSMIN checklist. Qual Life Res 2012; 21(4):651-657., a quantidade de testes utilizados (no mínimo dois) e o fato de que um dos testes utilizados ser o coeficiente kappa, para dados dicotômicos, são dois critérios classificados como excelentes. Em relação ao tamanho amostral, o presente trabalho é classificado como bom (entre 50 e 99 participantes), mas é necessário ressaltar que as condições do teste não foram similares entre as aplicações, sendo considerado uma qualidade pobre ou ruim neste tópico. O fato de que um a cada cinco estudantes procuraram por informações sobre as DST após a primeira aplicação, provocando mudanças significativas nos escores, coloca em cheque a aplicação do teste-reteste como método de aferição da confiabilidade em questionários que avaliam o conhecimento uma vez que o conhecimento pode ser modificado de forma significativa em um curto período. Além disso, sobre a empregabilidade do teste-reteste em questionários que avaliem o conhecimento, é necessário destacar que coeficientes diferentes podem apresentar valores distintos. Diferente do resultado obtido pelo coeficiente Kappa, quando consideramos apenas valores obtidos pelo coeficiente de correlação de Pearson, os valores da consistência interna e da estabilidade temporal foram similares aos encontrados no questionário original²2 Jaworski BC, Carey MP. Development and psychometric evaluation of a self-administered questionnaire to measure knowledge of sexually transmitted diseases. AIDS Behav 2007; 11(4):557-574. e superiores ao encontrado em outro estudo²³23 Vanable PA, Carey MP, Brown JL. DiClemente RJ, Salazar LF, Brown LK, Romer D, Valois RF, Hennessy M, Stanton BF. Test-retest reliability of self-reported HIV/STD-related measures among African-American adolescents in four US cities. J Adolesc Health 2009; 44(3):214-221., que usou a escala original do instrumento no país de origem. O coeficiente de correlação de Pearson é um dos coeficientes mais utilizados para estimar a confiabilidade²⁴24 Atkinson G, Nevill AM. Statistical methods for assessing measurement error (reliability) in variables relevant to sports medicine. Sports Med 1998; 26(4):217-238.. No entanto, esse estimador apresenta limitações²⁴24 Atkinson G, Nevill AM. Statistical methods for assessing measurement error (reliability) in variables relevant to sports medicine. Sports Med 1998; 26(4):217-238. já que não é capaz de detectar diferenças sistemáticas e sofre influência da amplitude dos valores avaliados²⁵25 Bates BT, Zhang S, Dufek JS, Chen FC. The effects of sample size and variability on the correlation coefficient. Med Sci Sports Exerc 1996; 28(3):386-391.. Consequentemente, o coeficiente de correlação de Pearson pode originar uma superestimação da estabilidade²⁴24 Atkinson G, Nevill AM. Statistical methods for assessing measurement error (reliability) in variables relevant to sports medicine. Sports Med 1998; 26(4):217-238.. Assim, a interpretação desse coeficiente deve ser empregada com cautela, sendo prudente a utilização de mais um teste para permitir uma interpretação mais acurada e uma melhor comparabilidade entre os estudos, sendo isso mais uma limitação do uso do teste-reteste em questionários que avaliam o conhecimento.

Na presente pesquisa, dois (14,16) dos três critérios da análise fatorial exploratória (13,14,16) sugerem a presença de um único fator denominado “Conhecimento Geral”, diferente do questionário original em inglês o qual apresenta dois fatores (Causa/Cura e Conhecimento Geral). Outros estudos com instrumentos distintos encontraram diferentes números de fatores quando comparados com a escala original após a adaptação transcultural²⁶26 Neto JOB, Gesser RL, Steglich V, Bonilauri Ferreira AP, Gandhi M, Vissoci JRN, Pietrobon R. Validation of the Simple Shoulder Test in a Portuguese-Brazilian Population. Is the Latent Variable Structure and Validation of the Simple Shoulder Test Stable across Cultures? PLoS ONE 2013;8(5):e62890. Doi:10.1371/journal.pone.0062890.
https://doi.org/10.1371/journal.pone.006... ^,2727 Reichenheim ME, Paixão CM, Moraes CL. Reassessing the construct validity of a Brazilian version of the instrument Caregiver Abuse Screen (CASE) used to identify risk of domestic violence against the elderly. J Epidemiol Community Health 2009; 63(11):878-883.. Sobre essas circunstâncias, a mudança no número de fatores pode ser reflexo das diferenças culturais entre os dois países²⁶26 Neto JOB, Gesser RL, Steglich V, Bonilauri Ferreira AP, Gandhi M, Vissoci JRN, Pietrobon R. Validation of the Simple Shoulder Test in a Portuguese-Brazilian Population. Is the Latent Variable Structure and Validation of the Simple Shoulder Test Stable across Cultures? PLoS ONE 2013;8(5):e62890. Doi:10.1371/journal.pone.0062890.
https://doi.org/10.1371/journal.pone.006... . Um indício dessas diferenças é o fato de que o perfil epidemiológico dos dois países são diferentes, visto que foi necessário o acréscimo de questões relacionadas à sífilis na versão brasileira. É preciso salientar também que Jaworski e Carey²2 Jaworski BC, Carey MP. Development and psychometric evaluation of a self-administered questionnaire to measure knowledge of sexually transmitted diseases. AIDS Behav 2007; 11(4):557-574., ao calcularem a análise fatorial confirmatória da versão original do questionário, avaliaram apenas para um único modelo (com dois fatores). Assim, como o modelo para um fator não foi avaliado nos Estados Unidos, é possível conjecturar que o modelo com um fator também possa apresentar um ajuste adequado ou melhor do que o modelo proposto pelos autores. Na presente investigação, a análise confirmatória foi analisada em diversos modelos diferentes, incluindo a versão original norte-americano com dois fatores, mas os resultados não foram considerados tão satisfatórios quanto o modelo com um único fator.

É importante ter questionários com fidedignidade aceitável por que valores baixos podem resultar em medidas de associação enviesadas¹²12 Hair JF, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5ª ed. Porto Alegre: Bookman Editora; 2009.. No que tange aos itens, cinco foram retirados por apresentarem baixa carga fatorial, o que representa uma baixa saturação com a dimensão estudada. Ademais, a baixa correlação item-total e item-resto para estes cinco itens caracterizam uma baixa consistência²¹21 Pearson ES, Pearson K, Hartley HO. Biometrika tables for statisticians. Biometrika tables for statisticians by Pearson ES, Pearson K, Hartley HO. Cambridge: Biometrika Trustees at the University Press; 1956.. Desse modo, a baixa consistência observada nas correlações, associada à baixa saturação, dão suporte para a remoção desses cinco itens. Apesar da indicação do coeficiente Alfa de Cronbach pelo COSMIN Checklist para dados dicotômicos¹¹11 Terwee CB, Mokkink LB, Knol DL, Ostelo RWJG, Bouter LM, de Vet HCW. Rating the methodological quality in systematic reviews of studies on measurement properties: a scoring system for the COSMIN checklist. Qual Life Res 2012; 21(4):651-657. é necessário ressaltar que esse coeficiente é sensível ao número de itens e, para o teste como um todo, o valor do coeficiente é inflado, sendo mais apropriado a sua utilização em subescalas²⁸28 Tavakol M, Dennick R. Making sense of Cronbach’s alpha. Int J Med Educ 2011; 2:53-55.. Na presente pesquisa como o modelo final apresentou apenas um único fator, essa medida deve ser interpretada com cautela.

Das dez vias não hipotetizadas adicionadas post hoc, três também foram acrescentadas da mesma forma no instrumento original²2 Jaworski BC, Carey MP. Development and psychometric evaluation of a self-administered questionnaire to measure knowledge of sexually transmitted diseases. AIDS Behav 2007; 11(4):557-574.. Essas vias representam associações singulares entre as variáveis e que não foram contabilizadas pelo fator latente (Conhecimento Geral), representando uma similaridade de conteúdo ou de estrutura entre as variáveis. Segundo Hair et al.¹²12 Hair JF, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. 5ª ed. Porto Alegre: Bookman Editora; 2009., as vias de modificações que apresentarem magnitude maior do que 3,84 devem ser avaliadas conjuntamente com a presença ou não de sentido teórico entre as variáveis. Na presente pesquisa, todas as vias apresentaram valores maiores do que o citado e possuem plausibilidade teórica. A via de maior amplitude adicionada foi entre os itens 19 e 22. Esses dois itens apresentam a mesma estrutura (Uma mulher pode dizer, pela forma que sente o seu corpo se tem …) só mudando a doença em análise. Assim, pode-se conjecturar que, pela similaridade da questão, que quem acerta um dos itens acerta o outro também, ou vice-versa e, por isso, os mesmos estão correlacionados. O mesmo ocorre com as vias entre os itens 3 e 8 (cura contra DST) e 18 e 21 (vacina contra DST). Além disso, embora o STD-KQ avalie uma única dimensão (conhecimento sobre DST), ele é composto por questões sobre sete DST diferentes sendo que os participantes podem conhecer algumas DST, mas não possuir informações a respeito de outras. Desse modo, as vias adicionadas entre os itens 12 e 13 (HPV), 18 e 23 (gonorreia) e 27 e 28 (Sífilis) destacam que questões sobre a mesma doença são correlacionadas entre si. Também foram adicionadas vias entre itens antagônicos (itens 1 e 5; 5 e 21) já que o indivíduo que sabe que um dos itens está certo consequentemente sabe que o outro está errado. Por fim, a via adicionada entre os itens 12 e 19 também apresenta sentido, visto que o primeiro é sobre ter sintomas ou sinais (verrugas) e o segundo item é a respeito da possibilidade de se saber se uma pessoa tem uma DST pela forma como sente o corpo (ter ou não ter sintomas).

Similar a outros estudos que utilizam este instrumento, a avaliação do conhecimento conduzida na presente investigação identificou que as mulheres e os participantes mais velhos apresentaram um melhor conhecimento²⁹29 Swenson RR, Rizzo CJ, Brown LK, Payne N, DiClemente RJ, Salazar LF, Vanable PA, Carey MP, Valois RF, Romer D, Hennessy M. Prevalence and correlates of HIV testing among sexually active African American adolescents in four US cities. Sex Transm Dis 2009; 36(9):584-591.^,3030 Weaver RD. An Assessment of Sexually Transmitted Disease Knowledge Among 7th Grade Students [dissertação]. Minneapolis: Walden University; 2015.. Certamente, esses dados são importantes para o desenvolvimento de intervenções a respeito desse tema, visto que os resultados mostram que existe uma parte significativa dos estudantes universitários que necessitam de mais informações a respeito das DST.

A principal limitação do estudo está relacionada com o escopo da população. Participou desta pesquisa uma amostra de estudantes de uma única universidade pública. Consequentemente, é necessário estudar a dimensão do STD-KQ em outros grupos (adolescentes, pacientes, entre outros), como resultado do aumento do número de casos das DST no Brasil. Além disso, considerando a relevância de diferentes evidências de validade para determinar a qualidade psicométrica de uma escala, identifica-se a impossibilidade de determinar a validade de critério concorrente comparando os resultados da escala STD-KQ com o escore de outro instrumento que avalie o mesmo padrão de desempenho, uma vez que não se tem disponível outros questionários que avaliem o conhecimento sobre as DST validados para a cultura brasileira⁴4 Teixeira LO, Figueiredo VL, Mendoza-Sassi RA. Adaptação transcultural do Questionário sobre Conhecimento de Doenças Sexualmente Transmissíveis para o português brasileiro. J Bras Psiquiatr 2015: 64(3):247-256.. É preciso destacar também que como não foi calculado o tamanho amostral para a etapa de avaliação do conhecimento e para a análise da fidedignidade, a ausência de significância estatística do conhecimento para algumas variáveis e o fraco valor encontrado para alguns coeficientes podem ser resultados da falta de poder estatístico. Além disso, como o teste do Qui-quadrado é sensível ao tamanho da amostra, os dados podem ser inflados e significativos devido ao grande tamanho da amostra¹⁸18 Ayuso-Mateos JL, Miret M, Caballero FF, Olaya B, Haro JM, Kowal P, Chatterji S. Multi-Country Evaluation of Affective Experience: Validation of an Abbreviated Version of the Day Reconstruction Method in Seven Countries. PLoS ONE 2013;8(4):e61534., tendo que, por sua vez, a sua interpretação ser avaliada com prudência.

Em termos de comparabilidade com a versão original do STD-KQ em inglês, a versão brasileira apresenta como limitação um menor número de itens o que pode influenciar na comparação dos dados por meio de escores ou frequências relativas, além de não abordar aspectos teoricamente importantes como a vacina contra a Hepatite B e a percepção do corpo e a presença de gonorreia. Em contrapartida, a versão brasileira apresenta como força a avaliação do conhecimento sobre a Sífilis. Essa doença é umas das cinco DST mais frequentes no país e está aumentando anualmente³¹31 Brasil. Ministério da Saúde (MS). Boletim Epidemiológico de Sífilis 2016. Brasília: MS; 2006. Ano V nº 01.. Esses dados salientam a importância epidemiológica dos itens referentes à Sífilis que foram adicionadas na versão brasileira. Outro aspecto a ser considerado é o fato de que a versão brasileira, diferente da versão original, é resultante da análise de diversos modelos com diferentes números de fatores.

Concluindo, a versão brasileira do STD-KQ apresenta satisfatórias propriedades psicométricas e está disponível para a comunidade científica avaliar o conhecimento dos estudantes universitários brasileiros sobre as DST. O uso do COSMIN Checklist para nortear a presente pesquisa ao mesmo tempo que permite uma melhor qualidade metodológica prejudica a comparabilidade dos achados entre os diferentes estudos devido a diversidade de testes empregados. Além disso, pelo fato do conhecimento poder ser modificado²2 Jaworski BC, Carey MP. Development and psychometric evaluation of a self-administered questionnaire to measure knowledge of sexually transmitted diseases. AIDS Behav 2007; 11(4):557-574., sugere-se que diferentes testes e técnicas sejam aplicadas, sendo que o teste-reteste não é indicado para este tipo de análise.

Agradecimentos

Os pesquisadores agradecem aos professores da Universidade onde a pesquisa foi realizada por dedicarem uma parte das suas aulas para a realização do presente estudo.

À Fundação de Amparo a Pesquisa no Rio Grande do Sul e à Universidade Federal do Rio Grande pelo financiamento deste estudo.

Referências

Datas de Publicação

Histórico