Resumo:
O objetivo deste estudo foi avaliar a estrutura dimensional do instrumento s-EMBU, utilizado para a mensuração de práticas educativas parentais, quando aplicado a adolescentes. A amostra contou com 487 estudantes da Região Metropolitana do Rio de Janeiro, Brasil, no ano de 2013. A média de idade foi 14 anos, sendo 47% meninas. A estrutura dimensional original foi avaliada por análise fatorial do tipo confirmatória (AFC). Também foram implementados modelos de equação estrutural exploratórios (MEEE). O ajuste da AFC foi insatisfatório. À luz dos MEEE, a solução mais parcimoniosa concerniu o modelo de três fatores (RMSEA = 0,03; CFI = 0,97; e TLI = 0,96), porém vários itens da dimensão superproteção apresentaram cargas fatoriais maiores na dimensão Rejeição. Os itens das dimensões rejeição e calor emocional se mostraram mais apropriados. No Brasil, o s-EMBU capta parcialmente as dimensões propostas para aferição das práticas educativas parentais em adolescentes. A dimensão calor emocional teve sua estrutura dimensional confirmada, no entanto, a de rejeição e especialmente a de superproteção requerem aprimoramento.
Palavras-chave:
Comparação Transcultural; Educação Infantil; Adolescente; Questionários
Abstract:
The aim of this study was to assess the dimensional structure of the s-EMBU, used to measure parental educational practices in adolescents. The sample included 487 students from Greater Metropolitan Rio de Janeiro, Brazil, in 2013. Mean age was 14 years, and 47% were girls. The original dimensional structure was assessed by confirmatory factor analysis (CFA). The study also applied exploratory structural equation modeling (ESEM). CFA adjustment was unsatisfactory. In light of the ESEM, the most parsimonious solution concerned the three-factor model (RMSEA = 0.03, CFI = 0.97, and TLI = 0.96), but various items in the overprotection dimension showed higher factor loads in the rejection dimension. The items in the rejection and emotional warmth dimensions proved more appropriate. In Brazil, s-EMBU partially captures the proposed dimensions for measuring parental educational practices in adolescents. Emotional warmth had its dimensional structure confirmed, but rejection and especially overprotection require further refinement.
Keywords:
Cross-Cultural Comparison; Child Rearing; Adolescent; Questionnaires
Resumen:
El objetivo fue evaluar la estructura dimensional del instrumento s-EMBU, utilizado para la medida de prácticas educativas parentales, cuando se aplica a adolescentes. La muestra contó con 487 estudiantes de la región metropolitana de Río de Janeiro, Brasil, durante el año 2013. La media de edad era 14 años, siendo un 47% niñas. La estructura dimensional original fue evaluada por análisis factorial del tipo confirmatorio (AFC). También se implementaron modelos de ecuación estructural exploratorios (MEEE). El ajuste de la AFC fue insatisfactorio. A la luz de los MEEE, la solución más parsimoniosa concernió al modelo de tres factores (RMSEA = 0,03, CFI = 0,97 y TLI = 0,96), sin embargo, varios ítems de la dimensión superprotección tuvieron cargas factoriales mayores en la dimensión rechazo. Los ítems de las dimensiones rechazo y calor emocional se mostraron más apropiados. En Brasil, el s-EMBU capta parcialmente las dimensiones propuestas para la estimación de las prácticas educativas parentales en adolescentes. La estructura dimensional de la dimensión calor emocional fue confirmada, no obstante, la de rechazo y, especialmente, la de superprotección requieren un perfeccionamiento.
Palabras claves:
Comparación Transcultural; Crianza del Niño; Adolescente; Cuestionarios
Introdução
O processo de educação de crianças e adolescentes por seus pais envolve diferentes crenças e métodos, sendo influenciado por fatores inerentes aos pais, aos filhos e ao contexto em que vivem 11. Darling N, Steinberg L. Parenting style as a context: an integrative model. Psychol Bull 1993; 113:487-96.), (22. Baumrind D. Effects of authoritative control onn child behavior. Child Dev 1966; 37:887-907.. Na década de 1990, Darling & Steinberg 11. Darling N, Steinberg L. Parenting style as a context: an integrative model. Psychol Bull 1993; 113:487-96. propuseram um modelo teórico de parentalidade para elucidar e acomodar a relação entre estes dois complexos construtos: estilos e práticas educativas parentais. Segundo a literatura específica sobre o tema, tanto os efeitos do estilo parental como os das práticas educativas parentais parecem ser extremamente importantes nos modelos que estudam o desenvolvimento e a saúde de crianças e adolescentes 33. Benchaya MC, Bisch NK, Moreira TC, Ferigolo M, Barros HM. Non-authoritative parents and impact on drug use: the perception of adolescent children. J Pediatr (Rio J.) 2011; 87:238-44.), (44. Zimmermann JJ, Eisemann MR, Fleck MP. Is parental rearing an associated factor of quality of life in adulthood? Qual Life Res 2008; 17:249-55.), (55. Mondin EMC. Práticas educativas parentais e seus efeitos na criação dos filhos. Psicol Argum 2008; 26:233-44..
Há diferentes propostas de instrumentos de aferição que objetivam captar essas práticas e estilos. Em 2010, uma revisão sistemática identificou 61 instrumentos para tal na base de dados internacional PsycINFO, bem como 16 instrumentos em português na base IndexPsi 66. Lago VM, Amaral CES, Bosa CA, Bandeira DR. Instrumentos que avaliam relação entre pais e filhos. Rev Bras Crescimento Desenvolv Hum 2010; 20:330-41.. Entretanto, os autores não citaram todos os instrumentos identificados, limitando-se aos de maior ocorrência na literatura. Uma busca complementar identificou o instrumento EMBU (Egna Minnen Beträffande Uppfostran - título original em sueco; tradução livre: Minhas Lembranças Quanto à Educação Infantil). Flexível e afeito a respondentes de diversas faixas etárias, seu histórico de desenvolvimento é pujante, encerrando várias instâncias de avaliação quanto às suas propriedades psicométricas.
Contendo inicialmente 81 itens de quatro níveis ordinais (não, nunca; sim, às vezes; sim, frequentemente; e sim, quase sempre), o EMBU foi concebido para ser respondido por adultos recordando as relações com seus pais durante a infância e adolescência 77. Perris C, Jacobsson L, Lindstrom H, von Knorring L, Perris H. Development of a new inventory assessing memories of parental rearing behaviour. Acta Psychiatr Scand 1980; 61:265-74.), (88. Arrindell WA, Sanavio E, Aguilar G, Sica C, Hatzichristou C, Eisemann M, et al. The development of a short form of EMBU: its appraisal with students in Greece, Guatemala, Hungary and Italy. Pers Individ Dif 1999; 27:613-28.. Dessa forma, propõe-se a aferir a percepção dos filhos sobre as práticas educativas parentais vivenciadas nesses períodos. O instrumento abarca três dimensões: rejeição, calor emocional e superproteção77. Perris C, Jacobsson L, Lindstrom H, von Knorring L, Perris H. Development of a new inventory assessing memories of parental rearing behaviour. Acta Psychiatr Scand 1980; 61:265-74.), (88. Arrindell WA, Sanavio E, Aguilar G, Sica C, Hatzichristou C, Eisemann M, et al. The development of a short form of EMBU: its appraisal with students in Greece, Guatemala, Hungary and Italy. Pers Individ Dif 1999; 27:613-28.. A dimensão rejeição compreende itens que descrevem sentimentos negativos e hostis dos pais em relação às crianças, tais como castigos físicos e punições, rejeição do sujeito e falta de consideração pelas mesmas. A dimensão calor emocional congrega itens que reportam às manifestações de carinho e atenção, tais como quando os pais levam em conta os pontos de vista dos filhos; ajudam-nos com atividades importantes ou quando têm problemas; e quando proporcionam estímulo intelectual e inspiram confiança. A dimensão superproteção reúne itens que abarcam comportamentos referentes a um zelo excessivo e desmedido dos pais com os filhos. Esses comportamentos denotam alto grau de intrusão e controle sobre suas vidas, com grande expectativa dos pais quanto ao rendimento escolar e/ou exigência de obediência a regras impostas por eles 44. Zimmermann JJ, Eisemann MR, Fleck MP. Is parental rearing an associated factor of quality of life in adulthood? Qual Life Res 2008; 17:249-55.), (77. Perris C, Jacobsson L, Lindstrom H, von Knorring L, Perris H. Development of a new inventory assessing memories of parental rearing behaviour. Acta Psychiatr Scand 1980; 61:265-74.), (99. Kobarg APR, Vieira V, Vieira ML. Validação da Escala de Lembranças sobre Práticas Parentais (EMBU). Aval Psicol 2010; 9:77-85..
Ao longo dos anos, o instrumento tem sido adaptado transculturalmente a diversos contextos sociais e linguístico-culturais 88. Arrindell WA, Sanavio E, Aguilar G, Sica C, Hatzichristou C, Eisemann M, et al. The development of a short form of EMBU: its appraisal with students in Greece, Guatemala, Hungary and Italy. Pers Individ Dif 1999; 27:613-28.), (99. Kobarg APR, Vieira V, Vieira ML. Validação da Escala de Lembranças sobre Práticas Parentais (EMBU). Aval Psicol 2010; 9:77-85.), (1010. Huang Y, Someya T, Takahashi S, Reist C, Tang SW. A pilot evaluation of the EMBU Scale in Japan and the USA. Acta Psychiatr Scand 1996; 94:445-8.), (1111. Gorayeb R. Child rearing patterns in Brazil. Acta Psychiatr Scand Suppl 1988; 344:147-9.), (1212. Aluja A, Del Barrio V, Garcia LF. Comparison of several shortened versions of the EMBU: exploratory and confirmatory factor analyses. Scand J Psychol 2006; 47:23-31.), (1313. Arrindell WA, Richter J, Eisemann M, Garling T, Ryden O, Hansson SB, et al. The short-EMBU in East-Germany and Sweden: a cross-national factorial validity extension. Scand J Psychol 2001; 42:157-60.), (1414. Arrindell WA, Akkerman A, Bagés N, Feldman L, Caballo VE, Oei TPS, et al. The Short-EMBU in Australia, Spain, and Venezuela: factorial invariance, and associations with sex roles, self-esteem, and eysenckian personality dimensions. Eur J Psychol Assess 2005; 21:56-66.), (1515. Canavarro MCS. A avaliação das práticas educativas através do EMBU: estudos psicométricos. Psychologica 1996; 16:5-18.), (1616. Petrowski K, Berth H, Schmidt S, Schumacher J, Hinz A, Brahler E. The assessment of recalled parental rearing behavior and its relationship to life satisfaction and interpersonal problems: a general population study. BMC Med Res Methodol 2009; 9:17., além de reduzido em diferentes versões com vista a facilitar seu uso em pesquisas de grande porte envolvendo questionários multitemáticos. A versão abreviada mais utilizada tem sido a de 23 itens, denominada s-EMBU (s indicando short, curto em inglês), desenvolvida por Arrindell et al. 88. Arrindell WA, Sanavio E, Aguilar G, Sica C, Hatzichristou C, Eisemann M, et al. The development of a short form of EMBU: its appraisal with students in Greece, Guatemala, Hungary and Italy. Pers Individ Dif 1999; 27:613-28..
Avaliações psicométricas têm sistematicamente endossado as três dimensões propostas no instrumento original. Ainda que essa literatura subscreva uma estrutura fatorial robusta, alguns entraves merecem ser apontados. Um concerne ao fato de os estudos que utilizam análises fatoriais do tipo confirmatórias (AFC) se limitarem a avaliações preliminares do instrumento. Focalizam somente a sustentabilidade de estrutura dimensional pressuposta por meio de indicadores de ajuste de modelo, deixando de aprofundar diversos aspectos métricos e escalares relevantes, como por exemplo, a presença/ausência de correlações de erros de medida para avaliar redundância de itens, validade fatorial discriminante ou escalabilidade 1717. Brown TA. Confirmatory factor analysis for applied research. 2nd Ed. New York: The Guilford Press; 2015.), (1818. Reichenheim ME, Hokerberg YHM, Moraes CL. Assessing construct structural validity of epidemiological measurement tools: a seven-step roadmap. Cad Saúde Pública 2014; 30:927-39.. Ademais, análises fatoriais de tipo exploratórias (AFE) pregressas têm sugerido a presença de cargas fatoriais cruzadas ou mesmo insuficiências psicométricas de alguns itens (por exemplo, confiabilidade/discriminância), especialmente no que diz respeito à dimensão de superproteção88. Arrindell WA, Sanavio E, Aguilar G, Sica C, Hatzichristou C, Eisemann M, et al. The development of a short form of EMBU: its appraisal with students in Greece, Guatemala, Hungary and Italy. Pers Individ Dif 1999; 27:613-28.), (99. Kobarg APR, Vieira V, Vieira ML. Validação da Escala de Lembranças sobre Práticas Parentais (EMBU). Aval Psicol 2010; 9:77-85.), (1313. Arrindell WA, Richter J, Eisemann M, Garling T, Ryden O, Hansson SB, et al. The short-EMBU in East-Germany and Sweden: a cross-national factorial validity extension. Scand J Psychol 2001; 42:157-60.), (1414. Arrindell WA, Akkerman A, Bagés N, Feldman L, Caballo VE, Oei TPS, et al. The Short-EMBU in Australia, Spain, and Venezuela: factorial invariance, and associations with sex roles, self-esteem, and eysenckian personality dimensions. Eur J Psychol Assess 2005; 21:56-66.. Diversos estudos apontam cargas cruzadas dos itens 3, 10, 18 e 22 na dimensão rejeição e baixa carga fatorial (< 0,1) do item 17, o único com opções de resposta invertidas. O item 9, originalmente proposto para a dimensão superproteção, também vem se mostrando inadequado. Estudos latino-americanos têm apontado que esse item ora apresenta carga cruzada na dimensão calor emocional, ora se restringe a este fator, não se comportando conforme proposto inicialmente 88. Arrindell WA, Sanavio E, Aguilar G, Sica C, Hatzichristou C, Eisemann M, et al. The development of a short form of EMBU: its appraisal with students in Greece, Guatemala, Hungary and Italy. Pers Individ Dif 1999; 27:613-28.), (99. Kobarg APR, Vieira V, Vieira ML. Validação da Escala de Lembranças sobre Práticas Parentais (EMBU). Aval Psicol 2010; 9:77-85.), (1313. Arrindell WA, Richter J, Eisemann M, Garling T, Ryden O, Hansson SB, et al. The short-EMBU in East-Germany and Sweden: a cross-national factorial validity extension. Scand J Psychol 2001; 42:157-60.), (1414. Arrindell WA, Akkerman A, Bagés N, Feldman L, Caballo VE, Oei TPS, et al. The Short-EMBU in Australia, Spain, and Venezuela: factorial invariance, and associations with sex roles, self-esteem, and eysenckian personality dimensions. Eur J Psychol Assess 2005; 21:56-66..
No Brasil, o EMBU de 81 itens foi traduzido por Gorayeb 1111. Gorayeb R. Child rearing patterns in Brazil. Acta Psychiatr Scand Suppl 1988; 344:147-9. em 1988. O processo de adaptação transcultural dessa versão limitou-se à avaliação da equivalência semântica dos itens. Existem mais três versões em português, mas que já estão voltadas ao instrumento reduzido. Uma é portuguesa 1515. Canavarro MCS. A avaliação das práticas educativas através do EMBU: estudos psicométricos. Psychologica 1996; 16:5-18. e duas são brasileiras 44. Zimmermann JJ, Eisemann MR, Fleck MP. Is parental rearing an associated factor of quality of life in adulthood? Qual Life Res 2008; 17:249-55.), (99. Kobarg APR, Vieira V, Vieira ML. Validação da Escala de Lembranças sobre Práticas Parentais (EMBU). Aval Psicol 2010; 9:77-85.. A de Zimmermann et al. 44. Zimmermann JJ, Eisemann MR, Fleck MP. Is parental rearing an associated factor of quality of life in adulthood? Qual Life Res 2008; 17:249-55. compreende os 23 itens do s-EMBU traduzidos por Gorayeb 1111. Gorayeb R. Child rearing patterns in Brazil. Acta Psychiatr Scand Suppl 1988; 344:147-9., mas introduz uma modificação no item 9 pertencente à dimensão de superproteção. Visando a manter um significado conotativamente equivalente à proposta sueca original, o verbo estimular foi substituído por pressionar. A outra versão brasileira é de Kobarg et al. 99. Kobarg APR, Vieira V, Vieira ML. Validação da Escala de Lembranças sobre Práticas Parentais (EMBU). Aval Psicol 2010; 9:77-85.. Essa consiste na adaptação da versão portuguesa de Canavarro et al. 1515. Canavarro MCS. A avaliação das práticas educativas através do EMBU: estudos psicométricos. Psychologica 1996; 16:5-18., contendo ligeiras alterações na redação e a retirada dos itens 5 e 17.
Até o momento, somente a versão de Kobarg et al. 99. Kobarg APR, Vieira V, Vieira ML. Validação da Escala de Lembranças sobre Práticas Parentais (EMBU). Aval Psicol 2010; 9:77-85. foi avaliada quanto à sua estrutura dimensional no país. Neste estudo, os autores optaram por realizar uma análise fatorial exploratória tradicional, com rotação varimax, considerando conjuntamente as respostas para pais e mães. Apesar de corroborada a estrutura de três fatores, alguns itens não registraram carga fatorial satisfatória no fator proposto pelo instrumento original.
Todas as evidências apontadas concernem à população alvo de adultos. Avaliações da performance do instrumento EMBU e suas versões reduzidas são ainda bastante escassas na população adolescente. A pesquisa de Aluja et al. 1212. Aluja A, Del Barrio V, Garcia LF. Comparison of several shortened versions of the EMBU: exploratory and confirmatory factor analyses. Scand J Psychol 2006; 47:23-31. realizada em 2006 com 832 adolescentes espanhóis confrontou o s-EMBU de 23 itens com a versão mais longa, propondo uma versão distinta de 24 itens. Em 2012, outro estudo realizado na Espanha sugeriu que o antes criticado s-EMBU de 23 itens poderia ser empregado em adolescentes ao reproduzir as boas propriedades psicométricas encontradas para adultos nesta população alvo 1919. Penelo E, Viladrich C, Domenech JM. Adolescents' perceptions of parental behavior: psychometric properties of the short Egna Minnen Betraffande Uppfostran-Adolescent version (S-EMBU-A) in a clinical sample. Compr Psychiatry 2012; 53:87-94.. Requer sublinhar que os autores realizaram a avaliação psicométrica restrita ao diagnóstico de ajuste de uma AFC, carência processual já apontada em relação aos estudos realizados com adultos.
Frente à inexistência de uma versão brasileira do s-EMBU voltada para a população adolescente, Sampaio et al. 2020. Sampaio PF, Moraes CL, Reichenheim ME. Equivalência conceitual, de itens, semântica e operacional da versão brasileira do s-EMBU para aferição de práticas educativas parentais em adolescentes. Cad Saúde Pública 2014; 30:1633-8. iniciaram o processo de sua adaptação transcultural. Com base no modelo proposto por Herdman et al. 2121. Herdman M, Fox-Rushby J, Badia X. A model of equivalence in the cultural adaptation of HRQoL instruments: the universalist approach. Qual Life Res 1998; 7:323-35., essa recente publicação apresentou as etapas de avaliação das equivalências conceitual, de itens, semântica e operacional, sugerindo um bom desempenho do instrumento nesta fase inicial 2020. Sampaio PF, Moraes CL, Reichenheim ME. Equivalência conceitual, de itens, semântica e operacional da versão brasileira do s-EMBU para aferição de práticas educativas parentais em adolescentes. Cad Saúde Pública 2014; 30:1633-8.. Como um primeiro passo para a apreciação da equivalência de mensuração entre a versão nacional e o instrumento original, o presente artigo dá sequência ao processo, focalizando a avaliação do instrumento quanto à sua estrutura dimensional, com ênfase nas propriedades configurais (número de fatores e perfil de cargas cruzadas) e métricas (magnitude de cargas fatoriais e erros de medida, correlações residuais e validade fatorial discriminante).
Métodos
O trabalho atual é um subprojeto do Estudo Longitudinal de Avaliação Nutricional de Adolescentes (ELANA), cujo objetivo principal era o de investigar o papel de fatores socioeconômicos e psicossociais na trajetória das medidas antropométricas dos adolescentes. Aferidas pelo s-EMBU, as práticas educativas parentais estavam entre os fatores psicossociais estudados como potenciais fatores de risco para a situação nutricional dos adolescentes. A amostra de estudo contemplou os estudantes remanescentes da coorte do ELANA instalada em 2010 que, à época, era composta por alunos de sexto ano (Ensino Fundamental) de duas escolas públicas (28,3%) e quatro particulares (71,7%) da Região Metropolitana do Rio de Janeiro. Assim sendo, participaram efetivamente deste trabalho 487 adolescentes do 9º ano que em 2013 frequentavam as escolas selecionadas. Os estudantes tinham em média 14 anos, sendo 231 meninas e 256 meninos. Considerando as práticas educativas maternas, a amostra efetiva para análise da estrutura dimensional do instrumento foi composta por 484 indivíduos. Para as práticas paternas, 457 adolescentes responderam ao instrumento. Os itens em português da versão do s-EMBU usados neste estudo estão na Tabela 1. O instrumento foi aplicado em meio a um questionário multitemático, preenchido nas escolas durante o horário reservado à aula de educação física. Apenas uma equipe treinada e os adolescentes permaneciam na sala de aula.
Instrumento s-EMBU (short-Egna Minnen Beträffande Uppfostran) adaptado para uso em adolescentes no Brasil empregado nas análises psicométricas.
O processo de análise de dados iniciou com a avaliação da estrutura original de três fatores proposta em estudos anteriores 1818. Reichenheim ME, Hokerberg YHM, Moraes CL. Assessing construct structural validity of epidemiological measurement tools: a seven-step roadmap. Cad Saúde Pública 2014; 30:927-39.. Para esse fim, foi implementada uma análise do tipo confirmatória correspondente a um modelo de Teoria de Resposta ao Item (TRI) multidimensional 2222. Bartholomew DJ, Steel F, Moustaki I, Galbraith JI. The analysis and interpretation of multivariate data for social scientists. Boca Raton: Chapman & Hall/CRC Press; 2002. (CHC Statistics in the Social and Behavioral Sciences Series).. Adequado para a modelagem de itens categóricos, todas as análises utilizaram o estimador de mínimos quadrados ponderados robusto (Weighted Least Squares Mean and Variance Adjusted) e matrizes de correlação policóricas, conforme implementado no software Mplus (v 7.3. Muthén & Muthén, Los Angeles, Estados Unidos) 1717. Brown TA. Confirmatory factor analysis for applied research. 2nd Ed. New York: The Guilford Press; 2015..
O ajuste do modelo original de três fatores foi avaliado por meio de três índices. O índice RMSEA (Root Mean Square Error of Approximation) compensa o efeito de complexidade do modelo, transmitindo discrepância no ajuste por cada grau de liberdade no modelo. Valores próximos ou abaixo de 0,06 sugerem um ajuste adequado, porquanto valores acima de 0,10 indicam um ajuste ruim e a rejeição do modelo. O CFI (Comparative Fit Index) e o TLI (Tucker-Lewis Index) são índices de ajuste incremental e comparam o modelo especificado com um modelo mais restrito ("nulo"). Ambos variam de 0 a 1 e valores acima de 0,95 indicam ajuste adequado; modelos com valores abaixo de 0,90 requerem descarte 1717. Brown TA. Confirmatory factor analysis for applied research. 2nd Ed. New York: The Guilford Press; 2015.. As correlações entre os fatores também foram avaliadas. Seguindo recomendação da literatura, considerou-se valores > 0,85 como sugestivos de falta de validade fatorial discriminante 1717. Brown TA. Confirmatory factor analysis for applied research. 2nd Ed. New York: The Guilford Press; 2015..
Antecipando um possível mau ajuste do modelo original e prevendo estruturas alternativas, reavaliou-se a estrutura dimensional do s-EMBU por meio de modelos de equação estrutural exploratórios (MEEE) 1717. Brown TA. Confirmatory factor analysis for applied research. 2nd Ed. New York: The Guilford Press; 2015.), (2323. Marsh H, Muthe´n B, Asparouhov A, Lu¨dtke O, Robitzsch A, Morin A. Exploratory structural equation modeling, integrating CFA and EFA: application to students'evaluations of university teaching. Struct Equ Modeling 2009; 16:439-76.. Os MEEE estendem a capacidade das tradicionais análises exploratórias, permitindo avaliar, por exemplo, correlações residuais, cuja presença indicaria possíveis redundâncias de itens 1717. Brown TA. Confirmatory factor analysis for applied research. 2nd Ed. New York: The Guilford Press; 2015.. Índices de modificação e respectivos indicadores de modificação esperada de parâmetros foram utilizados para examinar essas possíveis incongruências.
O estudo foi aprovado pelo Comitê de Ética em Pesquisa do Instituto de Medicina Social (IMS) da Universidade do Estado do Rio de Janeiro (UERJ) (CAAE 0020.0.259.000- 09), estando em conformidade com as orientações da Declaração de Helsinki e da Comissão Nacional de Ética em Pesquisa 2424. Conselho Nacional de Saúde. Norma Operacional 01/2013 para Pesquisa Envolvendo Seres Humanos (Resolução CNS 1466/12). Brasília: Conselho Nacional de Saúde, Ministério da Saúde; 2013..
Resultados
A Tabela 2 mostra as cargas fatoriais e os erros de mensuração (resíduos) encontrados na AFC inicial. Os itens componentes dos fatores 1 (rejeição) e 2 (calor emocional) mostram cargas acima de 0,50, tanto em relação à mãe como ao pai. no entanto, 60% dos itens apresentaram resíduos acima de 0,70 no fator 3 (superproteção), chamando a atenção para os erros de mensuração referentes ao item 17.
Análise fatorial confirmatória (AFC) da estrutura de três fatores do instrumento s-EMBU (short-Egna Minnen Beträffande Uppfostran) aplicado a adolescentes.
Como um todo, o modelo de três fatores proposto originalmente não alcançou um bom ajuste na AFC (Tabela 3). Ainda que os RMSEA tenham permanecido dentro de uma faixa de valores admissíveis, os CFI e TLI nitidamente falharam, registrados não somente abaixo do patamar de 0,95, mas aquém do corte inferior de tolerabilidade de 0,90. O escrutínio dos índices de modificação e respectivas modificações esperadas de parâmetro revelou diversas inconsistências, sugerindo uma possível realocação de itens entre fatores e, logo, uma má especificação de modelo. Também chamaram atenção as correlações fatoriais limítrofes envolvendo os fatores 1 e 3.
Índices de ajuste dos modelos de análises fatorial confirmatória (AFC) e modelo de equação estrutural exploratória (MEEE) e correlação entre fatores para estrutura dimensional de três fatores do instrumento s-EMBU (short-Egna Minnen Beträffande Uppfostran) para adolescentes.
Por isso, foram sequencialmente implementados MEEE de 1 a 4 fatores. Apesar de um bom ajuste (RMSEA = 0,026; CFI = 0,98 e TLI = 0,97 para o pai e a mãe), a estrutura de quatro fatores não se mostrou informativa. Apenas os itens 6 e 20 carregaram no último fator especificado, além de apresentarem cargas cruzadas maiores em outros fatores. A solução de dois fatores separou o conjunto de itens compondo as dimensões rejeição e superproteção dos itens, formando a dimensão calor emocional. Apesar do ajuste satisfatório (RMSEA = 0,036; CFI = 0,96 e TLI = 0,95 para pai e RMSEA = 0,045; CFI = 0,94 e TLI = 0,93 para mãe), essa solução também implicou cargas cruzadas nos itens 5, 9, 11 e 20. O modelo unidimensional foi descartado devido à inadequação de ajuste (RMSEA = 0,12; CFI = 0,51 e TLI = 0,46 para pai e RMSEA = 0,12; CFI = 0,56 e TLI = 0,52 para mãe).
A solução mais parcimoniosa concerniu aos MEEE de três fatores. Os respectivos índices de ajuste, bem como as correlações fatoriais estão também na Tabela 3. Os índices RMSEA melhoram substantivamente, e mais ainda os CFI e TLI que, agora, se mostraram em níveis aceitáveis. Todas as correlações de fatores passaram a ficar bem abaixo do limiar de 0,85.
O perfil das cargas e resíduos desse modelo está na Tabela 4. Os itens originalmente propostos para a dimensão calor emocional comportaram-se conforme o esperado, assim como os sete itens estipulados para o fator rejeição. No entanto, vários itens originalmente posicionados na superproteção mostraram insuficiências. Os itens 3, 10, 11, 18 e 22 apresentaram cargas fatoriais primordialmente no fator 1 de rejeição, levando a uma distorção da estrutura dimensional delineada inicialmente. Adicionalmente, quatro itens da dimensão mostraram cargas cruzadas. O item 9 sequer carregou no fator "original" (superproteção), aparecendo consistentemente (pai e mãe) de forma limítrofe no fator 2 (calor emocional) e um pouco mais forte no fator 1 (rejeição). Algo semelhante ocorreu para o pai como alvo de resposta ao item 11, que carregou de forma cruzada em dois outros fatores (1 e 2) que não o propositivo. Já o item 5 mostrou um comportamento errático segundo os genitores: apesar de carregar no fator 3 de origem (superproteção), posicionou-se de forma cruzada no fator 2 (calor emocional) para o pai e no fator 1 (rejeição) para a mãe. Esse mesmo perfil materno também pôde ser encontrado em relação ao item 8.
Análise fatorial exploratória (AFE) via modelo de equação estrutural exploratória (MEEE) da estrutura de três fatores do instrumento s-EMBU (short-Egna Minnen Beträffande Uppfostran) aplicado a adolescentes.
Como na AFC, percebe-se que os itens 3, 22 e 17 continuaram com resíduos bastante elevados (> 0,70), independentemente dos genitores ou cuidadores. No entanto, não houve qualquer sugestão de correlação de resíduos com base nos índices de modificação e modificação esperada de parâmetro, seja nesse modelo de três fatores, seja nos outros exploratórios avaliados.
Discussão
De modo geral, a avaliação da validade dimensional da versão nacional do instrumento s-EMBU aplicada a adolescentes corrobora a estrutura de três fatores proposta no instrumento original. Ainda assim, a despeito do bom desempenho das dimensões rejeição e calor emocional, há algumas incongruências na composição da dimensão superproteção que merecem ser discutidas antes de se tomar uma decisão de recomendar (ou não) a utilização da versão brasileira para adolescentes.
Dentre os itens que mostraram um comportamento insatisfatório em sua dimensão original e/ou cargas cruzadas em outros fatores, destaca-se o item 9 sobre pressionar o adolescente para que se torne o melhor. Como mencionado na Introdução, esse tem se mostrado bastante inconsistente em diversos países. Alguns autores, inclusive, optaram por retirá-lo na apresentação de resultados de consistência interna e de ajuste de modelo 1313. Arrindell WA, Richter J, Eisemann M, Garling T, Ryden O, Hansson SB, et al. The short-EMBU in East-Germany and Sweden: a cross-national factorial validity extension. Scand J Psychol 2001; 42:157-60.), (1919. Penelo E, Viladrich C, Domenech JM. Adolescents' perceptions of parental behavior: psychometric properties of the short Egna Minnen Betraffande Uppfostran-Adolescent version (S-EMBU-A) in a clinical sample. Compr Psychiatry 2012; 53:87-94..
Na primeira fase de adaptação transcultural desta versão brasileira aplicada a adolescentes, houve dificuldade em se adaptar semanticamente esse item 9, uma vez que no instrumento original sueco o verbo empregado é sporra de significado negativo naquele país 2020. Sampaio PF, Moraes CL, Reichenheim ME. Equivalência conceitual, de itens, semântica e operacional da versão brasileira do s-EMBU para aferição de práticas educativas parentais em adolescentes. Cad Saúde Pública 2014; 30:1633-8.. Nem a decisão de usar o verbo pressionar sugerida para evitar uma conotação mais afeita à dimensão calor emocional foi capaz de levar os adolescentes a interpretarem o item como uma situação de superproteção. Ao contrário, alguns o entenderam até como rejeição. O fato desse comportamento insatisfatório ter ocorrido em estudos realizados em diferentes países com adultos e adolescentes sugere que o problema no item não decorre do processo de adaptação trasncultural para o meio linguístico e cultural brasileiro, nem tampouco da utilização do instrumento entre adolescentes 88. Arrindell WA, Sanavio E, Aguilar G, Sica C, Hatzichristou C, Eisemann M, et al. The development of a short form of EMBU: its appraisal with students in Greece, Guatemala, Hungary and Italy. Pers Individ Dif 1999; 27:613-28.), (99. Kobarg APR, Vieira V, Vieira ML. Validação da Escala de Lembranças sobre Práticas Parentais (EMBU). Aval Psicol 2010; 9:77-85.), (1212. Aluja A, Del Barrio V, Garcia LF. Comparison of several shortened versions of the EMBU: exploratory and confirmatory factor analyses. Scand J Psychol 2006; 47:23-31.), (1414. Arrindell WA, Akkerman A, Bagés N, Feldman L, Caballo VE, Oei TPS, et al. The Short-EMBU in Australia, Spain, and Venezuela: factorial invariance, and associations with sex roles, self-esteem, and eysenckian personality dimensions. Eur J Psychol Assess 2005; 21:56-66.. Possivelmente, o entrave está no conteúdo do próprio item, que parece não captar adequadamente o construto superproteção.
Oposto ao item 9, o item 11 sobre o medo exagerado dos genitores de alguma coisa vir a acontecer ao adolescente não havia apresentado qualquer inconsistência em estudos pregressos. Aqui, no entanto, seu comportamento se mostrou inconsistente com a proposta original. De um lado, ficou dividido entre as três dimensões quando o pai era o alvo da pergunta e, por outro, carregou exclusivamente na dimensão rejeição quando as mães eram o foco. Nessa situação, é possível que o problema seja decorrente da aplicação do instrumento em adolescentes. Diferentemente do adulto que já teve tempo de perceber que aquelas atitudes dos pais poderiam ser pertinentes naquele momento do desenvolvimento, é possível que esse zelo exagerado materno desagrade o adolescente, fazendo com que a atitude provoque um sentimento de rejeição ao invés de superproteção, como originalmente proposto. Por outro lado, a heterogeneidade do item pode estar refletindo apenas um erro amostral aleatório, já que as etapas iniciais do processo de adaptação transcultural do instrumento não evidenciaram problemas. Ainda assim, caberia rever de maneira cuidadosa as equivalências semânticas e de item 2121. Herdman M, Fox-Rushby J, Badia X. A model of equivalence in the cultural adaptation of HRQoL instruments: the universalist approach. Qual Life Res 1998; 7:323-35., assim como reavaliar as possíveis diferenças culturais entre países latinos e anglo-saxônicos quanto à criação dos filhos.
Situação diferente parece ocorrer com o item 17, o único invertido do instrumento. Este já vinha apresentando cargas fatoriais baixíssimas em outros trabalhos, como já apontado. Na presente pesquisa, o item mostrou cargas fatoriais pouco maiores que 0,4 em seu fator proposto e, por complemento, um erro de mensuração expressivo 1818. Reichenheim ME, Hokerberg YHM, Moraes CL. Assessing construct structural validity of epidemiological measurement tools: a seven-step roadmap. Cad Saúde Pública 2014; 30:927-39.. É bem possível que essa inadequação também não seja um problema exclusivo da adaptação transcultural da versão brasileira e se estenda ao instrumento na sua origem. É reconhecido que itens invertidos podem gerar dificuldade de compreensão, confundindo o respondente 2525. Streiner D, Norman G. Health measurement scales: a practical guide to their development and use. New York: Oxford University Press; 2008.), (2626. Podsakoff PM, MacKenzie SB, Lee JY, Podsakoff NP. Common method biases in behavioral research: a critical review of the literature and recommended remedies. J Appl Psychol 2003; 88:879-903.. Caso o problema persista em avaliações em outros contextos e subgrupos populacionais, há que se pensar na substituição do item por outro que vise a capturar a dimensão original (superproteção) das práticas educativas parentais.
Bastante problemático, o item 5 sobre dar satisfação do que estava fazendo ao chegar em casa não só apresentou cargas cruzadas como também mostrou carga insuficiente em sua dimensão de origem. Inicialmente proposto para a dimensão superproteção, o item carregou também no fator calor emocional para o pai e no fator rejeição para a mãe. Aplicando o instrumento a adultos, Kobarg et al. 99. Kobarg APR, Vieira V, Vieira ML. Validação da Escala de Lembranças sobre Práticas Parentais (EMBU). Aval Psicol 2010; 9:77-85. também encontraram carga cruzada do item nessas duas dimensões.
Já na primeira fase de adaptação transcultural da versão brasileira aplicada a adolescentes, Sampaio et al. 2020. Sampaio PF, Moraes CL, Reichenheim ME. Equivalência conceitual, de itens, semântica e operacional da versão brasileira do s-EMBU para aferição de práticas educativas parentais em adolescentes. Cad Saúde Pública 2014; 30:1633-8. tiveram a preocupação de substituir o termo tinha que contar tudo por tinha que dar satisfação, de sorte que o item denotasse um maior grau de intrusão. A heterogeneidade da interpretação do item 5 pelos adolescentes não parece, pois, ter decorrido de alguma tradução e adaptação semântica incorreta, mas devido a compreensões e interpretações díspares dessa forma de controle quando o ato é praticado por cada um dos genitores. Para o pai, essa prática estaria transmitindo uma preocupação acolhedora de apoio parental; como se estivesse interessado no dia a dia do adolescente, pedindo informação sobre as suas atividades no intuito de compensar sua circunscrita participação na criação do(a) filho(a). Pelo lado materno, no entanto, o item 5 parece ter sido entendido como uma cobrança, não só com características de superproteção, mas chegando a gerar um sentimento de rejeição para alguns adolescentes.
Seguindo o mesmo caminho, chama a atenção o encontrado com os itens 3, 10, 18 e 22 presumidos na dimensão superproteção, mas que também carregaram de forma mais significativa na dimensão rejeição. Esses itens já apresentavam cargas fatoriais cruzadas nas análises exploratórias em outros países focando a população adulta 88. Arrindell WA, Sanavio E, Aguilar G, Sica C, Hatzichristou C, Eisemann M, et al. The development of a short form of EMBU: its appraisal with students in Greece, Guatemala, Hungary and Italy. Pers Individ Dif 1999; 27:613-28.), (99. Kobarg APR, Vieira V, Vieira ML. Validação da Escala de Lembranças sobre Práticas Parentais (EMBU). Aval Psicol 2010; 9:77-85.), (1313. Arrindell WA, Richter J, Eisemann M, Garling T, Ryden O, Hansson SB, et al. The short-EMBU in East-Germany and Sweden: a cross-national factorial validity extension. Scand J Psychol 2001; 42:157-60.), (1414. Arrindell WA, Akkerman A, Bagés N, Feldman L, Caballo VE, Oei TPS, et al. The Short-EMBU in Australia, Spain, and Venezuela: factorial invariance, and associations with sex roles, self-esteem, and eysenckian personality dimensions. Eur J Psychol Assess 2005; 21:56-66.. O "ruído", porém, parece ter amplificado na faixa etária adolescente, chegando mesmo a uma realocação preponderante dos itens na dimensão rejeição. A dimensão superproteção pode também envolver uma tentativa de controlar as emoções dos filhos pelos pais em uma manifestação negativa de afeto, o que mistura-se de certa forma aos sentimentos de repúdio 77. Perris C, Jacobsson L, Lindstrom H, von Knorring L, Perris H. Development of a new inventory assessing memories of parental rearing behaviour. Acta Psychiatr Scand 1980; 61:265-74.), (99. Kobarg APR, Vieira V, Vieira ML. Validação da Escala de Lembranças sobre Práticas Parentais (EMBU). Aval Psicol 2010; 9:77-85.), (1515. Canavarro MCS. A avaliação das práticas educativas através do EMBU: estudos psicométricos. Psychologica 1996; 16:5-18.. Para os adolescentes estudados aqui, práticas educativas parentais de se preocupar muito com o que faço, interferir em tudo o que faço ou decidir sobre minha aparência, claramente se reportam a um sentimento nesse sentido. Nessa fase da vida, um controle excessivo de suas atividades por parte dos pais pode significar falta de confiança ou uma reprovação da forma de ser ou de se vestir, gerando sentimento de rejeição. Seja como for, os itens parecem não se adequar como manifestos claros e exclusivos de uma dimensão.
Este estudo requer interpretação à luz de suas restrições e qualidades. Dentre estas, destacam-se os procedimentos analíticos empregados, próprios para dados categóricos 1717. Brown TA. Confirmatory factor analysis for applied research. 2nd Ed. New York: The Guilford Press; 2015.. Outro ponto positivo concerne ao uso de modelos flexíveis como os MEEE 2323. Marsh H, Muthe´n B, Asparouhov A, Lu¨dtke O, Robitzsch A, Morin A. Exploratory structural equation modeling, integrating CFA and EFA: application to students'evaluations of university teaching. Struct Equ Modeling 2009; 16:439-76., que permitem, entre outros, o escrutínio de propriedades não antes visitadas na literatura afim. Em particular, foi possível avaliar a presença de correlações residuais 1717. Brown TA. Confirmatory factor analysis for applied research. 2nd Ed. New York: The Guilford Press; 2015.. A despeito de outras inadequações encontradas, é auspicioso que a ausência destas pôde ser corroborada e, assim, afastar-se potenciais redundâncias de conteúdo de itens. Da mesma forma, foi possível a avaliação e consequente descarte de alguma violação de validade fatorial discriminante 1818. Reichenheim ME, Hokerberg YHM, Moraes CL. Assessing construct structural validity of epidemiological measurement tools: a seven-step roadmap. Cad Saúde Pública 2014; 30:927-39.), (2626. Podsakoff PM, MacKenzie SB, Lee JY, Podsakoff NP. Common method biases in behavioral research: a critical review of the literature and recommended remedies. J Appl Psychol 2003; 88:879-903..
Todavia, alguns limitantes potenciais merecem alusão. Ainda que a validade dos achados necessitem de um aceite tácito de equivalência semântica 2121. Herdman M, Fox-Rushby J, Badia X. A model of equivalence in the cultural adaptation of HRQoL instruments: the universalist approach. Qual Life Res 1998; 7:323-35., possíveis inconsistências decorrentes de percalços nas etapas iniciais da adaptação transcultural não deveriam ser ignoradas (a despeito do rigor com que esta primeira grande etapa do processo foi executada, desde o cumprimento de várias atividades qualitativas visando a uma síntese semântica, até um meticuloso pré-teste para dirimir pendências 2020. Sampaio PF, Moraes CL, Reichenheim ME. Equivalência conceitual, de itens, semântica e operacional da versão brasileira do s-EMBU para aferição de práticas educativas parentais em adolescentes. Cad Saúde Pública 2014; 30:1633-8.)). Outra lacuna concerne à ausência das análises psicométricas voltadas aos aspectos escalares dos itens 1717. Brown TA. Confirmatory factor analysis for applied research. 2nd Ed. New York: The Guilford Press; 2015.. Ainda que essa não possa ser vista como uma insuficiência do estudo em si, trata-se de uma carência primordial do processo de adaptação transcultural ainda em curso. Assim, valeria recomendar um investimento nesta etapa também, no sentido de depurar e aprimorar o instrumento.
Como visto, ainda há um bom caminho a percorrer no que tange à adaptação transcultural do s-EMBU de 23 itens, principalmente em relação à sua utilização em adolescentes. Porquanto a dimensão calor emocional parece estar sendo bem mapeada por seus itens manifestos e, destarte, aparentemente "pronta" para a aferição de práticas educativas "positivas", no outro extremo, a dimensão superproteção visivelmente apresenta entraves, com itens interpretados de forma heterogênea por essa população. Seu uso imediato requer reserva ou mesmo interrupção por ora. Já a dimensão rejeição está entre as duas outras. Apesar de os itens originais não terem mostrado grandes problemas - e, por isto, é até admissível para uso "como está" - há a ressalva de que agregaram vários outros oriundos da dimensão superproteção. Essa evidência sugere que sua configuração requer expansão, algo que uma apreciação cuidadosa das propriedades escalares dos itens migrantes certamente poderá iluminar.
É preciso reconhecer, portanto, que uma adaptação transcultural de um instrumento é um processo em etapas que não são necessariamente lineares. Frequentemente é preciso retroceder. Segundo Streiner & Norman 2525. Streiner D, Norman G. Health measurement scales: a practical guide to their development and use. New York: Oxford University Press; 2008., muitas vezes os itens de um instrumento não operam como pretendido, seja pela geração de confusão à interpretação do respondente ou mesmo pela falta de correspondência aos conteúdos teóricos pretendidos inicialmente. Na perspectiva de aperfeiçoar o instrumento, reforça-se a pertinência de futuras avaliações psicométricas e/ou de estudos qualitativos focalizando a população de adolescentes.
Referências
- 1Darling N, Steinberg L. Parenting style as a context: an integrative model. Psychol Bull 1993; 113:487-96.
- 2Baumrind D. Effects of authoritative control onn child behavior. Child Dev 1966; 37:887-907.
- 3Benchaya MC, Bisch NK, Moreira TC, Ferigolo M, Barros HM. Non-authoritative parents and impact on drug use: the perception of adolescent children. J Pediatr (Rio J.) 2011; 87:238-44.
- 4Zimmermann JJ, Eisemann MR, Fleck MP. Is parental rearing an associated factor of quality of life in adulthood? Qual Life Res 2008; 17:249-55.
- 5Mondin EMC. Práticas educativas parentais e seus efeitos na criação dos filhos. Psicol Argum 2008; 26:233-44.
- 6Lago VM, Amaral CES, Bosa CA, Bandeira DR. Instrumentos que avaliam relação entre pais e filhos. Rev Bras Crescimento Desenvolv Hum 2010; 20:330-41.
- 7Perris C, Jacobsson L, Lindstrom H, von Knorring L, Perris H. Development of a new inventory assessing memories of parental rearing behaviour. Acta Psychiatr Scand 1980; 61:265-74.
- 8Arrindell WA, Sanavio E, Aguilar G, Sica C, Hatzichristou C, Eisemann M, et al. The development of a short form of EMBU: its appraisal with students in Greece, Guatemala, Hungary and Italy. Pers Individ Dif 1999; 27:613-28.
- 9Kobarg APR, Vieira V, Vieira ML. Validação da Escala de Lembranças sobre Práticas Parentais (EMBU). Aval Psicol 2010; 9:77-85.
- 10Huang Y, Someya T, Takahashi S, Reist C, Tang SW. A pilot evaluation of the EMBU Scale in Japan and the USA. Acta Psychiatr Scand 1996; 94:445-8.
- 11Gorayeb R. Child rearing patterns in Brazil. Acta Psychiatr Scand Suppl 1988; 344:147-9.
- 12Aluja A, Del Barrio V, Garcia LF. Comparison of several shortened versions of the EMBU: exploratory and confirmatory factor analyses. Scand J Psychol 2006; 47:23-31.
- 13Arrindell WA, Richter J, Eisemann M, Garling T, Ryden O, Hansson SB, et al. The short-EMBU in East-Germany and Sweden: a cross-national factorial validity extension. Scand J Psychol 2001; 42:157-60.
- 14Arrindell WA, Akkerman A, Bagés N, Feldman L, Caballo VE, Oei TPS, et al. The Short-EMBU in Australia, Spain, and Venezuela: factorial invariance, and associations with sex roles, self-esteem, and eysenckian personality dimensions. Eur J Psychol Assess 2005; 21:56-66.
- 15Canavarro MCS. A avaliação das práticas educativas através do EMBU: estudos psicométricos. Psychologica 1996; 16:5-18.
- 16Petrowski K, Berth H, Schmidt S, Schumacher J, Hinz A, Brahler E. The assessment of recalled parental rearing behavior and its relationship to life satisfaction and interpersonal problems: a general population study. BMC Med Res Methodol 2009; 9:17.
- 17Brown TA. Confirmatory factor analysis for applied research. 2nd Ed. New York: The Guilford Press; 2015.
- 18Reichenheim ME, Hokerberg YHM, Moraes CL. Assessing construct structural validity of epidemiological measurement tools: a seven-step roadmap. Cad Saúde Pública 2014; 30:927-39.
- 19Penelo E, Viladrich C, Domenech JM. Adolescents' perceptions of parental behavior: psychometric properties of the short Egna Minnen Betraffande Uppfostran-Adolescent version (S-EMBU-A) in a clinical sample. Compr Psychiatry 2012; 53:87-94.
- 20Sampaio PF, Moraes CL, Reichenheim ME. Equivalência conceitual, de itens, semântica e operacional da versão brasileira do s-EMBU para aferição de práticas educativas parentais em adolescentes. Cad Saúde Pública 2014; 30:1633-8.
- 21Herdman M, Fox-Rushby J, Badia X. A model of equivalence in the cultural adaptation of HRQoL instruments: the universalist approach. Qual Life Res 1998; 7:323-35.
- 22Bartholomew DJ, Steel F, Moustaki I, Galbraith JI. The analysis and interpretation of multivariate data for social scientists. Boca Raton: Chapman & Hall/CRC Press; 2002. (CHC Statistics in the Social and Behavioral Sciences Series).
- 23Marsh H, Muthe´n B, Asparouhov A, Lu¨dtke O, Robitzsch A, Morin A. Exploratory structural equation modeling, integrating CFA and EFA: application to students'evaluations of university teaching. Struct Equ Modeling 2009; 16:439-76.
- 24Conselho Nacional de Saúde. Norma Operacional 01/2013 para Pesquisa Envolvendo Seres Humanos (Resolução CNS 1466/12). Brasília: Conselho Nacional de Saúde, Ministério da Saúde; 2013.
- 25Streiner D, Norman G. Health measurement scales: a practical guide to their development and use. New York: Oxford University Press; 2008.
- 26Podsakoff PM, MacKenzie SB, Lee JY, Podsakoff NP. Common method biases in behavioral research: a critical review of the literature and recommended remedies. J Appl Psychol 2003; 88:879-903.
Datas de Publicação
- Publicação nesta coleção
08 Ago 2016
Histórico
- Recebido
04 Nov 2015 - Revisado
10 Mar 2016 - Aceito
06 Abr 2016