Avaliação da equivalência semântica da versão em português (Brasil) da Online Cognition Scale

Semantic equivalence of the Brazilian Portuguese-language version of the Online Cognition Scale

Evaluación de equivalencia semántica de la versión portuguesa (Brasil) de la Online Cognition Scale

Hugo Rafael de Souza e Silva Kelsy Catherina Nema Areco Paulo Bandiera-Paiva Pauliana Valéria Machado Galvão Analia Nusya de Medeiros Garcia Dartiu Xavier da Silveira Sobre os autores

Resumos

Este estudo teve por objetivo realizar a avaliação da equivalência semântica da Online Cognition Scale para o português (Brasil). O processo consistiu em cinco etapas: tradução; retrotradução; revisão técnica e avaliação da equivalência semântica por profissionais capacitados; avaliação do instrumento quanto à compreensão verbal por uma amostra de profissionais (n = 10) e estudantes (n = 37). O instrumento foi traduzido e adaptado para o português, apresentando, ao final, excelente nível de compreensão verbal pela população alvo. A versão do instrumento adaptada para uso em nosso meio resultou em um instrumento equivalente do ponto de vista da equivalência semântica e de conteúdo, estando pronto para iniciar o estudo de suas qualidades psicométricas no contexto cultural brasileiro.

Comparação Transcultural; Internet; Escalas; Estudos de Validação


This study evaluated the semantic equivalence of the Online Cognition Scale in Brazilian Portuguese. The process included five steps: translation, back-translation, technical review, evaluation of semantic equivalence by trained professionals, and evaluation of the instrument for content understanding by a group of professionals (n = 10) and students (n = 37). The instrument was translated and adapted to Portuguese, showing a high level of verbal comprehension by the target population. The adapted version for use in Brazil resulted in an equivalent instrument from the semantic and content point of view, ready for evaluation of its psychometric qualities in the Brazilian cultural context.

Cross-cultural Comparison; Internet; Scales; Validation Studies


El objetivo de este estudio fue llevar a cabo la evaluación de la equivalencia semántica de la Online Cognition Scale en portugués (Brasil). El proceso consistió en cinco etapas: traducción, retrotraducción, revisión técnica y evaluación de la equivalencia semántica de los profesionales; habilitación de instrumentos como la comprensión verbal por una muestra de profesionales (n = 10) y estudiantes (n = 37). El instrumento fue traducido y adaptado al portugués, con un excelente nivel final de comprensión verbal por parte de la población objetivo. La versión adaptada del instrumento para su uso en nuestro contexto, que dio como resultado un instrumento equivalente desde el punto de vista semántico y del contenido, está lista para que comience el estudio de sus propiedades psicométricas en el contexto cultural brasileño.

Comparación Transcultural; Internet; Escalas; Estudios de Validación


Introdução

De 1996 a 2011, 17 escalas de rastreamento foram desenvolvidas para dependência de internet, dentre as quais, podemos citar: Internet- Related Addictive Behavior Inventory (IRABI), Internet Addiction Test (IAT) e Online Cognition Scale (OCS). Entretanto, a maioria desses instrumentos foram pobremente concebidos, sem evidências de confiabilidade ou validade 1. Davis RA, Flett GL, Besser A. Validation of a new scale for measuring problematic internet use: implications for pre-employment screening. Cyberpsychol Behav 2002; 5:331-45.,2. Berner JE, Santander TJ. Abuso y dependencia de internet: la epidemia y su controversia. Rev Chil Neuro-Psiquiatr 2012; 50:181-90.. Apenas o IAT foi traduzido e adaptado (alfa de Cronbach = 0,85) para a população brasileira, embora não esteja validado e apresente fragilidades (não ser concebido por modelo próprio, necessite de refinamento e apresente apenas itens comportamentais), promovendo a necessidade científica de se conceber um instrumento que preencha essas lacunas 3. Conti MA, Jardim AP, Hearst N, Cordás TA, Tavares H. Avaliação da equivalência semântica e consistência interna de uma versão em português do Internet Addiction Test (IAT). Rev Psiquiatr Clín 2012; 39:106-10..

A OCS foi desenvolvida e validada em uma amostra de estudantes universitários canadenses, para rastreio do uso problemático de internet, sendo baseada em uma concepção cognitivo-comportamental 4. Davis RA. A cognitive-behavioral model of pathological internet use. Comput Hum Behav 2001; 17:187-95.. Esse instrumento é composto por 36 questões respondidas em uma escala Likert, com pontuação de um (totalmente em desacordo) a sete pontos (totalmente em acordo), divididas em quatro subescalas: solidão/depressão, diminuição do controle dos impulsos, conforto social e distração. Os indicadores de confiabilidade e validade foram considerados bons em estudantes turcos e canadenses 1. Davis RA, Flett GL, Besser A. Validation of a new scale for measuring problematic internet use: implications for pre-employment screening. Cyberpsychol Behav 2002; 5:331-45.,5. Ozcan N, Buzlu S. An assistive tool in determining problematic internet use: validity and reliability of the Online Cognition Scale in a sample of university students. Journal of Dependence 2005; 6:19-26., e essa escala vem sendo utilizada como instrumento de rastreio de uso problemático de internet 6. Nalwa K, Anand AP. Internet addiction in students: a cause of concern. Cyberpsychol Behav 2003; 6:653-6..

O objetivo deste trabalho foi avaliar a equivalência semântica da OCS traduzida para o português (Brasil).

Métodos

A equivalência semântica foi verificada em uma amostra de conveniência de 37 estudantes da Universidade de Pernambuco, dos cursos de medicina, enfermagem, odontologia, educação física e ciências biológicas, com idade média de 19,49 anos (DP ± 2,3), sendo 64,86% (n = 24) do sexo feminino. A escolha de realizar o estudo em uma população de estudantes de saúde foi no intuito de replicar outros estudos de validação da OCS 1. Davis RA, Flett GL, Besser A. Validation of a new scale for measuring problematic internet use: implications for pre-employment screening. Cyberpsychol Behav 2002; 5:331-45.,5. Ozcan N, Buzlu S. An assistive tool in determining problematic internet use: validity and reliability of the Online Cognition Scale in a sample of university students. Journal of Dependence 2005; 6:19-26. que usaram amostras de universitários das outras áreas do conhecimento. Embora sempre validado em amostras de universitários, o instrumento também tem sido utilizado em população adulta 1. Davis RA, Flett GL, Besser A. Validation of a new scale for measuring problematic internet use: implications for pre-employment screening. Cyberpsychol Behav 2002; 5:331-45..

Para esta análise, utilizou-se a abordagem preconizada por Herdman et al. 7. Herdman M, Fox-Rushby J, Badia X. A model of equivalence in the cultural adaptation of HRQoL instruments: the universalist approach. Qual Life Res 1998; 7:323-35. e Reichenheim & Moraes 8. Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saúde Pública 2007; 41:665-73., adotando uma perspectiva universalista para a adaptação transcultural. As estratégias utilizadas foram baseadas em estudos similares 3. Conti MA, Jardim AP, Hearst N, Cordás TA, Tavares H. Avaliação da equivalência semântica e consistência interna de uma versão em português do Internet Addiction Test (IAT). Rev Psiquiatr Clín 2012; 39:106-10.,8. Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saúde Pública 2007; 41:665-73.,9. Kachani AT, Barbosa ALR, Brasiliano S, Cordás TA, Hochgraf PB, Conti MA. Tradução, adaptação transcultural para o português (Brasil) e validação de conteúdo da Body Checking Cognitions Scale (BCCS). Rev Psiquiatr Clín 2011; 38:13-8.,1010 . Teixeira PC, Hearst N, Matsudo SMM, Cordás TA, Conti MA. Adaptação transcultural: tradução e validação de conteúdo da versão brasileira do Commitment Exercise Scale. Rev Psiquiatr Clín 2011; 38:24-8.,1111 . Conti MA, Scagliusi F, Queiroz GKO, Hearst N, Cordás TA. Adaptação transcultural: tradução e validação de conteúdo para o idioma português do modelo da Tripartite Influence Scale de insatisfação corporal. Cad Saúde Pública 2010; 26:503-13.,1212 . Toledo EL, Taragano R, Cordás TA, Abreu CN, Hearst N, Conti MA. Adaptação transcultural da Massachusetts General Hospital (MGH) Hairpulling Scale para o idioma português (Brasil). Rev Psiquaitr Clín 2011; 38:178-83., e, para tanto, foi seguido o seguinte percurso metodológico:

  • 1) O instrumento original em inglês foi traduzido para o português (Brasil) por dois tradutores independentes e experientes na tradução de textos de conteúdo científico 3. Conti MA, Jardim AP, Hearst N, Cordás TA, Tavares H. Avaliação da equivalência semântica e consistência interna de uma versão em português do Internet Addiction Test (IAT). Rev Psiquiatr Clín 2012; 39:106-10.,8. Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saúde Pública 2007; 41:665-73.,1010 . Teixeira PC, Hearst N, Matsudo SMM, Cordás TA, Conti MA. Adaptação transcultural: tradução e validação de conteúdo da versão brasileira do Commitment Exercise Scale. Rev Psiquiatr Clín 2011; 38:24-8.,1111 . Conti MA, Scagliusi F, Queiroz GKO, Hearst N, Cordás TA. Adaptação transcultural: tradução e validação de conteúdo para o idioma português do modelo da Tripartite Influence Scale de insatisfação corporal. Cad Saúde Pública 2010; 26:503-13.,1212 . Toledo EL, Taragano R, Cordás TA, Abreu CN, Hearst N, Conti MA. Adaptação transcultural da Massachusetts General Hospital (MGH) Hairpulling Scale para o idioma português (Brasil). Rev Psiquaitr Clín 2011; 38:178-83.,1313 . Grassi-Oliveira R, Stein LM, Pezzi JC. Tradução e validação de conteúdo da versão em português do Childhood Trauma Questionnaire. Rev Saúde Pública 2006; 40:249-55., apresentando uma versão síntese da tradução;

  • 2) A tradução foi vertida para o inglês, por um tradutor nativo de língua inglesa e por outro tradutor profissional da área da saúde, originando uma versão síntese da retrotradução;

  • 3) A revisão técnica e a avaliação da equivalência semântica foram realizadas por dois psicólogos experientes em adaptação de instrumentos psicométricos, por meio da comparação da versão original e das duas versões apresentadas, enfatizando o significado referencial e o geral do instrumento 3. Conti MA, Jardim AP, Hearst N, Cordás TA, Tavares H. Avaliação da equivalência semântica e consistência interna de uma versão em português do Internet Addiction Test (IAT). Rev Psiquiatr Clín 2012; 39:106-10.,8. Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saúde Pública 2007; 41:665-73.,1212 . Toledo EL, Taragano R, Cordás TA, Abreu CN, Hearst N, Conti MA. Adaptação transcultural da Massachusetts General Hospital (MGH) Hairpulling Scale para o idioma português (Brasil). Rev Psiquaitr Clín 2011; 38:178-83.,1313 . Grassi-Oliveira R, Stein LM, Pezzi JC. Tradução e validação de conteúdo da versão em português do Childhood Trauma Questionnaire. Rev Saúde Pública 2006; 40:249-55.;

  • 4) Um grupo de dez especialistas em saúde mental (dois psiquiatras, quatro psicólogos e quatro enfermeiras) avaliou, empregando um questionário, o grau de compreensão de cada item do instrumento, respondendo: “Você entendeu o que está sendo perguntado?”. As respostas eram do tipo Likert: 0 – não entendi nada; 1 – entendi só um pouco; 2 – entendi mais ou menos;

    3 – entendi quase tudo, mas tive algumas dúvidas; 4 – entendi quase tudo; 5 – entendi perfeitamente e não tenho dúvidas. Para obter um bom grau de compreensibilidade, os itens deveriam obter 80% de respostas 4 e 5. Para os itens de compreensão insuficiente, foram solicitadas sugestões de mudanças na redação do item, justificando seu raciocínio 1414 . Conti MA, Latorre MRDO. Estudo de validação e reprodutibilidade de uma escala de silhueta para adolescentes. Psicol Estud 2009; 14:699-706., sendo elaborada uma nova versão do instrumento;

  • 5) Foi aplicada uma escala numérica verbal adaptada para avaliar o grau de compreensão verbal do instrumento à amostra de estudantes (mesmo procedimento metodológico descrito na 4a etapa para o grupo de profissionais). Após análise das respostas, uma versão final da OCS- BR foi redigida.

Este estudo seguiu a Resolução no 196/96 do Conselho Nacional de Saúde para pesquisa em seres humanos. Todos os participantes assinaram um termo de consentimento livre e esclarecido. O presente estudo foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Federal de São Paulo (UNIFESP), sob o no de CAAE: 10900712.0.0000.5505 e parecer no 173.337/12.

Resultados

Foi necessário que algumas expressões fossem adaptadas, como em outros estudos de adaptação transcultural 3. Conti MA, Jardim AP, Hearst N, Cordás TA, Tavares H. Avaliação da equivalência semântica e consistência interna de uma versão em português do Internet Addiction Test (IAT). Rev Psiquiatr Clín 2012; 39:106-10.,9. Kachani AT, Barbosa ALR, Brasiliano S, Cordás TA, Hochgraf PB, Conti MA. Tradução, adaptação transcultural para o português (Brasil) e validação de conteúdo da Body Checking Cognitions Scale (BCCS). Rev Psiquiatr Clín 2011; 38:13-8.,1010 . Teixeira PC, Hearst N, Matsudo SMM, Cordás TA, Conti MA. Adaptação transcultural: tradução e validação de conteúdo da versão brasileira do Commitment Exercise Scale. Rev Psiquiatr Clín 2011; 38:24-8.,1212 . Toledo EL, Taragano R, Cordás TA, Abreu CN, Hearst N, Conti MA. Adaptação transcultural da Massachusetts General Hospital (MGH) Hairpulling Scale para o idioma português (Brasil). Rev Psiquaitr Clín 2011; 38:178-83., para otimizar a compreensão (Tabela 1). Entretanto, os termos “on-line” e “off-line” foram mantidos ipsis litteris sempre que era viável, pois esses se encontram incorporados ao cotidiano da população brasileira.

Tabela 1
Expressões adaptadas no processo de equivalência semântica para a versão em português (Brasil) da Online Cognition Scale (OCS-BR).

A análise da escala OCS-BR pelos profissionais de saúde mental registrou valores médios de compreensão verbal variando entre 3,4 e 5,0 (Tabela 2). Os itens 7, 19 e 28 tiveram grau de compreensibilidade insuficiente, sendo novamente redigidos na tentativa de garantir compreensão verbal, equivalência semântica e as características da população alvo desta adaptação. A redação final dos itens foi evidenciada na Tabela 3.

Tabela 2
Avaliação da compreensão verbal da versão em português (Brasil) da Online Cognition Scale (OCS-BR).
Tabela 3
Comparação entre a versão original em inglês, tradução, retrotradução e versão final da Online Cognition Scale (OCS).

Após essas alterações, o instrumento foi aplicado aos estudantes para avaliação da compreensão verbal, registrando uma média acima de 4,2, e todos os itens foram considerados com bom grau de compreensibilidade (Tabela 2), assegurando-se que a população alvo conseguiu compreender o conteúdo semântico da OCS-BR.

Discussão

A análise da equivalência semântica constitui apenas uma das etapas nos estudos de adaptação transcultural de instrumentos psicométricos e consiste em verificar se a carga subjetiva dos conceitos estabelecidos no instrumento original foi transferida para a cultura alvo da equivalência e se foi captada da mesma forma em ambas as culturas 8. Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saúde Pública 2007; 41:665-73.. As estratégias para analisar a equivalência semântica (traduções, retrotraduções, avaliação da equivalência entre as retrotraduções e o original, análise por revisores técnicos, análise por especialistas e pré-teste) foram seguidas como em outros estudos, os quais demonstraram a existência de equivalência semântica nos instrumentos avaliados 3. Conti MA, Jardim AP, Hearst N, Cordás TA, Tavares H. Avaliação da equivalência semântica e consistência interna de uma versão em português do Internet Addiction Test (IAT). Rev Psiquiatr Clín 2012; 39:106-10.,8. Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saúde Pública 2007; 41:665-73.,9. Kachani AT, Barbosa ALR, Brasiliano S, Cordás TA, Hochgraf PB, Conti MA. Tradução, adaptação transcultural para o português (Brasil) e validação de conteúdo da Body Checking Cognitions Scale (BCCS). Rev Psiquiatr Clín 2011; 38:13-8.,1010 . Teixeira PC, Hearst N, Matsudo SMM, Cordás TA, Conti MA. Adaptação transcultural: tradução e validação de conteúdo da versão brasileira do Commitment Exercise Scale. Rev Psiquiatr Clín 2011; 38:24-8.,1111 . Conti MA, Scagliusi F, Queiroz GKO, Hearst N, Cordás TA. Adaptação transcultural: tradução e validação de conteúdo para o idioma português do modelo da Tripartite Influence Scale de insatisfação corporal. Cad Saúde Pública 2010; 26:503-13.,1212 . Toledo EL, Taragano R, Cordás TA, Abreu CN, Hearst N, Conti MA. Adaptação transcultural da Massachusetts General Hospital (MGH) Hairpulling Scale para o idioma português (Brasil). Rev Psiquaitr Clín 2011; 38:178-83..

Como pode ser verificado no percurso metodológico, a tradução foi realizada por dois tradutores independentes cujo idioma pátrio era o português, experientes em tradução de documentos, sendo um deles especialista em tradução de textos científicos na área da saúde. Da mesma forma, a retrotradução foi realizada por dois tradutores, um brasileiro e outro nativo da língua inglesa. O perfil desses profissionais foi bastante próximo ao recomendado 1515 . Guillemin F, Bombardier C, Beaton D. Cross-cultural adaptation of health-related quality of life measures: literature review and proposed guidelines. J Clin Epidemiol 1993; 46:1417-32.,1616 . Perneger TV, Leplège A, Etter J-F. Cross-cultural adaptation of a psychometric instrument: two methods compared. J Clin Epidemiol 1999; 52:1037-46., contribuindo para a qualidade da versão final.

A revisão técnica e da equivalência semântica permitiu verificar a equivalência entre o instrumento original em inglês e a retrotradução, a fim de se garantir a transferência do significado referencial (denotativo) dos termos do instrumento. Para Reichenheim & Moraes 8. Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saúde Pública 2007; 41:665-73., se dois termos possuem o mesmo significado referencial no original e na tradução, pode-se deduzir que ambos possuem equivalência. Outro aspecto verificado foi o significado geral (conotativo) de cada item, sendo comparada a versão original em inglês com o que foi captado na tradução. Essa é uma etapa importante, pois objetiva a transferência dos significados subjetivos de cada termo, pois uma palavra ou frase veiculada com determinada intenção no contexto de origem do instrumento pode não produzir o mesmo efeito na população alvo da versão adaptada, sendo necessária a substituição 6. Nalwa K, Anand AP. Internet addiction in students: a cause of concern. Cyberpsychol Behav 2003; 6:653-6.. Essa preocupação pode ser observada nos itens 2, 5, 25 e 30, os quais tiveram termos modificados para garantir a transferência do significado geral.

A análise da equivalência semântica envolveu a verificação do grau de compreensão verbal de especialistas e estudantes. O grupo profissional apresentou uma compreensão verbal insuficiente para os itens 7, 19 e 28. A baixa compreensão dos itens 7 e 19 foi atribuída às traduções stricto sensu deles, que não apreenderam o significado geral (conotativo), devido à tradução literal de um termo não refletir necessariamente uma mesma reação emocional ou afetiva em diferentes culturas 8. Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saúde Pública 2007; 41:665-73.. A inadequação do item 28 relacionou-se à redação. Realizados os devidos ajustes, a avaliação da compreensão verbal pelos estudantes demonstrou que o instrumento tornou-se de fácil compreensão, não havendo mais nenhuma sugestão pelos participantes para alterações estruturais na OCS-BR.

Conclusão

Conclui-se, considerando o rigor metodológico e as evidências demonstradas nas estratégias de avaliação da equivalência semântica desenvolvidas neste estudo, que a versão brasileira da OCS foi bem compreendida pela amostra, conservou os elementos de equivalência semântica entre os termos e se mostrou adequada para a realização do estudo de suas qualidades psicométricas e de validação.

Agradecimentos

Agradecemos aos profissionais e estudantes envolvidos no processo de adaptação transcultural.

Referências

  • 1
    Davis RA, Flett GL, Besser A. Validation of a new scale for measuring problematic internet use: implications for pre-employment screening. Cyberpsychol Behav 2002; 5:331-45.
  • 2
    Berner JE, Santander TJ. Abuso y dependencia de internet: la epidemia y su controversia. Rev Chil Neuro-Psiquiatr 2012; 50:181-90.
  • 3
    Conti MA, Jardim AP, Hearst N, Cordás TA, Tavares H. Avaliação da equivalência semântica e consistência interna de uma versão em português do Internet Addiction Test (IAT). Rev Psiquiatr Clín 2012; 39:106-10.
  • 4
    Davis RA. A cognitive-behavioral model of pathological internet use. Comput Hum Behav 2001; 17:187-95.
  • 5
    Ozcan N, Buzlu S. An assistive tool in determining problematic internet use: validity and reliability of the Online Cognition Scale in a sample of university students. Journal of Dependence 2005; 6:19-26.
  • 6
    Nalwa K, Anand AP. Internet addiction in students: a cause of concern. Cyberpsychol Behav 2003; 6:653-6.
  • 7
    Herdman M, Fox-Rushby J, Badia X. A model of equivalence in the cultural adaptation of HRQoL instruments: the universalist approach. Qual Life Res 1998; 7:323-35.
  • 8
    Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saúde Pública 2007; 41:665-73.
  • 9
    Kachani AT, Barbosa ALR, Brasiliano S, Cordás TA, Hochgraf PB, Conti MA. Tradução, adaptação transcultural para o português (Brasil) e validação de conteúdo da Body Checking Cognitions Scale (BCCS). Rev Psiquiatr Clín 2011; 38:13-8.
  • 10
    Teixeira PC, Hearst N, Matsudo SMM, Cordás TA, Conti MA. Adaptação transcultural: tradução e validação de conteúdo da versão brasileira do Commitment Exercise Scale. Rev Psiquiatr Clín 2011; 38:24-8.
  • 11
    Conti MA, Scagliusi F, Queiroz GKO, Hearst N, Cordás TA. Adaptação transcultural: tradução e validação de conteúdo para o idioma português do modelo da Tripartite Influence Scale de insatisfação corporal. Cad Saúde Pública 2010; 26:503-13.
  • 12
    Toledo EL, Taragano R, Cordás TA, Abreu CN, Hearst N, Conti MA. Adaptação transcultural da Massachusetts General Hospital (MGH) Hairpulling Scale para o idioma português (Brasil). Rev Psiquaitr Clín 2011; 38:178-83.
  • 13
    Grassi-Oliveira R, Stein LM, Pezzi JC. Tradução e validação de conteúdo da versão em português do Childhood Trauma Questionnaire. Rev Saúde Pública 2006; 40:249-55.
  • 14
    Conti MA, Latorre MRDO. Estudo de validação e reprodutibilidade de uma escala de silhueta para adolescentes. Psicol Estud 2009; 14:699-706.
  • 15
    Guillemin F, Bombardier C, Beaton D. Cross-cultural adaptation of health-related quality of life measures: literature review and proposed guidelines. J Clin Epidemiol 1993; 46:1417-32.
  • 16
    Perneger TV, Leplège A, Etter J-F. Cross-cultural adaptation of a psychometric instrument: two methods compared. J Clin Epidemiol 1999; 52:1037-46.

Datas de Publicação

  • Publicação nesta coleção
    Jun 2014

Histórico

  • Recebido
    24 Ago 2013
  • Revisado
    01 Fev 2014
  • Aceito
    07 Mar 2014
Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz Rio de Janeiro - RJ - Brazil
E-mail: cadernos@ensp.fiocruz.br