Adaptação transcultural do instrumento Patient-Doctor Relationship Questionnaire (PDRQ-9) no Brasil

Lucas Wollmann Lisiane Hauser Sotero Serrate Mengue Milena Rodrigues Agostinho Rudi Roman Christina M Van Der Feltz-Cornelis Erno Harzheim Sobre os autores

RESUMO

OBJETIVO

Descrever o processo de adaptação transcultural do Patient-Doctor Relationship Questionnaire (PDRQ-9), além de comparar a concordância entre duas diferentes formas de aplicação.

MÉTODOS

Estudo transversal, com 133 usuários adultos de uma Unidade Básica de Saúde de Porto Alegre, RS. O PDRQ-9 foi respondido pelos participantes de maneira autoaplicada e por meio de entrevista. O instrumento também foi validado por entrevista, utilizando os dados de 628 participantes da Pesquisa de Avaliação do Programa Mais Médicos, um estudo transversal com amostra sistemática de Unidades Básicas de Saúde em todas as regiões do Brasil. Foram realizadas avaliações de equivalência semântica, conceitual e de itens, análise fatorial e avaliação da fidedignidade.

RESULTADOS

Todos os itens apresentaram carga fatorial > 0,5 nos diferentes métodos de aplicação e populações na análise fatorial. Foi encontrado alfa de Cronbach de 0,94 no método autoaplicado. A aplicação por meio de entrevista encontrou alfa de Cronbach de 0,95 e 0,94 nas duas amostras diferentes. A utilização do PDRQ-9 por meio de entrevista ou de maneira autoaplicada foi considerada equivalente.

CONCLUSÕES

A adaptação transcultural do PDRQ-9 no Brasil replicou a estrutura fatorial encontrada no estudo original, com alta consistência interna. O instrumento poderá ser utilizado como uma nova dimensão na avaliação da qualidade do cuidado em saúde em pesquisas clínicas, na avaliação de serviços e em saúde pública, na gestão em saúde e na formação profissional. Novos estudos poderão ampliar a avaliação de outras propriedades do instrumento, bem como seu comportamento em diferentes populações e contextos.

Relações Médico-Paciente; Psicometria; Traduções; Entrevista; Inquéritos e Questionários; Estudos de Validação

INTRODUÇÃO

A relação médico-paciente (RMP), no seu contexto histórico, depende da situação médica e do cenário social de cada época11. Szasz TS, Knoff WF, Hollender MH. The doctor-patient relationship and its historical context. Am J Psychiatry. 1958;115(6):522-8. https://doi.org/10.1176/ajp.115.6.522
https://doi.org/10.1176/ajp.115.6.522...
. Mesmo assim, a percepção da RMP como um fator importante no contexto de atendimento em saúde é um conceito consolidado em múltiplas culturas22. Kearley KE, Freeman GK, Heath A. An exploration of the value of the personal doctor-patient relationship in general practice. Br J Gen Pract. 2001 [cited 2018 Jan 14];51(470):712-8. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1314098/pdf/11593831.pdf
https://www.ncbi.nlm.nih.gov/pmc/article...
. A RMP envolve componentes de transferência verbal de informações associados a aspectos socioemocionais33. Roter DL, Hall JA. Studies of doctor-patient interaction. Annu Rev Public Health. 1989 [cited 2018 Jan 14];10:163-80. Available from: http://www.annualreviews.org/doi/pdf/10.1146/annurev.pu.10.050189.001115
http://www.annualreviews.org/doi/pdf/10....
. Apesar disso, não existe consenso em relação a uma definição universalmente aceita, impossível, devido à complexidade e subjetividade inerentes ao processo. De maneira operativa, a RMP pode ser entendida como um tipo especial de relação humana que, seja em termos de função ou estrutura, é um componente do cuidado com potencial de afetar desfechos em saúde44. Kaba R, Sooriakumaran P. The evolution of the doctor-patient relationship. Int J Surg. 2007;5(1):57-65. https://doi.org/10.1016/j.ijsu.2006.01.005
https://doi.org/10.1016/j.ijsu.2006.01.0...
,55. Ridd M, Shaw A, Lewis G, Salisbury C. The patient-doctor relationship: a synthesis of the qualitative literature on patients’ perspectives. Br J Gen Pract. 2009;59(561):116-33. https://doi.org/10.3399/bjgp09X420248
https://doi.org/10.3399/bjgp09X420248...
. Uma RMP desenvolvida satisfatoriamente está associada com melhor controle de sintomas, como: dor, limitação funcional, ansiedade66. Stewart M. Effective physician-patient communication and health outcomes: a review. CMAJ. 1995 [cited 2018 Jan 14];152(9):1423-33. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1337906/pdf/cmaj00069-0061.pdf
https://www.ncbi.nlm.nih.gov/pmc/article...
, perda de peso e controle da pressão arterial77. Kelley JM, Kraft-Todd G, Schapira L, Kossowsky J, Riess H. The influence of the patient-clinician relationship on healthcare outcomes: a systematic review and meta-analysis of randomized controlled trials. PLoS One. 2014;9(4):e94207. https://doi.org/10.1371/journal.pone.0094207
https://doi.org/10.1371/journal.pone.009...
. Além disso, melhora a adesão ao tratamento88. Vermeire E, Hearnshaw H, Van Royen P, Denekens J. Patient adherence to treatment: three decades of research: a comprehensive review. J Clin Pharm Ther. 2001;26(5):331-42. https://doi.org/10.1046/j.1365-2710.2001.00363.x
https://doi.org/10.1046/j.1365-2710.2001...
e aumenta a satisfação com o atendimento99. Williams S, Weinman J, Dale J. Doctor-patient communication and patient satisfaction: a review. Fam Pract. 1998;15(5):480-92., fatores com impacto direto no manejo de problemas agudos e crônicos66. Stewart M. Effective physician-patient communication and health outcomes: a review. CMAJ. 1995 [cited 2018 Jan 14];152(9):1423-33. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1337906/pdf/cmaj00069-0061.pdf
https://www.ncbi.nlm.nih.gov/pmc/article...
de saúde.

A RMP pode ser abordada de diferentes maneiras. Pode ser vista como a relação de confiança, aliança terapêutica ou empatia, desenvolvida entre médico e paciente1010. Eveleigh RM, Muskens E, Ravesteijn H, Dijk I, Rijswijk E, Lucassen P. An overview of 19 instruments assessing the doctor-patient relationship: different models or concepts are used. J Clin Epidemiol. 2012;65(1):10-5. https://doi.org/10.1016/j.jclinepi.2011.05.011
https://doi.org/10.1016/j.jclinepi.2011....
. Também pode ser tratada como a habilidade de comunicação e interação do médico ou a relação de continuidade do atendimento55. Ridd M, Shaw A, Lewis G, Salisbury C. The patient-doctor relationship: a synthesis of the qualitative literature on patients’ perspectives. Br J Gen Pract. 2009;59(561):116-33. https://doi.org/10.3399/bjgp09X420248
https://doi.org/10.3399/bjgp09X420248...
,1111. Greenhalgh T, Heath I. Measuring quality in the therapeutic relationship. London: The Kings Fund; 2010.. Características pessoais, como cor da pele, sexo, status socioeconômico e idade, além das habilidades interpessoais e de comunicação do médico e seu vestuário, são identificadas como fatores com potencial de afetar a RMP12–17.

No âmbito da Atenção Primária à Saúde (APS), a RMP está inserida no contexto da longitudinalidade, um dos atributos essenciais da APS definidos por Starfield1818. Starfield B. Atenção primária: equilíbrio entre necessidades de saúde, serviços e tecnologia. Brasília (DF): UNESCO; Ministério da Saúde; 2002.. As interações entre profissionais e pacientes contribuem para o estabelecimento de relações de longa duração, que facilitam a efetividade da APS1818. Starfield B. Atenção primária: equilíbrio entre necessidades de saúde, serviços e tecnologia. Brasília (DF): UNESCO; Ministério da Saúde; 2002.. A RMP também é um componente fundamental da abordagem centrada na pessoa1111. Greenhalgh T, Heath I. Measuring quality in the therapeutic relationship. London: The Kings Fund; 2010..

A mensuração da RMP no contexto clínico é geralmente obtida por meio da percepção dos pacientes1010. Eveleigh RM, Muskens E, Ravesteijn H, Dijk I, Rijswijk E, Lucassen P. An overview of 19 instruments assessing the doctor-patient relationship: different models or concepts are used. J Clin Epidemiol. 2012;65(1):10-5. https://doi.org/10.1016/j.jclinepi.2011.05.011
https://doi.org/10.1016/j.jclinepi.2011....
. A dimensão mais frequentemente avaliada refere-se a alguma forma de aliança com descrições como: vínculo, objetivos, tarefas e colaboração. Outras dimensões comumente avaliadas são: confiança, empatia e comunicação relacional1010. Eveleigh RM, Muskens E, Ravesteijn H, Dijk I, Rijswijk E, Lucassen P. An overview of 19 instruments assessing the doctor-patient relationship: different models or concepts are used. J Clin Epidemiol. 2012;65(1):10-5. https://doi.org/10.1016/j.jclinepi.2011.05.011
https://doi.org/10.1016/j.jclinepi.2011....
. Abordagens qualitativas são usadas como ferramenta no desenvolvimento da estrutura conceitual dos fatores que definem as relações entre médico e paciente55. Ridd M, Shaw A, Lewis G, Salisbury C. The patient-doctor relationship: a synthesis of the qualitative literature on patients’ perspectives. Br J Gen Pract. 2009;59(561):116-33. https://doi.org/10.3399/bjgp09X420248
https://doi.org/10.3399/bjgp09X420248...
. As avaliações quantitativas por meio de escalas validadas são os procedimentos mais comuns para a aferição dos processos de interação médico-paciente em função de suas vantagens em termos de validade externa e comparabilidade dos resultados1111. Greenhalgh T, Heath I. Measuring quality in the therapeutic relationship. London: The Kings Fund; 2010.. A praticidade das escalas em relação à aplicação e análise de resultados também favorece o seu uso em estudos clínicos ou populacionais e na avaliação de profissionais e serviços de saúde.

Não foram encontrados instrumentos de avaliação da RMP no Brasil adaptados ao cenário da prática médica ambulatorial. Além disso, a população brasileira de analfabetos literais ou funcionais alcança 17,6% das pessoas com mais de 15 anos, chegando a 27,1% na região Nordeste1919. Instituto Brasileiro de Geografia e Estatística. Pesquisa Nacional por Amostra de Domicílios: síntese de indicadores 2014. 2.ed. Rio de Janeiro: IBGE; 2015.. Portanto, é necessário um recurso que consiga incluir essas pessoas. O Patient-Doctor Relationship Questionnaire (PDRQ-9)2020. Van Der Feltz-Cornelis CM, Van Oppen P, Van Marwijk HWJ, De Beurs E, Van Dyck R. A Patient-Doctor Relationship Questionnaire (PDRQ-9) in primary care: development and psychometric evaluation. Gen Hosp Psychiatry. 2004;26(2):115-20. https://doi.org/10.1016/j.genhosppsych.2003.08.010
https://doi.org/10.1016/j.genhosppsych.2...
é um questionário desenvolvido na Holanda em 2004. Foi traduzido e validado nos Estados Unidos2121. Porcerelli JH, Murdoch W, Morris P, Fowler S. The Patient–Doctor Relationship Questionnaire (PDRQ-9) in primary care: a validity study. J Clin Psychol Med Settings. 2014;21(3):291-6. https://doi.org/10.1007/s10880-014-9407-2
https://doi.org/10.1007/s10880-014-9407-...
, Alemanha2222. Zenger M, Schaefert R, Feltz-Cornelis C, Brähler E, Häuser W. Validation of the Patient-Doctor-Relationship Questionnaire (PDRQ-9) in a representative cross-sectional German population survey. PLoS One. 2014;9(3):e91964. https://doi.org/10.1371/journal.pone.0091964
https://doi.org/10.1371/journal.pone.009...
, Espanha2323. Martín-Fernández J, Cura-González MI, Gómez-Gascón T, Fernández-López E, Pajares-Carabajal G, Moreno-Jiménez B. Satisfacción del paciente con su médico de familia: un estudio con el Patient-Doctor Relationship Questionnaire (PDRQ-9). Aten Primaria. 2010;42(4):196-203. https://doi.org/10.1016/j.aprim.2009.09.026
https://doi.org/10.1016/j.aprim.2009.09....
, Turquia2424. Mergen H, Van der Feltz-Cornelis CM, Karao lu N, Erdogmus B, Öngel K. Validity of the Turkish patient-doctor relationship questionnaire (PDRQ-Turkish) in comparison with the Europe instrument in a family medicine center. HealthMED. 2012;6(5):1763-70. e Bangladesh2525. Arafat SMY. Psychometric validation of the Bangla Version of the Patient-Doctor Relationship Questionnaire (PDRQ-9). Psychiatry J. 2016;(2016):9385364. https://doi.org/10.1155/2016/9385364
https://doi.org/10.1155/2016/9385364...
. É considerado adequado ao cenário da APS, por ser conciso, fácil de aplicar e com excelente confiabilidade e consistência interna1010. Eveleigh RM, Muskens E, Ravesteijn H, Dijk I, Rijswijk E, Lucassen P. An overview of 19 instruments assessing the doctor-patient relationship: different models or concepts are used. J Clin Epidemiol. 2012;65(1):10-5. https://doi.org/10.1016/j.jclinepi.2011.05.011
https://doi.org/10.1016/j.jclinepi.2011....
. O objetivo deste estudo foi descrever o processo de adaptação transcultural do PDRQ-9 ao contexto brasileiro, além de comparar a concordância entre dois modos de aplicação.

MÉTODOS

Os procedimentos de adaptação transcultural foram realizados de acordo com as recomendações do Consensus – based Standards for the Selection of Health Measurement Instruments (COSMIN Initiative)2626. Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. The COSMIN checklist manual. Amsterdam: EMGO Institute for Health and Care Research; 2012., uma diretriz internacional de avaliação da qualidade metodológica de estudos sobre propriedades de instrumentos de mensuração em saúde.

O PDRQ-9 é um instrumento2020. Van Der Feltz-Cornelis CM, Van Oppen P, Van Marwijk HWJ, De Beurs E, Van Dyck R. A Patient-Doctor Relationship Questionnaire (PDRQ-9) in primary care: development and psychometric evaluation. Gen Hosp Psychiatry. 2004;26(2):115-20. https://doi.org/10.1016/j.genhosppsych.2003.08.010
https://doi.org/10.1016/j.genhosppsych.2...
que avalia a RMP a partir da perspectiva do paciente, com foco na percepção da disponibilidade para ajuda e empatia do médico. Foi desenvolvido a partir de um questionário de avaliação de aliança terapêutica em psicoterapia. Durante o processo de validação do instrumento original, alguns itens foram adicionados ou modificados, e os itens específicos do cenário da psicoterapia foram excluídos, finalizando uma escala composta por nove itens.

Cada item do instrumento é uma afirmação acerca de diferentes atributos da RMP (ajuda, tempo, confiança, compreensão, dedicação, concordância, disponibilidade, contentamento e acessibilidade), e avalia aspectos relacionais e de satisfação. O instrumento foi desenvolvido para ser autoaplicado, e o paciente deve responder o quanto considera apropriada cada afirmação em uma escala Likert de cinco pontos. Em uma população, o escore de cada item é calculado por meio da média aritmética das respostas daquele item e um escore geral pode ser calculado pela média aritmética das respostas dos nove itens.

Duas amostras foram utilizadas no processo de avaliação das propriedades psicométricas do PDRQ-9. A amostra do estudo de validação principal (EVP) teve por objetivo avaliar o instrumento ao ser respondido de maneira autoaplicada e também por meio de entrevista. O EVP foi um estudo com delineamento transversal, composto por 133 usuários, em uma Unidade Básica de Saúde (UBS) de Porto Alegre, RS. Foi realizada uma amostragem por conveniência, estratificada por sexo e duas faixas etárias (18 a 59 anos e ≥ 60 anos). Os estratos foram realizados utilizando como referência os dados de um grande serviço de APS de Porto Alegre. A coleta de dados foi realizada entre setembro e dezembro de 2016. Os usuários eram abordados após a consulta médica por entrevistadores treinados. Deveriam ter escolaridade maior ou igual a quatro anos e ao menos duas consultas com aquele médico. Respondiam o PDRQ-9 de maneira autoaplicada, depositavam sua resposta em uma urna e então, respondiam o mesmo instrumento por meio de entrevista. O paciente não sabia que teria que responder novamente o instrumento por meio de entrevista quando era convidado a responder de maneira autoaplicada. Para avaliação da estabilidade da escala no tempo, os participantes recebiam novamente o instrumento por carta ou e-mail após duas semanas, a fim de que respondessem em seu domicílio.

Foi realizado cálculo de tamanho da amostra do EVP para realização de teste de equivalência entre duas médias pareadas, de acordo com o procedimento de Bland Altman2727. Bland J, Altman D. Measuring agreement in method comparison studies. Stat Methods Med Res. 1999;8(2):135-60., para avaliar a concordância da aplicação do PDRQ-9 de modo autoaplicado e por meio de entrevista. Foi considerada uma média do escore geral do instrumento de 4,1 e um desvio padrão de 0,82020. Van Der Feltz-Cornelis CM, Van Oppen P, Van Marwijk HWJ, De Beurs E, Van Dyck R. A Patient-Doctor Relationship Questionnaire (PDRQ-9) in primary care: development and psychometric evaluation. Gen Hosp Psychiatry. 2004;26(2):115-20. https://doi.org/10.1016/j.genhosppsych.2003.08.010
https://doi.org/10.1016/j.genhosppsych.2...
. Como referência para comparação entre métodos de aplicação, foi utilizado estudo espanhol que aplicou o PDRQ-9 como entrevista2323. Martín-Fernández J, Cura-González MI, Gómez-Gascón T, Fernández-López E, Pajares-Carabajal G, Moreno-Jiménez B. Satisfacción del paciente con su médico de familia: un estudio con el Patient-Doctor Relationship Questionnaire (PDRQ-9). Aten Primaria. 2010;42(4):196-203. https://doi.org/10.1016/j.aprim.2009.09.026
https://doi.org/10.1016/j.aprim.2009.09....
. Foi estipulada diferença esperada de 0,2, diferença negligenciável de 0,3, correlação de 0,8, poder de 0,8 e significância estatística de 0,05.

Também foi avaliada a aplicação do instrumento por meio de entrevista utilizando uma amostra dos participantes da Pesquisa de Avaliação do Programa Mais Médicos (PAPMM), um estudo transversal com amostra sistemática de unidades de saúde da família (USF) de todo o Brasil. O objetivo desse estudo era avaliar a qualidade do cuidado médico ofertado aos usuários adultos da Estratégia Saúde da Família (ESF) no Brasil. Médicos cubanos e brasileiros do Programa Mais Médicos (PMM) eram comparados com médicos brasileiros que não atuavam junto ao PMM. Em cada USF amostrada, eram abordados cerca de 12 usuários adultos (≥ 18 anos), com ao menos duas consultas com aquele médico por meio de seleção consecutiva após consulta com o médico previamente selecionado. Esses usuários respondiam a diversos instrumentos a pesquisadores treinados, dentre eles o PDRQ-9. De 6.200 usuários entrevistados na PAPMM, foram selecionados de maneira aleatória 10,0% dos participantes para a avaliação das propriedades do PDRQ-9. Essa subamostra foi estratificada por região da federação, porte do município, número de equipes de ESF e categoria de vínculo do médico (integrante ou não do Programa Mais Médicos). Não foram incluídos os dados dos pacientes atendidos por médicos cubanos, uma vez que o objetivo do estudo era a adaptação transcultural para o Brasil, compreendendo questões relacionadas ao idioma.

O instrumento foi selecionado por um dos autores (LW), após revisão da literatura sobre o tema. A validade de face e conteúdo da escala foi avaliada com base em literatura nacional2828. Caprara A, Rodrigues J. A relação assimétrica médico-paciente: repensando o vínculo terapêutico. Cienc Saude Coletiva. 2004;9(1):139-46. https://doi.org/10.1590/S1413-81232004000100014
https://doi.org/10.1590/S1413-8123200400...
e internacional1010. Eveleigh RM, Muskens E, Ravesteijn H, Dijk I, Rijswijk E, Lucassen P. An overview of 19 instruments assessing the doctor-patient relationship: different models or concepts are used. J Clin Epidemiol. 2012;65(1):10-5. https://doi.org/10.1016/j.jclinepi.2011.05.011
https://doi.org/10.1016/j.jclinepi.2011....
, relacionada aos atributos da RMP. O instrumento foi discutido por um comitê de especialistas (dois epidemiologistas com experiência em estudos de adaptação transcultural e três médicos de família e comunidade, todos com domínio da língua inglesa), com objetivo de avaliar a adequação conceitual e de itens no contexto brasileiro.

Foram realizadas duas traduções do inglês para o português, por dois tradutores independentes e nativos da língua inglesa. A retradução para o inglês foi realizada por outra dupla de tradutores independentes, brasileiros com fluência na língua inglesa. Foram realizados quatro pré-testes com 10 questionários, em usuários adultos, na mesma UBS onde foi realizado o EVP. O objetivo do questionário foi explicado aos participantes, que foram perguntados se consideravam as afirmações compreensíveis e relevantes. Os resultados eram discutidos com a equipe de pesquisa após cada pré-teste. As dúvidas foram discutidas com a autora do instrumento original (CMVF).

Utilizou-se análise fatorial com extração via fatoração de eixo principal para avaliação da validade relacionada ao constructo. Foram selecionados os itens com carga fatorial superior a 0,302929. Streiner DL, Norman GR, Cairney J. Health measurement scales: a practical guide to their development and use. 4.ed. New York: Oxford University Press; 2008.. A fidedignidade deste instrumento foi avaliada por meio da consistência interna e da estabilidade no tempo. Para avaliar a consistência interna de cada componente, utilizou-se a correlação item-total, considerando adequados os itens com valor superior a 0,50, além do coeficiente alfa de Cronbach, considerando valor adequado se igual ou superior a 0,702929. Streiner DL, Norman GR, Cairney J. Health measurement scales: a practical guide to their development and use. 4.ed. New York: Oxford University Press; 2008.. As análises de estabilidade no tempo e de concordância entre os métodos autoaplicado e entrevista foram realizadas pelo procedimento de Bland Altman2727. Bland J, Altman D. Measuring agreement in method comparison studies. Stat Methods Med Res. 1999;8(2):135-60., com realização de teste de Wilcoxon, e avaliação do coeficiente de correlação intraclasse (CCI), este considerado adequado se superior a 0,602626. Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. The COSMIN checklist manual. Amsterdam: EMGO Institute for Health and Care Research; 2012.. As análises foram realizadas por meio do software SPSS versão 18.

Esta pesquisa foi aprovada pelo Comitê de Ética em Pesquisa do Hospital de Clínicas de Porto Alegre em 2015 (CAAE 48653615.6.0000.5327) e pelos Comitês de Ética de todos os municípios participantes da PAPMM que solicitaram tal aprovação. As informações coletadas foram mantidas em sigilo e não foram divulgados os nomes dos entrevistados. Os dados foram apresentados agrupados, mantendo-se a confidencialidade sobre as respostas de cada indivíduo. Todos os entrevistados receberam uma explicação clara sobre os objetivos do estudo. Os participantes assinaram o termo de consentimento livre e esclarecido.

RESULTADOS

O comitê de especialistas considerou o instrumento adequado em relação à face e ao conteúdo para ser utilizado no contexto brasileiro. As traduções e retraduções foram comparadas entre si e com a versão original e foi desenvolvida a primeira versão do instrumento para pré-teste. Foi sugerida a tradução da palavra “appropriate” como “concordo”, nas opções de resposta do instrumento (variando de 1 a 5, sendo 1 equivalente a “não concordo” e 5, “concordo totalmente”). Essa mudança foi considerada adequada pelo comitê de especialistas e aprovada pela autora do instrumento original. De maneira geral, o questionário apresentou bom entendimento por parte dos participantes. Diferentes palavras e sintaxes foram testadas com o objetivo de aprimorar a compreensão, mantendo o sentido original de cada item: item 6 – natureza versus causa, sintomas versus sintomas médicos; item 7 – falar versus conversar; item 8 – satisfeito versus contente; item 9 – ter acesso versus facilmente acessível. Ao final do quarto pré-teste, chegou-se à versão para testagem das propriedades psicométricas. Não houve missings em nenhum dos questionários utilizados do EVP e PAPMM.

Na Tabela 1 é possível visualizar a caracterização dos participantes das duas amostras utilizadas na avaliação do PDRQ-9. Os participantes do EVP apresentaram maior idade, maior escolaridade, menor desemprego e menor proporção de pessoas com companheiro(a) atual.

Tabela 1
Caracterização da amostra de participantes do EVP e PAPMM. Brasil, 2016.

Dezessete médicos foram responsáveis pelo atendimento dos participantes do EVP. A média de idade dos médicos nessa amostra foi de 32 anos e 70,6% eram mulheres; 29,4% possuíam especialização em Medicina de Família e Comunidade (MFC). O tempo médio de formação em medicina era de 4,7 anos, e trabalhavam na USF em média havia 2,3 anos. Possuíam carga horária semanal média de 54 horas (considerando todos os empregos) e atendiam aproximadamente 34 pacientes por semana na UBS. Na PAPMM, 52 médicos foram responsáveis pelo atendimento dos participantes, dos quais dois se recusaram a fornecer os seus dados. A média de idade dos médicos nessa amostra foi de 39 anos e 50,0% eram mulheres; 72,0% possuíam especialização em MFC. O tempo médio de formação em medicina era de 12,2 anos e trabalhavam na USF onde foi realizada a pesquisa em média há 3,6 anos. Possuíam carga horária semanal média de 60 horas, atendendo aproximadamente 126 pacientes por semana na UBS onde foi realizada a pesquisa.

A carga fatorial do PDRQ-9 por meio de método autoaplicado na população do EVP foi > 0,30 para todos os itens, bem como a correlação item total foi > 0,50 (Tabela 2).

Tabela 2
Escore médio, desvio padrão, cargas fatoriais para a validade fatorial e correlação item-total dos itens do PDRQ-9 através de método autoaplicado no EVP (n = 133). Porto Alegre, RS, Brasil, 2016.

Um escore geral de 4,45 (DP = 0,7) foi obtido na utilização do PDRQ-9 de maneira autoaplicada. Na avaliação da fidedignidade, foi encontrado um alfa de Cronbach de 0,94. A variância explicada pelo fator extraído foi de 65,3%.

A carga fatorial do PDRQ-9 por meio de entrevista nas populações do EVP e PAPMM foi > 0,30 e a correlação item total foi > 0,50 para todos os itens (Tabela 3).

Tabela 3
Escore médio, desvio padrão, cargas fatoriais para a validade fatorial e correlação item-total dos itens do PDRQ-9 através de método entrevista no EVP (n = 133) e PAPMM (n = 628). Brasil, 2016.

Na avaliação da fidedignidade do PDRQ-9 aplicado por entrevista no EVP, foi encontrado um escore geral de 4,43 (DP = 0,7), com alfa de Cronbach de 0,95 e variância explicada pelo fator extraído de 70,2%. Na PAPMM, o escore geral obtido foi de 3,23 (DP = 0,8), com alfa de Cronbach de 0,94 e variância explicada de 65,6%.

Trinta e cinco participantes do EVP preencheram o questionário de reteste enviado após duas semanas. Não foram verificadas diferenças relacionadas a sexo, cor, idade, escolaridade, número de consultas ou escore do instrumento entre respondentes e não respondentes do reteste. Foi encontrado um coeficiente de correlação intraclasse (CCI) de 0,96 (IC95% 0,94–0,98) entre o reteste e o instrumento autoaplicado. O gráfico de dispersão de Bland Altman para avaliação da estabilidade no tempo do PDRQ-9 sugeriu uma distribuição homogênea, com maior concordância para valores extremos. O limite superior de concordância pode ser considerado ligeiramente alargado (Figura 1).

Figura 1
Gráfico de dispersão de Bland Altman para avaliação da estabilidade no tempo do PDRQ-9 no EVP (n = 35). Porto Alegre, RS, Brasil, 2016.

O CCI foi de 0,94 (IC95% 0,93–0,95) na avaliação concordância entre os métodos autoaplicado e entrevista. O gráfico de dispersão de Bland Altman apresentou uma distribuição homogênea, diferença de médias muito próximas a zero e limites de concordância estreitos (Figura 2). Foi obtido um p = 0,315 por meio do teste de Wilcoxon.

Figura 2
Gráfico de dispersão de Bland Altman para análise de concordância entre os métodos autoaplicado e entrevista no EVP (n = 133). Porto Alegre, RS, Brasil, 2016.

DISCUSSÃO

A adaptação transcultural do PDRQ-9 replicou a estrutura unidimensional observada no estudo original2020. Van Der Feltz-Cornelis CM, Van Oppen P, Van Marwijk HWJ, De Beurs E, Van Dyck R. A Patient-Doctor Relationship Questionnaire (PDRQ-9) in primary care: development and psychometric evaluation. Gen Hosp Psychiatry. 2004;26(2):115-20. https://doi.org/10.1016/j.genhosppsych.2003.08.010
https://doi.org/10.1016/j.genhosppsych.2...
. A partir dos resultados obtidos, foi possível apresentar o instrumento para medir a RMP considerando os nove itens, que mostraram desempenho adequado para as medidas de validade e fidedignidade avaliadas (Quadro). As cargas fatoriais encontradas em todos os itens e métodos de aplicação das diferentes amostras foram elevadas, com uma queda no item relacionado ao acesso. Essa situação foi também verificada no estudo de validação original2020. Van Der Feltz-Cornelis CM, Van Oppen P, Van Marwijk HWJ, De Beurs E, Van Dyck R. A Patient-Doctor Relationship Questionnaire (PDRQ-9) in primary care: development and psychometric evaluation. Gen Hosp Psychiatry. 2004;26(2):115-20. https://doi.org/10.1016/j.genhosppsych.2003.08.010
https://doi.org/10.1016/j.genhosppsych.2...
. Uma explicação possível para a ocorrência é o fato de o conteúdo semântico do termo “acesso” carregar significado não só relacionado à disponibilidade do médico, mas também à organização do serviço de saúde1818. Starfield B. Atenção primária: equilíbrio entre necessidades de saúde, serviços e tecnologia. Brasília (DF): UNESCO; Ministério da Saúde; 2002.. Novos estudos com a utilização do instrumento em serviços de fácil e difícil acesso, com controle para esse fator, poderão ajudar na compreensão da interferência da acessibilidade relacionada ao serviço na avaliação da RMP pelos usuários. Estudos qualitativos poderão ajudar a definir uma sentença mais adequada, com objetivo de discriminar a disponibilidade do profissional.

Quadro
Versão final do PDRQ-9 em português brasileiro.

A alta consistência interna verificada neste estudo, seja pelo método autoaplicado ou por entrevista nas diferentes populações (α = 0,94–0,95), também pode ser observada nas outras validações deste instrumento, como a holandesa (α = 0,94)2020. Van Der Feltz-Cornelis CM, Van Oppen P, Van Marwijk HWJ, De Beurs E, Van Dyck R. A Patient-Doctor Relationship Questionnaire (PDRQ-9) in primary care: development and psychometric evaluation. Gen Hosp Psychiatry. 2004;26(2):115-20. https://doi.org/10.1016/j.genhosppsych.2003.08.010
https://doi.org/10.1016/j.genhosppsych.2...
, a alemã (α = 0,95)2222. Zenger M, Schaefert R, Feltz-Cornelis C, Brähler E, Häuser W. Validation of the Patient-Doctor-Relationship Questionnaire (PDRQ-9) in a representative cross-sectional German population survey. PLoS One. 2014;9(3):e91964. https://doi.org/10.1371/journal.pone.0091964
https://doi.org/10.1371/journal.pone.009...
, a espanhola (α = 0,95)2323. Martín-Fernández J, Cura-González MI, Gómez-Gascón T, Fernández-López E, Pajares-Carabajal G, Moreno-Jiménez B. Satisfacción del paciente con su médico de familia: un estudio con el Patient-Doctor Relationship Questionnaire (PDRQ-9). Aten Primaria. 2010;42(4):196-203. https://doi.org/10.1016/j.aprim.2009.09.026
https://doi.org/10.1016/j.aprim.2009.09....
, a norte-americana (α = 0,96)2121. Porcerelli JH, Murdoch W, Morris P, Fowler S. The Patient–Doctor Relationship Questionnaire (PDRQ-9) in primary care: a validity study. J Clin Psychol Med Settings. 2014;21(3):291-6. https://doi.org/10.1007/s10880-014-9407-2
https://doi.org/10.1007/s10880-014-9407-...
e a turca (α = 0,91)2424. Mergen H, Van der Feltz-Cornelis CM, Karao lu N, Erdogmus B, Öngel K. Validity of the Turkish patient-doctor relationship questionnaire (PDRQ-Turkish) in comparison with the Europe instrument in a family medicine center. HealthMED. 2012;6(5):1763-70.. A correlação item-total atingiu valores considerados adequados em todas as populações e métodos de aplicação, para todos os itens do instrumento. Diferentes propriedades do instrumento foram testadas em estudos internacionais, como: análise fatorial confirmatória2222. Zenger M, Schaefert R, Feltz-Cornelis C, Brähler E, Häuser W. Validation of the Patient-Doctor-Relationship Questionnaire (PDRQ-9) in a representative cross-sectional German population survey. PLoS One. 2014;9(3):e91964. https://doi.org/10.1371/journal.pone.0091964
https://doi.org/10.1371/journal.pone.009...
,2424. Mergen H, Van der Feltz-Cornelis CM, Karao lu N, Erdogmus B, Öngel K. Validity of the Turkish patient-doctor relationship questionnaire (PDRQ-Turkish) in comparison with the Europe instrument in a family medicine center. HealthMED. 2012;6(5):1763-70., convergente2121. Porcerelli JH, Murdoch W, Morris P, Fowler S. The Patient–Doctor Relationship Questionnaire (PDRQ-9) in primary care: a validity study. J Clin Psychol Med Settings. 2014;21(3):291-6. https://doi.org/10.1007/s10880-014-9407-2
https://doi.org/10.1007/s10880-014-9407-...
,2222. Zenger M, Schaefert R, Feltz-Cornelis C, Brähler E, Häuser W. Validation of the Patient-Doctor-Relationship Questionnaire (PDRQ-9) in a representative cross-sectional German population survey. PLoS One. 2014;9(3):e91964. https://doi.org/10.1371/journal.pone.0091964
https://doi.org/10.1371/journal.pone.009...
e discriminante20–22. Assim como nos estudos em outros países, o PDRQ-9 atingiu escores moderados ou altos na avaliação da RMP no Brasil. Esse achado também é verificado na utilização de diferentes instrumentos de mensuração da RMP1010. Eveleigh RM, Muskens E, Ravesteijn H, Dijk I, Rijswijk E, Lucassen P. An overview of 19 instruments assessing the doctor-patient relationship: different models or concepts are used. J Clin Epidemiol. 2012;65(1):10-5. https://doi.org/10.1016/j.jclinepi.2011.05.011
https://doi.org/10.1016/j.jclinepi.2011....
.

A aplicação do PDRQ-9 na PAPMM permitiu a adaptação transcultural deste instrumento, utilizando uma amostra com participantes de todas as regiões do Brasil. Esses usuários foram encontrados em serviços de APS do Sistema Único de Saúde, nas suas diferentes formas de organização e disponibilização de atendimento. Além disso, foi possível a inclusão de pessoas com grande pluralidade individual e social. Esses fatores agregam robustez aos resultados apresentados.

Apesar de ter sido originalmente desenvolvido para ser respondido de forma autoaplicada, o PDRQ-9 já foi validado na Espanha para utilização por meio de entrevista2323. Martín-Fernández J, Cura-González MI, Gómez-Gascón T, Fernández-López E, Pajares-Carabajal G, Moreno-Jiménez B. Satisfacción del paciente con su médico de familia: un estudio con el Patient-Doctor Relationship Questionnaire (PDRQ-9). Aten Primaria. 2010;42(4):196-203. https://doi.org/10.1016/j.aprim.2009.09.026
https://doi.org/10.1016/j.aprim.2009.09....
. Contudo, é a primeira vez que a avaliação das propriedades psicométricas do instrumento é realizada em paralelo para dois métodos de aplicação distintos, possibilitando a verificação da existência de diferenças entre eles. Foi encontrada elevada correlação e o procedimento de Bland Altman mostrou grande concordância entre as diferentes formas de aplicação, o que possibilita considerar que são equivalentes. A possibilidade da utilização do PDRQ-9 por meio de entrevista permite a inclusão de analfabetos literais e funcionais em posteriores aplicações deste instrumento.

Para avaliação da estabilidade da escala no tempo, a taxa de resposta após duas semanas foi baixa (26,3%), evento que também foi verificado no estudo original de validação do PDRQ-9 (33%)2020. Van Der Feltz-Cornelis CM, Van Oppen P, Van Marwijk HWJ, De Beurs E, Van Dyck R. A Patient-Doctor Relationship Questionnaire (PDRQ-9) in primary care: development and psychometric evaluation. Gen Hosp Psychiatry. 2004;26(2):115-20. https://doi.org/10.1016/j.genhosppsych.2003.08.010
https://doi.org/10.1016/j.genhosppsych.2...
. As respostas dos participantes apresentaram correlação excelente. O viés encontrado (0,18) foi estatisticamente significativo, mas considerado pequeno. A maior concordância nos extremos em relação ao centro do gráfico de dispersão sugere que pessoas que avaliam seu médico com escores moderados apresentam maior incerteza no fornecimento das respostas. A mudança da resposta dos participantes após duas semanas pode ser devida aos efeitos provocados pelas recomendações ou tratamentos prescritos ao longo desse período, bem como pelo fato de o instrumento ser respondido fora do serviço de saúde. Uma correlação moderada entre teste e reteste foi observada no estudo original, o único a realizar avaliação de estabilidade no tempo, em que foi encontrado um coeficiente de Pearson de 0,612020. Van Der Feltz-Cornelis CM, Van Oppen P, Van Marwijk HWJ, De Beurs E, Van Dyck R. A Patient-Doctor Relationship Questionnaire (PDRQ-9) in primary care: development and psychometric evaluation. Gen Hosp Psychiatry. 2004;26(2):115-20. https://doi.org/10.1016/j.genhosppsych.2003.08.010
https://doi.org/10.1016/j.genhosppsych.2...
.

Este estudo apresenta limitações. Não foi avaliado o tempo de preenchimento do instrumento. Portanto, não foi possível realizar análises relacionadas ao viés de aprendizado ou interferência de fatores como a escolaridade. O fato de os participantes do EVP terem respondido ao PDRQ-9 por dois métodos diferentes em sequência pode ter feito com que as pessoas se sentissem compelidas a responder o instrumento de maneira idêntica, subestimando a diferença entre os métodos. A falta de conhecimento do participante em saber que responderia o instrumento uma segunda vez minimiza esse efeito. A utilização da urna, por sua vez, reforçava que o objetivo ao responder o instrumento pela segunda vez não era lembrar o que já se havia respondido, mas fornecer uma nova resposta autêntica. A aplicação do instrumento nas dependências do serviço de saúde pode levar a respostas socialmente aceitas e superestimar o julgamento das pessoas em relação aos seus médicos. Assim como em outros estudos, isso foi minimizado por entrevistadores não vinculados ao serviço e garantia de anonimato das respostas.

A adaptação transcultural do PDRQ-9 ao contexto brasileiro permitiu a disponibilização de um instrumento conciso e versátil na avaliação da RMP, especialmente no cenário da APS. Pode ser utilizado de maneira autoaplicada ou por meio de entrevista. Novos estudos poderão avaliar outras propriedades da escala, bem como seu comportamento em diferentes estratos da população e contextos específicos. O uso do PDRQ-9 permitirá a inclusão de uma nova dimensão da qualidade do cuidado em saúde em pesquisas clínicas, na avaliação de serviços, na gestão em saúde, no pay for perfomance e na formação profissional.

Agradecimentos

A Alexandre Florêncio, Elisandrea Kemper, Gerardo Alfaro e Renato Tasca, pelo suporte institucional através da Organização Pan-americana da Saúde e pela contribuição na Pesquisa de Avaliação do Projeto Mais Médicos, da qual foram utilizados dados para este artigo.

Referências bibliográficas

  • 1
    Szasz TS, Knoff WF, Hollender MH. The doctor-patient relationship and its historical context. Am J Psychiatry 1958;115(6):522-8. https://doi.org/10.1176/ajp.115.6.522
    » https://doi.org/10.1176/ajp.115.6.522
  • 2
    Kearley KE, Freeman GK, Heath A. An exploration of the value of the personal doctor-patient relationship in general practice. Br J Gen Pract 2001 [cited 2018 Jan 14];51(470):712-8. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1314098/pdf/11593831.pdf
    » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1314098/pdf/11593831.pdf
  • 3
    Roter DL, Hall JA. Studies of doctor-patient interaction. Annu Rev Public Health 1989 [cited 2018 Jan 14];10:163-80. Available from: http://www.annualreviews.org/doi/pdf/10.1146/annurev.pu.10.050189.001115
    » http://www.annualreviews.org/doi/pdf/10.1146/annurev.pu.10.050189.001115
  • 4
    Kaba R, Sooriakumaran P. The evolution of the doctor-patient relationship. Int J Surg 2007;5(1):57-65. https://doi.org/10.1016/j.ijsu.2006.01.005
    » https://doi.org/10.1016/j.ijsu.2006.01.005
  • 5
    Ridd M, Shaw A, Lewis G, Salisbury C. The patient-doctor relationship: a synthesis of the qualitative literature on patients’ perspectives. Br J Gen Pract 2009;59(561):116-33. https://doi.org/10.3399/bjgp09X420248
    » https://doi.org/10.3399/bjgp09X420248
  • 6
    Stewart M. Effective physician-patient communication and health outcomes: a review. CMAJ 1995 [cited 2018 Jan 14];152(9):1423-33. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1337906/pdf/cmaj00069-0061.pdf
    » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1337906/pdf/cmaj00069-0061.pdf
  • 7
    Kelley JM, Kraft-Todd G, Schapira L, Kossowsky J, Riess H. The influence of the patient-clinician relationship on healthcare outcomes: a systematic review and meta-analysis of randomized controlled trials. PLoS One 2014;9(4):e94207. https://doi.org/10.1371/journal.pone.0094207
    » https://doi.org/10.1371/journal.pone.0094207
  • 8
    Vermeire E, Hearnshaw H, Van Royen P, Denekens J. Patient adherence to treatment: three decades of research: a comprehensive review. J Clin Pharm Ther 2001;26(5):331-42. https://doi.org/10.1046/j.1365-2710.2001.00363.x
    » https://doi.org/10.1046/j.1365-2710.2001.00363.x
  • 9
    Williams S, Weinman J, Dale J. Doctor-patient communication and patient satisfaction: a review. Fam Pract 1998;15(5):480-92.
  • 10
    Eveleigh RM, Muskens E, Ravesteijn H, Dijk I, Rijswijk E, Lucassen P. An overview of 19 instruments assessing the doctor-patient relationship: different models or concepts are used. J Clin Epidemiol 2012;65(1):10-5. https://doi.org/10.1016/j.jclinepi.2011.05.011
    » https://doi.org/10.1016/j.jclinepi.2011.05.011
  • 11
    Greenhalgh T, Heath I. Measuring quality in the therapeutic relationship. London: The Kings Fund; 2010.
  • 12
    Ha JF, Hons M, Longnecker N. Doctor-patient communication: a review. Ochsner J 2010 [cited 2018 Jan 14];10(1):38-43. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3096184/
    » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3096184/
  • 13
    Heje HN, Vedsted P, Sokolowski I, Olesen F. Patient characteristics associated with differences in patients’ evaluation of their general practitioner. BMC Health Serv Res 2008;8:178. https://doi.org/10.1186/1472-6963-8-178
    » https://doi.org/10.1186/1472-6963-8-178
  • 14
    Roter DL, Hall JA, Aoki Y. Physician gender effects in medical communication: a meta-analytic review. JAMA 2002;288(6):756-64. https://doi.org/10.1001/jama.288.6.756
    » https://doi.org/10.1001/jama.288.6.756
  • 15
    Cooper-Patrick L, Gallo JJ, Gonzales JJ, Vu HT, Powe NR, Nelson C, et al. Race, gender, and partnership in the patient-physician relationship. JAMA 1999;282(6):583-9. https://doi.org/10.1001/jama.282.6.583
    » https://doi.org/10.1001/jama.282.6.583
  • 16
    Chung H, Lee H, Chang DS, Kim HS, Lee H, Park HJ, et al. Doctor’s attire influences perceived empathy in the patient–doctor relationship. Patient Educ Couns 2012;89(3):387-91. https://doi.org/10.1016/j.pec.2012.02.017
    » https://doi.org/10.1016/j.pec.2012.02.017
  • 17
    Mercer SW, Higgins M, Bikker AM, Fitzpatrick B, McConnachie A, Lloyd SM, et al. General practitioners’ empathy and health outcomes: a prospective observational study of consultations in areas of high and low deprivation. Ann Fam Med 2016;14(2):117-24. https://doi.org/10.1370/afm.1910
    » https://doi.org/10.1370/afm.1910
  • 18
    Starfield B. Atenção primária: equilíbrio entre necessidades de saúde, serviços e tecnologia. Brasília (DF): UNESCO; Ministério da Saúde; 2002.
  • 19
    Instituto Brasileiro de Geografia e Estatística. Pesquisa Nacional por Amostra de Domicílios: síntese de indicadores 2014. 2.ed. Rio de Janeiro: IBGE; 2015.
  • 20
    Van Der Feltz-Cornelis CM, Van Oppen P, Van Marwijk HWJ, De Beurs E, Van Dyck R. A Patient-Doctor Relationship Questionnaire (PDRQ-9) in primary care: development and psychometric evaluation. Gen Hosp Psychiatry 2004;26(2):115-20. https://doi.org/10.1016/j.genhosppsych.2003.08.010
    » https://doi.org/10.1016/j.genhosppsych.2003.08.010
  • 21
    Porcerelli JH, Murdoch W, Morris P, Fowler S. The Patient–Doctor Relationship Questionnaire (PDRQ-9) in primary care: a validity study. J Clin Psychol Med Settings 2014;21(3):291-6. https://doi.org/10.1007/s10880-014-9407-2
    » https://doi.org/10.1007/s10880-014-9407-2
  • 22
    Zenger M, Schaefert R, Feltz-Cornelis C, Brähler E, Häuser W. Validation of the Patient-Doctor-Relationship Questionnaire (PDRQ-9) in a representative cross-sectional German population survey. PLoS One 2014;9(3):e91964. https://doi.org/10.1371/journal.pone.0091964
    » https://doi.org/10.1371/journal.pone.0091964
  • 23
    Martín-Fernández J, Cura-González MI, Gómez-Gascón T, Fernández-López E, Pajares-Carabajal G, Moreno-Jiménez B. Satisfacción del paciente con su médico de familia: un estudio con el Patient-Doctor Relationship Questionnaire (PDRQ-9). Aten Primaria 2010;42(4):196-203. https://doi.org/10.1016/j.aprim.2009.09.026
    » https://doi.org/10.1016/j.aprim.2009.09.026
  • 24
    Mergen H, Van der Feltz-Cornelis CM, Karao lu N, Erdogmus B, Öngel K. Validity of the Turkish patient-doctor relationship questionnaire (PDRQ-Turkish) in comparison with the Europe instrument in a family medicine center. HealthMED 2012;6(5):1763-70.
  • 25
    Arafat SMY. Psychometric validation of the Bangla Version of the Patient-Doctor Relationship Questionnaire (PDRQ-9). Psychiatry J 2016;(2016):9385364. https://doi.org/10.1155/2016/9385364
    » https://doi.org/10.1155/2016/9385364
  • 26
    Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. The COSMIN checklist manual. Amsterdam: EMGO Institute for Health and Care Research; 2012.
  • 27
    Bland J, Altman D. Measuring agreement in method comparison studies. Stat Methods Med Res 1999;8(2):135-60.
  • 28
    Caprara A, Rodrigues J. A relação assimétrica médico-paciente: repensando o vínculo terapêutico. Cienc Saude Coletiva 2004;9(1):139-46. https://doi.org/10.1590/S1413-81232004000100014
    » https://doi.org/10.1590/S1413-81232004000100014
  • 29
    Streiner DL, Norman GR, Cairney J. Health measurement scales: a practical guide to their development and use. 4.ed. New York: Oxford University Press; 2008.

  • Financiamento: Organização Pan-Americana da Saúde no Brasil (OPAS/OMS), por meio dos Termos de Cooperação 44 e 61, firmados entre a OPAS e o Ministério da Saúde do Brasil.

Datas de Publicação

  • Publicação nesta coleção
    26 Jul 2018

Histórico

  • Recebido
    24 Jul 2017
  • Aceito
    21 Nov 2017
Faculdade de Saúde Pública da Universidade de São Paulo São Paulo - SP - Brazil
E-mail: revsp@org.usp.br