Legibilidade das bulas dos medicamentos: revisão sistemática**Foi mantida a grafia original do artigo em português de Portugal

Carla Pires Marina Vigário Afonso Cavaco Sobre os autores

Resumo

OBJECTIVO

Analisar a literatura sobre legibilidade das bulas dos medicamentos para uso humano.

MÉTODOS

Estudo de revisão sistemática, utilizando as palavras-chave “Readability and Package Leaflet” e “Readability and Package Insert”e a ferramenta de busca académica b-on, que contém diferentes bases bibliográficas. O período analisado foi entre 2008 e 2013. Foram aplicados os critérios PRISMA para redigir o relatório da revisão. Foram incluídos artigos originais de pesquisa quantitativa ou qualitativa. Os critérios de exclusão foram: artigos de opinião ou de revisão, ou escritos numa língua diferente do inglês, português, italiano, francês ou espanhol.

RESULTADOS

Foram identificados 202 trabalhos, dos quais 180 foram excluídos e 22 selecionados para análise: dois com profissionais de saúde, 10 com pacientes, três sobre reações adversas e sete descritivos. As bulas apresentaram diversos problemas de legibilidade, entre os quais: textos insuficientemente claros e simples, utilização de tamanhos de letra pequenos e número reduzido de ilustrações. Os principais métodos utilizados para avaliar a legibilidade das bulas foram as fórmulas e os testes de legibilidade/usabilidade. Entre as limitações metodológicas, foram identificados aspetos como o recurso a amostras pequenas, a inexistência de fórmulas de legibilidade específicas para a língua em causa, e.g., português, e a realização de testes de compreensão em grupos de pacientes sem avaliação prévia da literacia, dos conhecimentos específicos na área da saúde, das capacidades cognitivas, ou do grau de satisfação dos participantes.

CONCLUSÕES

Em geral, as bulas apresentaram diversos problemas de legibilidade. Adicionalmente, nesta revisão foram identificadas algumas limitações metodológicas nos estudos revistos (e.g. a participação de um número reduzido de pacientes e profissionais de saúde, a ausência da avaliação prévia da literacia, do humor ou satisfação dos participantes ou o predomínio de estudos não baseados em encenações sobre o uso de medicamentos) que deverão ser consideradas na apreciação dos resultados e contornadas em estudos futuros.

Bulas de Medicamentos; Compreensão; Informação de Saúde ao Consumidor; Revisão


INTRODUÇÃO

A inteligibilidade das bulas é um factor essencial para a utilização racional e segura dos medicamentos após sua prescrição e/ou dispensação na farmácia. As bulas permitem o acesso à informação fundamental sobre os medicamentos, sua administração e esclarecimento de dúvidas de uma forma autónoma.21,2222 March Cerdá JC, Prieto Rodríguez MA, Ruiz Azarola A, Lorda PS, Barrio Cantalejo I, Danet A. Mejora de la información sanitaria contenida en los prospectos de los medicamentos: expectativas de pacientes y de profesionales sanitarios. Aten Primaria. 2010;42(1):22-7. DOI:10.1016/j.aprim.2009.04.006,2525 Shiffman S, Gerlach KK, Sembower MA, Rohay JM. Consumer understanding of prescription drug information: an illustration using an antidepressant medication. Ann Pharmacother. 2011;45(4):452-8. DOI:10.1345/aph.1P477

Nos Países da União Europeia é obrigatória a inclusão das bulas dos medicamentos para uso humano em todos os medicamentos.aa European Parliament and the Council. Directive 2001/83/EC: community code relating to medicinal products for human use. Brussels; 6 Nov 2001 [citado 2013 ago 12]. Disponível em: http://ec.europa.eu/health/files/eudralex/vol-1/dir_2001_83_consol_2012/dir_2001_83_cons_2012_en.pdf A regulamentação obriga a organização das bulas por secçõesbb European Medicine Agency. Quality review of documents human product-information annotated template. Version 9. London; 2013 [citado 2013 out 13]. Disponível em: http://www.ema.europa.eu/ema/index.jsp?curl=pages/regulation/document_listing/document_listing_000134.jsp com requisitos definidos,2929 Wolf A, Fuchs J, Schweim HG. QRD template texts intended for package inserts: development from the first QRD template up to the new draft of July 2012. Pharm Ind. 2012;74(9):1540-9. e a sua redação deve ser comprovadamente simples e clara.cc European Medicine Agency. Guideline on the readability of the labelling and package leaflet of medicinal products for human use. London; 2009 [citado 2013 ago 12]. Disponível em: http://ec.europa.eu/health/files/eudralex/vol-2/c/2009_01_12_readability_guideline_final_en.pdf

O modelo Europeu que actualmente regulamenta a organização das bulas dos medicamentos denomina-se Quality Review of Documents(QRD).bb European Medicine Agency. Quality review of documents human product-information annotated template. Version 9. London; 2013 [citado 2013 out 13]. Disponível em: http://www.ema.europa.eu/ema/index.jsp?curl=pages/regulation/document_listing/document_listing_000134.jsp Após a primeira versão publicada em 1996, o modelo foi objecto de actualizações sucessivas.2929 Wolf A, Fuchs J, Schweim HG. QRD template texts intended for package inserts: development from the first QRD template up to the new draft of July 2012. Pharm Ind. 2012;74(9):1540-9. Em conformidade com a nona versão do QRD (na qual X corresponde ao nome do medicamento), as bulas dos medicamentos devem estar organizadas de acordo com as seguintes secções:bb European Medicine Agency. Quality review of documents human product-information annotated template. Version 9. London; 2013 [citado 2013 out 13]. Disponível em: http://www.ema.europa.eu/ema/index.jsp?curl=pages/regulation/document_listing/document_listing_000134.jsp

  1. O que é X e para que é utilizado;

  2. O que é necessário saber antes de <tomar> <utilizar> X;

  3. Como <tomar> <utilizar> X;

  4. Possíveis efeitos secundários;

  5. Como conservar X;

  6. Conteúdo da embalagem e outras informações.

A comprovação da legibilidade das bulas dos medicamentos, entendida como a confirmação de que a informação que consta nas bulas é simples, clara e compreensível para os usuários,2121 Maat HP, Lentz L. Improving the usability of patient information leaflets. Patient Educ Couns. 2010;80(1):113-9. DOI:10.1016/j.pec.2009.09.030,2525 Shiffman S, Gerlach KK, Sembower MA, Rohay JM. Consumer understanding of prescription drug information: an illustration using an antidepressant medication. Ann Pharmacother. 2011;45(4):452-8. DOI:10.1345/aph.1P477 baseia-se nos resultados de testes de legibilidade/usabilidade.cc European Medicine Agency. Guideline on the readability of the labelling and package leaflet of medicinal products for human use. London; 2009 [citado 2013 ago 12]. Disponível em: http://ec.europa.eu/health/files/eudralex/vol-2/c/2009_01_12_readability_guideline_final_en.pdfA primeira versão da norma Europeia que reflecte a necessidade de realizar testes de legibilidade foi publicada pela Comissão Europeia em 1998 (Guideline on the readability of the labelling and package leaflet of medicinal products for human use) sendo utilizada pela Agência Europeia do Medicamento (AEM).cc European Medicine Agency. Guideline on the readability of the labelling and package leaflet of medicinal products for human use. London; 2009 [citado 2013 ago 12]. Disponível em: http://ec.europa.eu/health/files/eudralex/vol-2/c/2009_01_12_readability_guideline_final_en.pdfEm conformidade com esta norma, os testes de legibilidade compreendem a administração de um questionário, em entrevistas presenciais, a pelo menos 20 usuários (preferencialmente provenientes da população para a qual o medicamento se destina).aa European Parliament and the Council. Directive 2001/83/EC: community code relating to medicinal products for human use. Brussels; 6 Nov 2001 [citado 2013 ago 12]. Disponível em: http://ec.europa.eu/health/files/eudralex/vol-1/dir_2001_83_consol_2012/dir_2001_83_cons_2012_en.pdf,cc European Medicine Agency. Guideline on the readability of the labelling and package leaflet of medicinal products for human use. London; 2009 [citado 2013 ago 12]. Disponível em: http://ec.europa.eu/health/files/eudralex/vol-2/c/2009_01_12_readability_guideline_final_en.pdf Os profissionais de saúde não devem participar dos testes, pois seus conhecimentos especializados podem enviesar os resultados.cc European Medicine Agency. Guideline on the readability of the labelling and package leaflet of medicinal products for human use. London; 2009 [citado 2013 ago 12]. Disponível em: http://ec.europa.eu/health/files/eudralex/vol-2/c/2009_01_12_readability_guideline_final_en.pdf,dd The Heads of Medicines Agencies, Co-ordination Group for Mutual Recognition and Decentralised Procedures-Human. Position paper on user testing of package leaflet – consultation with target patient groups. 2011 [citado 2013 out 27]. Disponível em: http://www.hma.eu/fileadmin/dateien/Human_Medicines/CMD_h_/procedural_guidance/Consulation_PatientsGroups/CMDh_234_2011.pdfIdealmente, os participantes dos testes de legibilidade devem ser idosos sem práticas de leitura ou escrita regular,cc European Medicine Agency. Guideline on the readability of the labelling and package leaflet of medicinal products for human use. London; 2009 [citado 2013 ago 12]. Disponível em: http://ec.europa.eu/health/files/eudralex/vol-2/c/2009_01_12_readability_guideline_final_en.pdf,dd The Heads of Medicines Agencies, Co-ordination Group for Mutual Recognition and Decentralised Procedures-Human. Position paper on user testing of package leaflet – consultation with target patient groups. 2011 [citado 2013 out 27]. Disponível em: http://www.hma.eu/fileadmin/dateien/Human_Medicines/CMD_h_/procedural_guidance/Consulation_PatientsGroups/CMDh_234_2011.pdf uma vez que esse grupo habitualmente manifesta mais dificuldades na leitura e na interpretação de documentos.1414 Gazmarariana JA, Williams MV, Peelc J, Bakerd DW. Health literacy and knowledge of chronic disease. Patient Educ Couns. 2003;51(3):267-75. DOI:10.1016/S0738-3991(02)00239-2 As perguntas do questionário devem incidir sobre os conteúdos da bula considerados fundamentais como, por exemplo, indicações ou contra-indicações.cc European Medicine Agency. Guideline on the readability of the labelling and package leaflet of medicinal products for human use. London; 2009 [citado 2013 ago 12]. Disponível em: http://ec.europa.eu/health/files/eudralex/vol-2/c/2009_01_12_readability_guideline_final_en.pdf Dessa forma, os testes de legibilidade devem permitir identificar as partes da bula onde eventualmente possam existir problemas de localização ou compreensão das informações. Esses testes devem conduzir a reformulações no sentido da optimização do texto da bula,cc European Medicine Agency. Guideline on the readability of the labelling and package leaflet of medicinal products for human use. London; 2009 [citado 2013 ago 12]. Disponível em: http://ec.europa.eu/health/files/eudralex/vol-2/c/2009_01_12_readability_guideline_final_en.pdf previamente à aplicação de um novo teste de legibilidade (ou reteste).2121 Maat HP, Lentz L. Improving the usability of patient information leaflets. Patient Educ Couns. 2010;80(1):113-9. DOI:10.1016/j.pec.2009.09.030,2525 Shiffman S, Gerlach KK, Sembower MA, Rohay JM. Consumer understanding of prescription drug information: an illustration using an antidepressant medication. Ann Pharmacother. 2011;45(4):452-8. DOI:10.1345/aph.1P477 Como regra geral, esse ciclo de melhoria continuada deve ser realizado até que as respostas dos participantes estejam correctas em pelo menos 90,0% dos casos.dd The Heads of Medicines Agencies, Co-ordination Group for Mutual Recognition and Decentralised Procedures-Human. Position paper on user testing of package leaflet – consultation with target patient groups. 2011 [citado 2013 out 27]. Disponível em: http://www.hma.eu/fileadmin/dateien/Human_Medicines/CMD_h_/procedural_guidance/Consulation_PatientsGroups/CMDh_234_2011.pdf

Embora as autoridades do medicamento de cada país europeu sejam obrigadas a confirmar se as bulas de medicamentos são legíveis,2Calamusa A, Di Marzio A, Cristofani R, Arrighetti P, Santaniello V, Alfani S, et al. Factors that influence Italian consumers’ understanding of over-the-counter medicines and risk perception. Patient Educ Couns. 2012;87(3):395-401. DOI:10.1016/j.pec.2011.10.003 por vezes a informação das bulas, e.g., posologia ou reacções adversas, não é adequadamente compreendida pelos usuários (especialmente aqueles com menor literacia).2121 Maat HP, Lentz L. Improving the usability of patient information leaflets. Patient Educ Couns. 2010;80(1):113-9. DOI:10.1016/j.pec.2009.09.030,2525 Shiffman S, Gerlach KK, Sembower MA, Rohay JM. Consumer understanding of prescription drug information: an illustration using an antidepressant medication. Ann Pharmacother. 2011;45(4):452-8. DOI:10.1345/aph.1P477

O objetivo do presente estudo foi analisar a literatura sobre legibilidade das bulas de medicamentos para uso humano.

MÉTODOS

Realizou-se um estudo de revisão sistemática. O relatório sobre os estudos foi organizado de acordo com os critérios preferred reporting items for systematic reviews and meta-analyses (Prisma).ee Critérios Prisma - Transparent reporting of systematic reviews and meta-analysis; 2013 [citado 2013 ago 16]. Disponível em: http://www.prisma-statement.org/ Analisaram-se trabalhos entre as seguintes datas 1oo Elsevier; 2014 [citado 2014 dez 2]. Disponível em: http://www.elsevier.com/ de janeiro de 2008 e 24 de feveiro de 2013, compreendendo um período de cinco anos e dois meses, de forma a abranger investigações atuais e alterações na legislação farmacêutica recentes.cc European Medicine Agency. Guideline on the readability of the labelling and package leaflet of medicinal products for human use. London; 2009 [citado 2013 ago 12]. Disponível em: http://ec.europa.eu/health/files/eudralex/vol-2/c/2009_01_12_readability_guideline_final_en.pdf

Foram realizadas buscas pelas palavras-chave “Readability” com “Package Leaflet”, ou com “Package Insert”, separadas pelo operador boleano “and”. Foram empregadas duas expressões inglesas para a designação de bulas, “Package Leaflet” e “Package Insert”, considerando-se que a primeira é mais frequentemente utilizada na Europa,cc European Medicine Agency. Guideline on the readability of the labelling and package leaflet of medicinal products for human use. London; 2009 [citado 2013 ago 12]. Disponível em: http://ec.europa.eu/health/files/eudralex/vol-2/c/2009_01_12_readability_guideline_final_en.pdf,dd The Heads of Medicines Agencies, Co-ordination Group for Mutual Recognition and Decentralised Procedures-Human. Position paper on user testing of package leaflet – consultation with target patient groups. 2011 [citado 2013 out 27]. Disponível em: http://www.hma.eu/fileadmin/dateien/Human_Medicines/CMD_h_/procedural_guidance/Consulation_PatientsGroups/CMDh_234_2011.pdf e a segunda fora da Europa, e.g., nos Estados Unidos.2020 Leiderman DB. Risk management of drug products and the U.S. Food and Drug Administration: evolution and context. Drug Alcohol Depend. 2009;105(Suppl 1):S9-13. DOI:10.1016/j.drugalcdep.2009.02.007,ff Australian Governament, Department of Health and Ageing, Therapeutic Good Administration. Mechanisms to maintain the currency of approved Product Information (PI) and Consumer Medicine Information (CMI): public consultation paper. Version 2013 [citado 2013 ago 12]. Disponível em:https://www.google.pt/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=0CDsQFjAB&url=http%3A%2F%2Fwww.tga.gov.au%2Fword%2Fconsult%2Fconsult-opr-currency-pi-cmi-130513.docx&ei=fwdtUvenA_Op7Ab7ooHoDg&usg=AFQjCNHhjdYSrmN2s0muwVNMjwVS6UEu0w&sig2=Jtp7FfAdBJYD2oaORlX4zg&bvm=bv.55123115,d.ZG4&cad=rjt

Utilizou-se a Biblioteca do Conhecimento Online (b-on)gg B On: Biblioteca do conhecimento online. Lisboa: Fundação para a Computação Nacional; 2013 [citado 2013 ago 12]. Disponível em: http://www.b-on.pt/ para efectuar a pesquisa. Esta ferramenta disponibiliza o acesso a milhares de periódicos científicos, promovendo a pesquisa simultânea e em tempo real em várias fontes/bases bibliográficas, entre as quais: BioMed Central,hh BMC: BioMed Central the open access publisher; 2014 [citado 2014 dez 2]. Disponível em: http://www.biomedcentral.com/BioOne,ii BioOne online journals; 2014 [citado 2014 dez 2]. Disponível em: http://www.bioone.org/Bioline International,jj Bioline International; 2014 [citado 2014 dez 2]. Disponível em: http://www.bioline.org.br/Directory of Open Access Journals,kk DOAJ: Directory of Open Access Journals; 2014 [citado 2014 dez 2]. Disponível em: http://doaj.org/Medical Literature Analysis and Retrieval System Online (Medline),ll MEDLINE: Medical Literature Analysis and Retrieval System Online. Bethesda (MD): US National Library of Medicine; [s.d.]. [citado 2014 jul 28]. Disponível em: http://www.ncbi.nlm.nih.gov/IEB/ToolBox/SDKDOCS/MEDLINE.HTMLUnited States National Library of Medicine National Institutes of Health (PubMed),mm PubMed: the bibliographic database of the United States National Library of Medicine National Institutes of Health [Internet]. Bethesda (MD): National Library of Medicine. [1946] - [citado 2014 jul 27]. Disponível em: http://www.ncbi.nlm.nih.gov/pubmedScientific Electronic Library Online (Scielo Global),nn SciELO: Scientific Electronic Library Online [Internet]. São Paulo (BR): Bireme/OPS/FAPESP/CNPq. [1998]. [citado 2014 jul 28]. Disponível em:http://www.scielo.org/php/index.php?lang=enElsevieroo Elsevier; 2014 [citado 2014 dez 2]. Disponível em: http://www.elsevier.com/ e SpringerLink.pp SpringerLink; 2014 [citado 2014 dez 2]. Disponível em: http://link.springer.com/ Utilizando as mesmas palavras-chave, foram realizadas duas buscas suplementares: uma na PubMed, com o objectivo de confirmar a existência de resultados adicionais, e a outra na base daCochrane Collaboration Reviewsqq Cochrane collaboration reviews; 2014 [citado 2014 dez 2]. Disponível em:http://www.cochrane.org/cochrane-reviews para confirmar a inexistência de revisões publicadas sobre este tema e validar a relevância da pesquisa. Todos os resultados da pesquisa foram devidamente arquivados, possibilitando consultas futuras. Os critérios de inclusão e exclusão estão descritos na Tabela 1.

Tabela 1
Critérios de inclusão e exclusão de estudos sobre bulas de medicamentos para uso humano.

A identificação de referências repetidas foi realizada por meio do programa gestão de referências bibliográficas EndnoteWeb.rr EndnoteWeb. New York: Thomson Reuters; 2013 [citado 2013 ago 12]. Disponível em: https://www.myendnoteweb.com/EndNoteWeb.html?SID=P2g6anKIJyF54XPliP4&returnCode=ROUTER.Success&SrcApp=CR&Init=Yes Os principais aspectos de cada trabalho seleccionado – objectivos, métodos, resultados e conclusões – foram organizados e resumidos em tabela, organizada em estudos exploratórios, que envolveram participantes (profissionais ou pacientes) e descritivos, i.e., aqueles que se basearam na utilização de fórmulas de legibilidade ou nas características linguísticas dos textos. Nos estudos exploratórios com pacientes, consideraram-se mais relevantes aqueles sobre legibilidade e reações adversas, em razão da relevância do tópico para a segurança dos pacientes.2929 Wolf A, Fuchs J, Schweim HG. QRD template texts intended for package inserts: development from the first QRD template up to the new draft of July 2012. Pharm Ind. 2012;74(9):1540-9. Assim, constituíram-se os seguintes grupos de resultados:

1.Estudos exploratórios envolvendo especificamente a participação de profissionais de saúde;

2.Estudos exploratórios relacionados à compreensão das bulas por parte dos usuários (ou potenciais usuários) do medicamento, enfatizando-se particularmente as situações sobre a compreensão das reações adversas ou a realização de testes de legibilidade;

3.Estudos descritivos (sem participantes no desenho do estudo, i.e., todos os estudos não-experimentais) sobre a caracterização de aspectos relacionados à legibilidade das bulas, e.g., número de palavras, tamanho das frases ou tipo de letra.

Considerando-se os estudos selecionados, foi realizada análise comparativa de conteúdo e registradas as principais conclusões, potenciais limitações e oportunidades para investigações futuras.

ANÁLISE DOS RESULTADOS E DISCUSSÃO

Dos 202 estudos identificados, foram seleccionados para a revisão 22: 16 no formato de full paper original, três no de comunicação breve e três no de resumos indexados. A Tabela 2apresenta o número de estudos seleccionados e excluídos (por palavras-chaves e por ferramentas de busca). O fluxograma está organizado de acordo com os critérios Prisma,ee Critérios Prisma - Transparent reporting of systematic reviews and meta-analysis; 2013 [citado 2013 ago 16]. Disponível em: http://www.prisma-statement.org/ e ilustra como os estudos foram sucessivamente excluídos (Figura). Na Cochrane Collaboration Reviews não foi identificado nenhum estudo que abordasse a temática da actual revisão o que confirma o interesse sobre a sua realização.

Tabela 2
Número de estudos pesquisados, selecionados e excluídos por ferramentas de busca, palavras-chave e motivos de exclusão, período: 1º de Janeiro de 2008 a 24 de fevereiro de 2013.

Figura
Fluxograma – motivos de exclusão dos estudos pesquisados.

O resumo dos principais aspectos relativos aos objectivos, métodos, resultados e conclusões dos 22 trabalhos seleccionados encontra-se na Tabela 3. Os estudos distribuíram-se do seguinte modo: dois no grupo A (estudos exploratórios envolvendo profissionais de saúde), 12 no grupo B (estudos exploratórios envolvendo usuários/potenciais usuários dos medicamentos) e oito no grupo C (estudos descritivos).

Tabela 3
Resumo da informação dos estudos seleccionados sobre a legibilidade das bulas dos medicamentos e identificados em ferramentas de busca, período: 1º de Janeiro de 2008 a 24 de fevereiro de 2013.

Globalmente, o número de trabalhos identificados sobre a temática da legibilidade das bulas dos medicamentos foi considerado reduzido, e.g., em comparação com o número de resultados obtidos na ferramenta de busca PubMed para a expressão “Patient Information”, a qual obteve 6.357 resultados em 13 de outubro de 2013.

Estudos exploratórios com profissionais de saúde, pacientes ou potenciais usuários de medicamentos

Nos dois estudos exploratórios (grupo A),5Cavaco A, Pires C. Improving package leaflet information: potential users and physicians opinions [abstract]. Res Soc Adm Pharm. 2012;8(6);e50-1. DOI:10.1016/j.sapharm.2012.08.117,2222 March Cerdá JC, Prieto Rodríguez MA, Ruiz Azarola A, Lorda PS, Barrio Cantalejo I, Danet A. Mejora de la información sanitaria contenida en los prospectos de los medicamentos: expectativas de pacientes y de profesionales sanitarios. Aten Primaria. 2010;42(1):22-7. DOI:10.1016/j.aprim.2009.04.006 que envolveram a participação de médicos e farmacêuticos, os profissionais de saúde consideraram as informações das bulas mais relevantes e sentiram-se mais satisfeitos com os conteúdos das bulas, comparativamente aos usuários (ou potenciais usuários) dos medicamentos. Em contrapartida, os usuários (ou potenciais) dos medicamentos manifestaram preferência por receber, por parte dos médicos, explicação pessoal sobre os assuntos relacionados com os medicamentos durante as consultas, entre outras razões, devido ao elevado número de termos técnicos que são utilizados nas bulas. Embora os estudos com profissionais de saúde possam eventualmente ser relevantes para validar as bulas otimizadas, na presente revisão apenas dois estudos contaram com a participação desses profissionais.5Cavaco A, Pires C. Improving package leaflet information: potential users and physicians opinions [abstract]. Res Soc Adm Pharm. 2012;8(6);e50-1. DOI:10.1016/j.sapharm.2012.08.117,2222 March Cerdá JC, Prieto Rodríguez MA, Ruiz Azarola A, Lorda PS, Barrio Cantalejo I, Danet A. Mejora de la información sanitaria contenida en los prospectos de los medicamentos: expectativas de pacientes y de profesionales sanitarios. Aten Primaria. 2010;42(1):22-7. DOI:10.1016/j.aprim.2009.04.006

Em relação aos 12 estudos exploratórios que envolveram usuários (ou potenciais) de medicamentos (grupo B), 10 eram sobre avaliação da compreensão geral das bulas, nomeadamente por meio da aplicação de testes de legibilidade,1Brosnan S, Barron E, Sahm L, Sahm LJ. Health literacy and the clozapine patient. Perspect Public Health. 2012;132(1):39-42. DOI:10.1177/1757913911431038,2Calamusa A, Di Marzio A, Cristofani R, Arrighetti P, Santaniello V, Alfani S, et al. Factors that influence Italian consumers’ understanding of over-the-counter medicines and risk perception. Patient Educ Couns. 2012;87(3):395-401. DOI:10.1016/j.pec.2011.10.003,6Cavaco A, Santos AL. Avaliação da legibilidade de folhetos informativos e literacia em saúde Rev Saude Publica. 2012;46(5):918-22. DOI:10.1590/S0034-89102012000500019,8Dowse R, Ramela T, Browne SH. An illustrated leaflet containing antiretroviral information targeted for low-literate readers: development and evaluation. Patient Educ Couns. 2011;85(3):508-15. DOI:10.1016/j.pec.2011.01.013,1111 Franck MCJ, Foulon V, Van Vaerenbergh L. ABOP, the automatic patient information leaflet optimizer: evaluation of a tool in development.Patient Educ Couns. 2011;83(3):411-6. DOI:10.1016/j.pec.2011.04.025,1212 Fuchs J. The way forward in package insert user tests from a CRO’s perspective. Drug Inf J. 2010;44(2):119-29. DOI:10.1177/009286151004400203,1919 Lee IH, Lee HW, Je NK, Lee S. Examining the readability of two package inserts for self-medication in South Korea [abstract n.º 452, page 214].Pharmacoepidemiol Drug Saf. 2012;21:(Suppl 3):1-481. DOI:10.1111/j.1399-5448.2012.03324.x,2121 Maat HP, Lentz L. Improving the usability of patient information leaflets. Patient Educ Couns. 2010;80(1):113-9. DOI:10.1016/j.pec.2009.09.030,2525 Shiffman S, Gerlach KK, Sembower MA, Rohay JM. Consumer understanding of prescription drug information: an illustration using an antidepressant medication. Ann Pharmacother. 2011;45(4):452-8. DOI:10.1345/aph.1P477,2626 Symonds T, Dean J, Coyne KS, Margolis MK, Hackett G, Edwards D, et al. The ability of men to assess their suitability to take a phosphodiesterase type 5 inhibitor: an assessment of the comprehension of patient information materials. J Sex Med. 2010;7(6):2217-25. DOI:10.1111/j.1743-6109.2010.01767.x e dois eram especificamente sobre a compreensão das reacções adversas.1818 Knapp P, Raynor DK, Woolf E, Gardner PH, Carrigan N, McMillan B. Communicating the risk of side effects to patients: an evaluation of UK regulatory recommendations. Drug Safety. 2009;32(10):837-49. DOI:10.2165/11316570-000000000-00000,1717 Knapp P, Gardner PH, Raynor DK, Woolf E, McMillan B. Perceived risk of tamoxifen side effects: a study of the use of absolute frequencies or frequency bands, with or without verbal descriptors. Patient Educ Couns. 2010;79(2):267-71. DOI:10.1016/j.pec.2009.10.002

Nesses 10 estudos sobre a avaliação da compreensão das bulas, de uma maneira geral foram constatadas: existência de tópicos insuficientemente compreendidos ou não compreendidos por parte dos usuários (ou potenciais) dos medicamentos;2Calamusa A, Di Marzio A, Cristofani R, Arrighetti P, Santaniello V, Alfani S, et al. Factors that influence Italian consumers’ understanding of over-the-counter medicines and risk perception. Patient Educ Couns. 2012;87(3):395-401. DOI:10.1016/j.pec.2011.10.003,1111 Franck MCJ, Foulon V, Van Vaerenbergh L. ABOP, the automatic patient information leaflet optimizer: evaluation of a tool in development.Patient Educ Couns. 2011;83(3):411-6. DOI:10.1016/j.pec.2011.04.025,1919 Lee IH, Lee HW, Je NK, Lee S. Examining the readability of two package inserts for self-medication in South Korea [abstract n.º 452, page 214].Pharmacoepidemiol Drug Saf. 2012;21:(Suppl 3):1-481. DOI:10.1111/j.1399-5448.2012.03324.x,2525 Shiffman S, Gerlach KK, Sembower MA, Rohay JM. Consumer understanding of prescription drug information: an illustration using an antidepressant medication. Ann Pharmacother. 2011;45(4):452-8. DOI:10.1345/aph.1P477,2626 Symonds T, Dean J, Coyne KS, Margolis MK, Hackett G, Edwards D, et al. The ability of men to assess their suitability to take a phosphodiesterase type 5 inhibitor: an assessment of the comprehension of patient information materials. J Sex Med. 2010;7(6):2217-25. DOI:10.1111/j.1743-6109.2010.01767.x necessidade de que os textos das bulas fossem simplificados ou mais claros;1Brosnan S, Barron E, Sahm L, Sahm LJ. Health literacy and the clozapine patient. Perspect Public Health. 2012;132(1):39-42. DOI:10.1177/1757913911431038,1111 Franck MCJ, Foulon V, Van Vaerenbergh L. ABOP, the automatic patient information leaflet optimizer: evaluation of a tool in development.Patient Educ Couns. 2011;83(3):411-6. DOI:10.1016/j.pec.2011.04.025,1212 Fuchs J. The way forward in package insert user tests from a CRO’s perspective. Drug Inf J. 2010;44(2):119-29. DOI:10.1177/009286151004400203,2121 Maat HP, Lentz L. Improving the usability of patient information leaflets. Patient Educ Couns. 2010;80(1):113-9. DOI:10.1016/j.pec.2009.09.030 e necessidade de que as bulas fossem ajustadas ao nível de literacia dos usuários (ou potenciais), e.g., diminuindo a complexidade da linguagem usada.1Brosnan S, Barron E, Sahm L, Sahm LJ. Health literacy and the clozapine patient. Perspect Public Health. 2012;132(1):39-42. DOI:10.1177/1757913911431038,6Cavaco A, Santos AL. Avaliação da legibilidade de folhetos informativos e literacia em saúde Rev Saude Publica. 2012;46(5):918-22. DOI:10.1590/S0034-89102012000500019,8Dowse R, Ramela T, Browne SH. An illustrated leaflet containing antiretroviral information targeted for low-literate readers: development and evaluation. Patient Educ Couns. 2011;85(3):508-15. DOI:10.1016/j.pec.2011.01.013,1919 Lee IH, Lee HW, Je NK, Lee S. Examining the readability of two package inserts for self-medication in South Korea [abstract n.º 452, page 214].Pharmacoepidemiol Drug Saf. 2012;21:(Suppl 3):1-481. DOI:10.1111/j.1399-5448.2012.03324.x

A maioria dos estudos investigou a legibilidade das bulas de medicamentos específicos, como sidenafil, clozapina, acetominofeno e diclofenac.1Brosnan S, Barron E, Sahm L, Sahm LJ. Health literacy and the clozapine patient. Perspect Public Health. 2012;132(1):39-42. DOI:10.1177/1757913911431038,6Cavaco A, Santos AL. Avaliação da legibilidade de folhetos informativos e literacia em saúde Rev Saude Publica. 2012;46(5):918-22. DOI:10.1590/S0034-89102012000500019,1919 Lee IH, Lee HW, Je NK, Lee S. Examining the readability of two package inserts for self-medication in South Korea [abstract n.º 452, page 214].Pharmacoepidemiol Drug Saf. 2012;21:(Suppl 3):1-481. DOI:10.1111/j.1399-5448.2012.03324.x,2626 Symonds T, Dean J, Coyne KS, Margolis MK, Hackett G, Edwards D, et al. The ability of men to assess their suitability to take a phosphodiesterase type 5 inhibitor: an assessment of the comprehension of patient information materials. J Sex Med. 2010;7(6):2217-25. DOI:10.1111/j.1743-6109.2010.01767.x Essas bulas podem ter sido seleccionadas pelo facto de estarem associadas a medicamentos de margem terapêutica estreita (tal como a clozapina),1Brosnan S, Barron E, Sahm L, Sahm LJ. Health literacy and the clozapine patient. Perspect Public Health. 2012;132(1):39-42. DOI:10.1177/1757913911431038 com a possibilidade de serem adquiridos sem a intervenção directa de um profissional de saúde, entendidos como medicamentos de venda livre (como o diclofenac e acetominofeno) ou serem de consumo elevado (como o acetominofeno)6Cavaco A, Santos AL. Avaliação da legibilidade de folhetos informativos e literacia em saúde Rev Saude Publica. 2012;46(5):918-22. DOI:10.1590/S0034-89102012000500019,1919 Lee IH, Lee HW, Je NK, Lee S. Examining the readability of two package inserts for self-medication in South Korea [abstract n.º 452, page 214].Pharmacoepidemiol Drug Saf. 2012;21:(Suppl 3):1-481. DOI:10.1111/j.1399-5448.2012.03324.x e, por esse motivo, serem consultadas por um maior número de pessoas. Contudo, dada a especificidade de cada substância activa, o potencial para generalizar as conclusões desses estudos a outros medicamentos similares (deste ou de outros grupos terapêuticos) encontra-se restringida. Considerou-se um dos estudos particularmente relevante por incluir soluções computacionais com o objectivo de simplificar de forma automática e transversal os termos técnicos das bulas de vários medicamentos. A metodologia desse estudo baseou-se na programação de uma ferramenta informática para identificar automaticamente, em bases lexicais pré-definidas, os termos técnicos presentes nas bulas, propondo simultaneamente termos ou expressões equivalentes mais simplificadas.1111 Franck MCJ, Foulon V, Van Vaerenbergh L. ABOP, the automatic patient information leaflet optimizer: evaluation of a tool in development.Patient Educ Couns. 2011;83(3):411-6. DOI:10.1016/j.pec.2011.04.025

Entre as diversas limitações identificadas nos estudos analisados na presente revisão, encontra-se a elevada heterogeneidade e variabilidade metodológica,1Brosnan S, Barron E, Sahm L, Sahm LJ. Health literacy and the clozapine patient. Perspect Public Health. 2012;132(1):39-42. DOI:10.1177/1757913911431038,2Calamusa A, Di Marzio A, Cristofani R, Arrighetti P, Santaniello V, Alfani S, et al. Factors that influence Italian consumers’ understanding of over-the-counter medicines and risk perception. Patient Educ Couns. 2012;87(3):395-401. DOI:10.1016/j.pec.2011.10.003,6Cavaco A, Santos AL. Avaliação da legibilidade de folhetos informativos e literacia em saúde Rev Saude Publica. 2012;46(5):918-22. DOI:10.1590/S0034-89102012000500019,8Dowse R, Ramela T, Browne SH. An illustrated leaflet containing antiretroviral information targeted for low-literate readers: development and evaluation. Patient Educ Couns. 2011;85(3):508-15. DOI:10.1016/j.pec.2011.01.013,1111 Franck MCJ, Foulon V, Van Vaerenbergh L. ABOP, the automatic patient information leaflet optimizer: evaluation of a tool in development.Patient Educ Couns. 2011;83(3):411-6. DOI:10.1016/j.pec.2011.04.025,1212 Fuchs J. The way forward in package insert user tests from a CRO’s perspective. Drug Inf J. 2010;44(2):119-29. DOI:10.1177/009286151004400203,1919 Lee IH, Lee HW, Je NK, Lee S. Examining the readability of two package inserts for self-medication in South Korea [abstract n.º 452, page 214].Pharmacoepidemiol Drug Saf. 2012;21:(Suppl 3):1-481. DOI:10.1111/j.1399-5448.2012.03324.x,2121 Maat HP, Lentz L. Improving the usability of patient information leaflets. Patient Educ Couns. 2010;80(1):113-9. DOI:10.1016/j.pec.2009.09.030,2525 Shiffman S, Gerlach KK, Sembower MA, Rohay JM. Consumer understanding of prescription drug information: an illustration using an antidepressant medication. Ann Pharmacother. 2011;45(4):452-8. DOI:10.1345/aph.1P477,2626 Symonds T, Dean J, Coyne KS, Margolis MK, Hackett G, Edwards D, et al. The ability of men to assess their suitability to take a phosphodiesterase type 5 inhibitor: an assessment of the comprehension of patient information materials. J Sex Med. 2010;7(6):2217-25. DOI:10.1111/j.1743-6109.2010.01767.x como: número restrito de participantes, não proceder à avaliação prévia da literacia, estado do humor, cognitivo e satisfação dos participantes, a variabilidade nos locais ou momentos temporais em que os estudos foram implementados, ou a especificidade dos tópicos estudados (como as contraindicações ou precauções), o número limitados de bulas e/ou substâncias activas seleccionadas para inclusão nos estudos, i.e., existência de um número limitado de substâncias activas investigadas,1Brosnan S, Barron E, Sahm L, Sahm LJ. Health literacy and the clozapine patient. Perspect Public Health. 2012;132(1):39-42. DOI:10.1177/1757913911431038,6Cavaco A, Santos AL. Avaliação da legibilidade de folhetos informativos e literacia em saúde Rev Saude Publica. 2012;46(5):918-22. DOI:10.1590/S0034-89102012000500019,1919 Lee IH, Lee HW, Je NK, Lee S. Examining the readability of two package inserts for self-medication in South Korea [abstract n.º 452, page 214].Pharmacoepidemiol Drug Saf. 2012;21:(Suppl 3):1-481. DOI:10.1111/j.1399-5448.2012.03324.x,2626 Symonds T, Dean J, Coyne KS, Margolis MK, Hackett G, Edwards D, et al. The ability of men to assess their suitability to take a phosphodiesterase type 5 inhibitor: an assessment of the comprehension of patient information materials. J Sex Med. 2010;7(6):2217-25. DOI:10.1111/j.1743-6109.2010.01767.x ou a reduzida utilização de pictogramas ou outras ilustrações na optimização das bulas, que parecem ser de grande interesse em especial para os pacientes de baixa literacia.8Dowse R, Ramela T, Browne SH. An illustrated leaflet containing antiretroviral information targeted for low-literate readers: development and evaluation. Patient Educ Couns. 2011;85(3):508-15. DOI:10.1016/j.pec.2011.01.013,2424 Roskos SE, Wallace LS, Weiss BD. Readability of consumer medication information for intranasal corticosteroid inhalers. Am J Health System Pharm. 2008;65(1):65-8 DOI:10.2146/ajhp070087 Contrariamente ao que seria desejável, nem sempre os autores procederam à autoidentificação das limitações dos estudos, situação que contribuiria para uma análise mais precisa dos resultados.

Estudos sobre a compreensão das reacções adversas

Nos dois estudos sobre a compreensão das reacções adversas (grupo B), a forma de apresentação das reacções adversas nas bulas foi considerada particularmente relevante, pois ela pode influenciar de modo determinante a compreensão dos pacientes.1818 Knapp P, Raynor DK, Woolf E, Gardner PH, Carrigan N, McMillan B. Communicating the risk of side effects to patients: an evaluation of UK regulatory recommendations. Drug Safety. 2009;32(10):837-49. DOI:10.2165/11316570-000000000-00000,1717 Knapp P, Gardner PH, Raynor DK, Woolf E, McMillan B. Perceived risk of tamoxifen side effects: a study of the use of absolute frequencies or frequency bands, with or without verbal descriptors. Patient Educ Couns. 2010;79(2):267-71. DOI:10.1016/j.pec.2009.10.002 A forma de apresentação das reacções adversas nas bulas foi muitas vezes variável,1818 Knapp P, Raynor DK, Woolf E, Gardner PH, Carrigan N, McMillan B. Communicating the risk of side effects to patients: an evaluation of UK regulatory recommendations. Drug Safety. 2009;32(10):837-49. DOI:10.2165/11316570-000000000-00000 refletindo-se, por exemplo, na utilização de descritores diversos para indicar a sua frequência: qualitativos (e.g., reação adversa muito comum) ou quantitativos (e.g., reação adversa com probabilidade de ocorrer de 1,0% a 10,0%). Adicionalmente, outros estudos mostraram que os pacientes tinham preferência por consultar as reações adversas expressas na forma numérica (tais como em frequências absolutas)1818 Knapp P, Raynor DK, Woolf E, Gardner PH, Carrigan N, McMillan B. Communicating the risk of side effects to patients: an evaluation of UK regulatory recommendations. Drug Safety. 2009;32(10):837-49. DOI:10.2165/11316570-000000000-00000,1717 Knapp P, Gardner PH, Raynor DK, Woolf E, McMillan B. Perceived risk of tamoxifen side effects: a study of the use of absolute frequencies or frequency bands, with or without verbal descriptors. Patient Educ Couns. 2010;79(2):267-71. DOI:10.1016/j.pec.2009.10.002 e que a utilização de fracções (e.g., ≥ 1/100) era considerada complexa e difícil para a sua interpretação.3Carrigan N, Raynor DK, Knapp P. Adequacy of patient information on adverse effects: an assessment of patient information leaflets in the UK.Drug Safety. 2008;31(4):305-12. DOI:10.114-5916/08/0004-0305/$548.00/0,1717 Knapp P, Gardner PH, Raynor DK, Woolf E, McMillan B. Perceived risk of tamoxifen side effects: a study of the use of absolute frequencies or frequency bands, with or without verbal descriptors. Patient Educ Couns. 2010;79(2):267-71. DOI:10.1016/j.pec.2009.10.002,1818 Knapp P, Raynor DK, Woolf E, Gardner PH, Carrigan N, McMillan B. Communicating the risk of side effects to patients: an evaluation of UK regulatory recommendations. Drug Safety. 2009;32(10):837-49. DOI:10.2165/11316570-000000000-00000,2727 Wallace LS, Keenum AJ, Roskos SE, Blake GH, Colwell ST, Weiss BD. Suitability and readability of consumer medical information accompanying prescription medication samples. Patient Educ Couns. 2007;70(3):420-5. DOI:10.1016/j.pec.2007.11.017

Em geral, os resultados da pesquisa sobre a compreensão das reacções adversas3Carrigan N, Raynor DK, Knapp P. Adequacy of patient information on adverse effects: an assessment of patient information leaflets in the UK.Drug Safety. 2008;31(4):305-12. DOI:10.114-5916/08/0004-0305/$548.00/0,1717 Knapp P, Gardner PH, Raynor DK, Woolf E, McMillan B. Perceived risk of tamoxifen side effects: a study of the use of absolute frequencies or frequency bands, with or without verbal descriptors. Patient Educ Couns. 2010;79(2):267-71. DOI:10.1016/j.pec.2009.10.002,1818 Knapp P, Raynor DK, Woolf E, Gardner PH, Carrigan N, McMillan B. Communicating the risk of side effects to patients: an evaluation of UK regulatory recommendations. Drug Safety. 2009;32(10):837-49. DOI:10.2165/11316570-000000000-00000,2929 Wolf A, Fuchs J, Schweim HG. QRD template texts intended for package inserts: development from the first QRD template up to the new draft of July 2012. Pharm Ind. 2012;74(9):1540-9. mostram que a secção referente a essas reações está em geral em conformidade com as recomendações do QRD.bb European Medicine Agency. Quality review of documents human product-information annotated template. Version 9. London; 2013 [citado 2013 out 13]. Disponível em: http://www.ema.europa.eu/ema/index.jsp?curl=pages/regulation/document_listing/document_listing_000134.jsp Idealmente e de acordo com o modelo QRD, as reacções adversas devem ser apresentadas em lista ordenada das mais frequentes para as menos frequentes, utilizando valores absolutos (e.g., uma reacção classificada como “comum” pode afectar uma pessoa em 10, “pouco comum” uma pessoa em 100, entre outros).2929 Wolf A, Fuchs J, Schweim HG. QRD template texts intended for package inserts: development from the first QRD template up to the new draft of July 2012. Pharm Ind. 2012;74(9):1540-9.

Também foi considerada limitada a quantidade de estudos especificamente sobre a forma mais adequada de apresentar as reações adversas, bem como o número de participantes incluídos em tais estudos.

Estudos descritivos

Os oito estudos descritivos,3Carrigan N, Raynor DK, Knapp P. Adequacy of patient information on adverse effects: an assessment of patient information leaflets in the UK.Drug Safety. 2008;31(4):305-12. DOI:10.114-5916/08/0004-0305/$548.00/0,4Cavaco AM, Várzea D. Contribuição para o estudo da leitura de folhetos informativos nas farmácias portuguesas. Rev Port Saude Publica. 2010;28(2):179-86. DOI:10.1016/S0870-9025(10)70009-2,1313 Fuchs J, Werner S, Scheunpflug C, Götze EA, Elstermann K, Scheffel K, et al. Excessive medical information increase in package inserts. Int J Clin Pharmacol Ther. 2010;48(12):781-90. DOI:10.5414/CPP48781,2323 Pinero-Lopez MA, Modamio P, Lastra CF, Marino EL. Readability levels of patient package inserts for biopharmaceuticals [abstract]. Int J Clin Pharm. 2011;33(4):715-6. DOI:10.1007/s11096-011-9523-0,2424 Roskos SE, Wallace LS, Weiss BD. Readability of consumer medication information for intranasal corticosteroid inhalers. Am J Health System Pharm. 2008;65(1):65-8 DOI:10.2146/ajhp070087,2727 Wallace LS, Keenum AJ, Roskos SE, Blake GH, Colwell ST, Weiss BD. Suitability and readability of consumer medical information accompanying prescription medication samples. Patient Educ Couns. 2007;70(3):420-5. DOI:10.1016/j.pec.2007.11.017,2828 Weiss SM, Smith-Simone SY. Consumer and health literacy: the need to better design tobacco-cessation product packaging, labels, and inserts.Am J Prev Med. 2010;38(3 Suppl):S403-13. DOI:10.1016/j.amepre.2009.11.020,3030 Zite NB, Wallace LS. Do instructions for over-the-counter pre-coital female contraceptives promote “perfect use”? Contraception. 2008;79(3):211-5. DOI:10.1016/j.contraception.2008.10.002 realizados sem a inclusão de participantes para avaliar a usabilidade das bulas, (grupo C) incidiram na: (i) aplicação aos textos das bulas de fórmulas de legibilidade, tais como as deFlesch-Kincaid ou Fry, para gerar valores/métricas indicadoras da adequação entre o texto das bulas e o nível de escolaridade dos pacientes;4Cavaco AM, Várzea D. Contribuição para o estudo da leitura de folhetos informativos nas farmácias portuguesas. Rev Port Saude Publica. 2010;28(2):179-86. DOI:10.1016/S0870-9025(10)70009-2,2323 Pinero-Lopez MA, Modamio P, Lastra CF, Marino EL. Readability levels of patient package inserts for biopharmaceuticals [abstract]. Int J Clin Pharm. 2011;33(4):715-6. DOI:10.1007/s11096-011-9523-0,2424 Roskos SE, Wallace LS, Weiss BD. Readability of consumer medication information for intranasal corticosteroid inhalers. Am J Health System Pharm. 2008;65(1):65-8 DOI:10.2146/ajhp070087,2727 Wallace LS, Keenum AJ, Roskos SE, Blake GH, Colwell ST, Weiss BD. Suitability and readability of consumer medical information accompanying prescription medication samples. Patient Educ Couns. 2007;70(3):420-5. DOI:10.1016/j.pec.2007.11.017,2828 Weiss SM, Smith-Simone SY. Consumer and health literacy: the need to better design tobacco-cessation product packaging, labels, and inserts.Am J Prev Med. 2010;38(3 Suppl):S403-13. DOI:10.1016/j.amepre.2009.11.020,3030 Zite NB, Wallace LS. Do instructions for over-the-counter pre-coital female contraceptives promote “perfect use”? Contraception. 2008;79(3):211-5. DOI:10.1016/j.contraception.2008.10.002 (ii) identificação de características linguísticas que indirectamente podem fornecer indicadores sobre a adequada redação das bulas (por exemplo, número de palavras difíceis ou frases);3Carrigan N, Raynor DK, Knapp P. Adequacy of patient information on adverse effects: an assessment of patient information leaflets in the UK.Drug Safety. 2008;31(4):305-12. DOI:10.114-5916/08/0004-0305/$548.00/0 e (iii) avaliação de aspectos gráficos que facilitam a transmissão da informação (e.g., tamanho de letra ou presença de ilustrações).2424 Roskos SE, Wallace LS, Weiss BD. Readability of consumer medication information for intranasal corticosteroid inhalers. Am J Health System Pharm. 2008;65(1):65-8 DOI:10.2146/ajhp070087,2727 Wallace LS, Keenum AJ, Roskos SE, Blake GH, Colwell ST, Weiss BD. Suitability and readability of consumer medical information accompanying prescription medication samples. Patient Educ Couns. 2007;70(3):420-5. DOI:10.1016/j.pec.2007.11.017,3030 Zite NB, Wallace LS. Do instructions for over-the-counter pre-coital female contraceptives promote “perfect use”? Contraception. 2008;79(3):211-5. DOI:10.1016/j.contraception.2008.10.002

Em geral, as metodologias descritivas confirmam a baixa legibilidade das bulas e reforçam a necessidade da sua simplificação. Um conjunto de estudos evidenciam aspectos que diminuem a legibilidade, como: uso de textos demasiadamente complexos (e.g., algumas bulas foram classificadas como sendo apropriadas para os usuários com 10 ou mais anos de escolaridade, em vez dos cinco anos recomendados pela Food and Drug Administration);ss Food and Drug Administration: Guidance for Industry – Label comprehension studies for Nonprescription Drug Products; 2014 [citado 2010 dez 2]. Disponível em: http://www.fda.gov/downloads/drugs/guidancecomplianceregulatoryinformation/guidances/ucm143834.pdf omissão de informações técnicas relevantes, como a dose máxima diária);3Carrigan N, Raynor DK, Knapp P. Adequacy of patient information on adverse effects: an assessment of patient information leaflets in the UK.Drug Safety. 2008;31(4):305-12. DOI:10.114-5916/08/0004-0305/$548.00/0,4Cavaco AM, Várzea D. Contribuição para o estudo da leitura de folhetos informativos nas farmácias portuguesas. Rev Port Saude Publica. 2010;28(2):179-86. DOI:10.1016/S0870-9025(10)70009-2,1313 Fuchs J, Werner S, Scheunpflug C, Götze EA, Elstermann K, Scheffel K, et al. Excessive medical information increase in package inserts. Int J Clin Pharmacol Ther. 2010;48(12):781-90. DOI:10.5414/CPP48781,2323 Pinero-Lopez MA, Modamio P, Lastra CF, Marino EL. Readability levels of patient package inserts for biopharmaceuticals [abstract]. Int J Clin Pharm. 2011;33(4):715-6. DOI:10.1007/s11096-011-9523-0,2424 Roskos SE, Wallace LS, Weiss BD. Readability of consumer medication information for intranasal corticosteroid inhalers. Am J Health System Pharm. 2008;65(1):65-8 DOI:10.2146/ajhp070087,2727 Wallace LS, Keenum AJ, Roskos SE, Blake GH, Colwell ST, Weiss BD. Suitability and readability of consumer medical information accompanying prescription medication samples. Patient Educ Couns. 2007;70(3):420-5. DOI:10.1016/j.pec.2007.11.017,2828 Weiss SM, Smith-Simone SY. Consumer and health literacy: the need to better design tobacco-cessation product packaging, labels, and inserts.Am J Prev Med. 2010;38(3 Suppl):S403-13. DOI:10.1016/j.amepre.2009.11.020,3030 Zite NB, Wallace LS. Do instructions for over-the-counter pre-coital female contraceptives promote “perfect use”? Contraception. 2008;79(3):211-5. DOI:10.1016/j.contraception.2008.10.002 ampla utilização de palavras técnicas;1313 Fuchs J, Werner S, Scheunpflug C, Götze EA, Elstermann K, Scheffel K, et al. Excessive medical information increase in package inserts. Int J Clin Pharmacol Ther. 2010;48(12):781-90. DOI:10.5414/CPP48781 presença de letras com um tamanho muito diminuto (e.g., letras de tamanho da fonte inferior a 11)2424 Roskos SE, Wallace LS, Weiss BD. Readability of consumer medication information for intranasal corticosteroid inhalers. Am J Health System Pharm. 2008;65(1):65-8 DOI:10.2146/ajhp070087,2727 Wallace LS, Keenum AJ, Roskos SE, Blake GH, Colwell ST, Weiss BD. Suitability and readability of consumer medical information accompanying prescription medication samples. Patient Educ Couns. 2007;70(3):420-5. DOI:10.1016/j.pec.2007.11.017 e uso de um número reduzido de ilustrações.2424 Roskos SE, Wallace LS, Weiss BD. Readability of consumer medication information for intranasal corticosteroid inhalers. Am J Health System Pharm. 2008;65(1):65-8 DOI:10.2146/ajhp070087,3030 Zite NB, Wallace LS. Do instructions for over-the-counter pre-coital female contraceptives promote “perfect use”? Contraception. 2008;79(3):211-5. DOI:10.1016/j.contraception.2008.10.002

Julgamos que a inexistência de fórmulas de legibilidade ou outras métricas linguísticas para avaliar os textos, especificamente escritos em português europeu,7Dale E, Chall J. A formula for predicting readability. Educ Res Bull. 1948;27(1):11-20, 37-54.,1010 Flesch R. Marks of a readable style: a study in adult education. New York: Columbia University Teachers College; 1943. (Contributions to education, 897).,1515 Gunning R. The technique of clear writing, New York: McGraw-Hill; 1952.,9DuBay WH. The principles of readability. Costa Mes (Ca): Impact Information; 2004 [citado 2013 out 27]. Disponível em: http://www.impact-information.com/impactinfo/readability02.pdf
http://www.impact-information.com/impact...
,1616 Klare GR. Measures of the readability of written communication: an evaluation. J Educ Psychol.1952;43(7):385-99. constitui uma limitação na literatura revista. Os estudos visando o desenvolvimento das fórmulas para avaliar a legibilidade dos documentos escritos registraram o seu início em 1920, com escritores como Rudolf Flesch,1010 Flesch R. Marks of a readable style: a study in adult education. New York: Columbia University Teachers College; 1943. (Contributions to education, 897). George Klare,1616 Klare GR. Measures of the readability of written communication: an evaluation. J Educ Psychol.1952;43(7):385-99. Edgar Dale e Jeanne Chall,7Dale E, Chall J. A formula for predicting readability. Educ Res Bull. 1948;27(1):11-20, 37-54. que contribuíram para a sua concepção. Uma das primeiras fórmulas foi a de Gunning,1515 Gunning R. The technique of clear writing, New York: McGraw-Hill; 1952. (1935) susceptível de ser aplicada a textos em língua inglesa: de acordo com a equação desta fórmula o nível de escolaridade é igual a 0,4*(tamanho médio das frases em palavras + número de palavras com mais de duas sílabas por 100 palavras).9DuBay WH. The principles of readability. Costa Mes (Ca): Impact Information; 2004 [citado 2013 out 27]. Disponível em: http://www.impact-information.com/impactinfo/readability02.pdf
http://www.impact-information.com/impact...
Actualmente estão estabelecidas fórmulas de legibilidade para vários outros idiomas, incluindo espanhol, francês, alemão, sueco, russo, hebreu, hindi, chinês, vietnamita e coreano.9DuBay WH. The principles of readability. Costa Mes (Ca): Impact Information; 2004 [citado 2013 out 27]. Disponível em: http://www.impact-information.com/impactinfo/readability02.pdf
http://www.impact-information.com/impact...
No entanto, desconhece-se fórmulas de legibilidade especificamente desenvolvidas para o idioma português. Como todos os idiomas, o português tem uma combinatória de características linguísticas próprias, o que requer o desenvolvimento de fórmulas específicas para investigar adequadamente a legibilidade dos textos escritos em português.4Cavaco AM, Várzea D. Contribuição para o estudo da leitura de folhetos informativos nas farmácias portuguesas. Rev Port Saude Publica. 2010;28(2):179-86. DOI:10.1016/S0870-9025(10)70009-2

Para além disso, o facto de alguns estudos terem utilizado apenas um tipo de fórmula de legibilidade2424 Roskos SE, Wallace LS, Weiss BD. Readability of consumer medication information for intranasal corticosteroid inhalers. Am J Health System Pharm. 2008;65(1):65-8 DOI:10.2146/ajhp070087,2828 Weiss SM, Smith-Simone SY. Consumer and health literacy: the need to better design tobacco-cessation product packaging, labels, and inserts.Am J Prev Med. 2010;38(3 Suppl):S403-13. DOI:10.1016/j.amepre.2009.11.020,3030 Zite NB, Wallace LS. Do instructions for over-the-counter pre-coital female contraceptives promote “perfect use”? Contraception. 2008;79(3):211-5. DOI:10.1016/j.contraception.2008.10.002 inviabilizou uma verificação cruzada dos resultados obtidos, sendo, portanto, também esta considerada uma limitação.

Síntese das limitações metodológicas

Um conjunto de limitações metodológicas foi identificado nos estudos revistos, sendo as principais:

  1. Inclusão de um número reduzido de pacientes e profissionais de saúde nos estudos de legibilidade, especialmente os estudos de natureza não confirmatória;1Brosnan S, Barron E, Sahm L, Sahm LJ. Health literacy and the clozapine patient. Perspect Public Health. 2012;132(1):39-42. DOI:10.1177/1757913911431038,5Cavaco A, Pires C. Improving package leaflet information: potential users and physicians opinions [abstract]. Res Soc Adm Pharm. 2012;8(6);e50-1. DOI:10.1016/j.sapharm.2012.08.117,6Cavaco A, Santos AL. Avaliação da legibilidade de folhetos informativos e literacia em saúde Rev Saude Publica. 2012;46(5):918-22. DOI:10.1590/S0034-89102012000500019,8Dowse R, Ramela T, Browne SH. An illustrated leaflet containing antiretroviral information targeted for low-literate readers: development and evaluation. Patient Educ Couns. 2011;85(3):508-15. DOI:10.1016/j.pec.2011.01.013,1111 Franck MCJ, Foulon V, Van Vaerenbergh L. ABOP, the automatic patient information leaflet optimizer: evaluation of a tool in development.Patient Educ Couns. 2011;83(3):411-6. DOI:10.1016/j.pec.2011.04.025,1919 Lee IH, Lee HW, Je NK, Lee S. Examining the readability of two package inserts for self-medication in South Korea [abstract n.º 452, page 214].Pharmacoepidemiol Drug Saf. 2012;21:(Suppl 3):1-481. DOI:10.1111/j.1399-5448.2012.03324.x,2121 Maat HP, Lentz L. Improving the usability of patient information leaflets. Patient Educ Couns. 2010;80(1):113-9. DOI:10.1016/j.pec.2009.09.030,2222 March Cerdá JC, Prieto Rodríguez MA, Ruiz Azarola A, Lorda PS, Barrio Cantalejo I, Danet A. Mejora de la información sanitaria contenida en los prospectos de los medicamentos: expectativas de pacientes y de profesionales sanitarios. Aten Primaria. 2010;42(1):22-7. DOI:10.1016/j.aprim.2009.04.006,2525 Shiffman S, Gerlach KK, Sembower MA, Rohay JM. Consumer understanding of prescription drug information: an illustration using an antidepressant medication. Ann Pharmacother. 2011;45(4):452-8. DOI:10.1345/aph.1P477,2626 Symonds T, Dean J, Coyne KS, Margolis MK, Hackett G, Edwards D, et al. The ability of men to assess their suitability to take a phosphodiesterase type 5 inhibitor: an assessment of the comprehension of patient information materials. J Sex Med. 2010;7(6):2217-25. DOI:10.1111/j.1743-6109.2010.01767.x

  2. Ausência de avaliação de outras características dos participantes previamente à realização do estudo como, por exemplo, estado cognitivo, humor, satisfação sobre a colaboração no teste ou opinião sobre a utilização dos medicamentos e suas bulas, constituindo factores que podem enviesar a interpretação dos resultados;8Dowse R, Ramela T, Browne SH. An illustrated leaflet containing antiretroviral information targeted for low-literate readers: development and evaluation. Patient Educ Couns. 2011;85(3):508-15. DOI:10.1016/j.pec.2011.01.013

  3. Ausência de avaliação prévia da literacia dos pacientes na maioria dos estudos, o que pode acarretar constrangimentos na acuidade das conclusões extraídas;1414 Gazmarariana JA, Williams MV, Peelc J, Bakerd DW. Health literacy and knowledge of chronic disease. Patient Educ Couns. 2003;51(3):267-75. DOI:10.1016/S0738-3991(02)00239-2

  4. Predominância de estudos que não utilizam as embalagens reais dos medicamentos, nem perguntas com fundamento em cenários imaginários nos testes de legibilidade/usabilidade, o que pode favorecer a coleta de dados não suficientemente precisos;2121 Maat HP, Lentz L. Improving the usability of patient information leaflets. Patient Educ Couns. 2010;80(1):113-9. DOI:10.1016/j.pec.2009.09.030

  5. Número limitado de estudos que contemplem a utilização de pictogramas ou outras ilustrações,1010 Flesch R. Marks of a readable style: a study in adult education. New York: Columbia University Teachers College; 1943. (Contributions to education, 897). situação que também pode favorecer a compreensão das informações da bula;

  6. Seleção das bulas com base apenas no critério da composição dos medicamentos,1Brosnan S, Barron E, Sahm L, Sahm LJ. Health literacy and the clozapine patient. Perspect Public Health. 2012;132(1):39-42. DOI:10.1177/1757913911431038,6Cavaco A, Santos AL. Avaliação da legibilidade de folhetos informativos e literacia em saúde Rev Saude Publica. 2012;46(5):918-22. DOI:10.1590/S0034-89102012000500019,1919 Lee IH, Lee HW, Je NK, Lee S. Examining the readability of two package inserts for self-medication in South Korea [abstract n.º 452, page 214].Pharmacoepidemiol Drug Saf. 2012;21:(Suppl 3):1-481. DOI:10.1111/j.1399-5448.2012.03324.x,2626 Symonds T, Dean J, Coyne KS, Margolis MK, Hackett G, Edwards D, et al. The ability of men to assess their suitability to take a phosphodiesterase type 5 inhibitor: an assessment of the comprehension of patient information materials. J Sex Med. 2010;7(6):2217-25. DOI:10.1111/j.1743-6109.2010.01767.x o que pode gerar um viés de selecção ao não contemplar a inclusão de bulas mais extensas, com mais frases por parágrafo, mais abreviaturas ou siglas ou outros indicadores de complexidade linguística;

  7. Poucos estudos sobre a avaliação da forma de compreensão das reações adversas ou ausência de investigações relacionadas à compreensão de temáticas específicas. Particularmente, não foram identificadas informações sobre precauções, interações e contraindicações3Carrigan N, Raynor DK, Knapp P. Adequacy of patient information on adverse effects: an assessment of patient information leaflets in the UK.Drug Safety. 2008;31(4):305-12. DOI:10.114-5916/08/0004-0305/$548.00/0,1717 Knapp P, Gardner PH, Raynor DK, Woolf E, McMillan B. Perceived risk of tamoxifen side effects: a study of the use of absolute frequencies or frequency bands, with or without verbal descriptors. Patient Educ Couns. 2010;79(2):267-71. DOI:10.1016/j.pec.2009.10.002,2626 Symonds T, Dean J, Coyne KS, Margolis MK, Hackett G, Edwards D, et al. The ability of men to assess their suitability to take a phosphodiesterase type 5 inhibitor: an assessment of the comprehension of patient information materials. J Sex Med. 2010;7(6):2217-25. DOI:10.1111/j.1743-6109.2010.01767.x em estudos que avaliaram a legibilidade de vários tópicos contemplados nas bulas;

  8. Inexistência de estudos multicêntricos, contemplando diferenças interculturais ou intraculturais como, por exemplo, diferenças dialetais;

  9. Inexistência de estudos longitudinais, contemplando eventuais transformações ao longo do tempo, tais como decorrentes de alterações sociais, de alterações na regulação farmacêutica ou do aparecimento de novas terapêuticas;

  10. Aplicação de uma única fórmula de legibilidade, o que não permite a comparação de métricas geradas por fórmulas diferentes.9DuBay WH. The principles of readability. Costa Mes (Ca): Impact Information; 2004 [citado 2013 out 27]. Disponível em: http://www.impact-information.com/impactinfo/readability02.pdf
    http://www.impact-information.com/impact...
    Contudo, seria possível justificar essa situação por meio de estudos mostrando elevada correlação entre os resultados das várias fórmulas de legibilidade.

  11. Inexistência de fórmulas de legibilidade específicas para o idioma português que permitam estimar a simplicidade dos textos analogamente às fórmulas que se aplicam aos documentos escritos em inglês.

Todas as limitações metodológicas aqui identificadas podem conduzir a avaliações da legibilidade das bulas insuficientemente robustas.

CONCLUSÕES

Os estudos de legibilidade devem fundamentar-se em princípios técnicos e científicos da mais elevada idoneidade e qualidade, para que (i) sejam evitadas as limitações aqui descritas; (ii) abranjam amostras de bulas e de participantes mais representativas do potencial universo de medicamentos e seus usuários; e (iii) no caso do idioma português, se integrem métricas de legibilidade desenvolvidas e validadas especificamente para esse idioma.

A presente revisão enfatiza diversos aspetos relacionados com a legibilidade das bulas dos medicamentos (e.g. informações claras, linguagem simples e um design adequado). Destacam-se como principais metodologias para assegurar a sua inteligibilidade e compreensão a realização de testes de legibilidade e a aplicação de fórmulas/métricas de legibilidade ao texto das bulas.

Os testes de legibilidade/usabilidade encontrados contam com o envolvimento de usuários dos medicamentos para testar e confirmar a legibilidade dos materiais informativos. Idealmente, estes testes também devem utilizar pacientes de baixa literacia e profissionais de saúde de forma a assegurar a obtenção de resultados fiáveis e eficientes.

As diversas limitações metodológicas identificadas devem ser levadas em conta na apreciação dos resultados e contornadas em estudos futuros.

De um modo geral, a investigação sobre a legibilidade das bulas dos medicamentos, a par das suas metodologias, necessita de mais contribuições científicas para a obtenção de resultados robustos, confiáveis e adequados ao contexto social e linguístico de cada país.

Referências bibliográficas

  • 1
    Brosnan S, Barron E, Sahm L, Sahm LJ. Health literacy and the clozapine patient. Perspect Public Health 2012;132(1):39-42. DOI:10.1177/1757913911431038
  • 2
    Calamusa A, Di Marzio A, Cristofani R, Arrighetti P, Santaniello V, Alfani S, et al. Factors that influence Italian consumers’ understanding of over-the-counter medicines and risk perception. Patient Educ Couns 2012;87(3):395-401. DOI:10.1016/j.pec.2011.10.003
  • 3
    Carrigan N, Raynor DK, Knapp P. Adequacy of patient information on adverse effects: an assessment of patient information leaflets in the UK.Drug Safety 2008;31(4):305-12. DOI:10.114-5916/08/0004-0305/$548.00/0
  • 4
    Cavaco AM, Várzea D. Contribuição para o estudo da leitura de folhetos informativos nas farmácias portuguesas. Rev Port Saude Publica 2010;28(2):179-86. DOI:10.1016/S0870-9025(10)70009-2
  • 5
    Cavaco A, Pires C. Improving package leaflet information: potential users and physicians opinions [abstract]. Res Soc Adm Pharm 2012;8(6);e50-1. DOI:10.1016/j.sapharm.2012.08.117
  • 6
    Cavaco A, Santos AL. Avaliação da legibilidade de folhetos informativos e literacia em saúde Rev Saude Publica 2012;46(5):918-22. DOI:10.1590/S0034-89102012000500019
  • 7
    Dale E, Chall J. A formula for predicting readability. Educ Res Bull 1948;27(1):11-20, 37-54.
  • 8
    Dowse R, Ramela T, Browne SH. An illustrated leaflet containing antiretroviral information targeted for low-literate readers: development and evaluation. Patient Educ Couns 2011;85(3):508-15. DOI:10.1016/j.pec.2011.01.013
  • 9
    DuBay WH. The principles of readability. Costa Mes (Ca): Impact Information; 2004 [citado 2013 out 27]. Disponível em: http://www.impact-information.com/impactinfo/readability02.pdf
    » http://www.impact-information.com/impactinfo/readability02.pdf
  • 10
    Flesch R. Marks of a readable style: a study in adult education. New York: Columbia University Teachers College; 1943. (Contributions to education, 897).
  • 11
    Franck MCJ, Foulon V, Van Vaerenbergh L. ABOP, the automatic patient information leaflet optimizer: evaluation of a tool in development.Patient Educ Couns 2011;83(3):411-6. DOI:10.1016/j.pec.2011.04.025
  • 12
    Fuchs J. The way forward in package insert user tests from a CRO’s perspective. Drug Inf J 2010;44(2):119-29. DOI:10.1177/009286151004400203
  • 13
    Fuchs J, Werner S, Scheunpflug C, Götze EA, Elstermann K, Scheffel K, et al. Excessive medical information increase in package inserts. Int J Clin Pharmacol Ther 2010;48(12):781-90. DOI:10.5414/CPP48781
  • 14
    Gazmarariana JA, Williams MV, Peelc J, Bakerd DW. Health literacy and knowledge of chronic disease. Patient Educ Couns 2003;51(3):267-75. DOI:10.1016/S0738-3991(02)00239-2
  • 15
    Gunning R. The technique of clear writing, New York: McGraw-Hill; 1952.
  • 16
    Klare GR. Measures of the readability of written communication: an evaluation. J Educ Psychol1952;43(7):385-99.
  • 17
    Knapp P, Gardner PH, Raynor DK, Woolf E, McMillan B. Perceived risk of tamoxifen side effects: a study of the use of absolute frequencies or frequency bands, with or without verbal descriptors. Patient Educ Couns 2010;79(2):267-71. DOI:10.1016/j.pec.2009.10.002
  • 18
    Knapp P, Raynor DK, Woolf E, Gardner PH, Carrigan N, McMillan B. Communicating the risk of side effects to patients: an evaluation of UK regulatory recommendations. Drug Safety 2009;32(10):837-49. DOI:10.2165/11316570-000000000-00000
  • 19
    Lee IH, Lee HW, Je NK, Lee S. Examining the readability of two package inserts for self-medication in South Korea [abstract n.º 452, page 214].Pharmacoepidemiol Drug Saf 2012;21:(Suppl 3):1-481. DOI:10.1111/j.1399-5448.2012.03324.x
  • 20
    Leiderman DB. Risk management of drug products and the U.S. Food and Drug Administration: evolution and context. Drug Alcohol Depend 2009;105(Suppl 1):S9-13. DOI:10.1016/j.drugalcdep.2009.02.007
  • 21
    Maat HP, Lentz L. Improving the usability of patient information leaflets. Patient Educ Couns 2010;80(1):113-9. DOI:10.1016/j.pec.2009.09.030
  • 22
    March Cerdá JC, Prieto Rodríguez MA, Ruiz Azarola A, Lorda PS, Barrio Cantalejo I, Danet A. Mejora de la información sanitaria contenida en los prospectos de los medicamentos: expectativas de pacientes y de profesionales sanitarios. Aten Primaria 2010;42(1):22-7. DOI:10.1016/j.aprim.2009.04.006
  • 23
    Pinero-Lopez MA, Modamio P, Lastra CF, Marino EL. Readability levels of patient package inserts for biopharmaceuticals [abstract]. Int J Clin Pharm 2011;33(4):715-6. DOI:10.1007/s11096-011-9523-0
  • 24
    Roskos SE, Wallace LS, Weiss BD. Readability of consumer medication information for intranasal corticosteroid inhalers. Am J Health System Pharm 2008;65(1):65-8 DOI:10.2146/ajhp070087
  • 25
    Shiffman S, Gerlach KK, Sembower MA, Rohay JM. Consumer understanding of prescription drug information: an illustration using an antidepressant medication. Ann Pharmacother 2011;45(4):452-8. DOI:10.1345/aph.1P477
  • 26
    Symonds T, Dean J, Coyne KS, Margolis MK, Hackett G, Edwards D, et al. The ability of men to assess their suitability to take a phosphodiesterase type 5 inhibitor: an assessment of the comprehension of patient information materials. J Sex Med 2010;7(6):2217-25. DOI:10.1111/j.1743-6109.2010.01767.x
  • 27
    Wallace LS, Keenum AJ, Roskos SE, Blake GH, Colwell ST, Weiss BD. Suitability and readability of consumer medical information accompanying prescription medication samples. Patient Educ Couns 2007;70(3):420-5. DOI:10.1016/j.pec.2007.11.017
  • 28
    Weiss SM, Smith-Simone SY. Consumer and health literacy: the need to better design tobacco-cessation product packaging, labels, and inserts.Am J Prev Med 2010;38(3 Suppl):S403-13. DOI:10.1016/j.amepre.2009.11.020
  • 29
    Wolf A, Fuchs J, Schweim HG. QRD template texts intended for package inserts: development from the first QRD template up to the new draft of July 2012. Pharm Ind 2012;74(9):1540-9.
  • 30
    Zite NB, Wallace LS. Do instructions for over-the-counter pre-coital female contraceptives promote “perfect use”? Contraception 2008;79(3):211-5. DOI:10.1016/j.contraception.2008.10.002

Datas de Publicação

  • Publicação nesta coleção
    27 Fev 2015

Histórico

  • Recebido
    6 Maio 2014
  • Aceito
    2 Ago 2014
Faculdade de Saúde Pública da Universidade de São Paulo São Paulo - SP - Brazil
E-mail: revsp@org.usp.br