ARTÍCULO DE REVISIÓN REVIEW

 

Estudos de avaliação econômica de tecnologias em saúde: roteiro para análise crítica

 

Economic evaluation of health technologies: checklist for critical analysis of published articles

 

 

Everton Nunes da SilvaI; Taís Freire GalvãoII; Maurício Gomes PereiraIII; Marcus Tolentino SilvaIV

IUniversidade de Brasília, Faculdade de Ceilândia, Brasília (DF), Brasil
IIUniversidade Federal do Amazonas, Hospital Universitário Getúlio Vargas, Manaus (AM), Brasil. Correspondência: Taís Freire Galvão, taisgalvao@gmail.com
IIIUniversidade de Brasília, Faculdade de Medicina, Brasília (DF), Brasil
IVUniversidade Federal do Amazonas, Faculdade de Medicina, Manaus (AM), Brasil

 

 


RESUMO

OBJETIVO: Propor uma ferramenta para análise crítica de estudos de avaliação econômica a partir da síntese de roteiros existentes na literatura.
MÉTODOS: Foram realizadas buscas em: MEDLINE, Embase, Centre for Reviews and Dissemination e International Society for Pharmacoeconomics and Outcomes Research. Dois pesquisadores selecionaram independentemente os estudos e extraíram os dados de interesse. Quantificou-se o número de perguntas que os roteiros continham sobre os seguintes domínios: delineamento do estudo; mensuração dos custos e dos desfechos em saúde; análise e interpretação dos resultados; e informações gerais. Após elaboração da matriz contendo os itens de cada domínio por estudo, os autores construíram um instrumento para análise crítica.
RESULTADOS: Foram localizados 406 artigos não duplicados, dos quais 19 foram incluídos. No total, foram identificadas 566 perguntas nos roteiros desses estudos. Dessas, 109 (19%) tratavam de desfechos em saúde, 93 (16%) de quantificação dos custos, 73 (13%) de modelagem, 54 (10%) de generalização dos resultados e 52 (9%) de incertezas. O roteiro de análise crítica resultante contém 32 perguntas organizadas em quatro domínios: delineamento do estudo, mensuração dos custos e dos desfechos em saúde, análise e interpretação dos resultados e informações gerais.
CONCLUSÕES: O instrumento de análise crítica proposto pode auxiliar na uniformização do julgamento da qualidade da evidência de todos os tipos de avaliação econômica.

Palavras-chave: Economia da saúde; saúde pública; avaliação da tecnologia biomédica; avaliação da pesquisa em saúde.


ABSTRACT

OBJECTIVE: To propose a tool for critical analysis of economic evaluation studies based on a synthesis of checklists and guidelines available in the literature.
METHODS: The following databases were searched: MEDLINE, Embase, Centre for Reviews and Dissemination, and International Society for Pharmacoeconomics and Outcomes Research. Two investigators independently selected the studies and extracted the data of interest. The number of questions that the checklists contained were counted on the following domains: study design, measurement of costs and health outcomes, analysis and interpretation of results, and general information. A matrix containing the items in each domain was constructed, and a tool for critical analysis was built based on that matrix.
RESULTS: The literature search retrieved 406 non-duplicated articles, 19 of which were included in the study. Five hundred sixty-six questions were identified in the checklists employed in these studies: 109 (19%) dealt with health outcomes, 93 (16%) with quantification of costs, 73 (13%) with modeling, 54 (10%) with generalization of findings, and 52 (9%) with uncertainty. The resulting critical analysis checklist contains 32 questions organized into four domains: study design, measurement of costs and health outcomes, analysis and interpretation of results, and general information.
CONCLUSIONS: The proposed critical analysis checklist is useful to standardize the assessment of the quality of evidence in all types of economic evaluations.

Keywords: Health economics; public health; technology assessment, biomedical; health research evaluation.


 

 

A avaliação econômica de tecnologias em saúde surgiu na década de 1960 e, desde então, tem-se observado substancial desenvolvimento metodológico nessa área do conhecimento, bem como no número de publicações usando esse instrumental (1, 2). O objetivo das avaliações econômicas em saúde é sistematizar e comparar as evidências disponíveis de tecnologias alternativas em relação aos seus desfechos em saúde e aos custos para subsidiar a tomada de decisão quanto ao uso eficiente dos recursos disponíveis (3–5). Existem quatro tipos de avaliações econômicas consagradas na literatura: custo-minimização, custo-benefício, custo-efetividade e custo-utilidade (tabela 1).

Entretanto, para que esses estudos realmente contribuam para a tomada de decisão, é necessário que a evidência gerada seja de boa qualidade, ou seja, que os vários procedimentos metodológicos inerentes às avaliações econômicas sejam cumpridos de forma adequada, criteriosa e transparente (6). Assim, dado o grande número de etapas de uma avaliação econômica (7), têm surgido na literatura roteiros (checklists) para guiar a análise crítica de publicações dessa natureza. O intuito desta análise crítica é inferir sobre a qualidade das evidências mediante resposta à seguinte pergunta: "O método empregado no estudo foi adequado e os resultados são válidos para o contexto da tomada de decisão?".

A adoção de roteiros para analisar estudos de avaliação econômica ou outros tipos de estudo possui algumas vantagens que transcendem sua função precípua: o uso de tais roteiros pode produzir uma visão geral da qualidade da evidência por meio de análises focalizadas em diversos aspectos relevantes de um estudo. Os pesquisadores também são beneficiados, pois o roteiro pode servir de orientação para o planejamento, execução e relato apropriado dos resultados da pesquisa, conferindo maior transparência e reprodutibilidade da evidência gerada (8). Nesse contexto, outra vantagem emerge: aumenta-se a confiança dos consumidores da informação–tomadores de decisão e pesquisadores (6).

Embora sejam conhecidos os benefícios dos roteiros, essas ferramentas não estão livres de crítica. Nesse sentido, cabe ressaltar o dilema existente entre questionários genéricos e específicos. Enquanto os roteiros genéricos são de fácil aplicação a vários tipos de estudos e situações, perdem em detalhamento, pois trazem perguntas amplas, sem se aterem a especificidades necessárias para uma análise mais criteriosa. Já os roteiros específicos, apesar do maior detalhamento dos procedimentos metodológicos, podem conter perguntas tão específicas que não se aplicam a outros tipos de delineamentos. Por exemplo, uma questão sobre anos de vida ajustados por qualidade (QALY, em inglês) refere-se apenas à análise de custo-utilidade, não se aplicando, portanto, aos outros tipos de avaliações econômicas.

Outra característica dos roteiros disponíveis na literatura é não pretender esgotar todos os tópicos de uma avaliação econômica. Isso é positivo, já que a expectativa de esgotar os tópicos seria irreal. Além disso, dada a especificidade e a complexidade metodológica de alguns modelos, roteiros excessivamente específicos provavelmente não seriam práticos e aplicáveis. Ademais, a análise crítica por meio de roteiro apenas sinaliza pontos fortes e fracos de um estudo, cabendo ao avaliador ponderar os resultados conforme o contexto de cada investigação (9). Assim, é comum encontrar estudos que não preencham todos os requisitos. A não contemplação de um item pode ser consequência de ausência de informação disponível–mas se ressalta a importância de haver justificativa para cada ponto não contemplado no roteiro.

Nesse contexto, o objetivo do presente artigo é relatar os resultados de uma revisão sistemática dos roteiros disponíveis na literatura no intuito de fornecer insumos para propor um instrumento de análise crítica para estudos de avaliação econômica. Esse objetivo torna-se especialmente relevante no contexto brasileiro pela publicação, em 2011, da lei 12 401, a qual estabelece que as decisões sobre incorporação e exclusão de tecnologias em saúde no SUS devem levar em consideração necessariamente as evidências científicas sobre os benefícios e riscos em saúde, inclusive questões relacionadas à eficiência na alocação dos recursos, na qual se inserem os estudos de avaliação econômica (10).

 

MATERIAIS E MÉTODOS

Realizou-se uma revisão sistemática seguida de elaboração de um instrumento para avaliação da qualidade de estudos de avaliação econômica em saúde.

Critério de elegibilidade

Foram consideradas elegíveis publicações sobre instrumentos (manuais, roteiros, checklists) de análise da qualidade de estudos de avaliação econômica em saúde. Foram consideradas apenas avaliações econômicas completas, a saber: custo-efetividade, custo-utilidade, custo-benefício e custo-minimização. Não houve restrição quanto ao idioma, país, data, ou tipo de publicação.

Fontes de informação

Foram pesquisadas as bases MEDLINE, Embase e Centre for Reviews and Dissemination (CRD), além do site da International Society for Pharmacoeconomics and Outcomes Research (ISPOR).

Estratégia de busca

A estratégia de busca utilizada para a MEDLINE (via PubMed foi: ("economic evaluation" [tiab] or "health economic" [tiab] or "health economics" [tiab] or "health technology assessment" [tiab]) or ("cost"[tiab] and ("cost" [tiab] or "effectiveness"[tiab] or "utility" [tiab] or "benefit" [tiab] or "minimization" [tiab] or "consequence"[tiab])) and (("quality assessment" [tiab] or "critical appraisal" [tiab]) and ("check-list" [tiab] or "tool" [tiab] or "guideline"[tiab]or "scale" [tiab] or "grade" [tiab] or "score" [tiab] or "list" [tiab]))

Para buscar nas demais bases de dados, a estratégia foi adaptada. Também foram inspecionadas as referências dos estudos relevantes e de livros relevantes na área. Especialistas no assunto foram consultados para identificar potenciais instrumentos não localizados.

Seleção dos estudos e coleta de dados

Dois pesquisadores (ENS, MTS) selecionaram independentemente os estudos a partir da leitura dos títulos e resumos. Um terceiro revisor (TFG) arbitrou os casos discordantes. Os dados foram extraídos de maneira independente por dois autores (ENS, TFG).

Foi elaborada uma planilha de extração a partir dos componentes da avaliação econômica descritos nas Diretrizes Metodologias para Estudos de Avaliação Econômica do Ministério da Saúde do Brasil (7). Tais diretrizes norteiam a elaboração de estudos de avaliação econômica no Brasil demandados pelo Ministério da Saúde, em especial, por meio de chamadas públicas de pesquisas e pela Comissão Nacional de Incorporação de Tecnologias do SUS.

Quantificou-se o número de perguntas que os roteiros utilizados nos estudos selecionados continham sobre cada tópico de avaliação econômica, a fim de aferir a ênfase adotada nos roteiros. Nos casos em que os roteiros introduziram itens não contemplados na planilha de extração, tais pontos foram registrados para avaliação quanto à relevância.

Elaboração do instrumento de qualidade

Após elaboração da matriz contendo os itens de cada domínio por estudo, os autores selecionaram os mais importantes para compor o instrumento de avaliação da qualidade, tendo como parâmetro a validade de conteúdo (11). Os itens deste roteiro foram agrupados em quatro domínios: delineamento do estudo, mensuração dos custos e dos desfechos em saúde, análise e interpretação dos resultados e informações gerais. Foram também elaborados textos explicativos de como julgar cada item.

 

RESULTADOS

A busca na literatura localizou 406 registros não duplicados. Após a seleção pareada, 33 foram analisados em texto completo e 19 incluídos (figura 1) (12–30).

Características dos roteiros selecionados

O conjunto dos instrumentos analisados mostrou-se heterogêneo, oscilando entre instrumentos generalistas (foco principal: adequação dos resultados ao contexto da tomada de decisão) (15, 20, 23, 25, 27–29) e específicos (foco principal: adequação da metodologia empregada no modelo analítico e validade dos resultados) (12–14, 16–19, 21, 22, 24, 26, 30).

Foram identificadas 566 perguntas nos 19 instrumentos selecionados para análise (tabela 2). Os itens que mais receberam atenção foram: desfechos em saúde 109 (19%), quantificação dos custos 93 (16%), modelagem 73 (13%), generalização dos resultados 54 (10%) e incertezas 52 (9%). Ao todo, esses cinco itens corresponderam a 67% de todas as perguntas elaboradas explicitamente nos roteiros. No outro extremo, os itens que menos receberam atenção nos roteiros foram: desenho do estudo 1 (0,1%), recomendações 2 (0,3%), aspectos éticos 2 (0,3%) e potenciais conflitos de interesse 4 (0,7%). No caso do desenho do estudo, conforme estabelecido nas Diretrizes (7), houve apenas um artigo que o introduziu expressamente no roteiro (20). Nos demais artigos, esse item foi diluído em outras perguntas, não havendo a necessidade de explicitá-lo. Três estudos explicitaram a preocupação com as fontes de financiamento (18, 20, 30).

Além dessas perguntas, foram identificadas outras que não se enquadraram nos componentes estabelecidos nas Diretrizes (7). Por essa razão, foram consideradas separadamente. São elas: se há justificativa para a realização do estudo de avaliação econômica (19); se o estudo é uma avaliação econômica completa, ao analisar tanto custos quantos desfechos em saúde (15, 28); se a descrição do modelo foi suficientemente detalhada para permitir a sua reprodução (30); se o título do estudo é informativo e adequado (25, 27); se há uma hipótese clara descrita no estudo (27); se os benefícios da intervenção justificam os riscos e os custos decorrentes dela (23); se existe expectativa de que os custos serão os mesmos no contexto da tomada de decisão (23).

Apenas três roteiros (16%) foram validados (18, 20, 29). O método adotado para essa finalidade foi a validade lógica: consultar painel de especialistas e usuários (tomadores de decisão), no intuito de verificar relevância, aplicabilidade e adequação dos itens que os compunham.

Proposta de roteiro

De posse dos resultados da revisão sistemática, foi elaborado um instrumento de avaliação crítica (tabela 3), o qual buscou contemplar características tanto generalistas quanto específicas. Ademais, foram priorizados os itens mais citados, conforme sumarizado na tabela 2, com vistas a contornar a heterogeneidade dos instrumentos selecionados. A tabela 3 apresenta ainda as orientações para realizar a análise crítica dos itens do roteiro.

 

DISCUSSÃO

Nas 562 perguntas identificadas nos 19 instrumentos selecionados para análise, cinco itens (desfechos em saúde, quantificação dos custos, modelagem, generalização dos resultados e incertezas) corresponderam a 68% de todas as perguntas elaboradas explicitamente nos roteiros. Esses tópicos reúnem os pontos mais críticos de uma avaliação econômica. Sem uma correta identificação, mensuração e incorporação dos dados de desfecho em saúde e custos, provavelmente os resultados do estudo se tornariam de pouca utilidade prática para a tomada de decisão. O mesmo ocorre com a construção do modelo analítico. Além disso, como os estudos de avaliação econômica são um recorte de várias evidências disponíveis–provenientes de uma gama de investigações –, deve-se levar em consideração a incerteza inerente a esse processo. Por isso, é essencial tentar quantificá-la por meio dos vários tipos de incerteza (31), a saber: metodológica, estrutural, paramétrica e heterogênica.

Isso não significa dizer, entretanto, que os tópicos que receberam pouca atenção nos roteiros sejam de pouca relevância para a avaliação crítica dos estudos de avaliação econômica. Por exemplo, a escolha do horizonte temporal representou 3% das perguntas explicitamente descritas nos roteiros, mas, caso esse item não seja definido de forma adequada, compromete toda a mensuração dos custos e dos desfechos em saúde, e, consequentemente, o modelo analítico. Devido a essa característica, há poucos estudos que utilizam escalas numéricas para quantificar a qualidade da evidência (18, 24).

Com o surgimento dos estudos de avaliação econômica atrelados a ensaios clínicos (32), os quais fazem uso de informações de pacientes para fornecer dados ao modelo analítico, outra preocupação surgiu no contexto da avaliação crítica: considerações éticas. Assim, na presença de ensaio clínico–além de outros casos em que há coleta de dados de pacientes– acredita-se que os aspectos éticos devem ser incorporados aos roteiros, mesmo considerando que há poucos instrumentos que levantaram essa questão (12, 20).

Apenas três estudos explicitaram a preocupação com as fontes de financiamento (18, 20, 30). Apesar de não haver uma relação linear entre financiamento de avaliações econômicas e presença de vieses nos estudos, observam-se relatos mais favoráveis quando a intervenção é financiada (33, 34). Esse item é importante para julgar a imparcialidade da análise.

Limitações

Nossa proposta de roteiro tem algumas limitações. O processo de elaboração do instrumento foi realizado por pesquisadores com experiência na área, que julgaram a relevância de cada item para a qualidade geral do estudo de avaliação econômica. Não foi empregado um procedimento de validação externa, como consenso pelo método Delphi, que traria maior robustez à proposta (35). Pretendeu-se com a presente contribuição fornecer um roteiro com abrangência ainda não disponível no Brasil, a fim de aumentar a discussão do tema, o que possibilitaria a validação posterior. Em termos da sua aplicabilidade, o instrumento foi delineado para auxiliar leitores com familiaridade com conceitos de avaliação econômica em saúde, área que ainda está em ascensão no país.

O roteiro proposto não prevê atribuição de pontos ou escore para avaliação da qualidade global do artigo. Ao invés disso, priorizou-se o julgamento dos itens individuais, uma vez que cada um influencia no resultado encontrado de um estudo de avaliação econômica. Adicionalmente, a atribuição de pontuação no processo de avaliação de qualidade de estudos é controversa (36).

Conclusão

Em síntese, este artigo fornece visão ampla dos vários instrumentos disponíveis na literatura, bem como das perguntas que mais foram enfatizadas. Propôs-se também um instrumento de avaliação crítica, no intuito de uniformizar a apreciação da qualidade da evidência de todos os tipos de avaliação econômica. Este roteiro pode contribuir para aprimorar o processo de avaliação para tomada de decisão, além de fornecer um roteiro para os elaboradores de avaliações econômicas de modo a conferir maior transparência e reprodutibilidade aos estudos. Considerando a evolução dos métodos na área, este roteiro deve ser revisto periodicamente, visando a aprimorar sua aplicabilidade a diferentes contextos.

Conflitos de interesse. Nada declarado pelos autores.

 

REFERÊNCIAS

1. Blumenschein K, Johannesson M. Economic evaluation in healthcare. A brief history and future directions. Pharmacoeconomics. 1996;10(2):114–22.         

2. Hutton J. 'Health Economics' and the evolution of economic evaluation of health technologies. Health Econ. 2012;21(1):13–8.         

3. Gold M, Siegel J, Russel L, Weinstein M. Cost-effectiveness in health and medicine. Nova Iorque: Oxford University Press; 1996.         

4. Drummond M, McGuire A. Economic evaluation in health care: merging theory with practice. Nova Iorque: Oxford University Press; 2001.         

5. Kobelt G, Jönsson L, Young A, Eberhardt K.The cost-effectiveness of infliximab (Remicade) in the treatment of rheumatoid arthritis in Sweden and the United Kingdom based on the ATTRACT study. Rheumatology (Oxford). 2003;42(2):326–35.         

6. Langer A. A framework for assessing Health Economic Evaluation (HEE) quality appraisal instruments. BMC Health Serv Res. 2012;12: 253.         

7. Brasil, Ministério da Saúde. Diretrizes metodológicas: estudos de avaliação econômica em saúde. Brasília: Ministério da Saúde; 2009. Disponível em: http://www1.inca.gov.br/inca/Arquivos/publicacoes/avaliacao_ economica_tecnologias_saude_2009.pdf Acessado em março de 2014.         

8. Pereira MG. Artigos científicos: como redigir, publicar e avaliar. Rio de Janeiro: Guanabara Koogan; 2011.         

9. Hutubessy R, Henao AM, Namgyal P, Moorthy V, Hombach J. Results from evaluations of models and cost-effectiveness tools to support introduction decisions for new vaccines need critical appraisal. BMC Med. 2011;9:55.         

10. Chisholm D, Evans DB. Economic evaluation in health: saving money or improving care? J Med Econ. 2007;10(3):325–37.         

11. Mastaglia B, Toye C, Kristjanson LJ. Ensuring content validity in instrument development: challenges and innovative approaches. Contemp Nurse. 2003;14(3):281–91.         

12. Eisenberg JM. Clinical economics. A guide to the economic analysis of clinical practices. JAMA. 1989;262(20):2879–86.         

13. Udvarhelyi IS, Colditz GA, Rai A, Epstein AM. Cost-effectiveness and cost-benefit analyses in the medical literature. Are the methods being used correctly? Ann Intern Med. 1992;116(3):238–44.         

14. Drummond MF, Jefferson TO. Guidelines for authors and peer reviewers of economic submissions to the BMJ. The BMJ Economic Evaluation Working Party. BMJ. 1996;313(7052): 75–283.         

15. Drummond MF, Richardson WS, O'Brien BJ, Levine M, Heyland D. Users' guides to the medical literature. XIII. How to use an article on economic analysis of clinical practice. A. Are the results of the study valid? Evidence-Based Medicine Working Group. JAMA. 1997;277(19):1552–7.         

16. Halpern MT, Luce BR, Brown RE, Geneste B. Health and economic outcomes modeling practices: a suggested framework. Value Health. 1998;1(2):131–47.         

17. Sculpher M, Fenwick E, Claxton K. Assessing quality in decision analytic cost-effectiveness models. A suggested framework and example of application. Pharmacoeconomics. 2000;17(5):461–77.         

18. Chiou CF, Hay JW, Wallace JF, Bloom BS, Neumann PJ, Sullivan SD, et al. Development and validation of a grading system for the quality of cost-effectiveness studies. Med Care. 2003;41(1):32–44.         

19. Philips Z, Ginnelly L, Sculpher M, Claxton K, Golder S, Riemsma R, et al. Review of guidelines for good practice in decision-analytic modelling in health technology assessment. Health Technol Assess. 2004;8(36):iii–iv, ix–xi, 1–158.         

20. Evers S, Goossens M, de Vet H, van Tulder M, Ament A. Criteria list for assessment of methodological quality of economic evaluations: Consensus on Health Economic Criteria. Int J Technol Assess Health Care. 2005;21(2): 240–45.         

21. Drummond MF, Sculpher MJ, Torrance GW, O'Brien BJ, Stoddart GL. Critical assessment of economic evaluation. Em: Drummond MF, Sculpher MJ, Torrance GW, O'Brien BJ, Stoddart GL, eds. Methods for the economic evaluation of health care programmes. New York: Oxford University Press, 2005. Pp. 27–54.         

22. Niessen LW, Grijseels E, Koopmanschap M, Rutten F. Economic analysis for clinical practice—the case of 31 national consensus guidelines in the Netherlands. J Eval Clin Pract. 2007;13(1):68–78.         

23. Drummond MF, Goeree R, Moayyedi P, Levine M. Economic analysis. Em: Guyatt G, Rennie D, Meade MO, Cook D, eds. Users' guide to the medical literature: a manual for evidence-based clinical practice. New York: McGraw-Hill; 2008. Pp. 619–42.         

24. Abellán Perpiñán JM, Sánchez Martínez FI, Martínez Pérez JE. Quality assessment of economic evaluations in health care: a checklist and user guide. Rev Esp Salud Publica. 2009;83(1):71–84.         

25. Rascati KL. Critiquing research articles. Em: Rascati KL, ed. Essentials of pharmacoeconomics. Philadelphia: Lippincott Williams & Wilkins; 2009. Pp. 25–34.         

26. Zimovetz E, Wolowacz SE. Reviewer's checklist for assessing the quality of decision models. Value Health. 2009;12(7):A395.         

27. Ribeiro RA, Cruz LN, Polanczyk CA. Avaliação crítica de estudos de custo-efetividade. Em: Nita ME, Secoli SR, Nobre MRC, Ono-Nita SK, Campino ACC, Santi FM, et al. Avaliação de tecnologias em saúde: evidência clínica, análise econômica e análise de decisão. Porto Alegre: Artmed; 2010. Pp. 402–18.         

28. Critical Appraisal Skills Programme. Making sense of evidence about clinical effectiveness. Oxford: CASP; 2011. Disponível em: http://www.invo.org.uk/wp-content/uploads/2012/07/CASP-11-Questions-for-an-RCT Acessado em março de 2014.         

29. Inotai A, Pékli M, Jóna G, Nagy O, Remák E, Kaló Z. Attempt to increase the transparency of fourth hurdle implementation in Central-Eastern European middle income countries: publication of the critical appraisal methodology. BMC Health Serv Res. 2012;12:332.         

30. Soto J. Health economic evaluations using decision analytic modeling. Principles and practices—utilization of a checklist to their development and appraisal. Int J Technol Assess Health Care. 2002;18(1):94–111.         

31. Bilcke J, Beutels P, Brisson M, Jit M. Accounting for methodological, structural, and parameter uncertainty in decision-analytic models: a practical guide. Med Decis Making. 2011;31(4):675–92.         

32. O'Sullivan AK, Thompson D, Drummond MF. Collection of health-economic data alongside clinical trials: is there a future for piggyback evaluations? Value Health. 2005;8(1):67–79.         

33. Friedberg M, Saffran B, Stinson TJ, Nelson W, Bennett CL. Evaluation of conflict of interest in economic analyses of new drugs used in oncology. JAMA. 1999;282(15):1453–7.         

34. Valachis A, Polyzos NP, Nearchou A, Lind P, Mauri D. Financial relationships in economic analyses of targeted therapies in oncology. J Clin Oncol. 2012;30(12):1316–20.         

35. Okoli C, Pawlowski SD. The Delphi method as a research tool: an example, design considerations and applications. Inform Manage. 2004;42(1):15–29.         

36. Jüni P, Witschi A, Bloch R, Egger M. The hazards of scoring the quality of clinical trials for meta-analysis. JAMA. 1999;282(11):1054–60.         

 

 

Manuscrito recebido em 25 de maio de 2013. Aceito em versão revisada em 29 de janeiro de 2014.

Organización Panamericana de la Salud Washington - Washington - United States
E-mail: contacto_rpsp@paho.org