Avaliação de oito Protocolos Clínicos e Diretrizes Terapêuticas (PCDT) do Ministério da Saúde por meio do instrumento AGREE II: um estudo piloto

Evaluation of eight Clinical Protocols and Therapeutic Guidelines under the Brazilian Ministry of Health using the AGREE II instrument: a pilot study

Evaluación de ocho Protocolos Clínicos y Directrices Terapéuticas (PCDT) del Ministerio de Salud de Brasil mediante el instrumento AGREE II: un estudio piloto

Ricardo De March Ronsoni Claudia Cristina de Aguiar Pereira Airton Tetelbom Stein Mário Henrique Osanai Carla Jorge Machado Sobre os autores

Resumos

Há, mundialmente, um crescente aumento de publicações de diretrizes clínicas, acompanhado de preocupações quanto à qualidade. Em 2000, o Ministério da Saúde iniciou a elaboração de Protocolos Clínicos e Diretrizes Terapêuticas (PCDT). O objetivo deste trabalho foi avaliar os PCDT elaborados após 2009, quanto à sua qualidade, utilizando o instrumento AGREE II (Appraisal of Guidelines for Research and Evaluation). Entre 2009 e 2012, foram identificados 59 PCDT, dos quais oito foram sorteados e avaliados por três avaliadores independentes. Para o item recomendação do uso da diretriz, dois avaliadores recomendaram o uso de todas, mas com modificações, e um não recomendou qualquer diretriz. Para o item classificação da qualidade global da diretriz, cuja avaliação poderia variar de 1 a 7, obteve-se média de 4,25 (DP = 0,46). Esses resultados apontam a necessidade de adequações nos PCDT, quanto aos domínios do AGREE II. Devido à limitação do instrumento utilizado, existe necessidade de novos estudos, inclusive sobre a qualidade das evidências utilizadas na elaboração dos PCDT.

Protocolos Clínicos; Guias de Prática Clínica como Assunto; Avaliação


The number of clinical guidelines is increasing worldwide, while there are concerns regarding their quality. In 2000, the Brazilian Ministry of Health began its process of creating clinical guidelines, called Clinical Protocols and Therapeutic Guidelines (PCDT). The goal of this study was to assess the quality of Brazilian guidelines approved since 2009 using the AGREE II instrument (Appraisal of Guidelines for Research and Evaluation). We identified 59 PCDT from 2009 to 2012, of which eight were randomly selected and evaluated by three independent evaluators. For the item “recommends the guidelines”, two evaluators recommended the use of all eight, but with modifications, and one did not recommend any to the guidelines. Regarding the item “global quality of the guidelines” (varying from 1 to 7), the mean was 4.25 (SD = 0.46). The results showed the need for adjustments in the PCDT in relation to AGREE II domains. However, due to the instrument’s limitations, further studies are needed, including the quality of evidence used in the PCDT.

Clinical Protocols; Practice Guidelines as Topic; Evaluation


El número de guías de práctica clínica está aumentando en todo el mundo, al mismo tiempo que existen dudas respecto a su calidad. En el año 2000, el Ministerio de Salud de Brasil inició su proceso de creación de guías clínicas, denominadas Protocolos Clínicos y Directrices Terapéuticas (PCDT). El objetivo de este trabajo fue evaluar la calidad de las guías que fueron elaboradas después de 2009, mediante el instrumento AGREE II (Instrumento para la Evaluación de Guías de Práctica Clínica). Entre 2009 y 2012, se identificaron 59 PCDT, de las cuales se han seleccionado 8, que fueron analizadas por 3 evaluadores independientes. Para el tema “recomendaría esta guía”, 2 evaluadores recomendaron el uso de las 8, pero con modificaciones y 1 no recomendó ninguna. En relación con el tema “calidad global de la guía”, la media fue de 4,25 (DP = 0,46). Estos resultados muestran la necesidad de ajustes en los PCDT, según los dominios del AGREE II. Sin embargo, debido a las limitaciones del instrumento, todavía existe la necesidad de nuevos estudios, entre ellos sobre la calidad de las evidencias utilizadas en el PCDT.

Protocolos Clínicos; Guías de Prática Clínica como Asunto; Evaluación


Introdução

Ao final dos anos 1970, deu-se o início da elaboração das diretrizes clínicas em vários países 1Burgers JS, Grol R, Klazinga NS, Makela M, Zaat J. Towards evidence-based clinical practice: an international survey of 18 clinical guideline programs. Int J Qual Health Care 2003; 15:31-45.. Desde então, houve aumento do número de diretrizes clínicas em todas as áreas médicas 2Brozek J, Jankowski M, Placzkiewicz-Jankowska E, Jaeschke R. International Diabetes Federation document concerning postmeal glycemic control: assessment of quality of clinical practice guidelines using AGREE instrument. Pol Arch Med Wewn 2009; 119:18-24.,3Spuls PI, Nast A. Evaluation of and perspectives on guidelines: what is important? J Invest Dermatol 2010; 130:2348-9., elaboradas, principalmente, por hospitais, sociedades médicas, sistemas públicos e privados de saúde e organizações de pacientes. Contudo, esse aumento quantitativo de publicações é acompanhado por preocupação quanto à qualidade das recomendações contidas nos documentos 4Esandi ME, Ortiz Z, Chapman E, Dieguez MG, Mejia R, Bernztein R. Production and quality of clinical practice guidelines in Argentina (1994-2004): a cross-sectional study. Implement Sci 2008; 3:1-10.,5AGREE Colaboration. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care 2003; 12:18-23.,6Boluyt N, Lincke CR, Offringa M. Quality of evidence-based pediatric guidelines. Pediatrics 2005; 115:1378-91..

Com o propósito de orientar a melhoria da qualidade das diretrizes, foi desenvolvido em 2003 um instrumento de avaliação da qualidade, o AGREE (Appraisal of Guidelines for Research and Evaluation), por profissionais de 13 países 5AGREE Colaboration. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care 2003; 12:18-23.,7Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, et al. AGREE II: advancing guideline development, reporting and evaluation in health care. CMAJ 2010; 182:E839-42.. Atualmente em sua segunda versão, AGREE II 8The AGREE Research Trust. Instrumento para Avaliação de Diretrizes Clínicas – AGREE II. http://www.agreetrust.org/wp-content/uploads/2013/06/AGREE_II_Brazilian_Portuguese.pdf (acessado em 06/Ago/2014).
http://www.agreetrust.org/wp-content/upl...
,9Khan GS, Stein AT. Adaptação transcultural do instrumento Appraisal of Guidelines for Research & Evaluation II (AGREE II) para avaliação de diretrizes clínicas. Cad Saúde Pública 2014; 30:1111-4., é utilizado por instituições nacionais e internacionais que elaboram diretrizes clínicas.

Seguindo a tendência mundial, o Ministério da Saúde iniciou em 2000 o processo de desenvolvimento, disseminação e implementação dos Protocolos Clínicos e Diretrizes Terapêuticas (PCDT) para melhorar a efetividade e qualidade do atendimento ofertado 1010 Ministério da Saúde. Protocolos Clínicos e Diretrizes Terapêuticas: medicamentos excepcionais. Brasília: Ministério da Saúde; 2002. (Série A. Normas e Manuais Técnicos)..

Os PCDT são instrumentos-chave para a definição das linhas de cuidados para as 79 doenças contempladas no Componente Especializado da Assistência Farmacêutica (CEAF), norteando a garantia da integralidade do tratamento medicamentoso, em nível ambulatorial, para todas as doenças no âmbito do CEAF 1212 Brasil. Decreto no 7.508, de 28 de junho de 2011. Regulamenta a Lei no 8.080, de 19 de setembro de 1990, para dispor sobre a organização do Sistema Único de Saúde – SUS, o planejamento da saúde, a assistência à saúde e a articulação interfederativa, e dá outras providências. Diário Oficial da União 2011; 29 jun.. Ademais, estão de acordo com o Decreto no 7.508 e com a Lei no 12.401, ambos de 2011, que norteiam as condutas diagnósticas e terapêuticas no Sistema Único de Saúde (SUS) 1212 Brasil. Decreto no 7.508, de 28 de junho de 2011. Regulamenta a Lei no 8.080, de 19 de setembro de 1990, para dispor sobre a organização do Sistema Único de Saúde – SUS, o planejamento da saúde, a assistência à saúde e a articulação interfederativa, e dá outras providências. Diário Oficial da União 2011; 29 jun.,1313 Brasil. Lei no 12.401, de 28 de abril de 2011. Altera a Lei no 8.080, de 19 de setembro de 1990, para dispor sobre a assistência terapêutica e a incorporação de tecnologia em saúde no âmbito do Sistema Único de Saúde – SUS. Diário Oficial da União 2011; 29 abr..

Considerando-se a importância dos PCDT, o objetivo do presente estudo foi avaliar a qualidade de oito PCDT do Ministério da Saúde.

Material e métodos

Trata-se de análise descritiva de amostra aleatória de PCDT, com base nos seguintes critérios de inclusão: revisão ou elaboração realizada pelo Ministério da Saúde após 2009 – ano no qual o Ministério da Saúde definiu a nova estrutura a ser seguida para elaboração dos PCDT 1414 Ministério da Saúde. Portaria no 375, de 10 de novembro de 2009. Roteiro para elaboração de Protocolos Clínicos e Diretrizes Terapêuticas. Diário Oficial da União 2009; 11 nov.; PCDT disponibilizado em versão completa no sítio eletrônico do Ministério da Saúde ou no Diário Oficial da União (DOU). Como critério de exclusão, foram desconsideradas diretrizes clínicas não denominadas como PCDT.

Para avaliação da qualidade dos PCDT foi utilizado o AGREE II, versão traduzida para o português e disponível online 8The AGREE Research Trust. Instrumento para Avaliação de Diretrizes Clínicas – AGREE II. http://www.agreetrust.org/wp-content/uploads/2013/06/AGREE_II_Brazilian_Portuguese.pdf (acessado em 06/Ago/2014).
http://www.agreetrust.org/wp-content/upl...
, que permite a análise de 23 itens divididos em 6 domínios de qualidade e 2 itens de classificação global. Para cada item os avaliadores utilizaram escalas Likert de 7 pontos, onde 1 corresponde ao “discordo totalmente” e 7 ao “concordo totalmente” 8The AGREE Research Trust. Instrumento para Avaliação de Diretrizes Clínicas – AGREE II. http://www.agreetrust.org/wp-content/uploads/2013/06/AGREE_II_Brazilian_Portuguese.pdf (acessado em 06/Ago/2014).
http://www.agreetrust.org/wp-content/upl...
, com exceção ao último item (recomendação do uso da diretriz), cujas respostas são: “Sim”, “Não” e “Sim, com modificações”. As análises dos PCDT selecionados foram realizadas por 3 profissionais (autores deste trabalho), conforme preconizado pelo AGREE II com expertise sobre diretrizes clínicas.

Para todos os itens de domínios e para o item de classificação global relacionado à qualidade da diretriz, foram obtidas as médias dos valores escalares. Para o item de classificação global, foi obtido ainda o desvio-padrão (DP), com o objetivo de ser utilizado no cálculo de amostras de PCDT de novos estudos.

O estudo foi aprovado pelo Comitê de Ética em Pesquisa da Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz (parecer 16/2012).

Resultados

Realizou-se a busca em 8 de maio de 2012 no sítio eletrônico que disponibilizava as diretrizes publicadas pelo Ministério da Saúde. Para os PCDT selecionados e com publicações no DOU e no primeiro volume do livro de PCDT 1515 Ministério da Saúde. Protocolos Clínicos e Diretrizes Terapêuticas. v. 1. Brasília: Ministério da Saúde; 2010. (Série A. Normas e Manuais Técnicos)., foram selecionadas as versões publicadas no livro, por serem documentos mais recentes que as do DOU. Assim, localizaram-se 62 diretrizes clínicas vigentes elaboradas após 2009. Destas, três foram excluídas por não serem denominadas como PCDT pelo Ministério da Saúde. Dos 59 PCDT, sortearam-se oito: Dermatomiosite e Polimiosite, Diabetes Insípido, Esclerose Lateral Amiotrófica, Espondilose, Hemangioma Infantil, Hiperfosfatemia na Insuficiência Renal Crônica, Leiomioma de Útero, Puberdade Precoce Central. Estes PCDT foram publicados entre 23 de dezembro de 2009 e 5 de dezembro de 2011. Os documentos de Puberdade Precoce Central e Dermatomiosite e Polimiosite foram republicados no DOU para correções.

Os PCDT receberam uma avaliação média entre 3,7 e 5,0. O PCDT de Dermatomiosite e Polimiosite foi o melhor avaliado, e o de Espondilose o pior, respectivamente com pontuações médias de 5,0 e 3,7 (Tabela 1). Para o item recomendação do uso da diretriz, dois avaliadores recomendaram o uso de todas, mas com modificações, e um não recomendou qualquer diretriz. Já para o item classificação da qualidade global da diretriz, obteve-se avaliação média de 4,25 (DP = 0,46).

Tabela 1
Média dos avaliadores para os oito Protocolos Clínicos e Diretrizes Terapêuticas avaliados: Dermatomiosite e Polimiosite (DP); Diabetes Insípido (DI); Esclerose Lateral Amiotrófica (ELA); Espondilose (Esp); Hemangioma Infantil (HI); Hiperfosfatemia na Insuficiência Renal Crônica (HIRC); Leiomioma de Útero (LU); Puberdade Precoce Central (PPC).

Discussão

A diretriz clínica é uma ferramenta essencial para melhorar a qualidade da atenção em saúde. O instrumento AGREE II possibilitou avaliar a qualidade das diretrizes clínicas do Ministério da Saúde. Uma publicação recente apresenta um instrumento com uma lista de checagem online para avaliar e desenvolver diretrizes clínicas 1616 Schünemann HJ, Wiercioch W, Etxeandia I, Falavigna M, Santesso N, Mustafa R, et al. Guidelines 2.0: systematic development of a comprehensive checklist for a successful guideline enterprise. CMAJ 2014; 186:E123-42., o qual será muito útil para aprimorar este processo.

Os resultados desse estudo contribuem para o dimensionamento inédito da qualidade metodológica dos PCDT no Brasil, ofertando dados fundamentais para o aprimoramento da elaboração. O presente trabalho incentiva o desenvolvimento de novos estudos, que podem avaliar a qualidade das evidências utilizadas na elaboração dos PCDT, a qualidade das recomendações produzidas e as características de disseminação e implementação das diretrizes.

Os PCDT constituem-se excelentes ferramentas, contudo seriam necessárias adequações. Tais alterações envolvem os seis domínios de qualidade da ferramenta AGREE II, além de publicação de declarações claras, concisas e abrangentes acerca do processo de desenvolvimento. Isso faria com que os PCDT fossem melhor avaliados em seu conjunto, possibilitando, além de sua melhoria global, maior oportunidade para pesquisadores desenvolverem estudos com base em amostras.

Uma das principais causas da pontuação mediana obtida pelos PCDT pode ter sido a descrição insuficiente dos métodos utilizados. Diante da escassez de informações, muitos dos dados extraídos para a aplicação do AGREE II foram retirados do prefácio do volume 1 do livro de PCDT 1515 Ministério da Saúde. Protocolos Clínicos e Diretrizes Terapêuticas. v. 1. Brasília: Ministério da Saúde; 2010. (Série A. Normas e Manuais Técnicos). que é sucinto. Outro determinante para uma menor pontuação dos PCDT é a atual política do Ministério da Saúde em publicar duas versões dos documentos, uma no DOU e outra em volume de livro contendo a compilação de alguns PCDT previamente publicados no DOU. Assim, diretrizes que aguardam publicação em livro são privadas de informações para a adequada utilização e implementação dos documentos.

Como solução aos pontos críticos cabe ao Ministério da Saúde publicar no DOU uma versão dos PCDT com todos os apêndices (fluxogramas, fichas, guia e tabelas) necessários, além de uma pronúncia clara e oficial quanto aos aspectos eminentes ao processo de elaboração dos PCDT e demais pontos técnicos dos documentos.

Finalmente, citam-se as limitações do trabalho, inerentes ao método empregado. O AGREE II adota um sistema de pontuação de caráter subjetivo para cada item, dificultando a concordância das avaliações entre os avaliadores. Por outro lado, o instrumento não se caracteriza como uma busca de uma concordância por um teste como o kappa. A proposta da aplicação do instrumento é exatamente apresentar as dimensões de cada examinador ao avaliar a diretriz. O instrumento não possui um parâmetro final para classificar as diretrizes em “metodologicamente boa” ou “metodologicamente ruim”. A avaliação não possibilita verificar a qualidade das evidências utilizadas e o conteúdo clínico das recomendações contidas nas diretrizes clínicas. Finalmente, ressalta-se que o estudo foi piloto. Futuramente, recomenda-se a realização de um estudo para avaliar a qualidade global representativa para todos os PCDT. Conforme nossos cálculos, seria necessário avaliar 50 PCDT, de um total 59 PCDT (margem de erro de 5%, nível de 95% de confiança e pelo cálculo de tamanho de amostra para a população finita) 1717 Faculdade de Educação Superior do Paraná. Determinação do tamanho de uma amostra. http://www.fesppr.br/~centropesq/Calculo_do_tamanho_da_amostra/Tamanho%20da%20Amostra%20%201.pdf (acessado em 01/Ago/2014).
http://www.fesppr.br/~centropesq/Calculo...
.

Referências

  • 1
    Burgers JS, Grol R, Klazinga NS, Makela M, Zaat J. Towards evidence-based clinical practice: an international survey of 18 clinical guideline programs. Int J Qual Health Care 2003; 15:31-45.
  • 2
    Brozek J, Jankowski M, Placzkiewicz-Jankowska E, Jaeschke R. International Diabetes Federation document concerning postmeal glycemic control: assessment of quality of clinical practice guidelines using AGREE instrument. Pol Arch Med Wewn 2009; 119:18-24.
  • 3
    Spuls PI, Nast A. Evaluation of and perspectives on guidelines: what is important? J Invest Dermatol 2010; 130:2348-9.
  • 4
    Esandi ME, Ortiz Z, Chapman E, Dieguez MG, Mejia R, Bernztein R. Production and quality of clinical practice guidelines in Argentina (1994-2004): a cross-sectional study. Implement Sci 2008; 3:1-10.
  • 5
    AGREE Colaboration. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care 2003; 12:18-23.
  • 6
    Boluyt N, Lincke CR, Offringa M. Quality of evidence-based pediatric guidelines. Pediatrics 2005; 115:1378-91.
  • 7
    Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, et al. AGREE II: advancing guideline development, reporting and evaluation in health care. CMAJ 2010; 182:E839-42.
  • 8
    The AGREE Research Trust. Instrumento para Avaliação de Diretrizes Clínicas – AGREE II. http://www.agreetrust.org/wp-content/uploads/2013/06/AGREE_II_Brazilian_Portuguese.pdf (acessado em 06/Ago/2014).
    » http://www.agreetrust.org/wp-content/uploads/2013/06/AGREE_II_Brazilian_Portuguese.pdf
  • 9
    Khan GS, Stein AT. Adaptação transcultural do instrumento Appraisal of Guidelines for Research & Evaluation II (AGREE II) para avaliação de diretrizes clínicas. Cad Saúde Pública 2014; 30:1111-4.
  • 10
    Ministério da Saúde. Protocolos Clínicos e Diretrizes Terapêuticas: medicamentos excepcionais. Brasília: Ministério da Saúde; 2002. (Série A. Normas e Manuais Técnicos).
  • 11
    Ministério da Saúde. Portaria no 2.981, de 29 de novembro de 2009. Aprova o componente especializado da assistência farmacêutica. Diário Oficial da União 2009; 30 nov.
  • 12
    Brasil. Decreto no 7.508, de 28 de junho de 2011. Regulamenta a Lei no 8.080, de 19 de setembro de 1990, para dispor sobre a organização do Sistema Único de Saúde – SUS, o planejamento da saúde, a assistência à saúde e a articulação interfederativa, e dá outras providências. Diário Oficial da União 2011; 29 jun.
  • 13
    Brasil. Lei no 12.401, de 28 de abril de 2011. Altera a Lei no 8.080, de 19 de setembro de 1990, para dispor sobre a assistência terapêutica e a incorporação de tecnologia em saúde no âmbito do Sistema Único de Saúde – SUS. Diário Oficial da União 2011; 29 abr.
  • 14
    Ministério da Saúde. Portaria no 375, de 10 de novembro de 2009. Roteiro para elaboração de Protocolos Clínicos e Diretrizes Terapêuticas. Diário Oficial da União 2009; 11 nov.
  • 15
    Ministério da Saúde. Protocolos Clínicos e Diretrizes Terapêuticas. v. 1. Brasília: Ministério da Saúde; 2010. (Série A. Normas e Manuais Técnicos).
  • 16
    Schünemann HJ, Wiercioch W, Etxeandia I, Falavigna M, Santesso N, Mustafa R, et al. Guidelines 2.0: systematic development of a comprehensive checklist for a successful guideline enterprise. CMAJ 2014; 186:E123-42.
  • 17
    Faculdade de Educação Superior do Paraná. Determinação do tamanho de uma amostra. http://www.fesppr.br/~centropesq/Calculo_do_tamanho_da_amostra/Tamanho%20da%20Amostra%20%201.pdf (acessado em 01/Ago/2014).
    » http://www.fesppr.br/~centropesq/Calculo_do_tamanho_da_amostra/Tamanho%20da%20Amostra%20%201.pdf

Datas de Publicação

  • Publicação nesta coleção
    Jun 2015

Histórico

  • Recebido
    07 Ago 2014
  • Revisado
    09 Jan 2015
  • Aceito
    05 Fev 2015
Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz Rio de Janeiro - RJ - Brazil
E-mail: cadernos@ensp.fiocruz.br