Resumo

Este trabalho tem como objetivo descrever o uso da Técnica Delphi no processo de atualização e validação de conteúdo do Questionário de Avaliação da Qualidade de Serviços de Atenção Básica (QualiAB) para aplicação nacional. Deste estudo participaram 19 especialistas com experiência em pesquisa em avaliação em saúde, assistência e gestão em atenção primária à saúde (APS). Uma versão revisada do instrumento QualiAB com 105 indicadores foi encaminhada para avaliação quanto ao grau de relevância, aplicabilidade nacional e aceitabilidade. A Técnica Delphi modificada foi realizada em duas rodadas. Os resultados apontam que a taxa de resposta na primeira rodada foi de 73,6%, 40 indicadores foram aceitos e 65 não obtiveram consenso, dos quais 54 receberam sugestões de alteração da questão e/ou do indicador. Na segunda rodada a taxa de resposta foi de 92,8%. Foram reenviados 65 indicadores com incorporação de alterações, dos quais seis foram aceitos. Dos 59 restantes, 51 obtiveram sugestões de alteração. A Técnica Delphi modificada contribuiu para o aprimoramento do instrumento QualiAB enquanto etapa intermediária de um processo de validação iterativa. Contudo, a realização em duas rodadas demonstrou ser insuficiente para validação dos indicadores de qualidade organizacional diante da abrangência e diversidade das ações realizadas pelos serviços de APS.

Palavras-chave:
Qualidade da Assistência à Saúde; Estudos de Validação; Técnica Delfos; Revisão por Pares; Atenção Primária à Saúde

Abstract

This article aims to describe the use of the Delphi Technique in a process of updating and validating the content of the Primary Care Services Quality Assessment Questionnaire (QualiAB) for national application. In this study, 19 experts with experience in research in health evaluation, care and management in Primary Health Care (PHC) agreed to participate. A revised version of the QualiAB instrument with 105 indicators was submitted for evaluation as to its relevance, national applicability and acceptability. The modified Delphi Technique was performed in two rounds. The response rate of experts in the first round was 73.6%, 40 indicators were accepted and 65 did not reach consensus, of which 54 obtained suggestions to change the question and/or indicator. In the second, the response rate was 92.8%, and 65 indicators were resent with incorporation of changes, of which six were accepted. Of the remaining 59, 51 obtained suggestions for change. The modified Delphi Technique contributed to the improvement of the QualiAB instrument as an intermediate step in an iterative validation process. However, the performance in two rounds proved to be insufficient to validate the organizational quality indicators in view of the scope and diversity of the actions performed by the PHC services.

Keywords:
Quality of Health Care; Validation Studies; Delphi Technique; Peer Review; Primary Health Care

Introdução

A reconhecida importância da atenção primária à saúde (APS) para uma maior efetividade e eficiência dos sistemas de saúde articula-se ao desenvolvimento de mecanismos de qualificação que buscam viabilizar os resultados esperados na promoção, prevenção e assistência à saúde individual e coletiva, o que tornou a APS um importante foco de políticas institucionais e de pesquisas no campo da avaliação em saúde nos últimos 20 anos (Akerman; Furtado, 2015AKERMAN, M.; FURTADO, J. P. (Org.). Práticas de avaliação em saúde no Brasil: diálogos. Porto Alegre: Rede Unida, 2015.; Brasil, 2011BRASIL. Ministério da Saúde. Portaria nº 1.654, de 19 de julho de 2011. Institui, no âmbito do Sistema Único de Saúde, o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) e o Incentivo Financeiro do PMAQ-AB, denominado Componente de Qualidade do Piso de Atenção Básica Variável - PAB Variável. Brasília, DF, 2011.).

As avaliações de serviços e programas de saúde requerem atualizações periódicas dos instrumentos utilizados, de modo a referendar a qualidade como um atributo incremental e estimular a construção de patamares periodicamente renováveis. Nesse sentido, os indicadores e padrões adotados devem ser dinâmicos, uma vez que precisam refletir as mudanças nos perfis de morbimortalidade e nos conhecimentos e tecnologias, além de manter especificidade em relação aos contextos em que se desenvolve a avaliação (Brasil, 2012BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Autoavaliação para melhoria do acesso e da qualidade da atenção básica: AMAQ. Brasília, DF, 2012. Disponível em: <Disponível em: https://bit.ly/2OLQnrK >. Acesso em: 20 maio 2019.
https://bit.ly/2OLQnrK... ; Castanheira et al., 2015CASTANHEIRA, E. R. L. et al. Desafios para a avaliação na atenção básica no Brasil: a diversidade de instrumentos contribui para a instituição de uma cultura avaliativa? In: AKERMAN, M.; FURTADO, J. P. (Org.). Práticas de avaliação em saúde no Brasil: diálogos. Porto Alegre: Rede Unida, 2015. p. 197-241.; Nemes, 2000NEMES, M. I. B. Prática programática em saúde. In: SCHRAIBER, L. B.; NEMES, M. I. B.; MENDES-GONÇALVES, R. B. (Org.). Saúde do adulto: programas e ações na unidade básica. São Paulo: Hucitec, 2000. p. 48-65.).

Este trabalho tem como objetivo descrever o uso da Técnica Delphi no processo de atualização e validação de conteúdo do Questionário de Avaliação da Qualidade de Serviços de Atenção Básica (QualiAB) para aplicação nacional. Originalmente construído e validado no estado de São Paulo em 2007 (Castanheira et al., 2011CASTANHEIRA, E. R. L. et al. QualiAB: desenvolvimento e validação de uma metodologia de avaliação de serviços de atenção básica. Saúde e Sociedade, São Paulo, v. 20, n. 4, p. 935-947, 2011., ²⁰¹⁴CASTANHEIRA, E. R. L. et al. Avaliação de serviços de atenção básica em municípios de pequeno e médio porte no estado de São Paulo: resultados da primeira aplicação do instrumento QualiAB. Saúde em Debate, Rio de Janeiro, v. 38, n. 103, p. 679-691, 2014.), o QualiAB passou por um processo de atualização e revisão dos indicadores e dos padrões adotados para torná-lo aplicável a diferentes estados brasileiros (Zarili, 2015ZARILI, T. F. T. Avaliação de serviços de atenção básica: atualização e validação do instrumento QualiAB. 2015. Dissertação (Mestrado em Saúde Coletiva) - Faculdade de Medicina de Botucatu, Universidade Estadual Paulista “Julio de Mesquita Filho”, Botucatu, 2015.).

A proposição ou retificação de instrumentos de avaliação é realizada inicialmente por meio de várias rodadas entre os parceiros da avaliação, com base na revisão de literatura técnico-científica e na expertise do grupo proponente. Nesse processo são elaborados indicadores que serão avaliados, os quais serão aceitos, alterados ou rejeitados por meio de processos de validação interna e de reprodutibilidade. Diferentes metodologias qualitativas e quantitativas podem ser utilizadas nas validações de face, de conteúdo e de constructo, com a finalidade de confirmar a especificidade e sensibilidade dos indicadores propostos e a acurácia da avaliação (Alexandre; Coluci, 2011ALEXANDRE, N. M. C.; COLUCI, M. Z. O. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, Rio de Janeiro, v. 16, n. 7, p. 3061-3068, 2011.; Pasarín et al., 2013PASARÍN, M. I. et al. Evaluation of primary care: the “Primary Care Assessment Tools - Facility version” for the Spanish health system. Revista Gaceta Sanitaria, Barcelona, v. 27, n. 1, p. 12-18, 2013. ; Zarili, 2015ZARILI, T. F. T. Avaliação de serviços de atenção básica: atualização e validação do instrumento QualiAB. 2015. Dissertação (Mestrado em Saúde Coletiva) - Faculdade de Medicina de Botucatu, Universidade Estadual Paulista “Julio de Mesquita Filho”, Botucatu, 2015.).

A validação de conteúdo busca avaliar se o instrumento contém a representação do objeto em avaliação em toda sua dimensão por meio do julgamento de especialistas, demonstrando que cada item do instrumento reproduz o universo sob investigação (Souza; Alexandre; Guirardello, 2017SOUZA, A. C.; ALEXANDRE, N. M. C.; GUIRARDELLO, E. B. Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Revista Epidemiologia e Serviços de Saúde, Brasília, DF, v. 26, n. 3, p. 649-659, 2017.). Monteiro e Hora (2014)MONTEIRO, G. T. R.; HORA, H. R. M. Pesquisa em saúde pública: como desenvolver e validar instrumentos de coleta de dados. Curitiba: Appris, 2014. referem os seguintes passos para esse processo: definir o desempenho do domínio de interesse; selecionar um painel de especialistas qualificados no domínio; providenciar um roteiro estruturado para avaliar a correspondência entre os itens e o domínio (pareamento); e coletar e resumir os dados do processo de pareamento.

A Técnica Delphi utilizada em processos de validação de conteúdo consiste na construção de consenso de opiniões de um grupo de especialistas, realizado em rodadas sucessivas, com o objetivo de avaliar determinado problema ou proposta de intervenção. É preservado o anonimato dos participantes e das respostas individuais, possibilitando a interação das respostas por meio do feedback, a cada rodada, com sínteses do conteúdo técnico-científico, ou seja, prático e teórico, expresso nas opiniões emitidas pelos especialistas (Coutinho et al., 2013COUTINHO, S. S. et al. O uso da técnica Delphi na pesquisa em atenção primária à saúde: revisão integrativa. Revista Baiana de Saúde Pública, Salvador, v. 37, n. 3, p. 582-596, 2013. ; Marques; Freitas, 2018MARQUES, J. B. V.; FREITAS, D. Método Delphi: caracterização e potencialidades na pesquisa em educação. Pro-Posições, Campinas, v. 29, n. 2, p. 389-415, 2018.).

Originalmente, o número de rodadas utilizados na Técnica Delphi é definido pela construção de um consenso “final” a partir da superação/eliminação de divergências. Nesse formato, na primeira rodada, os especialistas respondem a cada questão de forma quantitativa justificando de forma qualitativa. Após a análise dos resultados da primeira rodada, o grupo de especialistas os recebe para uma nova rodada, e assim, repetidamente até que as opiniões estabeleçam um consenso sobre o objeto de estudo. É usual, entretanto, a realização da Técnica Delphi modificada, limitando-se o número de rodadas de duas a quatro, em função da necessidade de controlar o tempo disponível para construção de consensos (Coutinho et al., 2013COUTINHO, S. S. et al. O uso da técnica Delphi na pesquisa em atenção primária à saúde: revisão integrativa. Revista Baiana de Saúde Pública, Salvador, v. 37, n. 3, p. 582-596, 2013. ; Marques; Freitas, 2018MARQUES, J. B. V.; FREITAS, D. Método Delphi: caracterização e potencialidades na pesquisa em educação. Pro-Posições, Campinas, v. 29, n. 2, p. 389-415, 2018.).

O número de especialistas recomendados pela literatura para compor o painel varia em torno de 10 a 18 (Okoli; Pawlowski, 2004OKOLI, C.; PAWLOWSKI, S. D. The Delphi method as a research tool: an example, design considerations and applications. Information & Management, Amsterdã, v. 42, n. 1, p. 15-29, 2004.), não ultrapassando 30 (Munaretto; Corrêa; Cunha, 2013MUNARETTO, L. F.; CORRÊA, H. L.; CUNHA, J. A. C. Um estudo sobre as características do método Delphi e de grupo focal, como técnicas na obtenção de dados em pesquisas exploratórias. Revista de Administração da UFSM, Santa Maria, v. 6, n. 1, p. 9-24, 2013.). Entretanto, esse número e as características dos especialistas elencados podem variar de acordo com a questão a ser analisada e com a distribuição geográfica dos mesmos no contexto investigado (Boulkedid et al., 2011BOULKEDID, R. et al. Using and reporting the Delphi method for selecting healthcare quality indicators: a systematic review. PLoS ONE, San Francisco, v. 6, n. 6, e20476, 2011.). Para Powell (2003)POWELL, C. The Delphi technique: myths and realities. Journal of Advanced Nursing, Hoboken, v. 41, n. 4, p. 376-382, 2003., não há necessidade de a amostra ter representação estatística, devendo tomar por base a qualidade do painel de especialistas.

Os especialistas avaliam os indicadores discriminando quais possuem especificidade e sensibilidade para indicar o que se almeja avaliar. Além disso, analisam a redação do indicador, relevância, grau de adequação com relação à questão, acrescentando comentários e sugestões. Frequentemente é utilizada a escala Likert para padronizar ou quantificar a avaliação. Essa é uma escala psicométrica que atribui números associados a diferentes níveis de concordância; usualmente contém um ponto central que infere neutralidade ou incerteza sobre o indicador sob investigação, sendo nominal ou numérica, possibilitando análise estatística (Che; Schrager; Mangione-Smith, 2012CHE, A. Y.; SCHRAGER, S. M.; MANGIONE-SMITH, R. Quality measures for primary care of complex pediatric patients. Pediatrics, Illinois, v. 129, n. 3, p. 433-445, 2012. ; Monteiro; Hora, 2014MONTEIRO, G. T. R.; HORA, H. R. M. Pesquisa em saúde pública: como desenvolver e validar instrumentos de coleta de dados. Curitiba: Appris, 2014.; Pasarín et al., 2013PASARÍN, M. I. et al. Evaluation of primary care: the “Primary Care Assessment Tools - Facility version” for the Spanish health system. Revista Gaceta Sanitaria, Barcelona, v. 27, n. 1, p. 12-18, 2013. ).

A proposta de revisão e atualização do instrumento QualiAB partiu da análise das avaliações de serviços de APS realizadas no estado de São Paulo em 2007 e em 2010 (Castanheira et al., 2011CASTANHEIRA, E. R. L. et al. QualiAB: desenvolvimento e validação de uma metodologia de avaliação de serviços de atenção básica. Saúde e Sociedade, São Paulo, v. 20, n. 4, p. 935-947, 2011., ²⁰¹⁴CASTANHEIRA, E. R. L. et al. Avaliação de serviços de atenção básica em municípios de pequeno e médio porte no estado de São Paulo: resultados da primeira aplicação do instrumento QualiAB. Saúde em Debate, Rio de Janeiro, v. 38, n. 103, p. 679-691, 2014.). Embora essas avaliações tenham demonstrado boa capacidade de discriminação entre os serviços, após sete anos da formulação inicial, houve a necessidade de atualização (Zarili, 2015ZARILI, T. F. T. Avaliação de serviços de atenção básica: atualização e validação do instrumento QualiAB. 2015. Dissertação (Mestrado em Saúde Coletiva) - Faculdade de Medicina de Botucatu, Universidade Estadual Paulista “Julio de Mesquita Filho”, Botucatu, 2015.).

O processo de revisão foi realizado por meio de diferentes estratégias metodológicas, das quais a validação de conteúdo constituiu uma importante etapa para aferir se o instrumento e os indicadores utilizados refletiam o construto da avaliação - a qualidade organizacional dos serviços de APS.

Este estudo tem por objetivo descrever e analisar o uso da Técnica Delphi no processo de validação de conteúdo do QualiAB para aplicação nacional, de modo a conhecer as potencialidades e limites dessa técnica na validação de instrumentos de avaliação, particularmente, em relação à construção de indicadores da qualidade de serviços de APS.

Método

Este trabalho integra o projeto intitulado “Avaliação e monitoramento de serviços de atenção básica: atualização e validação do instrumento QualiAB para nível nacional”. Trata-se de um estudo metodológico, realizado entre outubro de 2014 e maio de 2015, que apresenta parte intermediária do processo de validação do QualiAB com emprego da Técnica Delphi “modificada” (Zarili, 2015ZARILI, T. F. T. Avaliação de serviços de atenção básica: atualização e validação do instrumento QualiAB. 2015. Dissertação (Mestrado em Saúde Coletiva) - Faculdade de Medicina de Botucatu, Universidade Estadual Paulista “Julio de Mesquita Filho”, Botucatu, 2015.).

A atualização e revisão da versão original do instrumento QualiAB, composta por 85 questões que produziam 65 indicadores (Castanheira et al., 2011CASTANHEIRA, E. R. L. et al. QualiAB: desenvolvimento e validação de uma metodologia de avaliação de serviços de atenção básica. Saúde e Sociedade, São Paulo, v. 20, n. 4, p. 935-947, 2011.), foi realizada por um processo iterativo, com revisão por pares e aplicação pré-teste em 30 unidades básicas de saúde de diferentes estados do Brasil. O instrumento obtido permitiu a definição de indicadores enviados aos especialistas para validação por meio da Técnica Delphi “modificada”.

Para constituir o painel de especialistas, foram selecionados 23 profissionais do campo da APS, segundo consulta à plataforma Lattes (2014)PLATAFORMA LATTES. Currículo do sistema currículo Lattes. Brasília, DF, 2014. Disponível em: <Disponível em: https://bit.ly/2NoeQmz >. Acesso em: 20 nov. 2014.
https://bit.ly/2NoeQmz... . Os critérios de inclusão utilizados foram: o desenvolvimento de pesquisas e a atuação nos serviços de APS e/ou em diferentes níveis de gestão - gerenciamento local de unidades básicas de saúde, ou participação na gestão pública na APS em nível federal, estadual ou municipal. Foram selecionados profissionais de instituições de diferentes estados e regiões brasileiras, havendo uma maior concentração de especialistas da região Sudeste, o que corresponde também a maior concentração de pesquisas em avaliação de APS nesta região (Quadro 1).

Primeiramente, foi realizado uma consulta para participação via e-mail e a partir do aceite foram enviados o questionário atualizado e uma planilha em Microsoft Excel com os indicadores. A utilização da Técnica Delphi “modificada” deu-se em duas rodadas.

O questionário enviado, fruto das etapas iniciais de revisão, era composto por 126 questões, sendo 21 descritivas, não pontuadas, e 105 questões pontuadas, que definiam os indicadores de qualidade organizacional agrupados em três dimensões avaliativas: Gestão (11 indicadores), Gerência (15 indicadores) e Assistência (79 indicadores).

O instrumento enviado para o painel de especialistas nas duas rodadas apresentava três critérios para avaliação dos indicadores: “grau de relevância” - aferido pela escala Likert de cinco pontos crescentes, com a pontuação 3 sendo o ponto central, 1 e 2 referindo-se ao polo que indica avaliação negativa, e 4 e 5 ao polo que indica boa avaliação; “aceitação” e “aplicabilidade nacional” - aferidos segundo respostas dicotômicas (sim ou não) de acordo com a avaliação de cada indicador; e continha, ao final, um espaço aberto para sugestões de mudanças e comentários.

Para o Grau de Relevância, o critério de corte considerado de resposta foi de 80% ou mais, ou seja, permaneceram no instrumento os indicadores que 80% ou mais dos especialistas avaliaram como 4 ou 5. Para os itens de aplicabilidade nacional e aceite ou rejeição do indicador, considerou-se 80% de respostas para “sim” ou “não”.

A consolidação da primeira rodada consistiu na síntese das opiniões e sugestões enviadas, e da argumentação da equipe responsável pelo questionário. Este material foi disponibilizado para os especialistas na segunda rodada, excluindo-se os indicadores aceitos segundo os critérios de corte, e reencaminhando-se os que não obtiveram consenso para novos apontamentos ou confirmação da resposta anteriormente dada.

A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa da Faculdade de Medicina de Botucatu (Parecer nº 401.063) em 2013. Todos os participantes foram esclarecidos com relação à pesquisa, e após leitura do Termo de Consentimento Livre e Esclarecido indicaram concordância.

Resultados

Entre os 23 especialistas convidados houve seis recusas, resultando no envio do material a 19 especialistas. Destes, na primeira rodada 14 responderam, correspondendo a uma taxa de resposta de 73,7%. Na segunda rodada participaram 13 especialistas (taxa de resposta de 92,8% em relação à primeira rodada).

Quanto ao perfil, os 14 especialistas são docentes em universidades públicas, 64,2% atuam no Ministério da Saúde, 57,1% em secretarias municipais de saúde, 50,0% em secretarias estaduais de saúde, 35,7% em assistência e/ou gerenciamento dos serviços de APS, além de outras instituições de apoio à gestão, como Conselho Nacional de Saúde, Conselho Estadual de Saúde, Comissão Intergestores Bipartite e Conselho de Secretários Municipais de Saúde. Com relação aos cursos de formação em graduação: Enfermagem (dois), Fisioterapia (um), Medicina (oito), Medicina e Fonoaudiologia (um), Serviço Social (um), Sociologia e Ciências Políticas (um). Quanto à localização, pertencem a cinco estados: Bahia (um), Pernambuco (um), São Paulo (nove), Rio de Janeiro (dois) e Rio Grande do Sul (um).

Dos 105 indicadores avaliados na primeira rodada, 40 foram aprovados, distribuídos em 45,5% de gestão, 13,3% de gerência e 41,7% de assistência. Os indicadores considerados aprovados não foram reenviados para a segunda rodada e estão elencados no Quadro 2.

Não houve consenso por parte de 80% ou mais dos especialistas em relação a 65 indicadores na primeira rodada, com avaliações divergentes em relação a um ou mais critérios, conforme apresentado na Tabela 1.

Desse modo, os 65 indicadores foram enviados para a segunda rodada. A planilha enviada para essa nova rodada apresentava o percentual obtido em cada critério (grau de relevância, aceite e aplicabilidade nacional), uma síntese das sugestões enviadas na primeira rodada, e comentários da equipe para cada indicador.

De forma sintetizada, as sugestões ou comentários mais relevantes da primeira e segunda rodadas em relação ao questionário e aos indicadores foram: pouca discriminação de qualidade de algumas questões, rejeição daquelas que abordavam as funções dos profissionais da equipe que continham um grande número de alternativas, apontamento de que em determinadas regiões do país não havia uma equipe completa de APS como preconizado e nem mesmo equipe de apoio pelo Núcleo de Apoio à Saúde da Família ou multiprofissional. Outras sugestões foram evitar a indução de respostas com alternativas extensas e explicativas, e sintetizar questões que tratassem de temas muito próximos.

Na segunda rodada foram consideradas as argumentações da equipe, com melhor compreensão dos especialistas sobre o tema abordado, desencadeando correções do enunciado e/ou das alternativas para maior clareza da questão.

A Tabela 2 apresenta os resultados da segunda rodada, com a distribuição percentual das respostas e do número de sugestões feitas para os 65 indicadores enviados para apreciação dos especialistas. A análise do grau de relevância dos indicadores foi o ponto em que houve maior divergência e que foi julgado de forma mais crítica, obtendo grau 4 ou 5 acima de 80% para apenas dez indicadores. Entretanto, no polo oposto, o grau de relevância 1 ou 2 ficou acima de 20% somente para seis indicadores, apontando uma concentração na pontuação central, ou seja, no grau de relevância 3, indicando um posicionamento considerado “neutro”.

Os resultados da segunda rodada apontam discordância entre os especialistas, uma vez que, apesar da baixa concentração de indicadores considerados com alto grau de relevância, 47 dos 65 (72,3%) foram aceitos e 35 (53,8%) foram considerados viáveis para avaliação nacional de serviços de APS.

A Tabela 3 apresenta uma síntese dos resultados da primeira e da segunda rodadas, considerando o conjunto dos critérios avaliados nas três dimensões utilizadas na validação. Observa-se que a maioria dos indicadores não obtiveram consenso, especialmente em relação às dimensões de Gerência e Assistência.

Discussão

Este artigo descreveu o processo de aplicação da Técnica Delphi modificada como parte das estratégias utilizadas na validação do instrumento QualiAB para aplicação em âmbito nacional. Enquanto etapa intermediária do processo de validação, a Técnica Delphi contribuiu com a reformulação de questões e de indicadores e validou parte deles, possibilitando avançar no processo de revisão desse instrumento.

Diversos estudos fazem uso dessa técnica para avaliar os indicadores do instrumento a ser utilizado ou para definir técnicas e competências profissionais, com ampliação do número de trabalhos nacionais e internacionais a partir do ano 2000, inclusive no âmbito da APS, com destaque para os estudos no campo do trabalho da Enfermagem (Boulkedid et al., 2011BOULKEDID, R. et al. Using and reporting the Delphi method for selecting healthcare quality indicators: a systematic review. PLoS ONE, San Francisco, v. 6, n. 6, e20476, 2011.; Keeney; Hasson; Mckenna, 2011KEENEY, S.; HASSON, F.; MCKENNA, H. The Delphi technique in nursing and health research. Oxford, UK: Wiley-Blackwell, 2011. ; Revorêdo et al., 2015REVORÊDO, L. S. et al. O uso da técnica Delphi em saúde: uma revisão integrativa de estudos brasileiros. Arquivos de Ciências da Saúde, [S.l.], v. 22, n. 2, p. 16-21, 2015.; Sousa et al., 2015).

As taxas de respostas e o número de especialistas participantes deste trabalho condizem com a literatura. Coutinho et al. (2013)COUTINHO, S. S. et al. O uso da técnica Delphi na pesquisa em atenção primária à saúde: revisão integrativa. Revista Baiana de Saúde Pública, Salvador, v. 37, n. 3, p. 582-596, 2013. realizaram uma revisão integrativa do uso da Técnica Delphi na qual foi observada uma variação de 6 a 305 especialistas, com taxa de retorno das respostas em primeira rodada de 50 a 70%, na segunda de 70 a 80%, chegando a 100% em estudos com pagamento. Os autores afirmam que a taxa de retorno é inversamente proporcional ao número de participantes, ou seja, quanto maior o número de especialistas convidados a participar, menor a taxa de resposta.

O nível de concordância utilizado como critério de corte para obtenção de consenso, definido em 80%, é referido na literatura como variando entre 50 e 100%, na dependência dos objetivos de cada estudo, e aproximando-se de cortes mais elevados com a aplicação de um Delphi “clássico” (quantas rodadas foram necessárias até o consenso). Alternativamente, a literatura aponta o uso da Técnica Delphi modificada como forma de estabelecer um painel ao qual podem se seguir novos approaches (Keeney; Hasson; Mckenna, 2011KEENEY, S.; HASSON, F.; MCKENNA, H. The Delphi technique in nursing and health research. Oxford, UK: Wiley-Blackwell, 2011. ).

Os resultados apontam os limites do uso da Técnica Delphi modificada para validação de instrumentos que avaliam objetos complexos, como a organização das ações desenvolvidas na APS, com controle temporal previamente definido em duas rodadas. A não construção de consenso sobre a maior parte dos indicadores propostos refere-se não apenas à quantidade de indicadores avaliados, mas especialmente à diversidade de temáticas abordadas e às grandes diferenças entre os contextos regionais em todo país.

Essas limitações mostraram-se mais relevantes do que a composição final do painel de especialistas. Ainda que o painel tenha concentrado um maior número de pesquisadores de instituições paulistas, sua composição contemplava a inserção em cinco diferentes estados, experiência de trabalho em diversos níveis de gestão e órgãos do SUS e diferentes formações profissionais.

Na primeira rodada houve aceitação de 38,1% dos indicadores propostos, acrescida de sugestões e discussões pertinentes, mas que não acarretaram dúvidas para os pesquisadores do projeto em validá-los. Contudo, na segunda rodada, após correções e argumentação da equipe, apenas 9,2% dos 65 indicadores foram aceitos, o que permite inferir que novas etapas de avaliação e reformulação dos indicadores seriam necessárias para obter um consenso.

Na segunda rodada, os indicadores referentes à “assistência” e “gerência” apresentaram um maior número de recomendações de alteração ou de questionamentos. Primeiramente, pode-se dizer que a dimensão “assistência” possui um panorama muito diversificado de ações, abrangendo ações de educação em saúde, promoção, prevenção e seguimento programático, com ações com enfoque na saúde da criança, da mulher, da pessoa idosa, de pessoas com deficiência, além de condições de risco e vulnerabilidade como atenção às pessoas acamadas, às condições crônicas, à violência e outros agravos de notificação epidemiológica.

O gerenciamento dos serviços também apresenta diversas ações sintetizadas no instrumento como indicadores de qualidade, que abrangem a estrutura e insumos, a coordenação do trabalho da equipe, planejamento das ações e condições que impactam diretamente no acesso ao serviço, como o fluxo da demanda espontânea, agendamento e tempo de espera.

O processo de validação do QualiAB teve etapas seguintes que não são apresentadas neste trabalho. Após a revisão do instrumento por meio da apreciação dos indicadores pelos especialistas e as sugestões de mudanças no questionário, foi realizada aplicação piloto em cinco regiões de saúde do estado de São Paulo, e da análise dos resultados obteve-se uma nova versão para aplicação em nível nacional e finalização do processo de validação.

Ainda que os resultados da segunda rodada não tenham sido suficientes para estabelecer um consenso e validar o conjunto dos indicadores, a articulação do julgamento dos especialistas por meio da Técnica Delphi modificada com as estratégias de validação que se seguiram possibilitou a superação dos limites apontados, mostrando-se positiva enquanto parte de um processo iterativo de validação.

Limitações do estudo

A definição prévia de realização da Técnica Delphi em duas rodadas mostrou-se insuficiente. Novas etapas para avaliação dos indicadores propostos, tal como preconizado pela Técnica Delphi clássica, poderiam ter ampliado o consenso obtido.

Por outro lado, a Técnica Delphi representa um paradigma interpretativo de natureza qualitativa baseada na experiência e expertise dos participantes, o que pode ser apontada como uma das riquezas, mas também um limite a processos de validação, especialmente quando referido a objetos complexos, como os abordados pelos serviços de APS. Essa complexidade se expressa especialmente na dimensão assistencial, para a qual poderia ser necessária a consulta adicional a diferentes especialistas do campo da APS com experiências voltadas a cada uma das diferentes áreas - como saúde da mulher, criança, idosos, violência, entre outras.

Considerações finais

A validação de instrumentos de avaliação da APS alia-se a uma cultura avaliativa, com o comprometimento de diversos atores desde a formulação de coleta de dados até a validação de instrumentos capazes de aferir as ações realizadas, de modo a contribuir com processos de mudança e com a qualificação dos serviços procurando ampliar as possibilidades de efetivação de um modelo assistencial em consonância com as necessidades de saúde da população.

A complexidade e diversidade das ações que compõem o conjunto de responsabilidades da APS, aliado às diferenças regionais de um país de dimensões continentais, representa um grande desafio para a construção de instrumentos capazes de serem aplicados a todos os serviços e que possam ser validados quanto a seu construto e aplicabilidade.

O painel de especialistas, composto por profissionais que possuem interface com a pesquisa e a gestão, pôde agregar elementos ao processo de validação e aprimoramento da capacidade avaliativa do instrumento. Contudo, o processo de validação foi concluído com a aplicação do instrumento in loco para adequação ao contexto dos serviços. Nesse sentido, para obtenção de um instrumento com especificidade, sensibilidade e aplicabilidade, houve necessidade de um processo iterativo de construção e validação composto por diferentes estratégias metodológicas, entre as quais a Técnica Delphi constituiu-se em uma importante etapa.

Referências

Datas de Publicação

Histórico