Resumo

O objetivo deste artigo é traduzir e adaptar para a cultura brasileira a ferramenta “Is research working for you? A self-assessment tool and discussion guide for health services management and policy organization”, que auto-avalia a capacidade institucional das organizações de Saúde em Adquirir, Avaliar, Adaptar e Aplicar evidências ciêntificas na tomada de decisão de políticas. Estudo metodológico, analítico, com abordagem quanti-qualitativa. Utilizou-se uma amostra de gestores (n=99), representando 24 organizações em saúde brasileiras, entre outubro de 2018 e novembro de 2020. Adaptações propostas foram realizadas de forma consensual após ajustes das discordâncias do comitê de especialistas - Coeficiente de Kappa [0,41; 0,43 e 0,74]. A Ferramenta 4A, versão brasileira, teve equivalência semântica, idiomática, experimental e conceitual com a original. O valor do Alpha de Cronbach foi de 0,961; o do Coeficiente de Correlação Intraclasse, de 0,960. A Ferramenta 4A é válida e confiável no Brasil quanto à consistência interna e conteúdo. Sua aplicação é catalisadora de ações para estruturar capacidades institucionais de tornar o uso de evidências cientificas sistemático na tomada de decisão das organizações em saúde.

Key words:
Translation; Evidence-based policy; Health management; Health organizations

Abstract

The scope of this article is to translate and adapt the tool “Is research working for you? A self-assessment tool and discussion guide for health services management and policy organization,” which self-assesses the institutional capacity of Health organizations to Acquire, Evaluate, Adapt and Apply scientific evidence in policy decision-making. It is a methodological, analytical study with a quantitative and qualitative approach. A sample of managers was used (n=99), representing 24 Brazilian health organizations, between October 2018 and November 2020. Proposed adaptations were made in a consensual way after adjustments of the disagreements of the expert committee - Kappa coefficient [0.41; 0.43 and 0.74]. Tool 4A, Brazilian version, had semantic, idiomatic, experimental, and conceptual equivalence with the original. The value of Cronbach’s Alpha was 0.961; the value of the Intraclass Correlation Coefficient was 0.960. Tool 4A is valid and reliable in Brazil in terms of internal consistency and content. Its application is a catalyst for actions to structure institutional capacities to make the use of scientific evidence systematic in the decision-making processes of health organizations.

Key words:
Translation; Evidence-based policy; Health management; Health organizations

Introdução

As responsabilidades das organizações em saúde em realizar intervenções assertivas no combate aos problemas necessitam de uma tomada de decisão complexa que enseja embasamentos confiáveis¹1 Oxman AD, Vandvik PO, Lavis JN, Fretheim A, Lewin S. SUPPORT Tools for evidence-informed health Policymaking (STP) 2: Improving how your organisation support the use of research evidence to inform policymaking. Chinese J Evidence-Based Med 2010; 10(3):247-254.^,22 Straus S, Tetroe J, Graham ID. Knowledge translation in health care - Moving from Evidence to Pratice. 2ª ed. Ottawa: BMJI; 2013.. Informar políticas através de evidências cientificas possibilita decisões qualificadas com menor possibilidade de ações errôneas. Porém, o uso sistemático evidências científicas nas organizações ainda é algo desafiador e urgente aos gestores de saúde, principalmente diante dos questionamentos à veracidade da ciência dos últimos tempos³3 Universidade Federal de São Paulo (UNIFESP). Negacionismo : a onda de ceticismo sobre o valor da ciência. Entreteses 2021; 13:8-13..

O processo de tomada de decisão em saúde é complexo e envolve desde a necessidade definir bem o problema a ser abordado; encontrar alternativas efetivas para enfrentá-lo; até agregar elementos políticos, administrativos-financeiros e legislativos favoráveis ao desenvolvimento de uma política de saúde exitosa. Essas etapas podem ser influenciadas por várias questões de forma positiva ou negativa⁴4 Gottems LBD, Pires MRGM, Calmon PCDP, Alves ED. O modelo dos múltiplos fluxos de Kingdon na análise de políticas de saúde: aplicabilidades, contribuições e limites. Saude Soc 2013; 22(2):511-520..

Evidências científicas podem ser entendidas como a demonstração de fatos (reais ou declarados), que foram testados ou descritos pela ciência, que podem fundamentar conclusões²2 Straus S, Tetroe J, Graham ID. Knowledge translation in health care - Moving from Evidence to Pratice. 2ª ed. Ottawa: BMJI; 2013.. Elas têm influência positiva sobre à tomada de decisão desde a formulação até a implementação de políticas públicas, pois fortalecem os sistemas de saúde aumentando eficácia, eficiência e efetividade, principalmente no contexto da saúde pública onde recursos financeiros escassos e necessidade de uma prestação de constas (accountability) transparentes são desafios contínuos ao gestor. Apesar de muitos argumentos a favor, sua adesão como componente usual na tomada de decisão de políticas governamentais é influenciada por múltiplos fatores, que podem se configurar barreiras a serem superadas para que o uso das evidências científicas como subsídio das decisões ocorra de forma sistemática no Brasil⁵5 Kneale D, Rojas-García A, Thomas J. Obstacles and opportunities to using research evidence in local public health decision-making in England. Health Res Policy Syst 2019; 17(1):61.

6 Oliveira SMVL, Bento AL, Valdes G, Oliveira TP, Souza AS, Barreto JOM. Institucionalização das políticas informadas por evidências no Brasil. Rev Panam Salud Publica 2020; 44:1.

7 Andrade KRC, Pereira MG. Tradução do conhecimento na realidade da saúde pública brasileira. Rev Saude Publica 2020; 54(72):1-7.^-88 World Health Organization (WHO). 58th World Health Assembly guidelines and information for media. Genebra: WHO; 2005..

Há um abismo entre a ciência e a tomada de decisão em políticas e sistemas de saúde (o know-do gap). Os tempos, as agendas, as perspectivas, as diferentes maneiras de buscar a verdade são muito diferentes entre os tomadores de decisão e pesquisadores, exigindo que as organizações busquem formas de adaptar-se para responder de forma adequada suas necessidades para apropriação das evidências científicas disponíveis⁹9 Panisset U, Chapman E, Abdala CVM, Martins W, Silva E, Barreto JOM. Políticas de saúde informadas por evidências científicas: fronteiras e desafios para a tradução do conhecimento para o SUS. In: Toma TS, Soares AC, Bortoli MC, Pirotta KCM, Derbli M, organizadores. Avaliação de Tecnologias e Inovação em Saúde no SUS: Desafios e Propostas para a Gestão. 1ª ed. São Paulo: Instituto de Saúde; 2015. p. 145-180.^,1010 Souza NM, Barreto JOM, Sousa CP, Deus N. Políticas de saúde informadas por evidências: relato da cooperação Brasil-Moçambique. Rev Mocam Cien Saude Maputo 2016; 2(1):53-58..

Em 2015, a Organização Mundial da Saúde (OMS), buscando estreitar a distância entre pesquisa e política, reconheceu que muitas de suas recomendações eram produzidas em processos sem o uso sistemático de evidências científicas. Esse foi um marco importante para que ela impulsionasse os Estados-Membros a fortalecer mecanismos que impulsionassem o uso de evidências científicas para apoiar decisões em saúde pública⁸8 World Health Organization (WHO). 58th World Health Assembly guidelines and information for media. Genebra: WHO; 2005.^,1111 World Health Organization (WHO). Alliance for Health Policy and Systems Research. Genebra: WHO; 2019..

Tomadores de decisão em diferentes níveis do sistema de saúde contribuem, sinergicamente, para uma cultura organizacional, que pode ser mais ou menos receptiva ao uso de evidências científicas. Por sua vez, estruturas e processos nas organizações contribuem para a capacidade dos indivíduos de realizar atividades e/ou tomar decisões informadas por evidências. Agir sobre esses pontos, na prática, exige que os gestores examinem abertamente os recursos que suas organizações têm em vigor e desenvolvam a capacidade desses recursos (sejam eles pessoas, programas ou estruturas) em usar a pesquisa¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.

13 Canadian Foundation for Healthcare Improvement (CFHI). Is research working for you? A self-assessment tool and discussion guide for health services management and policy organizations. Ottawa: CFHI; 2014.^-1414 Canadian Health Services Research Foundation (CHSRF). Is Research Working for You? A Self-Assessment Tool and Discussion Guide for Health Services Management and Policy Organizations. Ottawa: CHSRF; 2005..

A capacidade que uma organização em saúde tem de facilitar ou não o uso de evidências é complexa e ainda pouco compreendida. Existem algumas ferramentas avaliativas que ajudam a determinar quão bem um indivíduo é capaz de acessar, usar e compreender as evidências de pesquisa. Todavia, existem poucas ferramentas que foram desenvolvidas para esse tipo de avaliação na esfera organizacional¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.^,1515 Catallo C, Sidani S. The self-assessment for organizational capacity instrument for evidence-informed health policy: Preliminary reliability and validity of an instrument. Worldviews Evid Based Nurs 2014; 11(1):35-45.^,1616 Rodríguez DC, Hoe C, Dale EM, Rahman MH, Akhter S, Hafeez A, Irava W, Rajbangshi P, Roman T, Tîrdea M, Yamout R, Peters DH. Assessing the capacity of ministries of health to use research in decision-making: Conceptual framework and tool. Heal Res Policy Syst 2017; 15(1):1-13..

As organizações de saúde, em alguns casos, não incentivam os funcionários a desenvolver habilidades sobre as práticas de gestão e atenção e baseadas nas melhores evidências disponíveis. Arranjos organizacionais, tais como: gestão com integração de pesquisa, estruturas institucionais e regras para a formulação de políticas, tomada de decisão descentralizada, cultura e crenças, estilos de liderança, acesso a bancos de dados, colaboradores bilíngues, entre outros, podem atuar como barreiras ou facilitadores para a aceitação e o uso sistemático de pesquisas por tomadores de decisão em saúde, dependendo do nível de presença ou não na organização em saúde¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.^,1616 Rodríguez DC, Hoe C, Dale EM, Rahman MH, Akhter S, Hafeez A, Irava W, Rajbangshi P, Roman T, Tîrdea M, Yamout R, Peters DH. Assessing the capacity of ministries of health to use research in decision-making: Conceptual framework and tool. Heal Res Policy Syst 2017; 15(1):1-13.^,1717 Jakobsen MW, Eklund Karlsson L, Skovgaard T, Aro AR. Organisational factors that facilitate research use in public health policy-making: A scoping review. Heal Res Policy Syst 2019; 17(1):1-22..

Com o objetivo de ajudar as organizações na avaliação de seus pontos fortes e lacunas relacionados ao uso de evidências científicas em seus processos decisórios, foi criada, no Canadá, a ferramenta avaliativa “Is research working for you? A self-assessment tool and discussion guide for health services management and policy organization”. Ela avalia a capacidade da organização em usar a ciência, incluindo a disponibilidade de evidências; de avaliar as evidências; de adaptá-las e aplicá-las para subsidiar decisões¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.^,1414 Canadian Health Services Research Foundation (CHSRF). Is Research Working for You? A Self-Assessment Tool and Discussion Guide for Health Services Management and Policy Organizations. Ottawa: CHSRF; 2005.^,1818 Lester L, Haby MM, Chapman E, Kuchenmüller T. Evaluation of the performance and achievements of the WHO Evidence-informed Policy Network (EVIPNet) Europe. Heal Res policy Syst 2020; 18(1):109..

O compromisso com a Política Informada por Evidências (PIE) exige, primeiro das organizações em saúde, um balanço de facilitadores e de desafios, que podem influenciar institucionalmente o uso de evidências¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.^,1717 Jakobsen MW, Eklund Karlsson L, Skovgaard T, Aro AR. Organisational factors that facilitate research use in public health policy-making: A scoping review. Heal Res Policy Syst 2019; 17(1):1-22.. No Brasil, não foram encontrados por nós estudos publicados que utilizem ferramentas validadas para avaliar as competências organizacionais na utilização de evidências científicas para a tomada de decisão nas organizações em saúde. Assim, diante do exposto, apresenta-se a seguinte questão norteadora: Como realizar a adaptação transcultural de uma ferramenta que autoavalia as capacidades organizacionais de usar evidências científicas na tomada de decisão em saúde?

Nesse sentido, este estudo tem como objetivo descrever o processo de tradução e adaptação para a cultura brasileira do “Is research working for you? A self-assessment tool and discussion guide for health services management and policy organization”.

Metodologia

Trata-se de um estudo metodológico, analítico, com abordagem quanti-qualitativa. Os estudos metodológicos tratam do desenvolvimento, da validação e da avaliação de ferramentas e métodos de pesquisa¹⁹19 Beck DFPCT. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. 9º ed. Porto Alegre: Artmed; 2018..

A ferramenta avaliativa adaptada foi a “Is research working for you? A self-assessment tool and discussion guide for health services management and policy organization”, desenvolvida no Canadá pela Canadian Foundation for Healthcare Improvement - CFHI¹³13 Canadian Foundation for Healthcare Improvement (CFHI). Is research working for you? A self-assessment tool and discussion guide for health services management and policy organizations. Ottawa: CFHI; 2014. (atualmente Healthcare Excellence Canada - HEC). A ferramenta já foi validada, academicamente, no Canadá, na Colômbia, na Argentina, no México e na Geórgia¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.

13 Canadian Foundation for Healthcare Improvement (CFHI). Is research working for you? A self-assessment tool and discussion guide for health services management and policy organizations. Ottawa: CFHI; 2014.^-1414 Canadian Health Services Research Foundation (CHSRF). Is Research Working for You? A Self-Assessment Tool and Discussion Guide for Health Services Management and Policy Organizations. Ottawa: CHSRF; 2005..

Estruturalmente, a ferramenta é composta por duas partes: uma quantitativa e uma quanti-qualitativa. A parte 1 dispõe de 40 itens distribuídos em 4 dimensões avaliativas (Adquirir, Avaliar, Adaptar e Aplicar). Os itens são compostos por afirmativas no formato de escala do tipo Likert (Discordo fortemente; Discordo; Não concordo nem discordo; Concordo; Concordo plenamente). Na avaliação de cada dimensão da parte 1, a ferramenta tem a capacidade de responder as seguintes questões:

A segunda parte é composta por um guia de discussão com 7 perguntas com respostas objetivas de múltipla escolha. Essas questões pontuam as potencialidades e barreiras da autoavaliação organizacional guiada pelos 40 itens da parte 1. A discussão é realizada como um grupo focal, em que os participantes que responderam a parte 1 dialogam na direção de um consenso e de propostas de intervenção¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.^,1414 Canadian Health Services Research Foundation (CHSRF). Is Research Working for You? A Self-Assessment Tool and Discussion Guide for Health Services Management and Policy Organizations. Ottawa: CHSRF; 2005..

Processo de Adaptação Transcultural

O processo de adaptação transcultural foi desenvolvido em seis etapas²⁰20 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191. (Figura 1).

Primeiramente, obteve-se autorização, por meio de correio eletrônico, da instituição responsável pela formulação do instrumento. Essa autorização se refere à aceitação em realizar tradução e adaptação da ferramenta no Brasil²⁰20 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191..

Na etapa I, foi realizada a tradução inicial da ferramenta do inglês para o português por dois tradutores juramentados na língua inglesa. O tradutor 1 era da área de saúde; o tradutor 2, da área jurídica. Os tradutores trabalharam de forma independente e cega. Dessa etapa, resultaram duas versões no idioma português (T1 e T2)²⁰20 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191..

Na etapa II, foi realizada a síntese envolvendo as duas traduções (T1 e T2) e, comparando-a com o instrumento original, foi gerada a versão T12. Os dois tradutores e uma observadora (pesquisadora responsável) averiguaram se houve divergências nas escolhas das palavras pelos tradutores. O objetivo dessa revisão foi o refinamento linguístico e cultural da ferramenta²⁰20 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191..

A retrotradução, exigida na etapa III, a versão (T12) foi retraduzida para o inglês por outros dois tradutores bilíngues, de forma independente e cega, gerando as versões RT1 e RT2. Esse é um processo de verificação de validade para garantir que a versão traduzida está refletindo o mesmo item-conteúdo como versão original. A retrotradução foi feita por dois tradutores com o idioma de origem (inglês) como sua língua materna, sendo (neste caso) ambos da área de administração em saúde²⁰20 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191..

A finalidade das etapas I, II e III foi corrigir erros que comprometessem o significado dos itens e interpretações equivocadas durante a etapa de tradução, garantindo que a versão traduzida fosse a mais fidedigna possível à versão original da ferramenta²⁰20 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191..

Na etapa IV, um comitê de especialistas (n=3) avaliou, de forma consensual, se a tradução de cada ponto das dimensões da ferramenta estava coerente com a versão original, com base nas análises de equivalências semântica, idiomática, experiencial e conceitual²⁰20 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191.. A equivalência semântica refere-se ao significado das palavras (gramática e vocabulário); a idiomática, às expressões idiomáticas e aos coloquialismos; a experiencial remete a expressões ligadas à experiência e à cultura nacional; a conceitual representa o conceito explorado e a coerência do item em relação àquilo que se propõe²⁰20 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191.. Os integrantes do comitê de especialistas foram convidados de forma intencional: uma especialista na estrutura de instrumentos de pesquisa; e dois especialistas no conteúdo. O material à disposição do comitê incluiu o questionário original e cada tradução (T1, T2, a síntese de T12, RT1, RT2) (Figura 1), juntamente com os relatórios escritos correspondentes. Em uma planilha do Microsoft Excel®, os pesquisadores compilaram as sugestões apontadas para cada item.

O Coeficiente de Kappa²¹21 Silva RS, Paes ÂT. Por Dentro da Estati´stica: teste de concordância de Kappa. Educ Contin Saude Einstein 2012; 10(4):165-166. foi utilizado para analisar a concordância dos especialistas em relação à análise dos itens. Esse coeficiente permite avaliar tanto se a concordância está além do esperado tão somente pelo acaso quanto o grau dessa concordância. Quanto mais próximo de 1 for seu valor, maior é o indicativo de que existe uma concordância entre os juízes.

Na etapa V, depois de acrescentados e/ou retificados os ajustes sugeridos na etapa IV, procedeu-se à aplicação da ferramenta nas organizações em saúde. Essa etapa teve a intenção de testar a compreensão dos itens e o tempo de preenchimento, e as equivalências pontuadas na etapa IV.

A ferramenta foi aplicada a gestores de saúde (n=99), representando 24 organizações (7 Secretarias Municipais de Saúde; 1 Secretaria Estadual de Saúde; 16 Núcleos de Evidências (Núcleos de Evidências - unidades que atuam na realização de uso de evidência científica na formulação de políticas aos gestores de saúde⁶6 Oliveira SMVL, Bento AL, Valdes G, Oliveira TP, Souza AS, Barreto JOM. Institucionalização das políticas informadas por evidências no Brasil. Rev Panam Salud Publica 2020; 44:1.)). A coleta de dados dessa etapa foi realizada entre novembro de 2018 e outubro de 2020.

A aplicação da ferramenta foi realizada dentro de reuniões regulares das equipes. Os participantes preencheram a parte 1 da ferramenta, individualmente. Em seguida, discutiram, em forma de grupo focal, responderam os itens da parte 2 elaborando um consenso de respostas. A pesquisadora responsável esteve presente como observadora participante, manifestou-se em momentos que algum esclarecimento foi necessário¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.^,2020 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191..

Em alguns casos, foi necessário realizar a aplicação do instrumento por teleconferência (n=37 gestores/ 17 organizações), devido ao período de distanciamento social preventivo na pandemia do COVID-19. As demais aplicações aconteceram de forma presencial (n=64/ 7 organizações). As sessões foram gravadas e transcritas com o consentimento dos participantes. O instrumento foco desse estudo, na versão brasileira, foi chamado de “Ferramenta 4A”, fazendo referência às quatro dimensões avaliativas (Adquirir, Avaliar, Adaptar e Aplicar).

Para medir a consistência interna/confiabilidade dos itens da ferramenta, foi aplicado o Coeficiente Alpha de Cronbach. Esse teste mede a magnitude em que os itens de uma ferramenta estão relacionados. A consistência interna de um questionário é tanto maior quanto mais perto de 1 estiver o valor da estatística²²22 Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika 1951; 16(3):297-334.^,2323 Cicchetti DV. Interreliability standards in psychological evaluations. Psychol Assess 1994; 6(4):284-290.. Para medir a reprodutibilidade da ferramenta através da concordância entre os respondentes, usou-se o Coeficiente de Correlação Intraclasse (CCI), com índice de significância de 95%. Quanto mais próximo de 1 for seu valor, maior é o indicativo de que existe uma concordância entre os respondentes, ou seja, que o instrumento é mais compreendido²⁴24 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33(1):159-174..

Por fim, na etapa VI, foi realizada a submissão dos relatórios e formulários ao desenvolvedor do instrumento com o objetivo de ciência e acompanhamento de que as etapas recomendadas foram seguidas. Obteve-se resposta de aprovação final e reconhecimento dessa tradução como legítima e, de forma oficial, a única autorizada oficialmente no Brasil, até então²⁰20 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191..

A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa do Instituto Aggeu Magalhães, Fundação Oswaldo Cruz, CAAE: 86325818.2.0000.5190, sob o parecer nº 2.630.785. Os participantes aceitaram a participar assinando o Termo de Consentimento Livre e Esclarecido (TCLE), sendo assegurados sua não identificação e o sigilo das respostas. Este trabalho foi oriundo de estudo de tese de Doutorado Acadêmico em Saúde Pública, vinculada ao Instituto Aggeu Magalhães, Fundação Oswaldo Cruz.

Resultados

A ferramenta “Is research working for you? A self-assessment tool and discussion guide for health services management and policy organization” foi adaptada culturalmente para o português brasileiro. As versões T1 e T2 apresentaram formatos próximos, porém existiu a necessidade de ajuste em alguns pontos, principalmente relacionados aos termos da área da saúde - a T1 foi mais correspondente à área do que a T2. A versão T12 foi finalizada após uma rodada de reunião entre os tradutores e a pesquisadora-observadora. Na retrotradução, as duas traduções realizadas de forma independente (RT1 e RT2) foram comparadas à versão original pela observadora; ambas foram consideradas como análogas à versão original, tendo pontos diferentes, mas sem discrepâncias quanto ao significado. Em seguida, a versão consolidada foi analisada pelo comitê de especialistas. Os valores do Coeficiente de Kappa para os 47 itens da ferramenta em relação a todas as equivalências e a tradução T12 estão descritos na Tabela 1. E os valores do coeficiente de Kappa para concordância entre os especialistas nas equivalências semântica, idiomática, cultural e conceitual, separadamente, estão descritas na Tabela 2.

Observam-se concordâncias moderadas dos especialistas 1 e 2 em relação à forma global da versão T12, e uma concordância substancial do especialista 3. Em relação às equivalências separadamente entre os especialistas, as que tiveram mais discordâncias foram as semânticas e idiomáticas. A cultural e a conceitual tiveram uma concordância de substancial a excelente²⁴24 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33(1):159-174..

No consenso final entre os especialistas, foram feitas modificações em todos os itens, exceto em 5, 10, 11, 12, 30, 31, 33, 35 e 40, que estavam adequados quanto às equivalências analisadas. As características dos respondentes estão descritas na Tabela 3.

Em média, cada aplicação da ferramenta por organização em saúde durou por volta de 1h40min considerando as duas etapas. A versão final, pós pré-testes, não teve nenhuma mudança em termos estruturais. As versões comparativas e a ferramenta final encontram-se no Quadro 1.

Neste estudo, para o pré-teste, a consistência interna/confiabilidade da ferramenta, medida pelo coeficiente Alfa de Cronbach, teve o valor de 0,961, com base em itens padronizados. Ou seja, na ferramenta, há alta coerência interna, medindo-se o mesmo conceito geral de forma consistente e confiável²²22 Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika 1951; 16(3):297-334.^,2424 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33(1):159-174.. Em relação à reprodutibilidade, medida pelo CCI²³23 Cicchetti DV. Interreliability standards in psychological evaluations. Psychol Assess 1994; 6(4):284-290., teve o valor de 0,960. Ou seja, o entendimento e a capacidade de resposta e de compressão da ferramenta estão adequados ao contexto brasileiro. Ao analisar comparando item por item da ferramenta, caso algum item fosse excluído, a medida do Alpha de Cronbach variaria entre 0,959 e 0,961, demonstrando pouca variabilidade na avaliação dos participantes.

Discussão

A tradução e a adaptação transcultural de ferramentas exigem um processo acadêmico complexo e disciplinado de operacionalização. Não consiste apenas em traduzir palavras de forma literal. Há de se considerar a cultura, o contexto das instituições, os conceitos e significados nas palavras do local de destino da ferramenta. As pessoas envolvidas na tradução devem ser qualificadas e agir de forma independente e cega, além de serem oficialmente fluentes nos idiomas trabalhados. Os consensos servem para dirimir discrepâncias e não conformidades conceituais realizadas na tradução. Neste trabalho, as etapas de tradução, síntese e retrotradução foram desenvolvidas rigorosamente de acordo com a literatura escolhida. Sabe-se que um processo de tradução incompleto pode levar a um instrumento não equivalente em um novo contexto, e consequentemente limita a comparabilidade das respostas entre países. Apesar do processo ser considerado caro e demorado, consideramos que a rigorosidade aplicada foi a melhor maneira de obter métrica equivalente, resultados de testes estatísticos significativos e um instrumento de primariamente adaptado a cultura brasileira de forma satisfatória²⁰20 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191.^,2525 Menezes AC, Penha CS, Amaral FMA, Pimenta AM, Ribeiro HCTC, Pagano AS, Mata LRFD. Latino Students Patient Safety Questionnaire: cross-cultural adaptation for Brazilian nursing and medical students. Rev Bras Enferm 2020; 73(Supl. 6):e20190621..

A versão final da ferramenta foi constituída após análise do comitê de especialistas, que comparou todas as traduções anteriores realizando modificações consensuais na produção de um protótipo final compatível com o contexto cultural brasileiro. A expertise dos escolhidos para realizar essa etapa foi fundamental: profissionais com experiência teórica e prática em relação ao tema do estudo e no método. A literatura não apresenta um consenso sobre os pontos que tornam um profissional “um juiz”, mas destaca que deve ter experiência no contexto trabalhado; publicar e pesquisar sobre o tema; compreender a estrutura conceitual envolvida e ter conhecimento metodológico sobre a construção de instrumentos - atributos que neste estudo foram respeitados²⁰20 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191.^,2626 Gagnon MP, Attieh R, Dunn S, Grandes G, Bully P, Estabrooks CA, Légaré F, Roch G, Ouimet M. Development and content validation of a transcultural instrument to assess organizational readiness for knowledge translation in healthcare organizations: The OR4KT. Int J Heal Policy Manag 2018; 7(9):791-797..

A concordância entre os especialistas em relação às equivalências analisadas foi considerada de razoável a excelente, segundo o Coeficiente de Kappa. Esse parâmetro é considerado aceitável na literatura²⁷27 Morosini IAC, Oliveira DC, Ferreira FM, Fraiz FC, Torres-Pereira CC. Performance of distant diagnosis of dental caries by teledentistry in juvenile offenders. Telemed J E Heal 2014; 20(6):584-589.. Na busca das equivalências semântica, idiomática, experimental e conceitual, após a avaliação do comitê dos especialistas, algumas palavras e expressões sofreram mudanças visando à obtenção de uma linguagem clara e acessível. A aplicação de termos mais adequados à cultura no país-destino traz clareza e maior entendimento ao item. Sempre há algum outro termo ou palavra a ser inserido, mas a escolha pontual e legítima que traz o entendimento geral do item já assegura o objetivo da adaptação transcultural, sabendo que o entendimento da frase vai além do próprio item, podendo ser ampliado, contextualizado e melhor exemplificado na aplicação da ferramenta na prática¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.^,2020 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191..

Nas entrelinhas dos resultados, percebeu-se que o pré-teste foi um momento em que os gestores tiveram abertura e se mostraram disponíveis para expressarem aspectos cruciais da organização em que trabalhavam. Isso se mostra fundamental, pois a utilidade da ferramenta pode ser limitada quando a avaliação não ocorre em um ambiente democrático ou com pouca liberdade de expressão. As diferentes organizações de saúde que participaram, através de seus gestores, na autoavaliação de suas capacidades de usar evidências científicas trouxeram diferenças importantes de percepções e capacidades diferenciadas dependendo do nível de escolaridade dos gestores e tipo/finalidade da organização, por exemplo.

Para que a ferramenta seja eficaz, os participantes devem se sentir à vontade para discutir a capacidade de uso da pesquisa de sua organização, sem medo de sua segurança no trabalho ou outras consequências negativas¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.^,1313 Canadian Foundation for Healthcare Improvement (CFHI). Is research working for you? A self-assessment tool and discussion guide for health services management and policy organizations. Ottawa: CFHI; 2014..

A consistência interna medida pelo Coeficiente Alpha de Cronbach²²22 Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika 1951; 16(3):297-334.^,2424 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33(1):159-174. foi quase perfeita, demonstrando confiabilidade da Ferramenta 4A no contexto brasileiro. Estudos trazem que esse resultado revela maior robustez e relevância ao estudo¹⁵15 Catallo C, Sidani S. The self-assessment for organizational capacity instrument for evidence-informed health policy: Preliminary reliability and validity of an instrument. Worldviews Evid Based Nurs 2014; 11(1):35-45.^,2424 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33(1):159-174.. A concordância entre os participantes, medida através do Coeficiente de Correlação Intraclasse, foi excelente. Isso mostra homogeneidade quanto ao entendimento das perguntas entre os participantes, dando maior possibilidade de reprodução confiável e precisa da ferramenta no país²³23 Cicchetti DV. Interreliability standards in psychological evaluations. Psychol Assess 1994; 6(4):284-290..O tempo gasto nas diferentes seções da ferramenta variou consideravelmente: entre 1h35min e 2h20min, numa média de 2h de aplicação, um pouco maior comparativamente a estudos de aplicação dessa ferramenta em outros países¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.^,1818 Lester L, Haby MM, Chapman E, Kuchenmüller T. Evaluation of the performance and achievements of the WHO Evidence-informed Policy Network (EVIPNet) Europe. Heal Res policy Syst 2020; 18(1):109.^,2828 Uneke CJ, Sombie I, Keita N, Lokossou V, Johnson E, Ongolo-Zogo P. An assessment of national maternal and child health policy-makers' knowledge and capacity for evidence-informed policy-making in Nigeria. Int J Heal Policy Manag 2017; 6(6):309-316.^,2929 Gagliardi AR, Dobrow MJ. Identifying the conditions needed for integrated knowledge translation (IKT) in health care organizations: Qualitative interviews with researchers and research users. BMC Health Serv Res 2016; 16:256.. O esforço e o tempo maior colocado foram despendidos nos grupos focais no processo de consenso. Os grupos focais foram bem úteis no exercício de resposta da parte 2 da ferramenta, pois se constituíram como potenciais catalisadores para discussões importantes no reconhecimento de obstáculos, mas também potenciais organizadores de ações estratégicas para o uso do conhecimento na esfera organizacional¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.^,1616 Rodríguez DC, Hoe C, Dale EM, Rahman MH, Akhter S, Hafeez A, Irava W, Rajbangshi P, Roman T, Tîrdea M, Yamout R, Peters DH. Assessing the capacity of ministries of health to use research in decision-making: Conceptual framework and tool. Heal Res Policy Syst 2017; 15(1):1-13..

A Ferramenta 4A fornece um ponto de partida útil para as organizações em saúde comprometidas em aumentar e/ou monitorar sua capacidade de usar evidências científicas para informar decisões. O processo de tomada de decisão é amplo e multiinformativo, mas, se a organização tem uma capacidade já estruturada para adquirir, avaliar, adaptar mecanismos de aplicação das evidências científicas, será mais fácil pô-las como um dos subsídios para informar a decisão de forma legítima pelos tomadores de decisão¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46.^,1717 Jakobsen MW, Eklund Karlsson L, Skovgaard T, Aro AR. Organisational factors that facilitate research use in public health policy-making: A scoping review. Heal Res Policy Syst 2019; 17(1):1-22.^,3030 Mayne R, Green D, Guijt I, Walsh M, English R, Cairney P. Using evidence to influence policy: Oxfam's experience. Palgrave Commun 2018; 4:122.. Os resultados do estudo demonstraram a utilidade da ferramenta em suscitar uma provocativa discussão em grupo que pode gerar etapas de ação subsequentes na organização em saúde¹²12 Kothari A, Edwards N, Hamel N, Judd M. Is research working for you? Validating a tool to examine the capacity of health organizations to use research. Implement Sci 2009; 4:46..

Sugere-se a aplicação dessa ferramenta com uma amostra maior de organizações em saúde, principalmente em âmbito nacional, estadual e municipal, nos pontos federativos de tomada de decisão em saúde, especialmente no setor público. Precisa-se que a capacidade das organizações em saúde brasileiras de usar evidências científicas seja conhecida e publicizada para que ações efetivas e programas de incentivos governamentais possam ser pensados de forma mais objetiva e concreta, a fim de serem implementadas no caminho da construção de uma maior institucionalização das políticas informadas por evidências no país.

Este estudo possui algumas limitações. Primeiro, a comunicação limitada com o autor do instrumento, pela distância e difícil acesso em meio a pandemia, mesmo em meios virtuais; o tradutor R1 ser de nacionalidade brasileira e não de um país de língua inglesa, conforme proposto pelo referencial metodológico²⁰20 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the Process of Cross-Cultural Adaptation of Self-Report Measures. Spine 2000; 25(24):3186-3191.; as dificuldade em ter acesso a algumas organizações de forma presencial devido à necessidade de distanciamento social suscitada pela pandemia do COVID-19 no ano de 2020 - daí adaptações como aplicação do grupo focal via webconferência. As limitações foram abordadas de forma pontual, não houve prejuízo aos resultados.

A Adaptação transcultural da Ferramenta, agora oficialmente chamada de “4A”, é inédita no Brasil. Considera-se que ela seja útil e adequada para fornecer aos gestores em saúde, seja no âmbito da macro ou da microgestão, parâmetros para autoavaliar suas competências em usar evidências na tomada de decisão na formulação de políticas de saúde. Pode ser utilizada de imediato dentro do contexto de organizações em saúde brasileiras. Contribui como catalisadora do processo de introdução de ações institucionais como estratégias para estruturar capacidades práticas em tornar o uso de evidências sistemático e usual nas organizações em saúde.

Isso é fundamental para uma maior consolidação do Sistema Único de Saúde (SUS) para torná-lo cada vez mais efetivo e com maior possibilidade de ser resolutivo com ações mais assertivas, produzindo políticas de saúde cada vez melhores. O que se deseja é que gestores em saúde e outros atores sociais avaliem suas capacidades organizacionais para que com isso busquem melhores estratégias para potencializar o uso das melhores evidências de pesquisa para informar a formulação de política e tomada de decisão no SUS, a fim de responder em tempo adequado, às necessidades prioritárias da população mediante a articulação das melhores evidências de pesquisa. A descrição dos resultados qualitativos e quantitativos dessa validação serão apresentados em uma próxima publicação deste grupo de autores.

Este estudo encorpa o rol de trabalhos sobre tradução e adaptação transcultural de instrumentos, ainda pouco abordados no Brasil; com isso, contribui para o ensino e a pesquisa na área, impulsionando outros trabalhos semelhantes. Finalmente, coopera com a comparação de resultados internacionalmente de forma mais acurada e com o fortalecimento da homogeneidade dos dados coletados.

Referências

Datas de Publicação

Histórico