Meta-avaliação como descritor controlado: um passo fundamental para qualificar buscas e expandir os estudos na área da saúde

Erika Bomer Cagliari Isabel Craveiro Francisco Rafael A. Santos Tania C. M. S. B. Rehem Sobre os autores

Resumo

O artigo objetiva contribuir para a reflexão sobre o uso e apropriações do termo “meta-avaliação” no campo da pesquisa em saúde, especialmente no que tange à importância da adoção do vocábulo controlado. Parte-se do pressuposto que, na pesquisa em saúde, o tesauro DeCS/MeSH é amplamente utilizado para indexação e recuperação de artigos científicos. No entanto, o termo “meta-avaliação” não consta como opção de descritor controlado nesta base. O texto apresenta-se na forma de um ensaio, discutindo a relevância sobre as práticas de avaliação, somado à necessidade de expansão e consolidação de estudos sobre meta-avaliação na área da saúde. Considera-se fundamental e propõe-se a inclusão do termo “meta-avaliação” no tesauro DeCS/MeSH.

Palavras-chave:
Meta-avaliação; Avaliação em saúde; Descritores em ciências da saúde; Vocábulo controlado

Introdução

A avaliação de programas e outras intervenções em saúde desempenha papel fundamental na tomada de decisões, alocação de recursos e contínua melhoria dos serviços. Nesse contexto, a institucionalização do processo avaliativo como prática de gestão, integrada a um sistema organizacional capaz de absorver os resultados e conhecimentos gerados, é essencial para consolidá-lo como um relevante instrumento de controle social (Hartz, 2012HARTZ, Z. M. A. Meta-avaliação da gestão em saúde: desafios para uma "nova saúde pública". Ciência & Saúde Coletiva, Rio de Janeiro, v. 14, n. 4, p. 832-834, abr. 2012. Disponível em: https://doi.org/10.1590/S1413-81232012000400004. Acesso em: 1 ago. 2023.
https://doi.org/10.1590/S1413-8123201200...
).

No entanto, é preciso reconhecer que a qualidade e validade das avaliações podem apresentar variações significativas. Santos . (2021SANTOS, E. M. dos et al. Meta-avaliação: quais padrões de qualidade, por quê, de quem e para quê? Revista Brasileira de Avaliação, v. 10, n. 2, e101721, 2021. https://doi.org/10.4322/rbaval202110017
https://doi.org/10.4322/rbaval202110017...
) destacam que a preocupação com a qualidade das avaliações decorre não apenas dos recursos e esforços exigidos por elas, mas da influência de seus resultados na validação de escolhas estratégicas e da necessidade de assegurar que sejam conduzidas de acordo com as melhores práticas de investigação.

Avaliadores têm buscado estabelecer padrões de legitimidade, qualidade técnico-científica e ética para os estudos avaliativos desde o início da década de 60. Nesse contexto, surge o conceito de meta-avaliação, segundo Scriven (1991SCRIVEN, M. Evaluation thesaurus. 4. th. California: Sage, 1991.), como uma abordagem sistemática para avaliar avaliações, por meio da descrição, julgamento e síntese das funções e práticas de uma avaliação, utilizando critérios e padrões previamente estabelecidos e validados. Definição semelhante à proposta por Stufflebeam (2001), que a descreve como um processo de descrição, julgamento e síntese de um estudo ou qualquer outro procedimento avaliativo, fundamentada em padrões e critérios propostos e validados pelas associações profissionais e outros organismos auditores. Ressalta-se que a expressão “avaliar a avaliação”, cunhada e popularizada por Scriven em 1969, foi antecipadamente proposta pelo educador Pedro Orata, na década de 40, ao discutir a transição terminológica de teste e medida para avaliação na época (Furtado, 2022FURTADO, J. P. Por uma meta-avaliação sem metafísica. Revista Brasileira de Avaliação, v. 11, n. 2, e112022, 2022. DOI: https://doi.org/10.4322/rbaval202211020
https://doi.org/10.4322/rbaval202211020...
).

Do ponto de vista prático, a institucionalização da meta-avaliação possibilita às organizações a implementação e governança de sistemas de avaliação éticos, efetivos e eficientes. A meta-avaliação é o imperativo profissional da avaliação; ela evidencia que a avaliação é autorreferente e transcende a mera aplicação para terceiros (Scriven, 2018).

Assim, a meta-avaliação é um campo de estudo que se dedica à avaliação sistemática e crítica de avaliações existentes, devendo ser conduzida com base em procedimentos ou critérios predefinidos para coletar, analisar e interpretar dados de maneira organizada e metodológica. Portanto, não se baseia em impressões subjetivas ou observações casuais, mas em um processo reflexivo, estruturado e planejado, incluindo o questionamento de posições subjacentes, a identificação de possíveis vieses, a análise da consistência lógica e da força das evidências apresentadas. Essa busca pelo desenvolvimento de referências sólidas, guias, padrões e normas para orientar a prática avaliativa tem sido cada vez mais incorporada e desenvolvida em organizações globais, regionais e nacionais (Silva ., 2020SILVA, R. R.; JOPPERT, M. P.; GASPARINI, M. F. V. (org.). Diretrizes para a prática de avaliação no Brasil (livro eletrônico). 1. ed. Rio de Janeiro: Rede Brasileira de Monitoramento e Avaliação, 2020. Disponível em: Diretrizes-para-a-pratica-de-avaliacao-no-Brasil_20ago20.pdf (rbma.site); Furtado, 2022FURTADO, J. P. Por uma meta-avaliação sem metafísica. Revista Brasileira de Avaliação, v. 11, n. 2, e112022, 2022. DOI: https://doi.org/10.4322/rbaval202211020
https://doi.org/10.4322/rbaval202211020...
).

Hartz, Rehem e Craveiro (2021HARTZ, Z. M. A.; REHEM, T. C. S. B.; CRAVEIRO, I. Meta-avaliação em tempos de pandemia: para que servem as intervenções da covid-19? In: SANTOS, A. O.; LOPES, L. T. (Org.). Principais elementos. Brasília: Conselho Nacional de Secretários de Saúde, 2021. p. 168-180. (Coleção Covid-19, v. 1). Disponível em: https://www.conass.org.br/biblioteca/volume-1-principais-elementos/. Acesso em: 29 jun. 2023.
https://www.conass.org.br/biblioteca/vol...
) recomendam incentivar o uso da meta-avaliação como uma ferramenta de aprimoramento da saúde pública, de forma a evitar que avaliações inconsistentes ou enviesadas influenciem negativamente as decisões dos gestores. No entanto, Hartz (2008) ressalta a importância de não subestimar a complexidade da meta-avaliação, apesar da aparente simplicidade das definições sobre sua realização; enfatiza a necessidade de uma reflexão cuidadosa e uma investigação minuciosa das práticas acadêmicas e funcionais envolvidas. Malta et al. (2019), por exemplo, oferecem uma contribuição metodológica para o incremento de estudos meta-avaliativos, sistematizada em quatro etapas: o planejamento da meta-avaliação; a seleção e compilação do material a ser meta-avaliado; a análise da qualidade dos estudos e a síntese das conclusões da avaliação.

No Brasil, segundo Santos . (2021SANTOS, E. M. dos et al. Meta-avaliação: quais padrões de qualidade, por quê, de quem e para quê? Revista Brasileira de Avaliação, v. 10, n. 2, e101721, 2021. https://doi.org/10.4322/rbaval202110017
https://doi.org/10.4322/rbaval202110017...
), a meta-avaliação é influenciada por quatro referências importantes: as diretrizes da Organização para a Cooperação e Desenvolvimento Econômico (OCDE/DAC), os padrões estabelecidos pelo Joint Committee on Standards of Educational Evaluation (JCSEE), as Diretrizes de Avaliação para América Latina e Caribe (DALAC) e as Diretrizes para a Prática de Avaliação no Brasil (DPAB). Tais referências, no entanto, não estabelecem entre si padrões conceituais ou metodológicos - inclusive a Rede Brasileira de Monitoramento e Avaliação destaca que as diretrizes para avaliação no Brasil (DPAB) não tratam dos conceitos de avaliabilidade e meta-avaliação diretamente (Silva ., 2020SILVA, R. R.; JOPPERT, M. P.; GASPARINI, M. F. V. (org.). Diretrizes para a prática de avaliação no Brasil (livro eletrônico). 1. ed. Rio de Janeiro: Rede Brasileira de Monitoramento e Avaliação, 2020. Disponível em: Diretrizes-para-a-pratica-de-avaliacao-no-Brasil_20ago20.pdf (rbma.site)).

A diversidade conceitual e metodológica impõe um desafio adicional para o progresso dos estudos científicos relativos à meta-avaliação. Para promover uma compreensão mais profunda do tema e impulsionar o desenvolvimento dos estudos em meta-avaliação, é fundamental consolidar as bases epistemológicas e premissas da pesquisa científica no domínio da saúde. Neste contexto, Dodebei (2002DODEBEI, V. L. D. L. M. Tesauro: linguagem de representação da memória documentaria. Rio de Janeiro: Intertexto, 2002.) destaca que as linguagens de indexação são cruciais para representar o conteúdo dos recursos informacionais nos sistemas de organização e recuperação da informação.

Os tesauros, uma das linguagens mais clássicas de indexação, desempenham papel fundamental no controle terminológico; com a função de traduzir a linguagem natural em linguagem controlada, tornando mais eficaz o serviço de indexação e a precisão dos resultados de busca (Curras, 1995CURRÁS, E. Tesauros, linguagens terminológicas. Trad.: Antônio Felipe Corrêa da Costa. Brasília: IBICT, 1995.). Gomes (1990GOMES, H.E. (coord.). Manual de elaboração de tesauros monolíngues. Brasília: Programa Nacional de Bibliotecas de Instituições de Ensino Superior, 1990.) define o tesauro como uma linguagem documental e dinâmica que contém termos relacionados, semântica e logicamente, abrangendo um domínio do conhecimento. Assim, o vocábulo controlado desempenha papel fundamental na pesquisa científica. Caso a publicação não utilize descritores que estejam de acordo com a nomenclatura das bases de dados, corre o risco de não ser encontrada e, consequentemente, pouco citada, valorizada, reconhecida e fomentada (Brandau; Monteiro; Braile, 2005BRANDAU, R.; MONTEIRO, R.; BRAILE, D. M. Importância do uso correto dos descritores nos artigos científicos. Braz J Cardiovasc Surg., São Paulo, v. 20, n. 1, jan 2005. Disponível em: https://doi.org/10.1590/S0102-76382005000100004. Acesso em: 10 ago. 2023.
https://doi.org/10.1590/S0102-7638200500...
).

Nesse sentido, este ensaio objetiva discutir a importância e benefícios da incorporação do termo "meta-avaliação" como um descritor controlado, considerando seus benefícios para o campo da pesquisa meta-avaliativa em saúde. Busca-se argumentar sobre os desafios para definição de uma estratégia de busca assertiva no desenvolvimento de pesquisas, bem como sobre a importância do vocábulo estruturado para pesquisa em meta-avaliação, frente à diversidade de conceitos, propostas e critérios metodológicos anteriormente explicitados. Por fim, após criteriosa análise da estrutura do principal tesauro da saúde, propõe-se a inclusão e categorização do termo em quatro ramos hierárquicos da árvore conceitual DeCS/MeSH.

Cabe ressaltar que um ensaio, segundo Meneghetti (2011MENEGHETTI, F. K. O que é um ensaio-teórico? Revista de Administração contemporânea, João Pessoa, v. 15, n. 2, p. 320-332, mar. 2011. Disponível em: https://www.scielo.br/j/rac/a/4mNCY5D6rmRDPWXtrQQMyGN/?lang=pt. Acesso em: 1 ago. 2023.
https://www.scielo.br/j/rac/a/4mNCY5D6rm...
), é caracterizado por sua natureza reflexiva e interpretativa, diferente da forma classificatória da ciência. Desta forma, pretende-se fomentar a reflexão e o debate, sem a pretensão de esgotar o tema.

Desafios para definição de uma estratégia de busca assertiva

A disseminação da informação científica desempenha papel crucial no avanço da ciência, uma vez que é por meio da interação entre pesquisadores e sociedade que o conhecimento progride. Este conhecimento, por sua vez, é construído sobre uma base de saberes preexistentes. Assim, surge a necessidade de comunicar os resultados das pesquisas de maneira a estabelecer uma base sólida para futuras investigações científicas (Gäal; Martins, 2022GÄAL, L. P. M.; MARTINS, M.S. Acesso aberto no contexto da pesquisa em Ciência da Informação. Transinformação, v. 34, e220016, 2022. DOI: https://doi.org/10.1590/2318-0889202234e220016. Acesso em: 4 mar. 2024.
https://doi.org/10.1590/2318-0889202234e...
). Ademais, o volume de informações e estudos disponíveis cresce de forma exponencial. Ao buscar respostas a uma pergunta científica, é comum deparar-se com uma miríade de resultados apontando nas mais diversas direções, até mesmo antagônicas. Além disso, o pesquisador enfrenta preocupações que vão além do conteúdo do seu estudo, como a formatação, a normalização documentária e, especialmente, a seleção adequada de descritores.

Segundo Latorraca . (2019LATORRACA, C. O. C. et al. Busca em bases de dados eletrônicas da área da saúde: por onde começar. Diagnóstico & Tratamento, São Paulo, v. 24, n. 2, p. 59-63, 2019. Disponível em: https://docs.bvsalud.org/biblioref/2019/09/1015338/rdt_v24n2_59-63.pdf. Acesso em: 1 ago. 2023.
https://docs.bvsalud.org/biblioref/2019/...
), o processo de elaboração de uma estratégia de busca para bases de dados da área da saúde pode ser estruturado em quatro passos iniciais: identificação da pergunta estruturada, escolha da base de dados, escolha e uso dos descritores e escolha e uso dos operadores booleanos. Apropriar-se destes passos é fundamental para conseguir elaborar uma estratégia de busca adequada, capaz de recuperar os estudos de interesse e que sejam capazes de oferecer subsídios para responder à pergunta proposta. Assim, os descritores são termos que permitem o encontro mais preciso do que se procura nas bases de dados. A escolha correta desses termos é essencial para que uma revisão seja, de fato, representativa do conhecimento existente sobre o tópico pretendido.

Brandau, Monteiro e Braile (2005BRANDAU, R.; MONTEIRO, R.; BRAILE, D. M. Importância do uso correto dos descritores nos artigos científicos. Braz J Cardiovasc Surg., São Paulo, v. 20, n. 1, jan 2005. Disponível em: https://doi.org/10.1590/S0102-76382005000100004. Acesso em: 10 ago. 2023.
https://doi.org/10.1590/S0102-7638200500...
) ressaltam a importância de diferenciar palavra-chave e descritor, argumentando que a primeira não obedece a nenhuma estrutura, é concebida a partir da linguagem livre. Reforçam, ainda, que para uma palavra-chave tornar-se um descritor ela tem que passar por um rígido controle de sinônimos, significado e importância na árvore de determinado assunto.

Observa-se que o uso correto dos descritores controlados auxilia na precisão e padronização da pesquisa em saúde, facilitando a recuperação da informação relevante e contribuindo para a qualidade da pesquisa e da tomada de decisões na área. Portanto, construir uma estratégia de busca equilibrada em termos de sensibilidade e especificidade se torna mais desafiador na ausência de descritores controlados, requerendo a utilização de termos semelhantes.

Neste ponto, destaca-se a problemática enfrentada no desenvolvimento de um protocolo para uma revisão de escopo sobre meta-avaliação em saúde. Na ocasião, identificou-se que o termo “meta-avaliação” não consta como vocábulo controlado nos sistemas DeCS/MeSH, amplamente utilizados para indexar e categorizar informações na área da saúde (Cagliari ., 2023CAGLIARI, E. B.; SOUSA, N. P.; CRAVEIRO, I.; REHEM, T. C. M. S. B. Overview of meta-evaluation studies in Health: a scoping review protocol. OSF Home, Virginia, 2023. Disponível em: https://doi.org/10.17605/OSF.IO/YW6EQ. Acesso em: 1 ago. 2023.
https://doi.org/10.17605/OSF.IO/YW6EQ...
). O fato de o termo não ser um descritor controlado exigiu do grupo de pesquisadores a busca por termos aproximados e/ou relacionados ao tema, que também haviam sido utilizados em artigos e referencial bibliográfico pesquisado anteriormente, com objetivo de construir a melhor estratégia de busca.

Despertou-se então para dois cenários, cuja discussão se faz relevante: a busca ampliada e inespecífica por termos aproximados e/ou relacionados ao tema (como por exemplo, “avaliação em saúde”, “estudos de avaliação como tópico”, “avaliação de programa”), resultou em inúmeros estudos inespecíficos, devido a abrangência e inespecificidade dos vocábulos. Na leitura de alguns trabalhos de revisão de escopo sobre meta-avaliação, observou-se grande quantidade de trabalhos identificados, porém a inclusão de estudos para efetiva análise é baixíssima. No trabalho de revisão de escopo sobre meta-avaliação na atenção primária à saúde, por exemplo, os pesquisadores iniciam sua busca com 11.641 estudos e acabam por analisar como elegíveis apenas 23 (Bay Junior et al., 2022).

Por outro lado, a busca focada no termo específico “meta-avaliação” ou “metavaliação” resultou em estudos mais específicos, embora haja o risco de perdas de estudos não indexados com esta “palavra-chave”. Além disso, outro aspecto foi evidenciado: os termos meta-avaliação e meta-análise são utilizados como sinônimos por alguns pesquisadores na saúde. Scriven (2009) alerta para este risco e enfatiza a necessidade de evitar o erro de confundir meta-avaliação com meta-análise. Segundo ele, meta-análise é uma técnica estatística, idealizada e introduzida por Gene Glass na década de 1970, aplicável apenas a um conjunto de estudos quantitativos (que podem ou não ser avaliativos), por sintetizar seus resultados em termos de significância estatística. Já a meta-avaliação só se aplica a avaliações, podendo avaliar uma avaliação que é inteiramente qualitativa.

Acredita-se que ambos os cenários seriam mais bem ajustados se o termo “meta-avaliação” se tornasse vocábulo na base de indexação. Não seria necessária uma busca tão ampliada e inespecífica, tampouco o termo seria subutilizado ou utilizado de forma inadequada. A indexação do termo contribuiria na definição de uma estratégia de busca mais assertiva e, consequentemente, na recuperação e valorização da pesquisa meta-avaliativa no campo da saúde.

A importância do vocábulo estruturado para pesquisa em meta-avaliação

Conforme problematizado anteriormente, a busca pela informação científica disponível na literatura pode se tornar improdutiva ou confusa sem uma compreensão básica de como o conhecimento é organizado ou indexado.

Uma característica essencial da pesquisa científica é sua progressão temporal; cada avanço se baseia no conhecimento acumulado anteriormente, formando uma complexa rede de informações, interligadas de forma coerente, que define a estrutura do conhecimento. Assim, a construção de um vocabulário específico não é um mero acessório na ciência. Essa terminologia desempenha papel crucial no avanço científico, facilitando uma troca de informações mais eficiente e precisa. De acordo com Dias (2000DIAS, C. A. Terminologia: conceitos e aplicações. Ciência da Informação, v. 29, n. 1, p. 90-92, abr. 2000.), a terminologia representa o conhecimento técnico-científico de maneira organizada, por meio de manuais e glossários, e unifica esse conhecimento por meio de normas e padrões. Sem uma terminologia adequada, os especialistas enfrentariam dificuldades na comunicação, na transmissão e na representação organizada desse conhecimento. Porém, a análise crítica do controle e gestão da informação científica revela um cenário complexo, permeada por dinâmicas de poder e interesses.

A origem dos tesauros está ligada às demandas informacionais das mudanças político-sociais e tecnológicas dos anos 1950. A padronização dos termos descritores e a criação de relações entre conceitos foram cruciais para facilitar a localização e recuperação de informações. A criação de tesauros foi influenciada por fatores históricos, culturais e ideológicos, destacando-se duas vertentes teóricas principais: uma originada na América do Norte, com uma abordagem alfabética, e outra influenciada pela tradição europeia de classificação bibliográfica (Lancaster, 1968).

Segundo Miranda, Medeiros e Sujii (1990MIRANDA, L. M. C. de; MEDEIROS, M. B. B.; SUJII, M. K. Elaboração de tesauros utilizando-se o programa de elaboração de tesauros em microcomputador (Tecer). Revista de Biblioteconomia De Brasília, v. 18, n. 2, p. 185-192, 1990. Disponível em: https://periodicos.unb.br/index.php/rbbsb/article/view/46693. Acesso em: 4 mar. 2024.
https://periodicos.unb.br/index.php/rbbs...
), o tesauro conceitual ou terminológico, é uma linguagem especializada, composta por termos linguísticos, que possibilita a descrição padronizada de assuntos em documentos nos sistemas de recuperação da informação, em conformidade com regras e padrões internacionais, incluindo a definição de relações semânticas entre conceitos. Na área da saúde o tesauro Descritores em Ciências da Saúde (DeCS) e Medical Subject Headings (MeSH) são importantes ferramentas utilizadas na indexação e recuperação da informação, desempenhando papel fundamental na organização e padronização dos termos utilizados na literatura científica especializada. O DeCS foi criado em 1986 pela Bireme, a partir do MeSH que surgiu em 1963 e é produzido pela U.S. National Library of Medicine (Pellizzon, 2004PELLIZZON, R. F. Pesquisa na área de saúde. 1. base de dados DeCS (Descritores em Ciências da Saúde). Acta Cirúrgica Brasileira, São Paulo, v. 19, n. 4, p. 153-163, 2004. Disponível em: https://red.bvsalud.org/decs/wp-content/uploads/sites/4/2016/11/Pellizzon-Pesquisa-na-%C3%A1rea-da-sa%C3%BAde-Base-de-dados-DeCS.pdf. Acesso em: 1 ago. 2023.
https://red.bvsalud.org/decs/wp-content/...
).

Vocabulários estruturados são necessários para descrever, organizar e prover acesso à informação. O uso de um vocabulário estruturado permite ao pesquisador recuperar a informação com o termo exato utilizado para descrever o conteúdo daquele documento científico (DECS, 2023).

Figueira (2018FIGUEIRA, C. S. Ideologia e discursos sobre trabalho, educação e saúde nos descritores em ciências da saúde. Trabalho, Educação e Saúde, [S. l.], Rio de Janeiro, v. 16 n. 3, p. 1.337-1.360, set./dez. 2018. DOI: http://dx.doi.org/10.1590/1981-7746-sol00148.
http://dx.doi.org/10.1590/1981-7746-sol0...
) enfatiza que a linguagem documentária do DeCS é também um objeto político e ideológico, e dissemina para a área das ciências em saúde uma maneira de pensar o campo de trabalho, educação e saúde. Em outras palavras, afirma que o DeCS, ao atribuir sinonímia a determinados termos, exerce influência sobre as concepções e interpretações em disputa na sociedade, configurando-se como um instrumento linguístico-ideológico. Neste sentido, é fundamental a análise criteriosa e propositiva das bases, de forma a contribuir para sua evolução e adequação ao longo do tempo.

Segundo o DeCS, uma nova categoria pode ser estabelecida em situações que envolvam: uma área de conhecimento inédita; uma área em que a terminologia do DeCS é inadequada; ou uma área em que os termos estão dispersos entre as categorias existentes. Assim, o propósito de adotar o termo “meta-avaliação” como um descritor controlado é multifacetado e visa alcançar benefícios significativos na condução da pesquisa meta-avaliativa.

Primeiramente, a inclusão de “meta-avaliação” como um descritor controlado busca promover a padronização da terminologia, garantindo que os termos utilizados pelos pesquisadores sejam uniformes. É especialmente relevante em áreas multidisciplinares, nas quais diferentes terminologias podem ser utilizadas para descrever conceitos semelhantes. Outro aspecto importante é a recuperação precisa da informação: com a utilização de descritores controlados economiza-se tempo e esforço na pesquisa, aumentando a eficiência na recuperação da informação e mitigando o viés de seleção. Além disso, eles geralmente são organizados em uma estrutura hierárquica, na qual termos mais abrangentes são subdivididos em termos mais específicos; o que permite uma exploração hierárquica e relacional dos conceitos, possibilitando uma investigação mais precisa e abrangente. Adicionalmente, os descritores controlados tendem a estar inter-relacionados, o que facilita a exploração de conceitos correlatos. Por fim, a utilização destes descritores contribui para a comparabilidade e replicabilidade dos estudos - ao fornecer informações precisas sobre os termos utilizados na pesquisa, os descritores controlados possibilitam que outros pesquisadores reproduzam e comparem os estudos. Esse aspecto é essencial para a validação e replicabilidade da pesquisa, bem como para a construção de um corpo de conhecimento sólido e confiável ao longo do tempo (Fujita; Tolare, 2019FUJITA, M. S. L.; TOLARE, J. B. Vocabulários controlados na representação e recuperação da informação em repositórios brasileiros. Informação & Informação, [S. l.], v. 24, n. 2, p. 93-125, 2019. DOI: 10.5433/1981-8920.2019v24n2p93.
https://doi.org/10.5433/1981-8920.2019v2...
; Cruz , 2022CRUZ, M. C. A.; FERNEDA, E.; FUJITA, M. S.L. A disponibilização de vocabulário controlado aos usuários para a recuperação da informação. Revista Ibero-Americana de Ciência da Informação, [S. l.], v. 15, n. 1, p. 266-282, 2022. DOI: 10.26512/rici.v15.n1.2022.42464.
https://doi.org/10.26512/rici.v15.n1.202...
).

Em resumo, os descritores controlados desempenham papel crucial na pesquisa científica, facilitando a recuperação precisa da informação; padronizando a terminologia; permitindo a exploração hierárquica e relacional dos conceitos; apoiando revisões sistemáticas e promovendo a comparabilidade e replicabilidade dos estudos. Desta forma, mais uma vez, reforça-se a importância da adoção do vocábulo estruturado para pesquisa em meta-avaliação.

Meta-Avaliação como descritor DeCS/MeSH - uma proposta de categorização

Neste ponto, faz-se necessário detalhar minimamente a estrutura do tesauro DeCS/MeSH. Composta por um vasto vocabulário de termos, organizados em uma hierarquia e relacionados entre si, disponibilizados em quatro idiomas (inglês, português, espanhol e francês).

Conforme disposto no site do DeCS, a árvore hierárquica do DeCS/MeSH é organizada em três níveis principais: categoria ampla, subcategoria e descritor. As categorias amplas são os principais tópicos que agrupam os descritores relacionados. Cada categoria abrange um conjunto específico de assuntos relacionados à saúde, sendo representadas por letras. Já as subcategorias estão um nível abaixo das categorias amplas e servem para organizar os descritores de maneira mais específica dentro de cada categoria, representadas por uma numeração específica. Os descritores são os termos específicos que representam conceitos e assuntos dentro de cada subcategoria, possuindo um número único no MeSH/DeCS.

Essa estrutura hierárquica permite que os descritores sejam organizados de forma sistemática, facilitando a navegação e a busca por informações específicas em diferentes níveis de detalhamento. Os descritores mais abrangentes são encontrados nas categorias amplas, enquanto os mais específicos estão localizados nos níveis mais baixos das subcategorias e descritores. Isso torna o MeSH/DeCS uma ferramenta poderosa para indexar e acessar informações na área da saúde de maneira estruturada e eficiente.

Além da hierarquia, o DeCS/MeSH utiliza relações entre termos, como sinônimos e termos relacionados, para melhorar a precisão das buscas. Os sinônimos permitem que diferentes palavras sejam usadas para representar o mesmo conceito, enquanto os termos relacionados indicam conceitos que têm alguma relação, mas não são sinônimos diretos.

O tesauro DeCS/MeSH é dinâmico e realiza atualizações em sua base anualmente, permitindo a sugestão para inclusão de novos termos, através de formulário disponível no seu site, aba “Sugerir novo termo”, intitulado “Formulário para sugerir a criação de novos termos ao DeCS”. Assim, seguiram-se os passos dispostos no formulário para consolidar a proposição do termo meta-avaliação. Dos itens preenchidos no formulário, destacam-se os seguintes aspectos:

  • O termo sugerido nos três idiomas (português, espanhol e inglês) foi: Meta-avaliação (com hífen, conforme preconizado por Scriven), Meta-evaluación e Meta-evaluation.

  • O conceito sugerido para o termo Meta-avaliação foi o cunhado por Scriven em 1969 e reforçado ao longo de sua bibliografia: a avaliação de uma avaliação. Como mencionado, Michael Scriven, considerado um dos pioneiros da meta-avaliação, propôs uma abordagem sistemática para avaliar avaliações, com o objetivo de verificar sua validade, utilidade e relevância. Assim, a meta-avaliação é um meio para assegurar e comprovar a qualidade das avaliações e assinalar o caminho para o aperfeiçoamento profissional dos avaliadores. Além disso, destacou-se que os termos meta-avaliação e meta-análise são utilizados como sinônimos por alguns pesquisadores na saúde. Enfatizou-se, assim, a importância de um conceito claro e direto, compatível epistemologicamente.

  • Por fim, para a indicação do ramo hierárquico que o termo deverá ser inserido, avaliou-se criteriosamente a estrutura hierárquica disponível no site DeCS/MeSH. A partir desta análise, identificaram-se quatro possibilidades categorização: 1. Assistência à Saúde, 2. Ciência e Saúde, 3. Saúde Pública e 4. Características de Publicações.

Cada categoria ampla foi analisada em suas subdivisões e conceitos, com o objetivo de buscar a melhor hierarquização do termo meta-avaliação. Neste sentido, identificaram-se as seguintes alternativas, conforme o Quadro 1:

Quadro 1
Sugestão de inclusão do termo “meta-avaliação” na estrutura hierárquica DeCS/MeSH

Como o tesauro permite a indicação de um ou mais ramos hierárquicos da árvore conceitual DeCS, nos quais o novo termo deverá ser inserido, optou-se pela indicação de inclusão nas quatro sugestões acima mencionadas.

Conclusão

Diante da relevância e reflexão crítica sobre as práticas de avaliação, somadas à necessidade de expansão e consolidação de estudos sobre meta-avaliação na área da saúde, considera-se fundamental a inclusão do termo "meta-avaliação" no tesauro DeCS/MeSH.

Acredita-se que inclusão do termo em quatro ramos hierárquicos do tesauro DeCS/MeSH trará maior visibilidade aos estudos meta-avaliativos, além de possibilitar a melhor acurácia na adoção dos termos por parte dos pesquisadores, otimizando as estratégias de busca e colaborando para a aplicação adequada do conceito. Espera-se que na próxima atualização do tesauro o termo seja incorporado e disponibilizado conforme solicitado.

Ademais, ressalta-se a importância de que outros meta-avaliadores também realizem a sugestão da inclusão do termo ao tesauro DeCS/MeSH e reforcem a importância deste passo - fundamental para qualificar buscas e expandir os estudos de meta-avaliação em saúde.

Referências

  • BAY JÚNIOR, O. G. et al. Meta-evaluation in primary health care evaluative studies: a scoping review. Research Square, North Carolina, 28 jan. 2022. Preprint (Version 1) available at Research Square. Disponível em: https://doi.org/10.21203/rs.3.rs-1282037/v1 Acesso em: 1 ago. 2023.
    » https://doi.org/10.21203/rs.3.rs-1282037/v1
  • BRANDAU, R.; MONTEIRO, R.; BRAILE, D. M. Importância do uso correto dos descritores nos artigos científicos. Braz J Cardiovasc Surg., São Paulo, v. 20, n. 1, jan 2005. Disponível em: https://doi.org/10.1590/S0102-76382005000100004 Acesso em: 10 ago. 2023.
    » https://doi.org/10.1590/S0102-76382005000100004
  • CAGLIARI, E. B.; SOUSA, N. P.; CRAVEIRO, I.; REHEM, T. C. M. S. B. Overview of meta-evaluation studies in Health: a scoping review protocol. OSF Home, Virginia, 2023. Disponível em: https://doi.org/10.17605/OSF.IO/YW6EQ Acesso em: 1 ago. 2023.
    » https://doi.org/10.17605/OSF.IO/YW6EQ
  • CURRÁS, E. Tesauros, linguagens terminológicas. Trad.: Antônio Felipe Corrêa da Costa. Brasília: IBICT, 1995.
  • CRUZ, M. C. A.; FERNEDA, E.; FUJITA, M. S.L. A disponibilização de vocabulário controlado aos usuários para a recuperação da informação. Revista Ibero-Americana de Ciência da Informação, [S. l.], v. 15, n. 1, p. 266-282, 2022. DOI: 10.26512/rici.v15.n1.2022.42464.
    » https://doi.org/10.26512/rici.v15.n1.2022.42464.
  • DESCRITORES em Ciências da Saúde: DeCS. 2023. ed. rev. e ampl. São Paulo: BIREME; OPAS; OMS, 2023. Disponível em: http://decs.bvsalud.org Acesso em: 01 ago. 2023.
    » http://decs.bvsalud.org
  • DIAS, C. A. Terminologia: conceitos e aplicações. Ciência da Informação, v. 29, n. 1, p. 90-92, abr. 2000.
  • DODEBEI, V. L. D. L. M. Tesauro: linguagem de representação da memória documentaria. Rio de Janeiro: Intertexto, 2002.
  • ELLIOT, L. G. (2011). Meta-avaliação: das abordagens às possibilidades de aplicação. Ensaio: Avaliação E Políticas Públicas Em Educação, v. 19, n. 73, p. 941-964. https://doi.org/10.1590/S0104-40362011000500011
    » https://doi.org/10.1590/S0104-40362011000500011
  • FIGUEIRA, C. S. Ideologia e discursos sobre trabalho, educação e saúde nos descritores em ciências da saúde. Trabalho, Educação e Saúde, [S. l.], Rio de Janeiro, v. 16 n. 3, p. 1.337-1.360, set./dez. 2018. DOI: http://dx.doi.org/10.1590/1981-7746-sol00148
    » http://dx.doi.org/10.1590/1981-7746-sol00148
  • FUJITA, M. S. L.; TOLARE, J. B. Vocabulários controlados na representação e recuperação da informação em repositórios brasileiros. Informação & Informação, [S. l.], v. 24, n. 2, p. 93-125, 2019. DOI: 10.5433/1981-8920.2019v24n2p93.
    » https://doi.org/10.5433/1981-8920.2019v24n2p93.
  • FURTADO, J. P. Por uma meta-avaliação sem metafísica. Revista Brasileira de Avaliação, v. 11, n. 2, e112022, 2022. DOI: https://doi.org/10.4322/rbaval202211020
    » https://doi.org/10.4322/rbaval202211020
  • GÄAL, L. P. M.; MARTINS, M.S. Acesso aberto no contexto da pesquisa em Ciência da Informação. Transinformação, v. 34, e220016, 2022. DOI: https://doi.org/10.1590/2318-0889202234e220016 Acesso em: 4 mar. 2024.
    » https://doi.org/10.1590/2318-0889202234e220016
  • GOMES, H.E. (coord.). Manual de elaboração de tesauros monolíngues. Brasília: Programa Nacional de Bibliotecas de Instituições de Ensino Superior, 1990.
  • HARTZ, Z. M. A. Meta-avaliação da gestão em saúde: desafios para uma "nova saúde pública". Ciência & Saúde Coletiva, Rio de Janeiro, v. 14, n. 4, p. 832-834, abr. 2012. Disponível em: https://doi.org/10.1590/S1413-81232012000400004 Acesso em: 1 ago. 2023.
    » https://doi.org/10.1590/S1413-81232012000400004
  • HARTZ, Z. M. A.; REHEM, T. C. S. B.; CRAVEIRO, I. Meta-avaliação em tempos de pandemia: para que servem as intervenções da covid-19? In: SANTOS, A. O.; LOPES, L. T. (Org.). Principais elementos. Brasília: Conselho Nacional de Secretários de Saúde, 2021. p. 168-180. (Coleção Covid-19, v. 1). Disponível em: https://www.conass.org.br/biblioteca/volume-1-principais-elementos/. Acesso em: 29 jun. 2023.
    » https://www.conass.org.br/biblioteca/volume-1-principais-elementos
  • LANCASTER, F. W. Vocabulary control for information retrieval. Arlington: Information Resources, 1986.
  • LATORRACA, C. O. C. et al. Busca em bases de dados eletrônicas da área da saúde: por onde começar. Diagnóstico & Tratamento, São Paulo, v. 24, n. 2, p. 59-63, 2019. Disponível em: https://docs.bvsalud.org/biblioref/2019/09/1015338/rdt_v24n2_59-63.pdf Acesso em: 1 ago. 2023.
    » https://docs.bvsalud.org/biblioref/2019/09/1015338/rdt_v24n2_59-63.pdf
  • MENEGHETTI, F. K. O que é um ensaio-teórico? Revista de Administração contemporânea, João Pessoa, v. 15, n. 2, p. 320-332, mar. 2011. Disponível em: https://www.scielo.br/j/rac/a/4mNCY5D6rmRDPWXtrQQMyGN/?lang=pt Acesso em: 1 ago. 2023.
    » https://www.scielo.br/j/rac/a/4mNCY5D6rmRDPWXtrQQMyGN/?lang=pt
  • MIRANDA, L. M. C. de; MEDEIROS, M. B. B.; SUJII, M. K. Elaboração de tesauros utilizando-se o programa de elaboração de tesauros em microcomputador (Tecer). Revista de Biblioteconomia De Brasília, v. 18, n. 2, p. 185-192, 1990. Disponível em: https://periodicos.unb.br/index.php/rbbsb/article/view/46693 Acesso em: 4 mar. 2024.
    » https://periodicos.unb.br/index.php/rbbsb/article/view/46693
  • PELLIZZON, R. F. Pesquisa na área de saúde. 1. base de dados DeCS (Descritores em Ciências da Saúde). Acta Cirúrgica Brasileira, São Paulo, v. 19, n. 4, p. 153-163, 2004. Disponível em: https://red.bvsalud.org/decs/wp-content/uploads/sites/4/2016/11/Pellizzon-Pesquisa-na-%C3%A1rea-da-sa%C3%BAde-Base-de-dados-DeCS.pdf Acesso em: 1 ago. 2023.
    » https://red.bvsalud.org/decs/wp-content/uploads/sites/4/2016/11/Pellizzon-Pesquisa-na-%C3%A1rea-da-sa%C3%BAde-Base-de-dados-DeCS.pdf
  • RIBEIRO, M. A. P. Geopolítica do Conhecimento e Teoria: um estudo sobre a circulação de teoria nas revistas e Ciências Sociais brasileiras. Arquivos do CMD, v. 10, n. 1, p. 290-314, 2023. Rhttps://periodicos.unb.br/index.php/CMD/article/view/51690
    » https://periodicos.unb.br/index.php/CMD/article/view/51690
  • SANTOS, E. M. dos et al. Meta-avaliação: quais padrões de qualidade, por quê, de quem e para quê? Revista Brasileira de Avaliação, v. 10, n. 2, e101721, 2021. https://doi.org/10.4322/rbaval202110017
    » https://doi.org/10.4322/rbaval202110017
  • SILVA, R. R.; JOPPERT, M. P.; GASPARINI, M. F. V. (org.). Diretrizes para a prática de avaliação no Brasil (livro eletrônico). 1. ed. Rio de Janeiro: Rede Brasileira de Monitoramento e Avaliação, 2020. Disponível em: Diretrizes-para-a-pratica-de-avaliacao-no-Brasil_20ago20.pdf (rbma.site)
  • SCRIVEN, M. Evaluation thesaurus. 4. th. California: Sage, 1991.
  • SCRIVEN, M. Meta-evaluation revisited. Journal of MultiDisciplinary Evaluation. Michigan, v. 6, n. 11, p. iii-viii, 2008. Disponível em: https://journals.sfu.ca/jmde/index.php/jmde_1/article/view/220 Acesso em: 29 jun. 2023.
    » https://journals.sfu.ca/jmde/index.php/jmde_1/article/view/220

Datas de Publicação

  • Publicação nesta coleção
    29 Nov 2024
  • Data do Fascículo
    2024

Histórico

  • Recebido
    21 Set 2023
  • Revisado
    12 Mar 2024
  • Aceito
    02 Abr 2024
PHYSIS - Revista de Saúde Coletiva Rio de Janeiro - RJ - Brazil
E-mail: publicacoes@ims.uerj.br