RESUMO

Objetivo:

Descrever as principais funcionalidades do sistema “Apoio à Revisão Sistemática” na identificação e exclusão de artigos duplicados e no auxílio na análise de elegibilidade durante a condução de estudo de revisão sistemática.

Métodos:

O sistema foi desenvolvido com base em um modelo de processo incremental, utilizando-se metodologia Ágil. É de código fechado e foi publicado em plataforma proprietária. O ambiente de produção onde o sistema foi implantado possui arquitetura que permite que a infraestrutura utilizada aumente ou diminua conforme a demanda. As funcionalidades foram apresentadas com inserção de imagens das interfaces da versão para computadores, simulando uma revisão sistemática.

Resultados:

Após a importação dos resumos recuperados nas bases de dados PubMed, Embase e Web of Science, o sistema permite a identificação e eliminação de duplicatas para posterior leitura e análise de título e resumo, etapa que pode ser realizada por mais de um revisor de maneira independente. Após a quebra do cegamento entre os revisores, as respostas sobre a elegibilidade dos estudos podem ser comparadas automaticamente para facilitar a resolução de divergências pelos pesquisadores. É possível filtrar os resultados e gerar um arquivo PDF com os estudos elegíveis.

Conclusão:

A versão 1.0 do sistema “Apoio à Revisão Sistemática” encontra-se disponível na web (sysrev.azurewebsites.net) para auxiliar pesquisadores nas etapas iniciais de um estudo de revisão sistemática.

Palavras-chave:
Bases de dados bibliográficos; Computação em nuvem; Revisão sistemática; Software; Tecnologia da informação

INTRODUÇÃO

Na área da saúde, o volume de artigos científicos publicados nas bases de dados aumenta constantemente. A leitura e avaliação crítica dessa produção representa um desafio para os pesquisadores, de modo que os estudos de revisão sistemática são ferramentas imprescindíveis para a atualização científica¹1 Egger M, Smith GD, Altman DG. Systematic reviews in health care: meta-analysis in context. 2nd ed. London: BMJ Publishing Group; 2001..

Diferentemente das revisões tradicionais da literatura, as sistemáticas e de escopo requerem protocolos com os critérios a serem seguidos para a garantia da confiabilidade dos resultados e da reprodutibilidade do processo²2 Munn Z, Peters MDJ, Stern C, Tufanaru C, McArthur A, Aromataris E. Systematic review or scoping review? Guidance for authors when choosing between a systematic or scoping review approach. BMC Med Res Methodol 2018; 18(1): 143. https://doi.org/10.1186/s12874-018-0611-x
https://doi.org/10.1186/s12874-018-0611-... .

A busca de estudos em diferentes bases de dados gera um número considerável de artigos idênticos, que são denominados de duplicados. A eliminação deles geralmente é trabalhosa e requer tempo e ferramentas computacionais de suporte³3 Lefebvre C, Glanville J, Briscoe S, Featherstone R, Littlewood A, Marshall C, et al. Technical supplement to chapter 4: searching for and selecting studies. In: Higgins JPT, Thomas J, Chandler J, Cumpston MS, Li T, Page MJ, et al., eds. Cochrane Handbook for Systematic Reviews of Interventions Version 6.2. [Internet]. 2021 [cited on May 3, 2022]. Available at: https://training.cochrane.org/handbook/current/chapter-04-technical-supplement-searching-and-selecting-studies#section-4-3/
https://training.cochrane.org/handbook/c... . Também é necessária uma equipe multidisciplinar com número suficiente de membros, principalmente na fase de elegibilidade, em razão da demanda de tempo. Pelo menos dois avaliadores são necessários na seleção inicial de estudos, análise de qualidade e extração de dados das publicações científicas para garantir a abrangência das decisões e evitar vieses¹1 Egger M, Smith GD, Altman DG. Systematic reviews in health care: meta-analysis in context. 2nd ed. London: BMJ Publishing Group; 2001.,⁴4 Muka T, Glisic M, Milic J, Verhoog S, Bohlius J, Bramer W, et al. A 24-step guide on how to design, conduct, and successfully publish a systematic review and meta-analysis in medical research. Eur J Epidemiol 2020; 35(1): 49-60. https://doi.org/10.1007/s10654-019-00576-5
https://doi.org/10.1007/s10654-019-00576... .

O uso da automação ou de processos semiautomatizados para a seleção de artigos em revisões sistemáticas é motivo de estudo e debate na International Collaboration for Automation of Systematic Reviews (ICASR), favorecendo a construção e avaliação de ferramentas computacionais que contribuem para a qualidade dos estudos de revisão de evidências, uma vez que diminuem vieses de seleção, tempo e carga de trabalho⁵5 O’Connor AM, Glasziou P, Taylor M, Thomas J, Spijker R, Wolfe MS. A focus on cross-purpose tools, automated recognition of study design in multiple disciplines, and evaluation of automation tools: a summary of significant discussions at the fourth meeting of the International Collaboration for Automation of Systematic Reviews (ICASR). Syst Rev 2020; 9(1): 100. https://doi.org/10.1186/s13643-020-01351-4
https://doi.org/10.1186/s13643-020-01351... .

Na plataforma The Systematic Review Toolbox, podem-se encontrar softwares gratuitos e pagos que auxiliam em uma ou mais etapas do processo de diferentes tipos de revisões, como a identificação de artigos duplicados e a seleção de estudos. Entre eles, encontram-se as ferramentas computacionais brasileiras Parsifal e StArt⁶6 Marshall C, Sutton A, O’Keefe H, Johnson E, eds. The systematic review toolbox [Internet]. 2022 [cited on Jul. 28, 2022]. Available at: http://www.systematicreviewtools.com/
http://www.systematicreviewtools.com/... .

Apesar da existência de diferentes softwares, na prática, observa-se que estudantes utilizam programas não específicos para esse fim, como editores de textos, planilhas e gerenciadores de referências, que requerem trabalho manual para completar as tarefas necessárias. Identifica-se, assim, a necessidade de suporte metodológico e tecnológico que contribua para a rápida disseminação de conhecimento para aplicação na área da saúde⁷7 Miranda ES, Figueiró AC, Potvin L. Are public health researchers in Brazil ready and supported to do knowledge translation? Cad Saude Publica 2020; 36(4): e00003120. https://doi.org/10.1590/0102-311X00003120
https://doi.org/10.1590/0102-311X0000312... .

Assim, o objetivo deste estudo é descrever as principais funcionalidades do sistema “Apoio à Revisão Sistemática” na identificação e exclusão de artigos duplicados e no auxílio na análise de elegibilidade durante a condução de revisões sistemáticas da literatura.

MÉTODOS

Esta pesquisa metodológica descreve as principais funcionalidades do sistema computacional denominado “Apoio à Revisão Sistemática” (versão 1.0). Esse sistema web foi criado para auxiliar pesquisadores nas fases iniciais de um projeto de revisão sistemática:

1. Organização dos resumos, com identificação e exclusão de estudos duplicados; e

2. Análise de elegibilidade, que inclui a definição dos critérios de elegibilidade, a seleção de estudos por meio da leitura de títulos e resumos, segundo critérios fixados, e a comparação de decisões sobre a elegibilidade dos estudos para a resolução de divergências.

Um resumo é a parte inicial de um artigo científico, normalmente apresentado em um parágrafo que destaca os elementos principais da pesquisa (background, objetivos, métodos, resultados e conclusão). É precedido de sua referência (autoria, título, periódico, data de publicação) e indexado nas bases de dados para favorecer sua busca⁸8 Universidade de São Paulo. Faculdade de Saúde Pública. Guia de apresentação de teses. 2ᵃ ed. atual. São Paulo: Faculdade de Saúde Pública da USP; 2017 [Internet]. [cited on May 03, 2022]. Available at: http://www.biblioteca.fsp.usp.br/guia
http://www.biblioteca.fsp.usp.br/guia... . No sistema desenvolvido, considerou-se que o termo “resumo” inclui sua referência.

Para a construção do sistema, foram considerados os seguintes itens:

• Público-alvo: profissionais e pesquisadores, estudantes de graduação e de pós-graduação de programas da área da saúde, que tenham como objetivo realizar uma revisão da literatura.

• Objetivo: constituir alternativa eficiente ao trabalho manual, contendo funções específicas para otimizar o tempo dos pesquisadores nas etapas iniciais de estudos de revisões sistemáticas e garantir a produção de resultados confiáveis.

• Infraestrutura: acesso ao sistema por meio de computador, tablet ou smartphone, considerando os diversos tipos de hardware, tamanhos de tela e sistemas operacionais disponíveis no mercado. Optou-se pelo desenvolvimento em plataforma web para acesso ao sistema em dispositivo com navegador atualizado e conectado à internet.

• Idioma: língua portuguesa.

• Garantia da segurança dos dados armazenados no sistema.

• Prioridade à facilidade de uso e à construção de uma interface amigável e responsiva (adaptável a diversos tamanhos de tela).

Utilizou-se um modelo de processo incremental⁹9 Pressman RS, Maxim BR. Engenharia de software: uma abordagem profissional. 8ᵃ ed. Porto Alegre: AMGH; 2016., que possibilita a adição de novas funcionalidades a cada versão do sistema. Assim, as funcionalidades referentes às demais fases de uma revisão sistemática poderão ser implantadas em versões posteriores. Foi adotada a metodologia Ágil¹⁰10 Beck K, Beedle M, van Bennekum A, Cockburn A, Cunningham W, Fowler M, et al. Manifesto para desenvolvimento ágil de software [Internet]. [cited on May 03, 2022]. Available at: https://agilemanifesto.org/iso/ptbr/manifesto.html
https://agilemanifesto.org/iso/ptbr/mani... para a entrega de uma versão com novos recursos, após cada período de desenvolvimento e testes. Essa metodologia tem como princípios: satisfazer o usuário por meio da entrega contínua e adiantada de software com valor agregado; entregar o software funcionando em poucas semanas, com preferência pelo menor prazo; trabalhar juntos (usuários e desenvolvedores) em todo o projeto; conversar face a face com a equipe de desenvolvimento para transmitir informações de modo mais eficiente e eficaz; manter contínua atenção sobre a excelência técnica e o bom design, para aumentar a agilidade; buscar a simplicidade como elemento essencial.

Para o acompanhamento das atividades em desenvolvimento, foi adotado o Kanban¹¹11 Kniberg H, Skarin M. Kanban and Scrum making the most of both [Internet]. 2010 [cited on May 3, 2022]. Available at: https://www.infoq.com/minibooks/kanban-scrum-minibook/
https://www.infoq.com/minibooks/kanban-s... ; assim, as funcionalidades e requisitos definidos para a entrega foram transformados em cartões classificados conforme os status To Do, Doing e Done. Os cartões foram dispostos em um painel (board) de acordo com a versão a ser entregue. O sistema foi desenvolvido com código fechado e publicado em plataforma proprietária (Azure DevOps, da Microsoft)¹²12 Microsoft. Azure devops documentation [Internet]. 2015 [cited on May 3, 2022]. Available at: https://docs.microsoft.com/en-us/azure/devops/
https://docs.microsoft.com/en-us/azure/d... para o controle das atividades, a exibição dos cartões, o armazenamento das versões dos códigos-fonte e a publicação das versões no servidor de produção.

Os requisitos funcionais foram estabelecidos com base em referenciais teóricos¹1 Egger M, Smith GD, Altman DG. Systematic reviews in health care: meta-analysis in context. 2nd ed. London: BMJ Publishing Group; 2001.,¹³13 Centre for Reviews and Dissemination. Systematic reviews. CRD's guidance for undertaking reviews in health care. York: University of York; 2009 [Internet]. [cited on May 3, 2022]. Available at: https://www.york.ac.uk/crd/guidance/
https://www.york.ac.uk/crd/guidance/... ,¹⁴14 Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.2. 2021 [cited on May 03, 2022]. Available at: http://training.cochrane.org/handbook/
http://training.cochrane.org/handbook/... e na experiência adquirida na elaboração de estudos de revisão. Os requisitos técnicos foram definidos em parceria com um analista de sistemas. As atividades de desenvolvimento do sistema foram organizadas por um profissional da área de tecnologia da informação (TI), de maneira voluntária e independente, segundo as funcionalidades descritas no Quadro 1.

Para o desenvolvimento do sistema, foi definido um conjunto de três componentes de software para sua constituição:

1. Interface de usuário (UI), responsável pela exibição das informações e pela entrada de dados pelos usuários;

2. Interface de programação de aplicações (API), responsável pela comunicação dos dados com a interface de usuário e pela execução dos processamentos; e

3. Banco de dados (DB), responsável pelo armazenamento e pela recuperação das informações de cada revisão.

A seguir, são detalhados os conceitos e as tecnologias utilizadas em cada componente.

Interface de usuário

Para a construção da UI, foi utilizado o conceito de Single Page Application¹⁵15 Santamaria JMA. The single page interface manifesto [Internet]. 2015 [cited on May 3, 2022]. Available at: http://itsnat.sourceforge.net/php/spim/spi_manifesto_en.php/
http://itsnat.sourceforge.net/php/spim/s... , no qual existe uma única página HTML que alterna seus elementos visíveis de acordo com a interação do usuário e a atualização dos dados. Essa abordagem permite uma experiência mais dinâmica ao usuário, pois apenas os elementos em que os dados foram atualizados são redesenhados. Outra vantagem desse conceito é que parte do processamento, referente às regras de apresentação das informações e de entrada de dados pelo usuário, é executada no dispositivo utilizado, permitindo que mais usuários possam acessar o sistema sem que esse processamento seja acrescido ao servidor da API.

A linguagem de programação utilizada para o desenvolvimento da UI foi o TypeScript¹⁶16 TypeScript, TypeScript documentation [Internet]. [cited on May 3, 2022]. Available at: https://www.typescriptlang.org/docs/
https://www.typescriptlang.org/docs/... , por meio do framework Angular, versão 9¹⁷17 Introduction to the angular docs [Internet]. [cited on May 3, 2022]. Available at: https://angular.io/docs/
https://angular.io/docs/... . Para o layout da página, utilizou-se o modelo de admin, que possui: um menu lateral, cabeçalho fixo e o restante da página reservado para a exibição das informações. A ferramenta utilizada para a construção do layout da página foi o framework Bootstrap¹⁸18 Introduction [Internet]. [cited on May 3, 2022]. Available at: https://getbootstrap.com/docs/4.1/getting-started/introduction/
https://getbootstrap.com/docs/4.1/gettin... .

Para a adequação da UI a diversos tamanhos de tela, utilizou-se o desenvolvimento responsivo de páginas por meio de Media Queries¹⁹19 Marcotte E. Responsive web design [Internet]. 2010 [cited on May 3, 2022]. Available at: https://alistapart.com/article/responsive-web-design/
https://alistapart.com/article/responsiv... definidas no Cascading Style Sheet (CSS)²⁰20 W3C. Cascading style sheets. What is CSS [Internet]. [cited on Aug. 30, 2021]. Available at: https://www.w3.org/Style/CSS/
https://www.w3.org/Style/CSS/... .

Interface de programação de aplicações

A API foi desenvolvida utilizando-se a linguagem de programação C#²¹21 Microsoft. C# documentation [Internet]. [cited on May 3, 2022]. Available at: https://docs.microsoft.com/en-us/dotnet/csharp/
https://docs.microsoft.com/en-us/dotnet/... , com o framework .Net Core, versão 3.0²²22 Microsoft. What is .NET? Introduction and overview [Internet]. [cited on May 3, 2022]. Available at: https://docs.microsoft.com/en-us/dotnet/core/introduction/
https://docs.microsoft.com/en-us/dotnet/... . A utilização desse framework permite a hospedagem da API em servidores Windows ou Linux, permitindo maior flexibilidade na definição da infraestrutura.

Para a comunicação com a UI, utilizou-se o framework Asp.Net Core Web API, versão 3.0²³23 Microsoft. Visão geral do ASP.NET core [Internet]. [cited on May 3, 2022]. Available at: https://docs.microsoft.com/pt-br/aspnet/core/introduction-to-aspnet-core?view=aspnetcore-3.0/
https://docs.microsoft.com/pt-br/aspnet/... , que permite comunicação do tipo Transferência Representacional de Estados (REST)²⁴24 Fielding RT. Representational State Transfer (REST). In: Fielding RT. Architectural styles and the design of network-based software architectures [dissertation] Irvine: University of California; 2000. [cited on May 3, 2022]. Available at: https://www.ics.uci.edu/~fielding/pubs/dissertation/rest_arch_style.htm
https://www.ics.uci.edu/~fielding/pubs/d... , na qual a maior parte das informações não fica armazenada na memória do servidor. Dessa forma, um número maior de usuários pode utilizar o sistema sem aumentar o consumo de memória para manter suas informações.

A autorização de acesso da UI para utilizar a API é feita por meio de Json Web Token (JWT)²⁵25 JWT. Introduction to JSON web tokens [Internet]. [cited on May 3, 2022]. Available at: https://jwt.io/introduction/
https://jwt.io/introduction/... , em que as informações de acesso do usuário são transmitidas por meio de um token criptografado, programado para expirar após determinado intervalo de tempo.

A comunicação com o banco de dados foi desenvolvida utilizando-se o conceito de Object Relational Mapping (ORM)²⁶26 Hibernate. What is object/relational mapping? [Internet]. [cited on May 3, 2022]. Available at: https://hibernate.org/orm/what-is-an-orm/
https://hibernate.org/orm/what-is-an-orm... , pelo qual as consultas e atualizações de dados são geradas pelo framework de ORM, diminuindo o tempo de desenvolvimento e permitindo que o gerenciador de banco de dados possa ser trocado sem que seja necessário desenvolver novas consultas e atualizações específicas para um novo gerenciador.

Banco de dados

O banco de dados escolhido para o armazenamento dos dados de revisões e usuários foi o Microsoft SQL Server²⁷27 Microsoft. SQL server technical documentation [Internet]. [cited on May 03, 2022]. Available at: https://docs.microsoft.com/en-us/sql/sql-server/
https://docs.microsoft.com/en-us/sql/sql... , pois seu desempenho suporta grandes volumes de dados. O modelo de dados escolhido foi um híbrido do modelo relacional, no qual os dados são separados em tabelas relacionadas, com um não relacional, no qual os dados são armazenados em objetos JavaScript Object Notation (JSON)²⁸28 Introducing JSON [Internet]. [cited on Apr. 4, 2021]. Available at: https://www.json.org/json-en.html
https://www.json.org/json-en.html... . Foram criadas tabelas para armazenar os dados dos usuários, das revisões, seus resumos e grupos, autores, critérios de elegibilidade, comentários e revisores.

Ambiente de produção

O ambiente de produção escolhido para a publicação dos componentes de software necessários para o funcionamento do sistema foi o Azure²⁹29 Microsoft. Azure documentation [Internet]. [cited on May 3, 2022]. Available at: https://docs.microsoft.com/en-us/azure/
https://docs.microsoft.com/en-us/azure/... , que utiliza arquitetura de serviços em nuvem. Essa arquitetura permite que a infraestrutura utilizada aumente ou diminua conforme a demanda do sistema, pagando-se apenas pelo que foi utilizado em memória, processamento e armazenamento.

Foi criado um serviço de aplicativo web para a interface de usuário, um serviço de aplicativo web para a API e um serviço de banco de dados relacional Microsoft SQL Server para o armazenamento das informações.

A publicação dos componentes da interface de usuário e da API é feita pela publicação automática, configurada no Azure DevOps¹²12 Microsoft. Azure devops documentation [Internet]. 2015 [cited on May 3, 2022]. Available at: https://docs.microsoft.com/en-us/azure/devops/
https://docs.microsoft.com/en-us/azure/d... , permitindo o armazenamento das versões publicadas e o retorno a uma versão anterior, caso a publicação apresente problemas.

O banco de dados é atualizado por meio de scripts Strucutred Query Language (SQL) do tipo Data Definition Language (DDL), gerados com uma ferramenta de comparação de estrutura de bancos de dados fornecida pelo Visual Studio Community³⁰30 Microsoft. Visual studio documentation [Internet]. [cited on May 3, 2022]. Available at: https://docs.microsoft.com/en-us/visualstudio/windows/?view=vs-2019/
https://docs.microsoft.com/en-us/visuals... . A comparação é feita entre o banco de dados local utilizado para o desenvolvimento e o serviço de banco de dados na produção. São também criados scripts para retorno à versão anterior, caso necessário.

Para a segurança na transferência de informação entre cliente e servidor, foi utilizado o protocolo HTTPS, por meio de Secure Socket Layer (SSL), que criptografa todas as informações, impedindo que pessoas não autorizadas possam visualizá-las pela rede.

Testes realizados

O desenvolvedor realizou testes específicos para cada requisito criado. Os erros identificados foram corrigidos antes da implantação no ambiente de produção.

Descrição do sistema computacional

Após a implantação do sistema, foi feita a descrição de suas funcionalidades segundo o menu, simulando seu uso na condução de um estudo de revisão sistemática sobre fibrose cística³¹31 Egan ME, Greene DM, Voynow JA. Fibrose cística. In: Kliegman RM, Stanton BF, St Geme III JW, Schor NF, Behrman RE. Nelson: Tratado de pediatria. 20ᵃ ed. Rio de Janeiro: Elsevier; 2018. p. 2098-112.,³²32 Hauschild DB, Rosa AF, Ventura JC, Barbosa E, Moreira EAM, Ludwig Neto N, et al. Association of nutritional status with lung function and morbidity in children and adolescents with cystic fibrosis: a 36-month cohort study. Rev Paul Pediatr 2018; 36(1): 31-8. http://dx.doi.org/10.1590/1984-0462/;2018;36;1;00006
http://dx.doi.org/10.1590/1984-0462/;201... . As frases de busca (Quadro 2) foram inseridas nas bases de dados para a obtenção dos arquivos a serem importados ao sistema. Imagens das telas foram inseridas para a visualização de funcionalidades da versão 1.0, para acesso por meio de computadores (desktop e notebook).

Aspectos éticos

O trabalho seguiu os termos da Resolução do Conselho Nacional de Saúde (CNS) 466/12 e foi aprovado pelo Comitê de Ética em Pesquisa da Faculdade de Saúde Pública da Universidade de São Paulo (CAAE 36397420.8.0000.5421).

RESULTADOS

O sistema “Apoio à Revisão Sistemática” encontra-se disponível em endereço eletrônico (sysrev.azurewebsites.net). Vídeos explicativos podem ser acessados em uma plataforma (www.apoioarevisaositematica.com.br) para autoaprendizagem e melhor aproveitamento de suas principais funcionalidades: a identificação e exclusão de duplicatas, o auxílio na seleção de estudos elegíveis por meio da leitura de títulos e resumos e o auxílio na resolução de divergências.

Identificação e exclusão de duplicatas

Primeiramente, é necessário fazer um cadastro. No menu “Revisões”, é permitido ao pesquisador criar, alterar ou excluir uma revisão sistemática. O sistema permite a inclusão de um ou mais projetos de revisão bibliográfica como revisor principal e como convidado. No menu “Grupos”, o pesquisador pode criar, alterar ou excluir um ou mais grupos para importar os resumos conforme sua necessidade. No menu “Resumos”, os arquivos que contêm os registros encontrados nas bases de dados eletrônicas podem ser importados aos grupos criados pelo pesquisador. Após a importação, o status de cada resumo é definido pelo sistema como “Importado”.

Após clicar no botão “Duplicados”, o pesquisador deve selecionar uma base de dados prioritária, que servirá de referência para que o sistema atribua o status “Duplicado” aos resumos existentes nos outros grupos. Clicando no botão “Excluir duplicados”, são obtidos os estudos a serem incluídos na fase de elegibilidade.

Na aplicação do sistema, foi criada uma revisão com o nome “Avaliação antropométrica em fibrose cística”. A seguir, foram criados três grupos com os nomes das bases de origem, quais sejam, PubMed, Embase e Web of Science. Cada arquivo foi importado ao sistema e salvo no grupo conforme sua origem. Ao todo, foram importados 834 registros, resultando em 644 estudos após a exclusão das duplicatas (Figura 1).

Auxílio na seleção de estudos elegíveis

Na fase de elegibilidade, no menu “Critérios”, é permitido ao pesquisador incluir, alterar e excluir os critérios de elegibilidade predefinidos no protocolo de pesquisa.

No menu “Revisores”, é permitido ao pesquisador incluir ou remover revisores para a leitura e análise de títulos e resumos. Cada revisor convidado é notificado de sua inclusão em uma revisão.

No menu “Resumos”, após clicar em “Visualizar”, os participantes da revisão podem acessar os resumos e decidir de maneira independente sobre os critérios de elegibilidade, selecionando na lista “Atende” uma resposta para cada critério (sim, não ou não claro). Na sequência, devem selecionar um resultado para cada resumo (elegível, não elegível ou não claro), sendo possível criar comentários.

Na aplicação do sistema, é possível notar que os critérios de elegibilidade são apresentados na mesma página do resumo para facilitar e orientar sua análise. A seleção de respostas na lista “Atende” e no “Resultado” não é obrigatória, porém convém que um status seja incluído na lista “Resultado” para favorecer a comparação das respostas na verificação da existência de divergências (Figura 2).

Auxílio na resolução de divergências

Em momento apropriado, o revisor principal pode quebrar o cegamento para liberar, aos participantes, os resultados sobre a elegibilidade dos resumos. No menu “Resumos”, clicando-se em “Exibir comparação”, o sistema compara automaticamente as respostas, e as divergências apontadas poderão ser resolvidas pelos participantes. Nessa fase, as discussões podem ocorrer de maneira presencial ou remota, proporcionadas pelo compartilhamento dos dados pelo sistema. Os revisores podem fazer as alterações necessárias diretamente no sistema e fazer download de um arquivo PDF com os resumos elegíveis. No menu “Dashboard”, o revisor principal pode verificar, por meio de gráficos de acompanhamento, a evolução e o término da leitura dos resumos pelos revisores convidados e identificar a existência de divergências (Figura 3).

DISCUSSÃO

Este estudo apresenta o sistema “Apoio à Revisão Sistemática”, que exclui artigos duplicados, auxilia na seleção de estudos elegíveis e na resolução de divergências, organizando o trabalho em equipe.

Essas funcionalidades visam ao uso racional do tempo na fase inicial de uma revisão sistemática. A economia de tempo é constatada em pesquisa sobre a influência do uso de ferramentas de automação em estudos de revisão. Nela, entre 189 participantes, 79% referiram utilizá-las em várias tarefas da etapa de elegibilidade. Em sendo os participantes divididos em realizadores de revisões sistemáticas, elaboradores de guias e avaliadores de tecnologias sanitárias, observou-se que 80, 88 e 73%, respectivamente, relataram economia de tempo ao utilizar ferramentas automatizadas³³33 Scott AM, Forbes C, Clark J, Carter M, Glasziou P, Munn Z. Systematic review automation tools improve efficiency but lack of knowledge impedes their adoption: a survey. J Clin Epidemiol 2021; 138: 80-94. https://doi.org/10.1016/j.jclinepi.2021.06.030
https://doi.org/10.1016/j.jclinepi.2021.... .

O uso de ferramentas computacionais é fortemente incentivado em estudos de revisão¹⁴14 Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.2. 2021 [cited on May 03, 2022]. Available at: http://training.cochrane.org/handbook/
http://training.cochrane.org/handbook/... . Considerando-se que uma revisão sistemática típica pode levar no mínimo um ano para ser produzida³⁴34 Borah R, Brown AW, Capers PL, Kaiser KA. Analysis of the time and workers needed to conduct systematic reviews of medical interventions using data from the PROSPERO registry. BMJ Open 2017; 7(2): e012545. https://doi.org/10.1136/bmjopen-2016-012545
https://doi.org/10.1136/bmjopen-2016-012... , o uso do sistema mostra-se importante nessas fases, que geralmente são muito demoradas quando realizadas manualmente.

Um software frequentemente utilizado em revisões sistemáticas é o EndNote, um gerenciador de referências que permite a identificação de duplicatas e a inserção automática de citações em editores de texto³⁵35 Thomson Reuters. EndNote X9. Quick reference guide [Internet]. [cited on Jul. 29, 2022]. Available at: https://support.clarivate.com/Endnote/servlet/fileField?entityId=ka14N000000EcsXQAS&field=CA_Attachment_1__Body__s
https://support.clarivate.com/Endnote/se... , mas que não permite a inclusão de critérios de elegibilidade e a comparação das decisões sobre a elegibilidade dos estudos. Outro software, o Rayyan, possui funcionalidades parecidas com as existentes no “Apoio à Revisão Sistemática”, com a diferença de ser apresentado em língua inglesa e requerer do pesquisador uma decisão sobre a existência de duplicatas com base em análise de similaridade, além de permitir a inclusão de palavras-chave e termos que são destacadas no resumo para facilitar sua análise³⁶36 Ouzzani M, Hammady H, Fedorowicz Z, Elmagarmid A. Rayyan-a web and mobile app for systematic reviews. Syst Rev 2016; 5(1): 210. https://doi.org/10.1186/s13643-016-0384-4
https://doi.org/10.1186/s13643-016-0384-... .

Um problema comum na fase de identificação de estudos duplicados são os erros que ocorrem em decorrência de variações nos registros dos estudos nas bases de dados, principalmente no nome dos autores e dos periódicos. Com isso, as ferramentas computacionais podem apontar um estudo como duplicado quando na verdade ele não o é (falso-positivo); ou podem apontar como não duplicado um estudo que na verdade o é (falso-negativo)³⁷37 Rathbone J, Carter M, Hoffmann T, Glasziou P. Better duplicate detection for systematic reviewers: evaluation of systematic review assistant-deduplication module. Syst Rev 2015; 4(1): 6. https://doi.org/10.1186/2046-4053-4-6
https://doi.org/10.1186/2046-4053-4-6... . Um estudo falso-positivo, ao ser excluído, pode introduzir um viés de seleção caso não seja recuperado posteriormente pelo pesquisador. A avaliação do desempenho do “Apoio à Revisão Sistemática” na identificação de duplicatas apresentou sensibilidade de 98,4%, especificidade de 99,8% e acurácia de 99,6%. O resultado de sensibilidade foi maior que o do EndNote (sensibilidade: 59,4%, especificidade e acurácia: 100%) e o do Rayyan (sensibilidade: 96,4%, especificidade: 100%, acurácia: 99,3%) (dados em fase de publicação).

Na fase de elegibilidade, uma das vantagens do “Apoio à Revisão Sistemática” na seleção de estudos é a facilidade do uso, a reprodutibilidade do processo e a participação de vários revisores de maneira organizada e independente, com a possibilidade de se quebrar o cegamento em momento definido pelo revisor principal. O sistema é prático para o armazenamento dos critérios de elegibilidade e o compartilhamento de dados entre os revisores. Na mesma tela, apresenta-se um resumo e uma ficha com os critérios de elegibilidade para a marcação de respostas, facilitando o processo de seleção de resumos.

O sistema é voltado para a produção de revisões sistemáticas típicas, mas se estende aos pesquisadores que optarem por levantamentos bibliográficos sem as formalidades de uma revisão sistemática. Realizou-se uma simulação de revisão sistemática com a utilização de um conjunto de estudos sobre fibrose cística, entretanto diferentes temas poderão ser utilizados em outros estudos, desde que os levantamentos sejam realizados nas bases de dados bibliográficos habilitadas nesse sistema. Foram inseridas imagens das interfaces da versão para computador, porém os usuários podem acessar o sistema também por meio de smartphones e tablets, por ele ser responsivo aos diversos tamanhos de tela.

Podem-se identificar como fragilidades a disponibilidade da versão 1.0 apenas em língua portuguesa, o código fechado e o reduzido número de bases de dados. No entanto, a versão em língua portuguesa favorece sua utilização em outros países que possuem esse idioma como língua materna. A quantidade de bases de dados incluída pode ser aumentada, priorizando-se as utilizadas na área da saúde⁴4 Muka T, Glisic M, Milic J, Verhoog S, Bohlius J, Bramer W, et al. A 24-step guide on how to design, conduct, and successfully publish a systematic review and meta-analysis in medical research. Eur J Epidemiol 2020; 35(1): 49-60. https://doi.org/10.1007/s10654-019-00576-5
https://doi.org/10.1007/s10654-019-00576... ,³⁸38 Gupta S, Rajiah P, Middlebrooks EH, Baruah D, Carter BW, Burton KR, et al. Systematic review of the literature: best practices. Acad Radiol 2018; 25(11): 1481-90. https://doi.org/10.1016/j.acra.2018.04.025
https://doi.org/10.1016/j.acra.2018.04.0... . O sistema tem potencial para mudanças, podendo incluir instrumentos de avaliação de qualidade, extração de dados por mais de um avaliador e comparação desses resultados.

Como potencialidades, encontram-se a utilização da metodologia Ágil, que confere a possibilidade de acrescentar constantemente novos recursos e melhorias, como a implantação da base Literatura Latino-Americana e do Caribe em Ciências da Saúde (Lilacs), a inclusão de caixas de seleção para a exclusão de falso-negativos, uma lixeira para a recuperação de falso-positivos e a exportação de arquivos de texto para a utilização em gerenciadores de referências. Por se tratar de uma ferramenta web, todas as atualizações e melhorias poderão ser acessadas imediatamente pelos usuários.

Como visão de futuro, pretende-se ampliar suas funcionalidades conforme as etapas de uma revisão sistemática e melhorar a usabilidade e a acurácia do processo de identificação de duplicatas, bem como avançar para a (semi) automatização da seleção de estudos.

A produção de conhecimento científico pode ser reforçada na presença de ferramentas computacionais que reduzam o trabalho manual e permitam melhores sínteses e uso das informações. Assim, espera-se que o sistema seja utilizado nos países de língua portuguesa para a produção contínua de sínteses do conhecimento para aplicação nas ações de saúde.

O sistema “Apoio à Revisão Sistemática” encontra-se disponível na web para a exclusão de duplicatas e o auxílio na seleção de estudos elegíveis e resolução de divergências em revisões sistemáticas da literatura, assegurando maior rapidez, confiabilidade e reprodutibilidade para a conclusão dessas etapas.

Referências bibliográficas

Datas de Publicação

Histórico