RESUMO

As tecnologias de informação e comunicação têm-se disseminado globalmente. Elas estão cada vez mais presentes em quase todos os aspectos da vida humana, incluindo a saúde. Em meio à ampla disseminação de informações falsas, a questão da qualidade da informação tem assumido grande importância, especialmente em contexto de pandemia. Entre julho e agosto de 2020, foi realizada uma avaliação da qualidade da informação em sites sobre Covid-19 de quatro secretarias de saúde do estado de Mato Grosso do Sul. Essa avaliação participativa utilizou cinco critérios, acompanhando a literatura internacional, a saber: Técnico, Interatividade, Abrangência, Legibilidade e Acurácia, subdivididos em 46 indicadores. Os resultados apontam que os sites avaliados apresentaram baixo grau de conformidade com os indicadores e critérios utilizados e não divulgam as principais evidências científicas sobre o tema, disponíveis no site do Ministério da Saúde. A pandemia de Covid-19 tem sido marcada pela alta circulação de fake news. Nesse contexto, é imprescindível que páginas de secretarias de saúde apresentem informação sobre a doença com qualidade e legibilidade. Só assim, oferecerão um conteúdo informativo confiável e baseado em evidências científicas, contribuindo para o enfrentamento de notícias falsas e seus impactos negativos.

PALAVRAS-CHAVE
Internet; Estudos de avaliação como assunto; Infecções por coronavirus; Acesso à informação on-line; Qualidade da informação em saúde

Introdução

Desde o final do século XX, as Tecnologias de Informação e Comunicação (TIC), disseminadas por meio da internet, estã o se misturando cada vez mais a quase todos os aspectos da vida humana. Sua popularização mundial tem contribuído para transformações nas práticas e nos modos de atuação em diversos campos¹1 Rice R, Yates S, Blejmar J. Introduction to the Oxford Handbook of digital technology and society: terms, domains, and themes. In: Yates S, Rice R, organizadores. The Oxford Handbook of digital technology and society. Oxford University Press: New York; 2020. p. 3-35.. Na internet, são incontáveis as fontes de informação disponibilizadas. Além disso, o indivíduo pode produzir informação, organizando seu próprio site, blog, página ou perfil em plataformas de mídia social. Por meio de diferentes ferramentas on-line, muitas pessoas conseguem interagir entre si e estabelecer redes sociais, mesmo que estejam geograficamente distantes²2 Pereira Neto A, Lima J, Barbosa L, et al. Internet, expert patient e empoderamento: perfis de atuação em comunidades virtuais de renais crônicos. In: Pereira Neto A, Flynn M, organizadores. Internet e saúde no Brasil: desafios e tendências. São Paulo: Cultura Acadêmica; 2021. p. 145-175..

Hoje em dia, diferentes organizações públicas e privadas ou indivíduos produzem informações sobre temas vinculados, de alguma forma, às questões relativas à saúde-doença. Muitas vezes, essas informações são insuficientes, insatisfatórias, desatualizadas, incorretas ou incompreensíveis. Assim, elas podem colocar em risco a saúde do cidadão e da sociedade. Diante desse contexto, a avaliação da qualidade da informação de saúde disponível on-line passou a assumir um papel relevante em várias partes do mundo³3 Pereira Neto A, Paolucci R. Avaliação da qualidade da informação de saúde na internet: análise das iniciativas brasileiras. In: Pereira Neto A, Flynn M, organizadores. Internet e saúde no Brasil: desafios e tendências. São Paulo: Cultura Acadêmica; 2021. p. 257-291..

O atual cenário global encontra-se significativamente impactado pela pandemia de Covid-19 – ou coronavirus disease 2019, no termo original. Em abril de 2021, havia mais de 132 milhões de casos confirmados de Covid-19 e mais de 2,8 milhões de mortes causadas pela doença no mundo⁴4 World Health Organization. Coronavirus disease (COVID-19) pandemic. Genebra: WHO; 2020 [acesso em 2021 abr 9]. Disponível em: https://www.who.int/emergencies/diseases/novel-coronavirus-2019.
https://www.who.int/emergencies/diseases... . No Brasil, até o início desse mesmo ano, mais de 13 milhões de casos foram confirmados, totalizando aproximadamente 337 mil óbitos⁵5 Fundação Oswaldo Cruz. Monitora Covid-19. Rio de Janeiro: Fundação Oswaldo Cruz; 2020. [acesso em 2021 abr 9]. Disponível em: https://bigdata-covid19.icict.fiocruz.br/.
https://bigdata-covid19.icict.fiocruz.br... . A emergência e a disseminação de Covid-19 produziram uma série de impactos em diversas esferas da sociedade, afetando direta ou indiretamente milhões de pessoas ao redor do planeta⁶6 Sharifi A, Khavarian-Garmsir A. The COVID-19 pandemic: Impacts on cities and major lessons for urban planning, design, and management. Sci Total Environ. 2020; (749):1-14..

No campo da saúde pública, têm sido enfrentados inúmeros desafios resultantes da pandemia, incluindo a adoção de uma série de medidas preventivas, como o uso de máscara e de álcool em gel e o distanciamento social. O aumento dos casos levou, em determinados momentos, ao colapso de sistemas de saúde, particularmente nos serviços de emergência e nos centros de terapia intensiva dos hospitais⁷7 Santos RC, Carvalho TA, Souza Neto IF, et al. Urgency and emergency in times of covid-19 – an integrative literature review. Res., Soc. Dev. 2021; 10(3):e9110313027.. Os profissionais de saúde que estão atendendo muitas vezes sofrem ansiedade e depressão diante do trabalho exaustivo⁸8 Silva D, Cobucci RN, Soares-Rachetti VP, et al. Prevalência de ansiedade em profissionais da saúde em tempos de covid-19: revisão sistemática com metanálise. Ciênc. Saúde Colet. 2021; 26(2): 693-710.. Cabe salientar que essa pandemia afeta principalmente os vulneráveis sociais⁹9 Diniz MC, Martins M, Xavier K, et al. Crise global coronavírus: monitoramento e impactos. Cadernos de Prospecção. 2020; 13(2):359-377..

Informações de saúde on-line baseadas em evidências podem, por exemplo, reduzir o uso de serviços de saúde¹⁰10 Spoelman WA, Bonten TN, Waal MW, et al. Effect of an evidence-based website on healthcare usage: an interrupted time-series study. BMJ Open. 2016; 6(11).. Segundo Lagan, Sinclair e Kernohan¹¹11 Lagan BM, Sinclair M, Kernohan WG. What Is the Impact of the Internet on Decision-Making in Pregnancy? A Global Study. Birth. 2011; 38(4):336-345., elas podem ter “um impacto visível na tomada de decisão das mulheres em relação a todos os aspectos de sua gravidez”¹¹11 Lagan BM, Sinclair M, Kernohan WG. What Is the Impact of the Internet on Decision-Making in Pregnancy? A Global Study. Birth. 2011; 38(4):336-345.⁽³³⁶⁾. Por essa razão, uma informação on-line de qualidade, com fonte confiável, atualizada e facilmente compreensível pode exercer um papel fundamental nas práticas de autocuidado, nos custos dos serviços, na prevenção de doenças e na promoção da saúde¹¹11 Lagan BM, Sinclair M, Kernohan WG. What Is the Impact of the Internet on Decision-Making in Pregnancy? A Global Study. Birth. 2011; 38(4):336-345.,¹²12 Garbin H, Guilam M, Pereira Neto A. Internet na promoção da saúde: um instrumento para o desenvolvimento de habilidades pessoais e sociais. Physis. 2012; 22(1):347-363.. Com ela, o cidadão, no caso de Covid-19, poderá conhecer e, possivelmente, adotar as medidas preventivas preconizadas pela ciência; assim como saber onde e quando fazer os exames diagnósticos e receber o atendimento médico possível e necessário¹³13 Lima DL, Lopes M, Brito AM. Social media: friend or foe in the COVID-19 pandemic?. Clinics. 2020; (75):e1953..

Cabe atentar que, no contexto atual, as mídias digitais, caracterizadas pela presença global, instantânea e capilarizada, tornaram-se muito importantes e singularizaram a atual pandemia das até então existentes¹³13 Lima DL, Lopes M, Brito AM. Social media: friend or foe in the COVID-19 pandemic?. Clinics. 2020; (75):e1953.,¹⁴14 Gonzalez-Padilla DA, Tortolero-Blanco L. Social media influence in the COVID-19 Pandemic. Int. Braz. J. Urol. 2020; (46):120-124.. Diferentemente de outros momentos históricos, indivíduos podem ter acesso imediato e remoto a notícias atualizadas sobre a evolução da pandemia. Em um survey on-line sobre as fontes de informação mais acessadas sobre Covid-19, Ho, Chen e Yen¹⁵15 Ho H, Chen Y, Yen C. Different impacts of COVID-19-related information sources on public worry: An online survey through social media. Internet Intervs. 2020; (22):1-6. concluíram que:

A atual pandemia não inaugurou a busca de informação on-line sobre saúde, embora tenha intensificado. Nas últimas décadas, tem aumentado o número de indivíduos que utilizam as TIC para conhecer mais sobre sua condição de saúde¹⁶16 Barbosa L. Comunicação e informação sobre câncer de mama: um estudo comparativo entre um ambiente físico e outro on-line. [tese]. Rio de Janeiro: Fundação Oswaldo Cruz; 2021.. Tal prática tem sido impulsionada e está se tornando estratégica entre pacientes com suspeita ou diagnóstico de Covid-19, devido ao contexto de incerteza produzido pela pandemia, caracterizado por “perdas devastadoras de vidas, morbidade física, angústia mental e sofrimento geral”¹⁷17 Fiedorowicz JG. New challenges in the COVID-19 pandemic. J. Psyc. Research. 2020; (133):110123. (2)2 Pereira Neto A, Lima J, Barbosa L, et al. Internet, expert patient e empoderamento: perfis de atuação em comunidades virtuais de renais crônicos. In: Pereira Neto A, Flynn M, organizadores. Internet e saúde no Brasil: desafios e tendências. São Paulo: Cultura Acadêmica; 2021. p. 145-175..

Diante da crescente procura de informações na internet, proliferam fake news sobre Covid-19. Trata-se de notícias falsas, apresentadas em diversos formatos, que possuem geralmente um texto afirmativo. Essa característica leva muitas pessoas, que normalmente não checam as informações, a acreditar e a compartilhar tal conteúdo¹⁸18 Pereira Neto A, Barbosa L, Flynn M. Prefácio da edição brasileira – Há décadas em que nada acontece. Há semanas em que décadas acontecem. In: Pereira Neto A, Flynn M, organizadores. Internet e saúde no Brasil: desafios e tendências. São Paulo: Cultura Acadêmica; 2021. p. 7-18..

Pereira Neto, Barbosa e Flynn¹⁸18 Pereira Neto A, Barbosa L, Flynn M. Prefácio da edição brasileira – Há décadas em que nada acontece. Há semanas em que décadas acontecem. In: Pereira Neto A, Flynn M, organizadores. Internet e saúde no Brasil: desafios e tendências. São Paulo: Cultura Acadêmica; 2021. p. 7-18. advertem que os casos de desinformação nos meios de comunicação não são novos. Pelo contrário, eles estão presente desde os primeiros sistemas de escrita, sendo motivados principalmente por razões financeiras ou ideológicas, especialmente depois que ocorreu uma concentração dos meios de comunicação em poucas e grandes empresas. No entanto, as TIC facilitaram a criação e a disseminação de informações imprecisas e enganosas, o que poderia, em parte, explicar a dimensão que o fenômeno da desinformação tomou nos últimos anos.

Essa tendência aumentou a possibilidade de serem produzidas fake news sobre a pandemia.

Alguns estudos foram publicados recentemente avaliando as características e as consequências das fake news no caso de Covid-19. Entre eles, destaca-se o estudo de Vasconcelos-Silva e Castiel¹⁹19 Vasconcellos-Silva PR, Castiel LD. COVID-19, as fake news e o sono da razão comunicativa gerando monstros: a narrativa dos riscos e os riscos das narrativas. Cad. Saúde Pública. 2020; 36(7):e00101920.. Nele, os autores afirmam que fake news se revelam como

Galhardi e colaboradores²⁰20 Galhardi CP, Freire N, Minayo M, et al. Fato ou Fake? Uma análise da desinformação frente à pandemia da Covid-19 no Brasil. Ciênc. Saúde Colet. 2020; (25):4201-4210. admitem que a

Nenhum desses artigos dedica sua atenção às formas de reação e resistência a essa tendência. Nenhum deles apresenta ou analisa as alternativas possíveis e disponíveis para o enfrentamento desse problema. Uma delas pode ser traduzida pela expressão fact-checking²¹21 Fonseca VPS, Freitas F, Gehrke M, et al. Jornalismo guiado por dados como ferramenta de fact-checking: uma experiência laboratorial. Comum. Inov. 2018; (19):67-83.. Trata-se de agências de informação dedicadas à checagem de fatos. Elas são atualmente credenciadas pela International Fact-Checking Network (IFCN) sob um mesmo código de princípios. A IFCN é uma rede que agrega mundialmente iniciativas de fact-checking. No Brasil, foi criada recentemente a Rede Nacional de Combate à Desinformação (RNCD). Ela reúne, em uma mesma plataforma, projetos, iniciativas, grupos de pesquisa, observatórios e agências em todo o País que monitoram, identificam, denunciam e combatem fake news²¹21 Fonseca VPS, Freitas F, Gehrke M, et al. Jornalismo guiado por dados como ferramenta de fact-checking: uma experiência laboratorial. Comum. Inov. 2018; (19):67-83..

Uma alternativa de reação está associada à prática da educação baseada em literacia²²22 Souza N. eHealth literacy entre jovens: estudo exploratório sobre o papel das condições socioeconômicas no uso da informação sobre saúde na Internet. [dissertação]. Rio de Janeiro: Fundação Oswaldo Cruz; 2020.. Sousa et al.²³23 Sousa RA, Moreira K, Farinelli M, et al. Literacia Digital e interfaces com a saúde: uma revisão integrativa. In: Pereira Neto A, Flynn M, organizadores. Internet e saúde no Brasil: desafios e tendências. São Paulo: Cultura Acadêmica; 2021. p. 421-443. admitem que a literacia digital é uma modalidade de competência informacional que permite que o usuário tenha menos dificuldades e mais habilidades em pesquisar e distinguir as informações e saiba aplicá-las para melhorar sua saúde e qualidade de vida.

Este artigo apresenta e discute outra forma de reagir às fake news. Trata-se da avaliação da qualidade da informação disponível em sites de saúde³3 Pereira Neto A, Paolucci R. Avaliação da qualidade da informação de saúde na internet: análise das iniciativas brasileiras. In: Pereira Neto A, Flynn M, organizadores. Internet e saúde no Brasil: desafios e tendências. São Paulo: Cultura Acadêmica; 2021. p. 257-291.. Ele descreve e analisa especificamente o resultado da avaliação da qualidade de quatro sites públicos sobre Covid-19: um vinculado à Secretaria de Estado de Saúde de Mato Grosso do Sul, e três secretarias municipais de saúde da mesma unidade da federação, a saber – Campo Grande, Corumbá e Dourados.

A pesquisa que serviu de base para a elaboração deste artigo foi realizada por um grupo de docentes e discentes durante a realização da Disciplina de Tópicos Especiais: Avaliação da Qualidade da Informação em Sites de Doenças Infecciosas e Parasitárias, do Programa de Pós-graduação em Doenças Infecciosas e Parasitárias (PPGDIP) da Universidade Federal de Mato Grosso do Sul (UFMS), entre 8 de julho e 19 de agosto de 2020, oferecida de modo remoto.

Serão apresentados a seguir a metodologia adotada, os critérios e indicadores utilizados e os resultados obtidos na avaliação da qualidade da informação de sites sobre Covid-19 mantidos por instituições governamentais brasileiras.

Material e métodos

Para a construção dos critérios e indicadores utilizados na avaliação da qualidade da informação em sites governamentais brasileiros sobre Covid-19, foram utilizados os critérios construídos a partir de duas revisões sistemáticas.

A primeira identificou e analisou 79 artigos publicados até o ano de 2001²⁴24 Eysenbach G, Powell J, Kuss O, et al. Empirical studies assessing the quality of health information for consumers on the world wide web: a systematic review. Jama. 2002; 287(20):2691-2700.37.. A segunda baseou-se em 279 artigos publicados entre os anos de 2001 e 2014, disponíveis em bases bibliográficas internacionais²⁵25 Paolucci R, Pereira Neto A. Methods for evaluating the quality of information on health websites: Systematic Review (2001-2014). Latin Am J Develop. 2021; 3(3):994-1056..

Ambas as revisões concluíram que a maioria dos estudos publicados no mundo utilizou cinco critérios de avaliação da qualidade de informação em sites de saúde, a saber: técnico, interatividade, abrangência, legibilidade e acurácia. O critério técnico visa identificar se existe ou não um responsável pelo site ou se a informação oferecida dispõe de uma fonte. Ele verifica ainda se existe, por exemplo, a data da criação e atualização desse ambiente virtual. O critério interatividade se dispõe a averiguar se o site oferece meios de comunicação entre usuários e os produtores de conteúdo, se dispõe de um canal do tipo ‘fale conosco’, se oferece acesso às redes sociais e se disponibiliza, por exemplo, ferramentas de busca e alternativas de acessibilidade a pessoas com deficiência²⁶26 Brasil. Lei nº 13.146, de 6 de julho de 2015. Estatuto da Pessoa com Deficiência. Diário Oficial da União. 7 Jul 2015.. O critério legibilidade aprecia se a informação está disposta de forma que garanta a compreensão do usuário não especialista na área da saúde. O critério abrangência observa se o site oferece o conjunto de informações relevantes para um determinado tema ou problema de saúde. Se for o caso da avaliação da informação de sites de uma doença transmissível, o sentido da abrangência inclui informações sobre prevenção, sintoma, diagnóstico e tratamento. O critério acurácia mede o grau de concordância entre a informação oferecida no site e a melhor evidência disponível ou aceita pela ciência.

O estudo da avaliação da qualidade da informação em sites de saúde apresentado neste artigo utilizou os cinco critérios mencionados acima.

Cada critério foi composto por um número distinto de indicadores: perguntas avaliativas específicas, em sua maioria apresentadas com respostas estruturadas de forma dicotômica (Sim ou Não). No caso do critério técnico, foi perguntado, por exemplo, se ‘foi realizada atualização na última semana’. Em relação à abrangência, foi questionado se ‘existe informação sobre sintoma’. Em termos de interatividade, foi indagado se o site ‘possui alguma rede social’. Na legibilidade, uma das questões procurava saber se o avaliador ‘teve dificuldade em entender as informações sobre prevenção’. Para construir os indicadores do critério acurácia, as informações sobre a Covid-19, disponíveis no site oficial do Ministério da Saúde (MS), foram utilizadas como referência (https://coronavirus.saude.gov.br/). Os indicadores do critério acurácia foram os únicos que permitiram como resposta certa as opções ‘Sim’, ‘Não’ ou ‘Em parte’. Eles não foram formulados em forma de pergunta, mas como uma sentença afirmativa. Os avaliadores deveriam verificar se a informação mencionada no indicador estava presente plenamente, em parte ou estava ausente no site avaliado. Um dos indicadores utilizados foi o seguinte: ‘Uma medida de prevenção é lavar as mãos frequentemente com água e sabão ou higienizar com álcool em gel 70%’. Em seguida, foi incluída a seguinte pergunta: ‘Esta informação está presente neste site?’. As respostas poderiam ser: ‘Sim’, ‘Não’ ou ‘Em parte’.

Os critérios técnico e legibilidade foram compostos por 6 indicadores cada; abrangência e interatividade, por 7 indicadores cada; e acurácia, 20 indicadores. No total, os 5 critérios adotados somaram 46 indicadores. A resposta positiva a cada um desses indicadores revela o grau de conformidade entre a informação oferecida e aquela considerada ideal. Esses 46 indicadores conformam o ‘padrão ouro’, ou seja, integram o conjunto de informações que um site de excelência deveria ter.

O quadro 1 apresenta os indicadores que compõem cada um dos critérios. Chama atenção o grande número de indicadores de acurácia (20). Esse fato se justifica pela inclusão nesse critério de indicadores relacionados com a prevenção (4), os sintomas (5), a transmissão (4), o diagnóstico (3) e o tratamento (4).

A criação dos indicadores utilizados na avaliação contou com a participação de 14 estudantes de pós-graduação (12 mestrandos e 2 doutorandos) do PPGDIP da UFMS. Quatro deles são homens, e 12 são mulheres. Todos possuem formação na área de biociências. Os dois professores responsáveis pela disciplina também participaram desse momento.

A avaliação foi realizada durante a pandemia de Covid-19. Por essa razão, o preenchimento on-line da ferramenta avaliativa foi escolhido como alternativa em respeito às medidas de distanciamento social para redução da transmissão dessa doença. Para tanto, foi produzido um questionário por meio da ferramenta Google Forms® para a aferição da existência ou não das informações em cada site avaliado. O questionário continha um espaço para a identificação do avaliador e do site avaliado, além do conjunto dos 46 indicadores. Os resultados foram armazenados em uma planilha para posterior análise.

O processo de avaliação dos quatro sites foi realizado por esse mesmo grupo com outros convidados externos. Cada estudante convidou um amigo ou parente para compor o grupo de avaliadores. Em relação aos convidados externos, 13 tinham graduação completa, em distintas áreas do conhecimento, e 1 estava com o curso superior em andamento. Cabe destacar que esses convidados externos não foram submetidos a um treinamento específico para manipulação da ferramenta e para a realização da avaliação. No total, o grupo de avaliadores foi formado por 30 pessoas, sendo metade composta por homens e metade, por mulheres.

O objetivo desta iniciativa foi realizar uma avaliação participativa dos sites selecionados, incluindo pessoas que representassem os possíveis usuários das informações disponibilizadas pelos sites. Dessa forma, pretendeu-se contemplar uma das deficiências identificadas por Paolucci e Pereira Neto²⁵25 Paolucci R, Pereira Neto A. Methods for evaluating the quality of information on health websites: Systematic Review (2001-2014). Latin Am J Develop. 2021; 3(3):994-1056.. Em sua revisão sistemática, os autores constataram que apenas 2,5% de estudos de avaliação da qualidade da informação de sites de saúde contaram com a participação de usuários no processo avaliativo²⁵25 Paolucci R, Pereira Neto A. Methods for evaluating the quality of information on health websites: Systematic Review (2001-2014). Latin Am J Develop. 2021; 3(3):994-1056..

Foram selecionados para avaliação os sites da Secretaria Estadual de Saúde do Mato Grosso do Sul (http://www.coronavirus.ms.gov.br) e das secretarias de três municípios daquela unidade da federação: Campo Grande (http://www.campogrande.ms.gov.br/sesau/covid19/), Corumbá (http://sisms.corumba.ms.gov.br/boletim/) e Dourados (http://corona.dourados.ms.gov.br).

Essa escolha tinha a finalidade de apresentar para esses órgãos um relatório contendo recomendações para melhorar a qualidade da informação oferecida por seus ambientes on-line.

Resultados e discussão

A tabela 1 apresenta os resultados obtidos na avaliação da qualidade da informação de quatro sites governamentais brasileiros sobre Covid-19.

Tais resultados permitem chegar a algumas constatações. A primeira evidência está relacionada com a baixa qualidade da informação identificada nos quatro sites avaliados. Apenas os sites de Dourados e Mato Grosso do Sul conseguiram atingir em torno de 60% de conformidade. Os demais apresentaram percentuais abaixo de 42%.

Os destaques positivos da avaliação ficaram com os critérios interatividade e legibilidade. No primeiro caso, os sites de Campo Grande, Dourados e Mato Grosso do Sul alcançaram média em torno de 70%. Nos sites de Dourados e Mato Grosso do Sul, 80% dos avaliadores identificaram uma ferramenta de busca e consideraram fácil navegação nesses sites. No que tange ao critério de legibilidade, os sites de Dourados e Mato Grosso do Sul obtiveram mais de 70% de conformidade. O site de Dourados, por exemplo, contém vídeos que facilitam a compreensão da informação sobre essa doença. Esses resultados indicam que os sites de Campo Grande, Dourados e Mato Grosso do Sul possuem ferramentas que facilitam a interação entre o usuário e o produtor da informação. Entretanto, é importante ressaltar que as vantagens associadas à informação on-line interativa e legível são reduzidas caso o conteúdo não seja preciso, atualizado e consonante com as atuais evidências científicas²⁴24 Eysenbach G, Powell J, Kuss O, et al. Empirical studies assessing the quality of health information for consumers on the world wide web: a systematic review. Jama. 2002; 287(20):2691-2700.37.,²⁵25 Paolucci R, Pereira Neto A. Methods for evaluating the quality of information on health websites: Systematic Review (2001-2014). Latin Am J Develop. 2021; 3(3):994-1056.. No critério de acurácia, todos os sites avaliados apresentaram percentuais inferiores a 42%. Esse índice indica que menos da metade do conteúdo disponibilizado em cada página avaliada estava de acordo com as informações disponíveis no site oficial do MS dedicado ao coronavírus.

Na tabela 2, pode ser identificado o percentual de avaliadores que não encontram as informações consideradas imprescindíveis sobre a doença. O índice elevado desse percentual indica que essa informação não consta nesse site. Como poderá ser observado, em nenhum dos casos, esse percentual atingiu 100%. Esse resultado pode ser explicado pelo fato de alguns avaliadores não terem realizado sua apreciação de forma atenta. Além disso, cabe destacar que os convidados externos não foram submetidos a nenhuma forma de treinamento.

Os resultados presentes na tabela 2 parecem graves. Em relação à prevenção, por exemplo, o uso da máscara é uma das medidas preventivas reconhecidas e recomendadas pela Organização Mundial da Saúde para reduzir a disseminação da Covid-19²⁷27 World Health Organization. Mask use in the context of Covid-19. Genebra: WHO; 2020 [acesso em 2021 abr 9]. Disponível em: https://www.who.int/publications/i/item/advice-on-the-use-of-masks--in-the-community-during-home-care-and-in-he-althcare-settings-in-the-context-of-the-novel-co-ronavirus-(2019-ncov)-outbreak.
https://www.who.int/publications/i/item/... . Porém, essa informação não esteve presente ou é de difícil visualização nos sites dos municípios de Corumbá, Campo Grande e no site da secretaria Estadual de Mato Grosso do Sul. No caso desses ambientes virtuais, a atenção esteve voltada para o oferecimento de informações epidemiológicas sobre a evolução da pandemia nessas regiões do estado, ao invés de disponibilizarem informações sobre prevenção da doença. No site de Corumbá, não constam informações relacionadas com a necessária lavagem das mãos com frequência ou o uso do álcool em gel 70%.

Em relação à transmissão, observa-se a ausência da maior parte das informações imprescindíveis. Cabe destaque ao fato de os sites de Campo Grande e Corumbá não informar que a transmissão acontece através do contato com superfícies como celulares, mesas, computadores e maçanetas que podem estar contaminadas. Nenhum dos quatro sites informa que a transmissão pode acontecer através dos contatos domiciliares de pessoas com suspeita ou confirmação de Covid-19.

Em relação a informações sobre diagnóstico, pode ser constatado que nenhum dos sites avaliados apresenta as informações mínimas necessárias. Quase todos os avaliadores não identificaram informações referentes ao teste diagnóstico, à necessidade de consulta médica para avaliar a possibilidade da doença e, à realização de tomografia no caso de sintomas respiratórios graves.

Em todos os sites avaliados, os indicadores relativos ao tratamento da doença também apresentaram baixa conformidade. Quase todos os avaliadores constataram que as informações sobre essa dimensão estiveram ausentes ou dificilmente visualizadas nos quatro ambientes digitais avaliados.

Diante dos resultados apresentados anteriormente, alguns aspectos merecem uma breve discussão.

Um deles está relacionado com o procedimento metodológico adotado na pesquisa que se transformou neste artigo.

Como mencionado, a avaliação da legibilidade dos quatro sites foi realizada pelos participantes da pesquisa.

Eysenbach et al.²⁴24 Eysenbach G, Powell J, Kuss O, et al. Empirical studies assessing the quality of health information for consumers on the world wide web: a systematic review. Jama. 2002; 287(20):2691-2700.37. já haviam demonstrado que “none of the studies conducted comprehension tests with actual consumers or used judgments of literacy experts”²⁴24 Eysenbach G, Powell J, Kuss O, et al. Empirical studies assessing the quality of health information for consumers on the world wide web: a systematic review. Jama. 2002; 287(20):2691-2700.37.⁽²⁶⁹⁵⁾. Além disso, eles ressaltaram que os estudos utilizaram recursos tecnológicos para realizar a avaliação da legibilidade da informação. Para esses autores, tais fórmulas

Paolucci²⁵25 Paolucci R, Pereira Neto A. Methods for evaluating the quality of information on health websites: Systematic Review (2001-2014). Latin Am J Develop. 2021; 3(3):994-1056., em sua revisão sistemática, concluiu que a legibilidade de um site continuava sendo realizada com a utilização de fórmulas como Flesh-Kincaid Grade Level, Discern tool e Flesch Reading Ease. Assim, este artigo dialoga com a literatura internacional e propõe uma maneira de envolver o usuário final na avaliação de legibilidade.

Outro aspecto relacionado com a dimensão metodológica refere-se aos critérios e indicadores utilizados. Nesse caso, o modelo de avaliação adotado neste artigo difere, em muitos aspectos, de dois outros presentes no cenário acadêmico internacional. Um deles é o Health On Net Foundation (HON). Outro é o Discern Questionnaire (DQ).

HON (https://www.hon.ch/en/) é uma organização não governamental criada em 1995, sediada na Suíça. Ela avalia as páginas de saúde a partir de oito princípios, a saber: ‘autoria’, que está relacionada com a presença da fonte da informação oferecida; ‘complementariedade’, que se preocupa com o fato da informação disponível não substituir a relação médico-paciente; ‘confidencialidade’, que avalia se a informação oferecida pelos pacientes não se tornou pública; ‘atribuição e atualização’, que busca verificar se consta a inclusão da última data de inserção da informação no site; ‘garantia’, refere-se ao fato do ambiente digital revelar que não tem interesse comercial; ‘transparência’, preocupa-se com o acesso que o usuário poderá ter nos sites por meio das inúmeras ferramentas de comunicação interna (fale conosco, e-mail, Facebook); ‘transparência do patrocínio’ dedica-se ao fato de identificar se o site indica suas fontes de financiamento; e ‘honestidade e transparência sobre a publicidade’²⁴24 Eysenbach G, Powell J, Kuss O, et al. Empirical studies assessing the quality of health information for consumers on the world wide web: a systematic review. Jama. 2002; 287(20):2691-2700.37.,²⁵25 Paolucci R, Pereira Neto A. Methods for evaluating the quality of information on health websites: Systematic Review (2001-2014). Latin Am J Develop. 2021; 3(3):994-1056..

Apesar de alguns dos alguns critérios adotados neste artigo coincidirem com os princípios adotados pelo HON, cabe destacar que não há qualquer referência à acurácia e à legibilidade da informação entre os princípios adotados pela instituição suíça.

O DQ (http://www.discern.org.uk/index.php) é um projeto fundado em 1996-1997 pela British Library and National Health Services (NHS). Esse questionário fornece aos usuários uma maneira para eles avaliarem a qualidade da informação escrita sobre as opções de tratamento para um problema de saúde. Ele é dividido em três seções. A primeira preocupa-se com a confiabilidade da informação. A segunda leva o usuário a questionar a qualidade das informações sobre as opções de tratamento. Na terceira, orienta o usuário a realizar uma classificação geral da publicação. Uma das questões, por exemplo, pergunta se o site ‘Descreve como funciona cada tratamento’. É possível que, nesse caso, o site descreva esse aspecto de forma incorreta, desatualizada ou incompreensível. Esse aspecto não é considerado pelo DQ²⁴24 Eysenbach G, Powell J, Kuss O, et al. Empirical studies assessing the quality of health information for consumers on the world wide web: a systematic review. Jama. 2002; 287(20):2691-2700.37.,²⁵25 Paolucci R, Pereira Neto A. Methods for evaluating the quality of information on health websites: Systematic Review (2001-2014). Latin Am J Develop. 2021; 3(3):994-1056..

Por essa razão, acredita-se que os critérios e o processo de avaliação adotados na pesquisa que resultou neste artigo sejam mais completos.

Outro ponto que merece destaque na discussão deste artigo pode ser evidenciado ao se comparar os resultados obtidos nesta pesquisa com outros encontrados em estudos anteriores.

O problema da baixa qualidade informacional de sites institucionais vinculados a secretarias de saúde já havia sido observado em dois estudos anteriores: um avaliando informações em sites de dengue²⁸28 Pereira Neto AF, Paolucci R, Daumas RP, et al. Avaliação participativa da qualidade da informação de saúde na internet: o caso de sites de dengue. Ciênc. Saúde Colet. 2017; 22(6):1955-1968., e outro verificando a qualidade das informações em sites de tuberculose²⁹29 Paolucci R, Pereira Neto A, Luzia R. Avaliação da qualidade da informação em sites de tuberculose: análise de uma experiência participativa. Saúde debate. 2017; 41(esp):84-100..

Pereira Neto et al.²⁸28 Pereira Neto AF, Paolucci R, Daumas RP, et al. Avaliação participativa da qualidade da informação de saúde na internet: o caso de sites de dengue. Ciênc. Saúde Colet. 2017; 22(6):1955-1968. realizaram a avaliação da qualidade da informação em 20 sites sobre dengue, utilizando os mesmos critérios e seguindo a perspectiva participativa semelhante àquela realizada na pesquisa que resultou neste artigo. Entre eles, 7 eram vinculados a órgãos governamentais brasileiros, a saber: MS; Instituto Oswaldo Cruz (IOC), unidade da Fundação Oswaldo Cruz; Rede Dengue da Fundação Oswaldo Cruz (RD); Secretarias Estaduais de Saúde do Paraná (SES-PA), Rio de Janeiro (SES-RJ) e de Minas Gerais (SES-MG); e Secretaria Municipal de Saúde de Recife (SMS-RE).

Paolucci, Pereira Neto e Luzia²⁹29 Paolucci R, Pereira Neto A, Luzia R. Avaliação da qualidade da informação em sites de tuberculose: análise de uma experiência participativa. Saúde debate. 2017; 41(esp):84-100. realizaram uma avaliação da qualidade da informação em 12 sites sobre tuberculose, empregando os critérios e a perspectiva de pesquisa participante adotados no estudo aqui apresentado. Entre os sites avaliados²⁹29 Paolucci R, Pereira Neto A, Luzia R. Avaliação da qualidade da informação em sites de tuberculose: análise de uma experiência participativa. Saúde debate. 2017; 41(esp):84-100., 6 são vinculados a órgãos governamentais brasileiros, a saber: Programa Nacional de Controle da Tuberculose; MS; Fundação de Medicina Tropical; governo do estado do Amazonas (AM); SES-PA e São Paulo (SES-SP); e Secretarias Municipais de Saúde de Porto Alegre (SMS-PA) e Rio de Janeiro (SMS-RJ).

Os resultados obtidos na avaliação das informações em sites governamentais brasileiros sobre dengue²⁸28 Pereira Neto AF, Paolucci R, Daumas RP, et al. Avaliação participativa da qualidade da informação de saúde na internet: o caso de sites de dengue. Ciênc. Saúde Colet. 2017; 22(6):1955-1968. foi o seguinte:

Os resultados obtidos na avaliação das informações em sites governamentais brasileiros sobre tuberculose²⁹29 Paolucci R, Pereira Neto A, Luzia R. Avaliação da qualidade da informação em sites de tuberculose: análise de uma experiência participativa. Saúde debate. 2017; 41(esp):84-100. foi o seguinte:

Os percentuais de conformidade identificados na avaliação de sites governamentais brasileiros sobre dengue chamam atenção. Apenas um deles obteve uma média geral superior a 60% de conformidade. Em termos de acurácia, apenas dois obtiveram mais de 60% de conformidade²⁹29 Paolucci R, Pereira Neto A, Luzia R. Avaliação da qualidade da informação em sites de tuberculose: análise de uma experiência participativa. Saúde debate. 2017; 41(esp):84-100.. Em relação à tuberculose, Paolucci, Pereira Neto e Luzia²⁹29 Paolucci R, Pereira Neto A, Luzia R. Avaliação da qualidade da informação em sites de tuberculose: análise de uma experiência participativa. Saúde debate. 2017; 41(esp):84-100. constataram que média de conformidade mais alta girou em torno de 60%. Em termos de acurácia, apenas um obteve mais de 70% de conformidade.

Os percentuais de conformidade identificados no estudo que resultou neste artigo revelam que a qualidade da informação sobre Covid-19 é ruim nos sites governamentais brasileiros avaliados. Esse resultado se aproxima, em linhas gerais, daqueles obtidos por Pereira Neto et al.²⁸28 Pereira Neto AF, Paolucci R, Daumas RP, et al. Avaliação participativa da qualidade da informação de saúde na internet: o caso de sites de dengue. Ciênc. Saúde Colet. 2017; 22(6):1955-1968. e Paolucci, Pereira Neto e Luzia²⁹29 Paolucci R, Pereira Neto A, Luzia R. Avaliação da qualidade da informação em sites de tuberculose: análise de uma experiência participativa. Saúde debate. 2017; 41(esp):84-100. nas avaliações de sites sobre dengue e tuberculose respectivamente.

A partir dos dados obtidos no estudo aqui apresentado, assim como aqueles disponíveis na literatura²⁸28 Pereira Neto AF, Paolucci R, Daumas RP, et al. Avaliação participativa da qualidade da informação de saúde na internet: o caso de sites de dengue. Ciênc. Saúde Colet. 2017; 22(6):1955-1968.,²⁹29 Paolucci R, Pereira Neto A, Luzia R. Avaliação da qualidade da informação em sites de tuberculose: análise de uma experiência participativa. Saúde debate. 2017; 41(esp):84-100., pode-se afirmar que os sites governamentais brasileiros precisam ser avaliados e, em seguida, modificados, atendendo às condições mínimas de interatividade, legibilidade e acurácia.

Considerações finais

Informação on-line sobre saúde pode ser um recurso importante para o incremento do autocuidado, da autogestão, do empoderamento e da adesão ao tratamento. Para tanto, é necessário que ela tenha qualidade, isto é, seja interativa, compreensível, atual, confiável e cientificamente comprovada²⁴24 Eysenbach G, Powell J, Kuss O, et al. Empirical studies assessing the quality of health information for consumers on the world wide web: a systematic review. Jama. 2002; 287(20):2691-2700.37.. Cabe salientar que, ao utilizar a palavra ‘qualidade’, não se referiu à sua dimensão subjetiva. Na opinião dos pesquisadores deste estudo, essa expressão, associada à informação on-line em saúde, está relacionada com a perspectiva de sobrevida e bem-estar que ela poderá proporcionar à população, podendo ser aferida por um conjunto de critérios e indicadores³⁰30 Paim I, Nehmy RMQ, Guimarães CG. Problematização do conceito ‘qualidade’ da Informação. Perspec. Ci. Inf. 1996; 1(1):111-119..

A Organização Pan-Americana da Saúde acaba de constatar a existência da infodemia, isto é, “um excesso de informações, algumas precisas e outras não, que tornam difícil encontrar fontes idôneas e orientações confiáveis quando se precisa”³¹31 Organização Pan-Americana da Saúde. Entenda a infodemia e a desinformação na luta contra a Covid-19. Brasil: OPAS; 2020. [acesso em 2021 abr 9]. Disponível em: https://iris.paho.org/bitstream/handle/10665.2/52054/Factsheet-Infodemic_por. pdf?sequence=14.
https://iris.paho.org/bitstream/handle/1... (2)2 Pereira Neto A, Lima J, Barbosa L, et al. Internet, expert patient e empoderamento: perfis de atuação em comunidades virtuais de renais crônicos. In: Pereira Neto A, Flynn M, organizadores. Internet e saúde no Brasil: desafios e tendências. São Paulo: Cultura Acadêmica; 2021. p. 145-175..

O que tem sido feito para diminuir esse problema?

No ano passado, o consórcio formado por instituições vinculadas ao Ministério da Ciência, Tecnologia, Inovações e Comunicações (MCTIC) e ao MS lançou uma chamada para

Um dos temas para submissão de propostas era prevenção e controle. Ele é subdividido em cinco linhas. Uma delas previa:

Pode-se observar que existe um interesse das principais agências públicas de fomento em apoiar pesquisas sobre o tema de fake news em tempos de covid-19. Este artigo revelou que existe outro problema sério que necessita ser enfrentado: os sites governamentais brasileiros estão deficientes e não atendem aos critérios mínimos de qualidade, apresentando informações incorretas, desatualizadas, incompletas e ilegíveis sobre o tema.

Os sites avaliados apresentaram, no geral, um grau de conformidade com os critérios e indicadores utilizados igual ou inferior a 61%. No critério de acurácia, os percentuais obtidos estiveram abaixo de 45%. Desse modo, é possível observar que os ambientes on-line das secretarias de saúde dedicados ao tema da Covid-19 não atendem aos critérios mínimos de qualidade. Em um contexto em que cada vez mais pessoas utilizam a internet para a pesquisa de informação sobre saúde, é fundamental que o conteúdo disponibilizado, sobretudo em sites de órgãos governamentais brasileiros, seja técnico, abrangente, interativo, legível e acurado. É necessário ressaltar que, ao atingir a conformidade indicada, dentro do que se refere à qualidade da informação, o site estará mais acessível ao cidadão, aumentando a confiança na informação oferecida e, sobretudo, contribuindo para a circulação de informação baseada em evidências científicas e para o enfrentamento de conteúdo informativo falso.

A avaliação e a certificação de sites governamentais brasileiros representam uma alternativa importante de combate às fake news na área da saúde, especialmente em um contexto de pandemia. Além disso, os sites públicos deveriam primar pelo oferecimento de informação atualizada, correta, compreensível e de qualidade. Infelizmente, essa não foi a realidade encontrada como resultado desta avaliação. Se o site público for de qualidade, os brasileiros terão onde recorrer quando tivessem alguma dúvida em relação à informação sobre a Covid-19. No Brasil, não há notícia de qualquer agência pública ou privada que esteja desenvolvendo atividades sistemáticas de avaliação da qualidade da informação de saúde disponível na internet. Enquanto isso, nos Estados Unidos e na Europa, agências governamentais, associações profissionais e pesquisadores têm feito avaliação de informação em sites de saúde há mais de duas décadas. HON e DQ são as mais proeminentes. Não seria o caso de construir uma agência pública certificadora de sites de saúde governamentais?

Limites e potencialidades

Cabe ressaltar que o estudo conduzido utilizou uma amostra reduzida de sites para análise. Porém, esta proposta de avaliação, baseada em critérios e indicadores construídos de forma participativa a partir de revisões sistemáticas, pode ser empregada para avaliação de um número maior de sites de diferentes municípios e estados brasileiros. Com isso, será possível oferecer um panorama mais completo da qualidade da informação sobre a Covid-19 em sites de órgãos públicos de todo território nacional.

A avaliação participativa é uma característica que merece ser destacada na experiência realizada e que se transformou neste artigo. A participação aconteceu em todas as etapas da pesquisa e dos processos de certificação de sites de saúde. Os participantes contribuíram tanto para construção e validação dos indicadores como para avaliações dos sites. Cabe ressaltar que a maioria dos avaliadores reside em Mato Grosso do Sul e tem nível superior completo. Dessa maneira, embora não fosse uma condição de seleção, é razoável supor que eles tivessem literacia em saúde e condição socioeconômica semelhante. Esse aspecto limita a possibilidade de generalização dos achados. Apesar disso, este artigo apresenta resultados no mínimo preocupantes.

A pandemia de Covid-19 tem sido marcada pela alta circulação de fake news. Nesse contexto, é imprescindível que páginas de secretarias de saúde apresentem informação sobre a doença com alta qualidade e fácil legibilidade. Só assim irão oferecer um conteúdo informativo confiável e baseado em evidências científicas, contribuindo para o enfrentamento de notícias falsas e seus impactos negativos.

Este artigo pretende estimular a realização de pesquisas futuras sobre o tema. Nesse sentido, a tese de doutorado de Paolucci³³33 Paolucci R. Avaliação da qualidade da informação em sites de saúde: indicadores de acurácia baseada em evidência para tuberculose. [tese]. Rio de Janeiro: Fundação Oswaldo Cruz; 2020. apresenta uma perspectiva inovadora que muito contribui para o debate acadêmico sobre o tema.

Este estudo pretende incluir o tema na agenda de pesquisa do MS e do Ministério da Ciência e Tecnologia. Além disso, pode servir para sensibilizar os policy makers da saúde sobre o problema da qualidade da informação e as consequências que um site de qualidade pode proporcionar ao bem-estar do cidadão. Seria valiosa a realização de estudos que identificassem os efeitos de curto e longo prazo que essas informações podem promover, inclusive nos custos da saúde¹⁰10 Spoelman WA, Bonten TN, Waal MW, et al. Effect of an evidence-based website on healthcare usage: an interrupted time-series study. BMJ Open. 2016; 6(11).. Estudos avaliando a qualidade da informação sobre doenças prevalentes nos países em desenvolvimento também merecem destaque.

Neste artigo, procurou-se destacar a relevância do problema da qualidade da informação em saúde disponível na internet, particularmente em sites governamentais brasileiros sobre a pandemia de Covid-19. Ele sugere outras possibilidades para reduzir esse problema como a literacia em saúde e a criação de agências de checagem de notícias.

Como apresentado nesse artigo, o tema tem merecido a atenção da academia há algum tempo. Nesse sentido, uma das questões que o artigo suscita é a seguinte: o que pode ser feito para que a questão da avaliação da qualidade dos sites da área da saúde passe a ser discutida pela sociedade e se torne um ponto relevante na agenda de pesquisa das agências de fomento?

Referências

Datas de Publicação

Histórico