Resumos

Introdução

Em 31 de dezembro de 2019, a Organização Mundial da Saúde (OMS) foi notificada sobre uma nova doença viral respiratória identificada em Wuhan, na China. Em 12 de março de 2020, a OMS declarou que o mundo estava enfrentando uma nova pandemia. O sequenciamento genético sugeriu ser um betacoronavírus ligado ao vírus da SARS (SARS-CoV-2) ¹1. Epidemiology Working Group for NCIP Epidemic Response. The epidemiological characteristics of an outbreak of 2019 novel coronavirus diseases (COVID-19) in China. Zhonghua Liu Xing Bing Xue Za Zhi 2020; 41:145-51., que ocasiona a doença por coronavírus 2019 (COVID-19). Esse vírus liga-se à enzima ECA2 ²2. Wiersinga WJ, Rhodes A, Cheng AC, Peacock SJ, Prescott HC. Pathophysiology, transmission, diagnosis, and treatment of coronavirus disease 2019 (COVID-19): a review. JAMA 2020; 324:782-93., presente nas células humanas e apresenta grande poder de disseminação entre humanos.

Dados da OMS em 15 de agosto de 2020 confirmavam 21.026.758 casos de COVID-19, com 755.786 mortes no mundo. Os Estados Unidos e o Brasil são os países com o maior número de casos confirmados dessa doença e de mortes no mundo (World Health Organization. WHO coronavirus disease (COVID-19) dashboard. https://covid19.who.int/, acessado em 15/Ago/2020). A pandemia exerce grande pressão nos sistemas de saúde e tem produzido impactos significativos na saúde pública e na economia global ²2. Wiersinga WJ, Rhodes A, Cheng AC, Peacock SJ, Prescott HC. Pathophysiology, transmission, diagnosis, and treatment of coronavirus disease 2019 (COVID-19): a review. JAMA 2020; 324:782-93.^,33. Pereira BB. Challenges and cares to promote rational use of chloroquine and hydroxychloroquine in the management of coronavirus disease 2019 (COVID-19) pandemic: a timely review. J Toxicol Environ Health B Crit Rev 2020; 23:177-81.^,44. Gérard A, Romani S, Fresse A, Viard D, Parassol N, Granvuillemin A, et al. "Off-label" use of hydroxychloroquine, azithromycin, lopinavir-ritonavir and chloroquine in COVID-19: a survey of cardiac adverse drug reactions by the French Network of Pharmacovigilance Centers. Therapie 2020; 75:371-9.. Até essa mesma data, no Brasil, ocorreram 277.107 internações hospitalares de pessoas com COVID-19 (Ministério da Saúde. COVID-19: painel coronavírus. https://covid.saude.gov.br, acessado em 15/Ago/2020).

Dados preliminares de estudos in vitro identificaram atividades antiviral dos fármacos cloroquina e hidroxicloroquina, associados a antibióticos macrolídeos como azitromicina, e estes foram recomendados em alguns países como terapia medicamentosa contra o SARS-CoV-2. Apesar desses fármacos serem indicados para outras doenças, o uso nesta pandemia é experimental, e mesmo o uso compassivo pode representar riscos à saúde devido ao potencial de causar reações adversas, principalmente o risco de cardiotoxicidade ⁴4. Gérard A, Romani S, Fresse A, Viard D, Parassol N, Granvuillemin A, et al. "Off-label" use of hydroxychloroquine, azithromycin, lopinavir-ritonavir and chloroquine in COVID-19: a survey of cardiac adverse drug reactions by the French Network of Pharmacovigilance Centers. Therapie 2020; 75:371-9.^,55. Borba MGS, Val FFA, Sampaio VS, Alexandre MAA, Melo GC, Brito M, et al. Effect of high vs low doses of chloroquine diphosphate as adjunctive therapy for patients hospitalized with severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2) infection: a randomized clinical trial. JAMA Netw Open 2020; 3:e208857.^,66. Kalil AC. Treating COVID-19-off-label drug use, compassionate use, and randomized clinical trials during pandemics. JAMA 2020; 323:1897-8..

As reações adversas a medicamentos (RAMs) são consideradas um grave problema de saúde pública e contribuem para o aumento da morbimortalidade e de gastos para o paciente e sistemas de saúde ⁷. As RAMs podem prolongar o tempo da internação do paciente, agravando ainda mais a busca por leitos para novos pacientes infectados. Considerando que as informações de segurança dos fármacos para o tratamento da COVID-19 são limitadas, este estudo tem como objetivo avaliar as reações adversas identificadas nos pacientes com COVID-19, segundo características de pessoas, medicamentos e reações, bem como identificar os fatores associados ao surgimento de RAMs graves nestas pessoas.

Metodologia

Este estudo está relatado seguindo a diretriz de Relatórios de Estudos Observacionais em Epidemiologia (STROBE).

Delineamento e população do estudo

Trata-se de estudo transversal, com etapas descritiva-exploratória e analítica, utilizando como fonte de dados os relatórios de segurança de casos individuais (ICSR, em inglês) encaminhados ao Centro Nacional de Monitorização de Medicamentos (CNMM) da Agência Nacional de Vigilância Sanitária (Anvisa).

A população foi constituída pelos pacientes com COVID-19 que apresentaram RAMs e foram notificados no Sistema Brasileiro de Farmacovigilância entre 1º de março de 2020 e 15 de agosto de 2020. Os relatórios foram rastreados no sistema usando-se as palavras “COVID-19”, “Coronavírus”, “SARS-Cov”; “Pneumonia”, “Hidroxicloroquina”, “Cloroquina” no título da notificação e, também, pela indicação terapêutica dos medicamentos, segundo o Dicionário Médico de Atividades Regulatórias (MedDRA), versão 23 ⁸8. International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use. Medical dictionary for regulatory activities - MedDRA, version 23.0. Geneva: International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use; 2020., com os termos “COVID-19”, “suspeita de COVID-19”, e “tratamento da COVID-19”. Todos os relatórios foram revisados manualmente antes de sua inclusão no estudo.

A avaliação da causalidade foi realizada usando-se o método WHO-UMC (Organização Mundial da Saúde-Centro de Monitoramento de Uppsala) ⁹9. Organização Mundial da Saúde. A importância da farmacovigilância. Brasília: Organização Mundial da Saúde; 2005.^,1010. Behera SK, Das S, Xavier AS, Velupula S, Sandhiya S. Comparison of different methods for causality assessment of adverse drug reactions. Int J Clin Pharm 2018; 40:903-10.. Todos os fármacos com o status de “interação” nos relatos foram considerados suspeitos, conforme o guia do ICH E2B (R3) ⁹9. Organização Mundial da Saúde. A importância da farmacovigilância. Brasília: Organização Mundial da Saúde; 2005.. A gravidade das RAMs foi classificada segundo o guia Conselho Internacional para Harmonização de Requisitos Técnicos para Medicamentos de Uso Humano (ICH, Genebra, Suíça) ¹¹11. International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use. Implementation guide for electronic transmission of individual case safety reports (ICSRs): E2B(R3) data elements and message specification. Geneva: International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use; 2016. que considera como RAM grave qualquer reação que resulte em morte, ameaça à vida, que cause internação hospitalar ou prolongue a internação, resulte em incapacidade, persistente ou significativa, ou que cause anomalia congênita.

Base de dados e seus arranjos estruturais da informação

A fonte de dados avaliada foi o VigiBase (https://www.who-umc.org/vigibase/vigibase/), que é o banco de dados global para o recebimento dos ICSR dos países membros do programa de monitoramento de medicamentos da OMS. Esse sistema foi desenvolvido e é mantido em nome da OMS pelo Centro de Monitoramento de Uppsala, na Suécia ¹²12. Lindquist M. VigiBase, the WHO Global ICSR Database System: basic facts. Drug Inf J 2008; 42:409-19..

A Anvisa em 2019 assumiu o VigiFlow (https://www.who-umc.org/global-pharmacovigilance/vigiflow/) como o sistema oficial de notificação de RAMs e adotou o MedDRA como dicionário padrão de termos médicos para as RAMs. No Brasil, esse sistema recebeu o nome de VigiMed (http://antigo.anvisa.gov.br/vigimed). Dessa forma, a Anvisa cumpriu com a diretriz do ICH que trata dos elementos de dados para a transmissão de reações adversas (diretriz E2B). Portanto, todos os conceitos e métodos, tanto de avaliação da causalidade e gravidade, utilizados neste estudo são justificados pelos compromissos da Anvisa como membro do ICH e usados na rotina de suas atividades de monitoramento de RAMs.

O relato de um caso de paciente com RAM, no VigiMed, pode gerar diversos registros no banco de dados a depender do número de fármacos utilizado e das reações identificadas. Por exemplo, o ICSR de um paciente que usou três medicamentos (A, B e C) e apresentou duas reações adversas (X, Y) com os fármacos A e B suspeitos formará cinco registros, com quatro pares de fármaco reação, assim distribuídos: dois do medicamento A com cada reação identificada (AX, AY), dois do medicamento B (BX, BY) e um registro para o medicamento C como concomitante.

Cada paciente recebe um ID único e as demais informações de dosagem, posologia, local de origem são repetidas para cada registro criado. Dessa forma, as análises podem se referir às características do paciente, do notificador, aos medicamentos utilizados e aos pares “medicamento-reação”, que são as reações propriamente ditas. Devido à complexidade dos arranjos de dados formados serão avaliados o perfil dos pacientes, dos medicamentos e os pares fármaco-reações formados, visto que a avaliação da gravidade, causalidade e desfecho é baseada no par fármaco-reação formado e não no conjunto dos medicamentos usados.

Critérios de inclusão e exclusão

Foram incluídos os ICSR dos pacientes com COVID-19 notificados no VigiMed no período do estudo e excluídos os relativos a erros de medicação, inefetividade ou queixas técnicas dos medicamentos inseridas no VigiMed de forma errônea.

Variáveis de estudo

Foram avaliadas as variáveis relativas às características do notificador (Unidade da Federação de residência, profissão), do paciente (sexo, idade, número de fármacos consumidos, doenças concomitantes), dos medicamentos envolvidos (classe terapêutica, dose cumulativa, grau de suspeição) e das RAMs (tipo, gravidade, causalidade). Os medicamentos foram classificados de acordo com a ATC (Anatomical Therapeutical Chemical Classification System) ¹³13. WHO Collaborating Centre for Drug Statistics Methodology; Norwegian Institute of Public Health. Guidelines for ATC classification and DDD assignment. 23th Ed. Oslo: World Health Organization; 2020.. As RAMs foram classificadas com a terminologia MedDRA, versão 23.0 ⁸8. International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use. Medical dictionary for regulatory activities - MedDRA, version 23.0. Geneva: International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use; 2020., apresentadas por sistema-órgão-classe (SOC) e terminologia preferida da reação (PT).

A polifarmácia foi definida como o consumo de cinco ou mais medicamentos ¹⁴14. Carvalho MFC, Romano-Lieber NS, Bergsten-Mendes G, Secoli SR, Riberio E, Lebrão ML, et al. Polifarmácia entre idosos do Município de São Paulo: estudo SABE. Rev Bras Epidemiol 2012; 15:817-27.. Para melhorar a completitude das variáveis, os ICSR foram avaliados individualmente e, sempre que possível, a informação ausente no banco de dados foi completada com base nas informações presentes nos campos textos dos relatos.

Análises estatísticas

Na etapa descritiva as variáveis de interesse foram categorizadas e descritas por meio de frequências relativas. As proporções de RAM foram avaliadas com o uso de estimativas pontuais ou intervalos de 95% de confiança (IC95%). Na etapa analítica, os dados foram submetidos à regressão logística não condicional, tendo como variável dependente “reação grave (sim, não)” e como explicativas (independentes) as variáveis sexo, faixa etária, presença de comorbidades e medicamentos usados. Foi considerado caso com “reação grave” o paciente que apresentou, no mínimo, uma reação que atenda o critério de reação grave do ICH ¹¹11. International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use. Implementation guide for electronic transmission of individual case safety reports (ICSRs): E2B(R3) data elements and message specification. Geneva: International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use; 2016.. Para variáveis qualitativas, foram realizados os testes não paramétricos qui-quadrado de Pearson quando os tamanhos amostrais fossem grandes e exato de Fisher quando fossem pequenos. Para comparar médias e medianas das amostras com distribuição normal foi utilizado o teste t, e quando em amostras pequenas ou com variâncias não homogêneas, o teste de Mann-Whitney.

Foram estimados os modelos de regressão logística bruta e ajustada. Na análise bivariada foram identificadas as variáveis candidatas à análise multivariável; aquelas que apresentaram nível de significância estatística de p < 0,20. Adotamos um valor mais permissivo nessa etapa preliminar para o valor de p, para que fosse dada oportunidade para que todas as variáveis relevantes fossem examinadas após a inclusão e o ajuste de confundidores. Em seguida, com o método stepwise (backwards) foram excluídas as variáveis irrelevantes estatisticamente, até que apenas aquelas com significância estatística (p < 0,05) ficassem no modelo final. Medidas de associação (odds ratio - OR) ajustadas e seus respectivos IC95% foram estimados. Toda a análise foi feita com o auxílio do software Stata, versão 10 (http://www.stata.com).

Aspectos éticos

O estudo foi aprovado pelo Comitê de Ética em Pesquisa (CEP) da Universidade Federal do Ceará (UFC), com o parecer de aprovação nº 4.083.486 e CAE nº 02066818.3.0000.5054.

Resultados

A pesquisa identificou 1.138 ICSR de pacientes com COVID-19. Após a aplicação dos critérios estabelecidos, foram descartados 736 ICSR (64,7%), sendo 574 (78%) por duplicação da pesquisa, 114 (15,4%) por outras doenças e indicações terapêuticas não identificadas, 48 (6,6%) por erro de medicação e queixa técnica. Foram incluídos na análise 402 ICSR, com 499 medicamentos suspeitos e 631 RAM nos pacientes com COVID-19.

Os farmacêuticos foram os que mais notificaram casos suspeitos (81,8%) e os médicos foram os profissionais com a menor participação no sistema, com apenas três casos (0,8%). Setenta e um hospitais distribuídos em 16 estados do Brasil foram responsáveis pelo envio dos ICSR. Foram relatados 1.247 fármacos (3,1 fármacos/pacientes) gerando uma média de 1,6 RAM/paciente. Os estados que mais enviaram casos foram: São Paulo (53,4%), Rio de Janeiro (11,9%) e Rio Grande do Sul (9,2%) (Tabela 1).

A maioria dos ICSR foi do sexo masculino (59,7%). A faixa etária mais atingida foi a de 45-64 anos (36,8%), com média de idades de 60,5 anos ± 1,8 anos. Cinquenta e três vírgula três por cento dos pacientes apresentaram outras doenças ou fatores de risco, tais como hipertensão (31,1%), diabetes (21,4%), doenças cardiovasculares (12,9%), com o uso concomitante de até 4 medicamentos (81,6%). (Tabela 1).

Fármacos utilizados na terapia medicamentosa

Em geral, os grupos farmacológicos mais reportados nos ICSR foram: aminoquinolinas (26,3%), antibióticos macrolídeos (10,8%) e os agentes antitrombóticos (6,3%). Os cincos grupos mais usados representaram 51,6% de todos os medicamentos utilizados pelos pacientes do estudo (Tabela 2).

Entre os fármacos consumidos, 748 (60%) foram considerados concomitantes, 17 (1,4%) como interação medicamentosa com outros fármacos e 482 (38,6%) suspeitos de causarem as reações. Entre os fármacos suspeitos ou com interação (n = 499), os mais frequentes (79,7%) foram a hidroxicloroquina (59,5%), azitromicina (9,8%), a cloroquina (5,2%) e a ceftriaxona com 3,2% (Tabela 2).

Do total dos fármacos suspeitos e com interação (n = 499), 319 (64%) foram suspensos da terapia, 17 (3,4%) tiveram a redução da dose administrada e em 107 (21,4%) a equipe médica manteve o medicamento sem a alteração da dose (Tabela 2). Na medida em que aumentava a idade do paciente, a decisão médica de retirar o medicamento suspeito foi mais frequente.

Aspectos gerais das reações adversas reportadas

Os principais grupos, por SOC, segundo o local de manifestação da reação nos pacientes, foram: doenças e alterações cardíacas (38,8%), seguidas pelas doenças gastrointestinais (14,4%), doenças do tecido cutâneo e subcutâneo (12,2%) e as doenças hepatobiliares (8,9%) (Tabela 3).

A avaliação da causalidade demonstrou que 19,8% das reações foram classificadas como prováveis, 67,4% como possíveis, 2,1% como improváveis e 10,6% como condicional, ou seja, indefinida devido à ausência ou baixa qualidade da informação. Somente uma reação (0,2%) foi considerada como definida.

A análise dos fatores associados à presença de RAM grave no paciente

No total, 352 (56,4%) reações foram classificadas como graves, sendo 37,8% destas como RAM cardíaca “prolongamento do intervalo QT”. Quanto ao desfecho, 393 reações (62,3%) foram resolvidas, 137 (21,7%) estavam em recuperação, 68 (11,3%) reações tiveram seus desfechos ignorados. Trinta reações apresentaram o desfecho fatal/óbito, no entanto, não foi possível avaliar se a reação foi a causa básica do óbito. A Tabela 4 apresenta todos os desfechos das principais reações.

Ao avaliar os fatores associados à presença de RAM grave entre pacientes com COVID-19, apresentados na Tabela 5, foi identificado que os homens (OR = 1,7; IC95%: 1,1-2,6; p = 0,02) e idosos acima de 65 anos (OR = 1,5; IC95%: 1,01-2,6; p = 0,04) tiveram maior chance de apresentar RAM grave, quando comparados aos demais casos notificados.

A hidroxicloroquina (OR = 2,1; IC95%: 1,2-3,6; p < 0,01) e cloroquina (OR = 5,4; IC95%: 1,9-15,6; p < 0,01) foram os dois únicos medicamentos que estiveram estatisticamente associados à presença de RAM grave. Pacientes que usaram a hidroxicloroquina registraram quase 2 vezes mais chances de apresentar RAM grave do que aqueles que não usaram este medicamento e, de uma forma mais agravada, os que fizeram o uso da cloroquina registraram quase 6 vezes mais chances de apresentar RAM grave, comparados aos que não usaram este medicamento (Tabela 5).

A análise das doses cumulativas até o início dos primeiros sintomas de RAM

Entre as 631 reações relatadas, 271 delas (42,9%) apresentavam a informação sobre a dose total administrada até o surgimento da reação (dose cumulativa). Os pacientes que usaram cloroquina registraram a maior média de dose cumulativa com 1.503,8mg, com azitromicina a média foi de 1.464,7mg e com hidoxicloroquina, de 1.393,8mg (Tabela 6).

A dose média cumulativa dos pacientes que usaram hidroxicloroquina e tiveram o desfecho fatal foi de 1.485,7mg (desvio padrão - DP = 999,0), já os que apresentaram o desfecho não fatal foi de 1.399,0mg (DP = 904,3). Para os que usaram cloroquina e tiveram desfecho fatal, a dose média cumulativa foi de 1.950mg (DP = 687,4) e para o grupo com desfecho não fatal foi de 1.456,8mg (DP = 864,7). Apesar das diferenças entre as médias, elas não foram significativas (p > 0,05) (Tabela 6).

Análise individual das principais reações relatadas

Prolongamento do intervalo QT

O prolongamento do intervalo QT foi a reação mais relatada entre todas as RAMs, com 212 registros (33,6%). Os principais medicamentos suspeitos de provocarem essa reação foram a cloroquina (48,4%), hidroxicloroquina (44,4%) e azitromicina (41,1%) (Tabela 3).

Na distribuição percentual dessa reação por faixa etária foi observado um gradiente positivo, passando de 21,6% entre os pacientes de 18-44 anos para 43,1% naqueles com 75 anos e mais. Quanto à distribuição por sexo, 128 dessas reações ocorreram nos homens (34,6%) e 84 nas mulheres (32,2%) (Tabela 4).

Uma proporção significativa dessas reações foi grave (n = 133; 37,8%) (Tabela 4). Dois pacientes apresentaram torsades de pointes após o uso de hidroxicloroquina, causando o prolongamento das internações, sendo classificadas como RAM graves.

Entre os pacientes que tiveram o tamanho do prolongamento do intervalo QT informado no banco (n = 118; 55,7%), a média deste prolongamento foi de 513,1ms, (DP = 55,1). Setenta e um pacientes (60,2%) apresentaram essa medida acima de 500ms. Ao avaliar essa RAM por medicamentos, observou-se que a média do prolongamento em pacientes em uso de azitromicina foi de 511,7ms (DP = 42,1), em uso de cloroquina foi de 505,4ms (DP = 36,7) e hidroxicloroquina de 512ms (DP = 56,5) (Tabela 6).

Foi observado que os pacientes que usaram hidroxicloroquina e apresentaram um intervalo QT < 500ms registraram uma dose cumulativa média de 1.148,5mg, já nos pacientes que apresentaram intervalo QT > 500ms a dose cumulativa para este mesmo fármaco foi de 1.662mg (p < 0,01). Tanto para cloroquina quanto para azitromicina o comportamento foi semelhante, no entanto, a diferença entre as médias não foi significativa (Tabela 6).

Quanto ao desfecho da reação, verificou-se que 11 destas foram classificadas como fatais/óbitos, o que representou 36,7% de todas as reações fatais do estudo. Desses, 9 casos foram após o uso da hidroxicloroquina (81,8%) e 2 após o uso da cloroquina (18,2%). A média do prolongamento do intervalo QT entre todos os pacientes que apresentaram essa RAM foi de 513,05ms (DP = 55,1) e nos casos fatais por essa mesma reação foi de 507,8ms (Tabela 6).

Diarreia

O segundo grupo de SOC com mais relatos de reações foi o das doenças gastrointestinais (n = 91; 14,4%). Nesse grupo, a diarreia foi a RAM mais relatada com 47 registros (7,4%), sendo a azitromicina (17,9%) e ceftriaxona (9,5%) os principais medicamentos suspeitos de provocarem essas reações (Tabela 3).

As mulheres (11,1%) apresentaram mais casos de diarreia do que os homens (4,9%; p < 0,05). Ao contrário da reação de prolongamento do intervalo QT, as diarreias foram mais classificadas como não graves (n = 29, 10,7%; p < 0,05) (Tabela 4). Os homens apresentaram, proporcionalmente, (n = 7; 38,9%) mais episódios de diarreias graves do que as mulheres (n = 10; 35,7%), no entanto, esta diferença não foi significativa (p = 1,00). O único caso classificado como “fatal” foi em um paciente do sexo masculino, 70 anos, que usou azitromicina.

Dentre as reações de diarreia com informação sobre as ações adotadas (n = 29; 61,7%), em 13 delas a decisão médica foi de manter a terapia medicamentosa sem nenhuma alteração (44,8%) e em 16 (55,2%) o médico decidiu suspender os medicamentos suspeitos.

Prurido

O prurido foi a principal RAM do SOC de doenças cutâneas, com 41 ICSR (6,5%) (Tabela 3). A proporção dos homens que apresentaram essa RAM foi maior do que a das mulheres, mas sem diferença significativa (p = 0,15); no entanto, nos homens as reações foram graves. Os pacientes menores de 18 anos e os de 75 anos e mais foram, proporcionalmente, os mais atingidos por essa reação com 33,3 e 13,9%, respectivamente (Tabela 4).

Dentre as principais reações identificadas, o prurido foi a que apresentou o maior porcentual da causalidade avaliada como “condicional” com 26,9%. A vancomina (n = 4) e a hidroxicloroquina (n = 4) foram os fármacos mais relatados como suspeitos de causar prurido.

Em 27 reações de prurido (69,2%), a decisão da equipe médica foi de suspender o uso do medicamento suspeito. Uma reação resultou na redução da dose do fármaco suspeito e em 7 não houve alteração na terapia medicamentosa (dados não apresentados).

Aumento das transaminases (TGO e TGP)

As doenças e investigações hepáticas foram o 4º grupo de SOC com o maior percentual de RAM com 56 relatos (8,9%). A reação “aumento das transaminases” foi a que registrou o maior porcentual nesse grupo (n = 38; 6%). Os principais medicamentos suspeitos de provocarem as reações foram: hidroxicloroquina (n = 28; 7,5%), azitromicina (n = 4; 7,3%) e cloroquina (n = 2; 6,4%) (Tabela 3).

A faixa etária mais acometida foi a de 45-64 anos (n = 20; 9%), seguida pelo grupo de 65-74 anos (n = 5; 3,6%). O aumento das transaminases acorreu mais nos homens (n = 25; 6,8%) do que nas mulheres (n = 13; 5%), mas esta diferença não foi significativa (p = 0,49). O percentual de reação classificada como grave foi de 7,4% (Tabela 4). Os homens (72%) registraram maior proporção de reação grave do que as mulheres (61,5%), no entanto, esta diferença não foi significativa (p = 0,71).

Quanto ao desfecho, foi observado que sete reações foram classificadas como fatais/óbitos, o que representou 23,3% de todas as reações fatais do estudo, perdendo apenas para a reação “prolongamento do intervalo QT” (Tabela 4). Duas reações apresentaram o desfecho fatal após o uso da hidroxicloroquina (28,6%), duas com cloroquina (28,6%) e uma com azitromicina (14,3%).

Discussão

Este é o primeiro estudo de RAM de pacientes com COVID-19, coletadas pelo sistema eletrônico de farmacovigilância do Brasil. A pesquisa descreveu 631 RAMs em 402 pacientes no período de 1º março de 2020 a 15 de agosto 2020. Os principais medicamentos suspeitos de causar as reações foram hidroxicloroquina (59,5%), azitromicina (9,8%) e cloroquina (5,2%). As reações mais relatadas foram o prolongamento do intervalo QT (33,6%), diarreia (7,4%), prurido (6,5%) e a elevação das transaminases (6%). Cinquenta e seis vírgula quatro por cento de todas as reações foram classificadas como graves. Após o tratamento das RAMs, 62,3% foram recuperadas. Oitenta e sete vírgula dois por cento das reações registraram o nexo causal estabelecido como provável ou possível.

As características dos participantes foram semelhantes a outros estudos ⁴4. Gérard A, Romani S, Fresse A, Viard D, Parassol N, Granvuillemin A, et al. "Off-label" use of hydroxychloroquine, azithromycin, lopinavir-ritonavir and chloroquine in COVID-19: a survey of cardiac adverse drug reactions by the French Network of Pharmacovigilance Centers. Therapie 2020; 75:371-9.^,55. Borba MGS, Val FFA, Sampaio VS, Alexandre MAA, Melo GC, Brito M, et al. Effect of high vs low doses of chloroquine diphosphate as adjunctive therapy for patients hospitalized with severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2) infection: a randomized clinical trial. JAMA Netw Open 2020; 3:e208857.^,1515. Cabral FF, Pereira MB, Borges KDM, Passos ACB, Francelino EV, Monteiro MP, et al. Eventos adversos a medicamentos no tratamento da Covid-19 no Ceará. Cadernos ESP/CE 2020; 14:30-7.^,1616. van den Broek MPH, Möhlmann JE, Abeln BGS, Liebregts M, van Dijk VF, Garde EMW. Chloroquine-induced QTc prolongation in COVID-19 patients. Neth Heart J 2020; 28:406-9.^,1717. Satlin MJ, Goyal P, Magleby R, Maldarelli GA, Pham K, Kondo M, et al. Safety, tolerability, and clinical outcomes of hydroxychloroquine for hospitalized patients with coronavirus 2019 disease. PLoS One 2020; 15:e0236778. com esta mesma temática, com a prevalência do sexo masculino, pacientes acima de 60 anos, com doenças concomitantes e em uso de múltiplos fármacos.

Os farmacêuticos foram os que mais enviaram os relatos de casos com 81,8% e os médicos só encaminharam 0,8% (n = 3) dos relatórios da base nacional. Esse achado também foi encontrado no estudo cearense sobre COVID-19, em que os farmacêuticos também foram os maiores notificantes (98,8%) ¹⁵15. Cabral FF, Pereira MB, Borges KDM, Passos ACB, Francelino EV, Monteiro MP, et al. Eventos adversos a medicamentos no tratamento da Covid-19 no Ceará. Cadernos ESP/CE 2020; 14:30-7.. Já é notório que os médicos notificam pouco (em torno de 5%) aos sistemas de farmacovigilância ⁹9. Organização Mundial da Saúde. A importância da farmacovigilância. Brasília: Organização Mundial da Saúde; 2005.. Essa participação majoritária dos farmacêuticos talvez possa ser explicada, em parte, pelo maior engajamento desses profissionais nas questões de farmacovigilância, como foi demonstrado nos resultados dos estudos do tipo conhecimentos, atitude e práticas (CAP) em farmacovigilância no Brasil ¹⁸18. Melo JRR, Duarte EC, Ferreira KDA, Gonçalves YS, Moraes MVD, Arrais PSDR. Assessment of knowledge, attitude and practice of pharmacovigilance among healthcare professionals in Brazil. J Young Pharm 2020; 12:255-60. e na Etiópia ¹⁹19. Shanko H, Abdela J. Knowledge, attitudes, and practices of health care professionals toward adverse drug reaction reporting in Hiwot Fana Specialized University Hospital, Harar, Eastern Ethiopia: a cross-sectional study. Hosp Pharm 2018; 53:177-87., com esses profissionais apresentando melhores desempenhos do que os demais. Esse dado reforça a importância de ampliar os treinamentos em farmacovigilância a todos os outros profissionais da saúde.

No nosso estudo, 87,2% das reações foram classificadas como prováveis ou possíveis. Sabe-se que na prática poucas reações são consideradas “definidas” e isto acontece devido à complexidade da avaliação de uma relação causal entre um medicamento e uma reação adversa, pois existem múltiplas abordagens, diferentes cenários, que podem trazer incertezas em relação ao nexo causal da reação, inclusive a própria doença de base pode ser um elemento de confusão, competindo com o medicamento na causa da reação ²⁰20. Mota DM, Kuchenbecker RS. Causalidade em farmacoepidemiologia e farmacovigilância: uma incursão teórica. Rev Bras Epidemiol 2017; 20:475-86..

Os principais locais de manifestação das reações que identificamos são semelhantes aos identificados em outros estudos de RAM em pacientes com COVID-19, que foram o sistema cardíaco, gastrointestinal, cutâneo e hepatobiliar ¹⁵15. Cabral FF, Pereira MB, Borges KDM, Passos ACB, Francelino EV, Monteiro MP, et al. Eventos adversos a medicamentos no tratamento da Covid-19 no Ceará. Cadernos ESP/CE 2020; 14:30-7.^,1616. van den Broek MPH, Möhlmann JE, Abeln BGS, Liebregts M, van Dijk VF, Garde EMW. Chloroquine-induced QTc prolongation in COVID-19 patients. Neth Heart J 2020; 28:406-9.^,1717. Satlin MJ, Goyal P, Magleby R, Maldarelli GA, Pham K, Kondo M, et al. Safety, tolerability, and clinical outcomes of hydroxychloroquine for hospitalized patients with coronavirus 2019 disease. PLoS One 2020; 15:e0236778.^,2121. Sun J, Deng X, Chen X, Huang J, Huang S, Li Y, et al. Incidence of adverse drug reactions in COVID-19 patients in China: an active monitoring study by hospital pharmacovigilance system. Clin Pharmacol Ther 2020; 108:791-7.^,2222. Ng TM, Olsen KM, McCartan MA, Puumala SE, Speidel KM, Miller MA, et al. Drug-induced QTc-interval prolongation in the intensive care unit: incidence and predictors. J Pharm Pract 2010; 23:19-24.. O prolongamento do intervalo QT favorece o aparecimento de arritmias cardíacas, fibrilação ventricular, torsade de pointes e a morte súbita cardíaca ¹⁶16. van den Broek MPH, Möhlmann JE, Abeln BGS, Liebregts M, van Dijk VF, Garde EMW. Chloroquine-induced QTc prolongation in COVID-19 patients. Neth Heart J 2020; 28:406-9.^,2222. Ng TM, Olsen KM, McCartan MA, Puumala SE, Speidel KM, Miller MA, et al. Drug-induced QTc-interval prolongation in the intensive care unit: incidence and predictors. J Pharm Pract 2010; 23:19-24.^,2323. Rautaharju PM, Surawicz B, Gettes LS, Bailey JJ, Childers R, Deal BJ, et al. AHA/ACCF/HRS recommendations for the standardization and interpretation of the electrocardiogram: part IV: the ST segment, T and U waves, and the QT interval: a scientific statement from the American Heart Association Electrocardiography and Arrhythmias Committee, Council on Clinical Cardiology; the American College of Cardiology Foundation; and the Heart Rhythm Society. Endorsed by the International Society for Computerized Electrocardiology. J Am Coll Cardiol 2009; 53:982-91.. Essa reação é comum com cloroquina e hidroxicloroquina, e é dose-dependente da concentração administrada. Intervalo de QT acima de 450ms em homens e acima de 460ms em mulheres é considerado valor anormal. Nossos resultados mostraram que a média do intervalo QT excedeu a 500ms para ambos os sexos, que já é considerado um evento grave ²³23. Rautaharju PM, Surawicz B, Gettes LS, Bailey JJ, Childers R, Deal BJ, et al. AHA/ACCF/HRS recommendations for the standardization and interpretation of the electrocardiogram: part IV: the ST segment, T and U waves, and the QT interval: a scientific statement from the American Heart Association Electrocardiography and Arrhythmias Committee, Council on Clinical Cardiology; the American College of Cardiology Foundation; and the Heart Rhythm Society. Endorsed by the International Society for Computerized Electrocardiology. J Am Coll Cardiol 2009; 53:982-91..

Um estudo com os dados do sistema voluntário de notificações de RAM francês ⁴4. Gérard A, Romani S, Fresse A, Viard D, Parassol N, Granvuillemin A, et al. "Off-label" use of hydroxychloroquine, azithromycin, lopinavir-ritonavir and chloroquine in COVID-19: a survey of cardiac adverse drug reactions by the French Network of Pharmacovigilance Centers. Therapie 2020; 75:371-9. identificou 131 RAM cardíacas e, destas, 90 foram de prolongamento de QT (68,7%), percentual inferior ao identificado na nossa pesquisa (86,6%). Uma explicação para esse percentual ter sido inferior ao do Brasil pode ser devido à menor exposição dos pacientes à hidroxicloroquina e cloroquina, já que o governo francês proibiu em 27 de maio de 2020 a prescrição destes medicamentos nos hospitais franceses para o tratamento da COVID-19 ²⁴24. Julien G. L'hydroxychloroquine n'est plus autorisée en France contre le Covid-19, hors essais cliniques. Outre-mer 2020; 27 mai. https://la1ere.francetvinfo.fr/hydroxychloroquine-n-est-plus-autorisee-france-contre-covid-19-836808.html.
https://la1ere.francetvinfo.fr/hydroxych... .

Dentre as reações com o prolongamento do intervalo QT informado, 64,3% foram acima de 500ms, percentual maior do que o encontrado na França (53,3%) ⁴4. Gérard A, Romani S, Fresse A, Viard D, Parassol N, Granvuillemin A, et al. "Off-label" use of hydroxychloroquine, azithromycin, lopinavir-ritonavir and chloroquine in COVID-19: a survey of cardiac adverse drug reactions by the French Network of Pharmacovigilance Centers. Therapie 2020; 75:371-9., do estudo CloroCovid-19 ⁵5. Borba MGS, Val FFA, Sampaio VS, Alexandre MAA, Melo GC, Brito M, et al. Effect of high vs low doses of chloroquine diphosphate as adjunctive therapy for patients hospitalized with severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2) infection: a randomized clinical trial. JAMA Netw Open 2020; 3:e208857. e quase três vezes mais do que o estudo em um hospital holandês (23%) ¹⁶16. van den Broek MPH, Möhlmann JE, Abeln BGS, Liebregts M, van Dijk VF, Garde EMW. Chloroquine-induced QTc prolongation in COVID-19 patients. Neth Heart J 2020; 28:406-9.. Nossos resultados também foram condizentes com a literatura, que descreve que o prolongamento do intervalo QT ocasionado por medicamentos, em grande parte, é dose dependente ¹⁶16. van den Broek MPH, Möhlmann JE, Abeln BGS, Liebregts M, van Dijk VF, Garde EMW. Chloroquine-induced QTc prolongation in COVID-19 patients. Neth Heart J 2020; 28:406-9.. Os pacientes com intervalo QT > 500ms tiveram uma dose cumulativa maior do que os com intevalo QT < 500ms, resultado também encontrado no estudo CloroCovid-19 ⁵5. Borba MGS, Val FFA, Sampaio VS, Alexandre MAA, Melo GC, Brito M, et al. Effect of high vs low doses of chloroquine diphosphate as adjunctive therapy for patients hospitalized with severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2) infection: a randomized clinical trial. JAMA Netw Open 2020; 3:e208857.. Os dados mostraram também que a equipe médica estava em alerta, já que em 81% dessas reações o paciente teve o medicamento suspenso de sua terapia.

A diarreia foi a segunda RAM mais relatada e os medicamentos azitromicina e ceftriaxona foram os maiores suspeitos, e em menor número a HDC. O estudo em Hunan, China ²¹21. Sun J, Deng X, Chen X, Huang J, Huang S, Li Y, et al. Incidence of adverse drug reactions in COVID-19 patients in China: an active monitoring study by hospital pharmacovigilance system. Clin Pharmacol Ther 2020; 108:791-7., também apontou as doenças gastrointestinais como a segunda maior importância e, dentre estas, a diarreia com a principal RAM desse grupo.

As doenças hepatobiliares foram as terceiras reações adversas mais identificadas no nosso estudo, tendo o aumento das transaminases como a principal reação adversa deste grupo. Os dados atuais da literatura indicam que de 14,8% a 53,1% dos pacientes com COVID-19 apresentam esse tipo de reação ²⁵25. Olry A, Meunier L, Délire B, Larrey D, Horsmans Y, Louë HL, et al. Drug-induced liver injury and COVID-19 infection: the rules remain the same. Drug Saf 2020; 43:615-7.. Nosso achado (9,9%) foi inferior ao do estudo em Hunan (13,8%) ²¹21. Sun J, Deng X, Chen X, Huang J, Huang S, Li Y, et al. Incidence of adverse drug reactions in COVID-19 patients in China: an active monitoring study by hospital pharmacovigilance system. Clin Pharmacol Ther 2020; 108:791-7. e ao identificado no estudo cearense (34%) ¹⁵15. Cabral FF, Pereira MB, Borges KDM, Passos ACB, Francelino EV, Monteiro MP, et al. Eventos adversos a medicamentos no tratamento da Covid-19 no Ceará. Cadernos ESP/CE 2020; 14:30-7..

Semelhantemente às reações do trato gastrointestinal, pacientes infectados pelo SARS-CoV-2 podem ter enzimas elevadas durante o curso da doença ²⁶26. Patel KP, Patel PA, Vunnam RR, Hewlett AT, Jain R, Jing R, et al. Gastrointestinal, hepatobiliary, and pancreatic manifestations of COVID-19. J Clin Virol 2020; 128:104386., no entanto, o mecanismo das doenças hepatobiliares na pandemia ainda é pouco compreendido, podendo as lesões serem causadas por infecção viral no hepatócito, lesão relacionada ao sistema imunológico ou mesmo à hepatotoxicidade por medicamentos (RAM), estando mais uma vez diante da complexidade da análise da causalidade, anteriormente discutida.

Um dos pontos relevantes em um programa de monitoramento de medicamentos é a possibilidade de fornecer informações adicionais de segurança de medicamentos, que antes não foi possível visualizar durante os ensaios clínicos pré-comercialização, principalmente as reações adversas raras. Sabe-se que medicamentos que apresentam perfil de efetividade/segurança questionável ou incerto requerem vigilância cuidadosa, especialmente aqueles ainda não utilizados em larga escala ⁹9. Organização Mundial da Saúde. A importância da farmacovigilância. Brasília: Organização Mundial da Saúde; 2005.. Os antimaláricos são medicamentos usados há muitos anos em regiões endêmicas para a malária em todo o mundo e, no Brasil, restrito aos estados endêmicos da Região da Amazônia Legal. Porém, o seu uso em grande escala em outras populações e para outras finalidades ainda não adequadamente avaliadas, merece grande cautela.

Em consulta à bula do medicamento hidroxicloroquina no bulário eletrônico da Anvisa (http://www.anvisa.gov.br/datavisa/fila_bula/index.asp, acessado em 15/Ago/2020) foi observado que as reações como as alterações dos testes de função hepática são consideradas incomuns. No entanto, essa informação está baseada em resultados de estudos clínicos com dosagens terapêuticas já aprovadas para o uso, por exemplo, em doenças reumáticas, situação bem diferente da atual que é o uso sem a indicação na bula do medicamento (off label). É necessária uma maior vigilância dos efeitos hepáticos para esse medicamento, visto que a população exposta atualmente é muito diferente daquela do estudo clínico desse medicamento.

A análise de regressão multivariada identificou que os pacientes com 65 e mais anos com COVID-19 estão mais associados a RAMs graves do que os menores de 65 anos. Estudos indicam que pacientes idosos são mais sensíveis aos efeitos adversos de alguns medicamentos e na medida em que aumenta a idade cresce a probabilidade de reações graves ²⁷27. Davies EC, Green CF, Taylor S, Williamson PR, Mottram DR, Pirmohamed M. Adverse drug reactions in hospital in-patients: a prospective analysis of 3695 patient-episodes. PLoS One 2009; 4:e4439.^,2828. Silva JC, Soares M, Martins S. Reações adversas a medicamentos: análise da base de dados do Sistema Nacional de Farmacovigilância (SVIG) 2009-2011. Relatório final. Lisboa: Autoridade Nacional do Medicamento e Produtos de Saúde, Ministério da Saúde; 2012.. Esses resultados nos mostram que o uso de hidroxicloroquina e cloroquina em pacientes mais idosos pode ser particularmente danoso, ainda mais na ausência de eficácia comprovada para a doença em pauta.

Um outro achado desta análise foi a identificação dos homens com COVID-19 serem mais associados às RAMs graves do que as mulheres. De uma forma geral, a literatura aponta que as mulheres são mais susceptíveis às RAMs do que os homens ²⁹29. Rademaker M. Do women have more adverse drug reactions? Am J Clin Dermatol 2001; 2:349-51.. A análise dos dados gerais do sistema de farmacovigilância de Portugal no período de 2009-2011 encontrou uma maior incidência de RAMs graves em homens do que em mulheres ²⁸28. Silva JC, Soares M, Martins S. Reações adversas a medicamentos: análise da base de dados do Sistema Nacional de Farmacovigilância (SVIG) 2009-2011. Relatório final. Lisboa: Autoridade Nacional do Medicamento e Produtos de Saúde, Ministério da Saúde; 2012.. Uma das nossas hipóteses para explicar a associação de RAMs graves em homens no nosso estudo pode ser devido à própria doença, que acomete de forma mais grave os homens, favorecendo o uso de polifarmácia nestes pacientes. No entanto, a doença COVID-19 e suas consequências ainda são pouco conhecidas, sendo necessário um maior monitoramento dessas RAMs graves para poder entender melhor esse achado. De uma forma geral, nossos resultados convergem para o que foi encontrado em outros estudos, principalmente os que avaliaram a segurança dos medicamentos hidroxicloroquina e cloroquina ²2. Wiersinga WJ, Rhodes A, Cheng AC, Peacock SJ, Prescott HC. Pathophysiology, transmission, diagnosis, and treatment of coronavirus disease 2019 (COVID-19): a review. JAMA 2020; 324:782-93.^,33. Pereira BB. Challenges and cares to promote rational use of chloroquine and hydroxychloroquine in the management of coronavirus disease 2019 (COVID-19) pandemic: a timely review. J Toxicol Environ Health B Crit Rev 2020; 23:177-81.^,44. Gérard A, Romani S, Fresse A, Viard D, Parassol N, Granvuillemin A, et al. "Off-label" use of hydroxychloroquine, azithromycin, lopinavir-ritonavir and chloroquine in COVID-19: a survey of cardiac adverse drug reactions by the French Network of Pharmacovigilance Centers. Therapie 2020; 75:371-9.^,1717. Satlin MJ, Goyal P, Magleby R, Maldarelli GA, Pham K, Kondo M, et al. Safety, tolerability, and clinical outcomes of hydroxychloroquine for hospitalized patients with coronavirus 2019 disease. PLoS One 2020; 15:e0236778. que identificaram estes medicamentos associados às RAMs graves, ocasionando inclusive óbitos.

O nosso trabalho tem limitações que devem ser comentadas. Os dados provêm de um sistema de vigilância espontânea, portanto, os resultados podem ter sidos subestimados. Estudos afirmam que a subnotificação representa um grande problema para sistemas de monitoramento de RAM ³⁰30. Hazell L, Shakir S. Under-reporting of adverse drug reactions: a systematic review. Drug Saf 2006; 29:385-96.^,3131. Davies EC, Green CF, Taylor S, Williamson PR, Mottram DR, Pirmohamed M. Adverse drug reactions in hospital in-patients: a prospective analysis of 3695 patient-episodes. PLoS One 2009; 4:e4439.. No nosso trabalho identificamos dois pontos sobre esse problema. O primeiro foi a constatação de 11 estados silenciosos no VigiMed em relação aos casos de RAM por COVID-19, restando a dúvida se a ausência da notificação foi por causa da inexistência da RAM nos pacientes, dificuldades operacionais e estruturais enfrentadas nos estados e municípios ou se, de fato, uma subnotificação de RAM. E o segundo, que confirma a hipótese de subnotificação, com a constatação da publicação do estudo cearense sobre COVID-19 ¹⁵15. Cabral FF, Pereira MB, Borges KDM, Passos ACB, Francelino EV, Monteiro MP, et al. Eventos adversos a medicamentos no tratamento da Covid-19 no Ceará. Cadernos ESP/CE 2020; 14:30-7., que identificou 182 casos de RAM no Ceará, mas só foram reportadas ao VigiMed 28 relatos. Outro ponto que também pode ter influenciado no número menor de notificações do VigiMed, perante o atual cenário epidemiológico, é o encaminhamento das RAMs de pacientes de estudos clínicos para o setor de pesquisa clínica da Anvisa, onde há um outro sistema de informação.

Os ICSR podem apresentar um certo grau de incerteza devido a problemas da qualidade da informação, variabilidade local das instituições e profissionais notificantes, portanto, a probabilidade de que a RAM suspeita esteja relacionada ao fármaco não é a mesma em todos os casos.

O aumento de relatos de RAM para alguns medicamentos pode ter sido influenciado pela pandemia da COVID-19; por estes motivos, interpretações de dados de efeito e, particularmente aqueles baseados em comparações entre medicamentos, podem ser enganosas.

Este estudo, tanto no que diz respeito à linguagem como ao conteúdo, é de responsabilidade dos autores e não expressam, necessariamente, a opinião da Anvisa, do CNMM ou da OMS.

Conclusão

Descrevemos as principais RAM dos fármacos utilizados na terapia do COVID-19 no Brasil, que foram objeto de notificação espontânea à Anvisa. Os principais locais de manifestação das RAMs foram no sistema cardíaco, gastrointestinal, tecidos cutâneos e sistema hepatobiliares. Os fármacos mais envolvidos nas reações foram hidroxicloroquina, cloroquina e azitromicina. Embora não tenha sido objetivo do presente trabalho, os dados nos sugerem que um grau relevante de subnotificação pode estar presente, o que faz supor que a magnitude das RAMs no contexto analisado seja marcadamente maior. A maioria das RAMs observadas neste estudo já foi descrita anteriormente, no entanto, em cenário completamente diferente do atual e aprovadas para o uso de doenças que foram submetidas a rigorosos testes pré- e pós-clínicos com populações específicas. O uso desses medicamentos nesta pandemia é experimental e até o momento os dados disponíveis na literatura não garantem a segurança e eficácia na COVID-19. Portanto, nos tempos de incerteza em que vivemos, nossos resultados reforçam a importância do monitoramento dos pacientes em uso de medicamentos em regime off label, a imediata notificação no VigiMed das RAMs identificadas nos pacientes e análises sistemáticas dos dados por parte da Anvisa. Além disso, fornece subsídios para melhores práticas em farmacovigilância, que podem contribuir para tomadas de decisões regulatórias efetivas e seguras para os pacientes e toda a sociedade, tais como a revisão do texto das bulas desses medicamentos, baseada na frequência e gravidade das RAMs, e elementos que podem facilitar a avaliação da inclusão de novas indicações terapêuticas fundamentadas em uma avaliação de risco/benefício.

Agradecimentos

Agradecemos a todos os colegas, em especial aos técnicos da Gerência de Farmacovigilância da Agência Nacional de Vigilância Sanitária (Anvisa), que nos ajudaram desde a coleta de dados até a revisão do manuscrito.

Referências

Datas de Publicação

Histórico