Resumos

INTRODUÇÃO

A pesquisa em saúde visa primariamente encontrar respostas para as mais diversas questões de saúde e a integridade dos resultados é fortemente determinada pela qualidade das informações produzidas.¹1. Almeida Filho N, Barreto ML. Epidemiologia & saúde: fundamentos, métodos e aplicações. Rio de Janeiro: Guanabara Koogan; 2011. ^{, 5}5. Hulley SB, Cummings SR, Browner WS, Grady DG, Newman TB. Delineando a pesquisa clínica: uma abordagem epidemiológica. 3.ed. Porto Alegre: Artmed; 2008. ^{, 6}6. Rothman KJ, Greenland S, Lash T. Epidemiologia moderna. Porto Alegre: Artmed; 2011. Para assegurar a qualidade necessária dos dados no Estudo Longitudinal de Saúde do Adulto (ELSA-Brasil), foram desenvolvidas ferramentas de Garantia e Controle de Qualidade (GCQ), como as descritas por Szklo & Nieto,⁷7. Szklo M, Nieto FJ. Epidemiology: beyond the basics. 2.ed. Sudbury (MA): Jones and Bartlett Publishers; 2007. para o planejamento, execução e análise de estudos epidemiológicos.

O ELSA-Brasil é um estudo de coorte que objetiva acompanhar 15.000 participantes, em seis centros de pesquisa, a partir de entrevistas e exames de complexidades variadas. Essas características - grande porte, natureza longitudinal, organização multicêntrica, medidas de complexidades distintas - foram estruturantes na definição estratégica do sistema de GCQ a ser adotado.

A experiência no planejamento e execução de grandes estudos longitudinais, especialmente a partir dos anos 1950, propiciou o desenvolvimento de ferramentas de GCQ para utilização em estudos de coorte⁸8. Whitney CW, Lind BK, Wahl PW. Quality assurance and quality control in longitudinal studies. Epidemiol Rev. 1998;20(1):71-80. e em ensaios clínicos randomizados.⁴4. Gagnon J, Province MA, Bouchard C, Leon AS, Skinner JS, Wilmore JH, et al. The HERITAGE Family Study: quality assurance and quality control. Ann Epidemiol. 1996;6(6):520-9. O sistema de GCQ do ELSA-Brasil foi concebido a partir dessa experiência internacional, e adaptações necessárias foram realizadas pelo Comitê Diretivo e seus Comitês Assessores, a partir de princípios delineados pelo Comitê de GCQ.

O presente trabalho teve por objetivo descrever as ações de GCQ no ELSA-Brasil, apresentando-as na sequência em que foram desenvolvidas e indicando como e quando decisões-chave de GCQ foram adotadas na construção da coorte e do seu seguimento.

GARANTIA DE QUALIDADE

As atividades de garantia de qualidade no ELSA são definidas pelo conjunto de ações desenvolvidas antes do início da coleta dos dados para assegurar o caráter desejado para os resultados do estudo. São eles:

Desenvolvimento do protocolo de pesquisa

Os pontos básicos do protocolo de pesquisa - objetivos, delineamento da pesquisa, características da população de estudo, tamanho da amostra, escolha inicial dos instrumentos para obtenção das informações de interesse, bem como aspectos logísticos, operacionais e financeiros - foram desenvolvidos pelo Comitê Diretivo e seus Comitês Assessores. Pequenos ajustes no protocolo inicial foram realizados durante a operacionalização da pesquisa.²2. Aquino EML, Vasconcellos-Silva PR, Coeli CM, Araújo MJ, Santos SM, Figueiredo RC, et al. Aspectos éticos em estudos longitudinais: o caso do ELSA-Brasil. Rev Saude Publica. 2013;47(Supl 2):19-26.

Escolha dos instrumentos

As propostas de instrumentos de pesquisa (para exames ou entrevistas) eram apresentadas pelos pesquisadores a partir de fichas padronizadas, em que se especificavam os aspectos conceituais e metodológicos do instrumento, a logística para sua aplicação, além de sua relação com os objetivos e adequação ao contexto do ELSA (Tabela 1). As fichas eram então disponibilizadas na plataforma do ELSA e apresentadas nas discussões do Comitê Diretivo e seus Comitês Assessores, o que facilitou o debate e a escolha dos instrumentos a serem incluídos na pesquisa. Por exemplo, foi decidido em 2007 incluir na linha de base do ELSA o exame da hemoglobina glicada (HbA1c). A decisão baseou-se nos dados apresentados sobre a viabilidade em garantir qualidade e padronização das técnicas envolvidas e a possibilidade de a HbA1c vir a ser empregada na definição de casos de diabetes, uma posição efetivamente tomada por entidades internacionais dois anos depois. O processo de escolha dos questionários a serem incluídos na pesquisa foi semelhante.

Pré-teste dos instrumentos

Os instrumentos do estudo, com validade e confiabilidade já conhecidas, foram pré-testados no contexto de pesquisa do ELSA-Brasil. Em geral, esses pré-testes eram realizados com protocolos simples, visando responder aos quesitos práticos mais relevantes a cada situação. Os Comitês Assessores e/ou Centros de Leitura realizavam, em cooperação com os CIs (Centros de Investigação), tantos pré-testes quantos necessários antes de inseri-los no Manual de Operações do projeto e, assim, iniciar o treinamento da equipe executora.

Em alguns casos, foi necessário realizar algum tipo de validação mais formal do instrumento antes da sua adoção pelo estudo, como, por exemplo, a adaptação transcultural do Clinical Interview Schedule-Revised para o português.

Desenvolvimento do Manual de Operações

A elaboração de um Manual de Operações, com descrição clara e minuciosa de todas as atividades desenvolvidas, foi tarefa essencial nessa fase de planejamento. O produto final, totalizando 19 manuais específicos, constituiu-se no "mapa de navegação" do estudo, uma referência escrita para a equipe executora e para os investigadores. Produzidos em geral pelos Comitês Assessores do Comitê Diretivo, os manuais, vários deles versando sobre aspectos específicos de GCQ, contêm, além dos procedimentos de rotina, mecanismos para tomada de decisão em situações excepcionais ou imprevistas.

Treinamento e Certificação da Equipe de Coleta de Dados

Os treinamentos e as certificações foram planejados antes do estudo piloto e realizados por núcleos técnicos com representação dos Comitês Assessores e/ou Centros de Leitura, segundo as especificidades de cada procedimento.

O treinamento foi executado de forma centralizada para garantir uniformidade. Contudo, para procedimentos mais complexos ou diante de um grande número de pessoas a ser treinada, a equipe de treinadores deslocava-se para os demais centros, reunindo quando possível equipes de dois a três centros por vez.

Supervisores eram inicialmente treinados e certificados, em nível central, e então atuavam como treinadores e certificadores locais, visando garantir uniformidade dos padrões adotados em todos os CIs. Ao longo da coleta de dados, quando houve necessidade de substituir membros da equipe executora, novos treinamentos foram realizados. Em alguns casos, treinamentos centralizados ou por treinadores locais foram repetidos posteriormente para revisar rotinas e atualizar técnicas e procedimentos.

A certificação da equipe executora era feita ao final do treinamento ou algum tempo depois, caso isso exigisse maior prática com o procedimento. Para cada técnica ou procedimento foi planejado um tipo especial de certificação, como: entrevistas observadas por supervisor ou por perito para um questionário específico (função cognitiva e questionário de frequência alimentar); revisão de imagens ou sinais por peritos em Centros de Leitura; repetição de exames para análise de confiabilidade (antropometria); avaliação por peritos de audiogravações e/ou de cópia impressa de anotações realizadas durante as entrevistas ou exames.

Estudos-piloto

Concluído o treinamento da equipe, foram realizados estudos-piloto em série e com complexidades crescentes. O último deles contemplou todo o protocolo da pesquisa - entrevistas, coleta de sangue e urina, além de processamento, congelamento e transporte das amostras biológicas. Em cada um desses estudos-piloto testou-se o fluxograma para execução dos procedimentos, incluindo as dificuldades operacionais para sua realização simultânea em múltiplos participantes, levando em conta as limitações de número de salas e de equipamentos disponíveis nos CIs. Os problemas encontrados eram discutidos e as alterações necessárias eram efetuadas no protocolo e manuais do projeto.

CONTROLE DE QUALIDADE NA FASE INICIAL DA COLETA DE DADOS

As atividades de Controle de Qualidade (CQ) no ELSA são ações efetuadas durante a coleta e processamento dos dados para monitorar qualidade e quantificar confiabilidade dos dados. Essas tarefas foram realizadas na fase inicial e ao longo do seguimento da coleta.

A coleta de dados teve início de agosto a novembro de 2008 entre os diferentes CIs e seu término ocorreu de março a dezembro de 2010. Fatores que levaram a períodos distintos de coleta de dados foram, entre outros, o número de participantes e a disponibilidade de espaço físico próprio no Centro de Pesquisa de cada CI.

Iniciou-se a coleta de dados com poucos estudos por semana e planejou-se aumento gradual de acordo com a experiência adquirida pela equipe executora com o protocolo e com o fluxograma de exames e entrevistas. Isso permitiu um controle de qualidade mais intensivo, com elaboração de diários de campo, revisados ao final do dia e discutidos em reuniões semanais com supervisores locais. Informações que requeriam aprimoramento de pessoal, da técnica ou revisão do manual eram registradas e compartilhadas com supervisores dos demais centros por correio eletrônico, grupos de discussão na plataforma ELSA, audioconferência telefônica ou via internet e, eventualmente, em reuniões presenciais. Dúvidas e dificuldades eram anotadas nos manuais e comunicadas aos responsáveis pela sua elaboração. Nessa etapa foram efetuadas alterações finais dos formulários e questionários e seus respectivos manuais.

Como a coleta de dados foi desdobrada em duas fases distintas, com equipes executoras e espaços físicos frequentemente distintos, foi essencial uma boa interação entre as equipes. Foi possível nessa etapa inicial identificar e revisar problemas específicos, como erros nos protocolos seguidos pelos participantes quanto ao jejum e à coleta de urina de 12h. Como resultado, foram gerados lembretes específicos, transmitidos nas ligações telefônicas que precediam a ida ao Centro de Pesquisa ELSA, denominadas "ELSA chama".

O respeito aos critérios éticos definidos pelo estudo implicou a adoção de certos procedimentos para garantia do sigilo das informações, por exemplo, registrar apenas o número de recrutamento nos formulários e questionários. Como as equipes (fases 1 e 2) interagiam com os participantes pelo seu nome, cuidados especiais foram tomados para manter juntos todos os papéis preenchidos para cada número de participante. A lista com nomes e números de recrutamento ficou sob a responsabilidade da supervisão, sendo consultada apenas em determinadas situações, como na entrega dos resultados dos exames. A equipe executora assinava Termo de Responsabilidade sobre a Confidencialidade dos Dados.

Os supervisores locais eram responsáveis pelo cumprimento das tarefas do dia a dia. A experiência desenvolvida na etapa inicial foi compartilhada entre os CIs em reuniões presenciais para finalizar a padronização necessária antes de se atingir o número médio de participantes/dia pretendido em cada CI. Isso ocorreu porque alguns aspectos de natureza local exigiram flexibilidade do protocolo, por exemplo, características da sede, porte do centro, perfil da equipe executora, hierarquia funcional estabelecida, alguns aspectos do fluxo de participantes no Centro de Pesquisa, estratégias de recrutamento, entrega de exames, e outros. As alterações foram registradas nos relatórios apresentados em reuniões do Comitê Diretivo ou de supervisores, nas visitas aos centros ou outras oportunidades de interação.

Organização da equipe de coleta de dados e do processo de supervisão

Aspectos hierárquicos e responsabilidades individuais e do grupo foram definidos e acordados com a equipe executora para permitir adequada supervisão. Embora no início um ou dois supervisores fossem suficientes, o número crescente de participantes exigiu ampliação do quantitativo de supervisores para atividades específicas. Para adequada gestão da equipe executora, garantia de sua excelência técnica e de cuidado relacional com os participantes, algumas atividades foram enfatizadas:

Verificação da padronização central para definição local de fluxos de entrevistas e exames

Antes de iniciar o fluxo designado para cada participante no Centro de Pesquisa, eram conferidos a data e o número de recrutamento. Alterações no fluxo (solicitação do participante por algum imprevisto, atraso, mal-estar, perda de energia elétrica, entre outros) eram feitas mediante autorização da supervisão. Os limites dessa flexibilidade atendiam às normas estabelecidas nos protocolos de exames e medidas, especificamente, respeitando-se horário, jejum, climatização de sala, ordem de exames e questionários, como indicado na Tabela 2.

CQ de equipamentos, salas e materiais

As salas eram climatizadas e a temperatura nos locais de coleta de sangue e aferição da pressão arterial era monitorada diariamente em diferentes horários (7h, 9h, 11h, 13h e 15h), visando mantê-las entre 20ºC e 24ºC. Os registros eram arquivados para verificação pelo Comitê de GCQ durante as visitas in loco.

Os equipamentos eram checados periodicamente em cada CI, seguindo instruções dos manuais específicos. As balanças eram calibradas e as fitas métricas avaliadas regularmente. Os demais equipamentos eram checados quanto ao seu funcionamento: bom estado de uso, calibragem, necessidade de manutenção, indicação de substituição, troca de pilhas e baterias.

A organização das salas e limpeza do ambiente incluía limpeza dos equipamentos, conforme protocolo; limpeza dos manguitos para medida da pressão arterial e controle quantitativo do material necessário para realização dos exames e medidas (eletrodos, papel para eletrocardiograma, gaze, álcool 70%, gel condutor, luvas, dentre outros).

Qualidade do arquivamento de questionários e formulários

Após revisão, os questionários e formulários eram arquivados com a última versão adotada. Eram também arquivados os registros de controle de qualidade de equipamentos, de teste reteste, da temperatura de salas, de intercorrências e outros. Esses arquivos foram disponibilizados para acesso na plataforma ELSA.

Observação da técnica e atitude da equipe executora

Observações periódicas por supervisores locais visaram identificar quais técnicas necessitavam de melhoria e quais pontos do protocolo não haviam sido bem compreendidos. Além disso, observações periódicas objetivaram manter o bom desempenho de entrevistadores e aferidores, para que a qualidade de seu trabalho não fosse reduzida na rotina.

Em geral, supervisores verificavam ao menos um tipo de medida para cada aferidor por mês, usando checklists específicas. Desempenhos inadequados da equipe suscitavam ações corretivas imediatas, podendo incluir retreinamento. Dependendo do desempenho anterior e da magnitude do erro, e levando em consideração circunstâncias pessoais, a ação apropriada podia ser uma simples conversa ou orientação para incentivar melhor desempenho e, até mesmo, a substituição da pessoa.

Os questionários aplicados eram revisados no formato papel pelas supervisoras para identificação de problemas e devolução à equipe de entrevistadoras.

CQ do encaminhamento de exames para Centros de Leitura ou Laboratório/Biobanco

Os exames que requeriam avaliação de qualidade ou de leitura centralizadas eram encaminhados aos respectivos Centros de Leitura. Centros que adotaram o sistema Digital Imaging and Communications in Medicine fizeram o encaminhamento pela internet. As amostras biológicas foram armazenadas a 70°C e transferidas para o laboratório central de acordo com o protocolo do projeto e com o cronograma estabelecido para cada centro. Para CQ das atividades de supervisão foram organizadas planilhas com indicação do encaminhamento de exames, recebimento dos resultados e agendamento dos exames pendentes.

CONTROLE DE QUALIDADE AO LONGO DO ESTUDO

As rotinas desenvolvidas na fase inicial do estudo, incluindo a revisão dos formulários e questionários, foram mantidas ao longo do estudo. Vencidas as dificuldades iniciais, buscou-se viabilizar estudos com o número máximo projetado de participantes ao dia.

As seguintes técnicas de controle de qualidade foram utilizadas ao longo do estudo.

Monitoramento da equipe

Observações periódicas por supervisores locais para identificar desvios de protocolo foram realizadas ao longo do estudo e constituíram-se no mecanismo principal de recertificação periódica da equipe. Checklists específicas adotadas na fase inicial da coleta de dados foram revisadas e simplificadas para utilização no restante do estudo. A frequência de verificação era estipulada no manual correspondente. Desempenhos inadequados da equipe exigiam retreinamento e recertificação.

Para as entrevistas foi utilizado o mecanismo de audiogravação. Periodicamente eram gravadas todas as entrevistas de uma determinada semana e sorteadas duas para avaliação por supervisor. Ênfase era dada para a fluência da entrevista, o preenchimento correto das respostas e a adequação na interação com o participante. As gravações também eram avaliadas por supervisores de outros centros e posteriormente discutidas nas redes de supervisores, em geral por audioconferência.

Quando a entrada de dados ocorria diretamente no sistema, a marcação correta de respostas das entrevistas (questões em branco, erros de pulo ou outras inconsistências) era feita diretamente pelo sistema. Os demais aspectos eram avaliados por audiogravação, realizadas em todas as entrevistas.

Monitoramento do tipo teste reteste

A técnica da repetição aleatória de medidas pela mesma pessoa ou por pessoas diferentes foi utilizada para alguns exames e para alguns questionários. Para não cansar o participante, foi estabelecido um período máximo que cada repetição poderia adicionar ao estudo de cada participante. Para não onerar a equipe, já ocupada com fluxos de exames e entrevistas para múltiplos participantes e número limitado de salas disponíveis, as repetições foram alternadas para cada procedimento, demandando um tempo máximo permitido por dia, em geral, não superior a 30 minutos. A repetição de entrevistas era realizada em outro dia, respeitando um período máximo de duas semanas.

Zelo foi exercido para que teste e reteste fossem de fato independentes, isto é, o aferidor/entrevistador não poderia ver/lembrar os resultados anteriores. No caso da circunferência da cintura, por exemplo, foi verificado se as marcas de tinta feitas na pele do participante haviam sido apagadas. Para as medidas laboratoriais, as amostras eram mascaradas para impedir que o analista identificasse as amostras repetidas.

Esses estudos permitiram estimar a proporção da variação total de uma medida (variável intervalar) que é devida à variação entre os indivíduos e, em alguns casos, também quantificar a variabilidade inter e intraobservador.⁷ Técnica semelhante foi utilizada para avaliar a confiabilidade das determinações laboratoriais e das leituras realizadas nos Centros de Leitura (por exemplo: protocolo de ultrassonografia para rastreamento de gordura intra-hepática e parede abdominal, avaliação da espessura médio-intimal de carótidas, ecocardiografia e retinografia). Para a análise da confiabilidade das determinações laboratoriais ao longo do estudo, foram utilizadas alíquotas "mascaradas" de uma amostra aleatória de espécimes enviados ao laboratório central do estudo, sediado em São Paulo.

Quando pertinente, o teste reteste foi avaliado pela concordância verificada entre os dois testes, utilizando coeficientes kappa.⁷7. Szklo M, Nieto FJ. Epidemiology: beyond the basics. 2.ed. Sudbury (MA): Jones and Bartlett Publishers; 2007.

Dois benefícios importantes foram logrados com os testes retestes. Primeiro, a equipe sentiu-se estimulada a manter seu bom desempenho e os desvios detectados levaram ao aprimoramento da técnica. Segundo, foi possível quantificar o grau de confiabilidade dos dados obtidos no estudo, o que permitiu documentar o sucesso alcançado pelo sistema de garantia e controle de qualidade. Alguns parâmetros dessa avaliação são ilustrados na Tabela 3. Futuramente, artigos específicos detalharão as metodologias empregadas.

Novos treinamentos, manutenção de certificação e recertificação

Novos treinamentos e certificações para a expansão da equipe ou substituição de seus membros oneraram a supervisão local do projeto, já muito atarefada com o dia a dia. Dessa forma, aproveitando a vantagem de que o estudo já estava ocorrendo, o treinamento incluiu a observação da coleta de dados (com o consentimento dos participantes). Isso permitiu simplificar o modelo de treinamento centralizado inicial. Foram também utilizados vídeos ilustrativos da abordagem geral diante do participante.

Para garantir que os entrevistadores/aferidores mantivessem suas habilidades, foram implantados mecanismos de verificação da certificação previamente concedida pelo projeto. Um dos critérios adotados foi garantir a realização regular de um número mínimo de entrevistas ou exames por determinado período, por exemplo, a cada dois meses. Em caso de afastamento temporário maior, no retorno, a técnica era revisada com o supervisor. Além disso, quando era observado que um entrevistador/aferidor desconhecia um aspecto da técnica, ele passava por retreinamento/recertificação ou, a critério da supervisão local, era substituído. Desvios de protocolo por rotina ou cansaço eram comunicados imediatamente.

Rede de supervisores

A construção de redes de supervisores foi um mecanismo muito apreciado pela equipe executora. Duas redes principais, uma para supervisores de entrevistas e outra para supervisores de aferições, foram mantidas ao longo da coleta de dados. Os mecanismos de interação utilizados foram audioconferência (em geral mensais), e-mails e, eventualmente, reuniões presenciais. Os momentos de interação permitiram compartilhamento de experiências, discussão de erros e acertos, constituindo-se em oportunidades para expressão de solidariedade entre as equipes (e.g., disponibilização de materiais, troca de informações).

Visitas periódicas

Visitas periódicas a cada CI para observação do cumprimento das atividades do projeto e para troca de experiências foram feitas em dois momentos: durante a coleta de dados e após sua conclusão. Essas visitas, chamadas de visitas cruzadas, foram realizadas de acordo com protocolo estabelecido pelo comitê de GCQ.

Durante a coleta de dados, as visitas cruzadas visaram verificar a padronização alcançada, assim como a identificação de situações facilitadoras e problemas a serem considerados no planejamento da segunda onda do estudo. As visitas reuniam coordenação do CI, equipe técnica local e ao menos dois representantes do Comitê de GCQ de outros CIs. Foi aplicado um roteiro constando os itens a serem observados, relativos à realização e registro das medidas de CQ de entrevistas, aferições, exames de laboratório e outros aspectos selecionados do estudo de linha de base. Ainda, foram consolidados os registros dos procedimentos adotados para divulgação do estudo e recrutamento dos participantes ELSA.

Após a coleta dos dados, as visitas cruzadas visaram verificar os procedimentos adotados na supervisão de questionários, formulários e da digitação. A partir de lista de participantes de cada centro, fornecida pelo Centro de Dados e ordenada aleatoriamente, eram identificados registros para conferencia. Cerca de 1% de pastas de cada CI foi revisada segundo roteiro previamente definido. Para CQ da digitação foi realizada a conferência dos dados inseridos no sistema contra as informações constantes no papel.

Monitoramento dos dados e relatórios periódicos

Quando a coleta foi realizada com ingresso de dados diretamente no sistema eletrônico, foi possível controlar alguns erros de entrevista e de preenchimento dos formulários, como erros de pulo, questões não preenchidas, valores absurdos ou inconsistentes.³3. Duncan B, Vigo A, Hernandez E, Luft VC, Ahlert H, Bergmann K, Mota E. Gerência de Informação em Estudos Multicêntricos: o Estudo Longitudinal de Saúde do Adulto. Rev Saude Publica. 2013;47(Supl 2):95-104. Relatórios periódicos foram produzidos para garantir as metas de recrutamento do estudo e relatórios dos dados incorporados no sistema foram também gerados para avaliar a completude das atividades e solicitar esclarecimento de inconsistências.

CONSIDERAÇÕES FINAIS

O pioneirismo do estudo em vários aspectos exigiu o desenvolvimento de novas expertises, muitas vezes inexistentes no País. Para construção dos procedimentos de GCQ, foram consultados manuais de projetos como o Atherosclerosis Risk in Communities (Aric), o Multi-Ethnic Study of Atherosclerosis (MESA) e o Hispanic Community Health Study/Study of Latinos (HCHS/SOL). Outras vezes, foram feitos contatos diretos com pesquisadores experientes para tópicos específicos. Nesse processo, o ELSA-Brasil inovou e adaptou procedimentos e manuais para a realidade brasileira e para o momento atual de sua realização. Entre as inovações de GCQ, destaca-se rede de supervisores, construída para discutir erros, dificuldades e acertos. A confiabilidade avaliada por medidas repetidas obtidas durante a coleta dos dados ELSA mostra que o sistema adotado foi bem-sucedido, alcançando padrões internacionais de qualidade. A experiência adquirida poderá ser útil também a outros estudos epidemiológicos brasileiros.

REFERÊNCIAS

Datas de Publicação

Histórico