RESUMO:

Introdução:

O estudo avaliou a confiabilidade interobservadores na classificação de pares de registros formados durante o processo de relacionamento probabilístico, sendo uma das etapas de validação da metodologia a ser utilizada em pesquisa sobre desigualdades de acesso às ações de controle dos cânceres de mama e do colo do útero no Brasil (DAAC-SIS).

Metodologia:

O programa RecLink foi usado para relacionar as bases de dados do Sistema de Informação do Controle do Câncer de Mama (SISMAMA) do estado de Minas Gerais, tendo como referência 301 mamografias de rastreamento com resultado provavelmente benigno (categoria BI-RADS 3), registradas em outubro de 2010 e, como comparação, 158.517 mamografias registradas em 2011. Posteriormente, 215 pares de registros, que não obtiveram o escore máximo atribuído pelo RecLink, foram classificados independentemente por dez avaliadores, de quatro centros participantes da pesquisa, como pares verdadeiros ou falsos.

Resultados:

O coeficiente Kappa variou de 0,87 a 1,00. Seis avaliadores obtiveram concordância perfeita com um ou mais avaliadores de outros centros. O Kappa global foi 0,96 (intervalo de confiança de 95% - IC95% 0,94 - 0,99).

Discussão:

A avaliação interobservadores foi fundamental para garantir a qualidade do processo de relacionamento, e a sua prática deve ser rotina em estudos dessa natureza. A divulgação desses resultados contribui para a transparência na condução e no relato do estudo em curso.

Conclusão:

A confiabilidade interobservadores foi excelente, sinalizando homogeneidade satisfatória da equipe na classificação dos pares de registros.

Palavras-chave:
Registro médico coordenado; Variações dependentes do observador; Sistemas de Informação em Saúde; Integração de Sistemas; Neoplasias da mama; Prevenção; Controle

INTRODUÇÃO

Diversos Sistemas de Informação em Saúde (SIS) foram desenvolvidos nas últimas décadas no Brasil para registrar dados de mortalidade, morbidade e assistência, entretanto eles ainda não são interoperáveis, pois o número do Cartão Nacional de Saúde (CNS), que permitiria a identificação única para cada indivíduo, ainda não se tornou obrigatório em todos os SIS, o que dificulta o relacionamento entre as várias bases de dados.

Programas que utilizam método de relacionamento probabilístico entre bases de dados têm sido empregados para auxiliar a identificação das informações de um indivíduo nos diversos SIS. Esse método usa modelos estatísticos que propiciam a correspondência entre um par de registros. No Brasil, o programa computacional RecLink é o mais empregado¹1. Silva JP, Travassos C, Vasconcellos MMV, Campos LM. Revisão sistemática sobre encadeamento ou linkage de bases de dados secundários para uso em pesquisa em saúde no Brasil. Cad Saúde Colet 2006; 14(2): 197-224.. Ele gera um escore, que resume o grau de concordância global com base na concordância e discordância de um conjunto de campos identificadores pareados²2. Camargo Jr. KR, Coeli CM. Reclink: aplicativo para o relacionamento de banco de dados implementando o método probabilistic record linkage. Cad Saúde Pública 2000; 16(2): 439-47. http://dx.doi.org/10.1590/S0102-311X2000000200014
http://dx.doi.org/10.1590/S0102-311X2000... . A classificação manual dos pares formados que não obtiveram escore máximo, porém, é necessária e, por apresentar componentes subjetivos, pode variar entre diferentes avaliadores.

Estudos de confiabilidade do relacionamento probabilístico são escassos e geralmente restringem a avaliação à concordância entre os campos das bases de dados analisadas³3. Oliveira PPV, Silva GA, Curado MP, Malta DC, Moura L. Confiabilidade da causa básica de óbito por câncer entre Sistema de Informações sobre Mortalidade do Brasil e Registro de Câncer de Base Populacional de Goiânia, Goiás, Brasil. Cad Saúde Pública 2014; 30(2): 296-304. http://dx.doi.org/10.1590/0102-311X00024813
http://dx.doi.org/10.1590/0102-311X00024... ^,44. Guimarães PV, Coeli CM, Cardoso RCA, Medronho RA, Fonseca SC, Pinheiro RS. Confiabilidade dos dados de uma população de muito baixo peso ao nascer no Sistema de Informações sobre Nascidos Vivos 2005-2006. Rev Bras Epidemiol 2012; 15(4): 694-704. http://dx.doi.org/10.1590/S1415-790X2012000400002
http://dx.doi.org/10.1590/S1415-790X2012... . A avaliação da confiabilidade interobservadores, no entanto, é fundamental para a busca da homogeneidade na identificação dos pares de registros entre os avaliadores que participam do estudo.

O presente estudo teve como objetivo avaliar a confiabilidade interobservadores na classificação de pares de registros formados durante o processo de relacionamento probabilístico da base do Sistema de Informação do Controle do Câncer de Mama (SISMAMA). Ele insere-se em pesquisa que analisa as desigualdades de acesso às ações de controle dos cânceres de mama e do colo do útero no Brasil (DAAC-SIS), constituindo uma das etapas de validação da metodologia a ser utilizada.

METODOLOGIA

Foi realizado estudo de confiabilidade interobservadores em relação à classificação dos pares formados, pelo programa computacional RecLink (versão 3.1.6.3160), no relacionamento probabilístico entre as bases de dados do SISMAMA - módulo mamografia, do estado de Minas Gerais. As bases de dados utilizadas foram restritas aos registros que continham o campo CNS preenchido, mas este não foi disponibilizado para os avaliadores. A base de referência incluiu 301 registros de mulheres que realizaram mamografia em outubro de 2010 com resultado provavelmente benigno (categoria BI-RADS 3), para quem se recomenda a repetição de mamografia em seis meses⁵5. Brasil. Ministério da Saúde. Instituto Nacional de Câncer. Controle do câncer de mama: documento de consenso. Rio de Janeiro: Instituto Nacional de Câncer; 2004., e a de comparação foi constituída de 158.517 mamografias registradas em 2011, após exclusão de dois registros duplicados.

Para formação dos pares, foi usado o código soundex do primeiro nome da mulher. Para a formação do escore, foram utilizados os campos “nome completo” e “data de nascimento” da mulher e “nome completo da mãe”, com os parâmetros sugeridos²2. Camargo Jr. KR, Coeli CM. Reclink: aplicativo para o relacionamento de banco de dados implementando o método probabilistic record linkage. Cad Saúde Pública 2000; 16(2): 439-47. http://dx.doi.org/10.1590/S0102-311X2000000200014
http://dx.doi.org/10.1590/S0102-311X2000... . Apenas os pares com escores > 0,5 foram considerados. Os pares com escore máximo (17,2) foram excluídos, e os demais, analisados independentemente por 10 avaliadores, sendo quatro de Minas Gerais e dois de cada um dos demais estados (Bahia, Rio de Janeiro e São Paulo).

Para cada dupla de avaliadores, foi calculado o coeficiente Kappa de Cohen com respectivos intervalos de confiança de 95% (IC95%), e os resultados classificados como proposto por Byrt⁶6. Byrt T. How good is that agreement? Epidemiology 1996; 7(5): 561.. Adicionalmente, foi calculado o coeficiente Kappa global exato⁷7. Conger AJ. Integration and generalization of Kappas for multiple raters. Psychol Bull 1980; 88(2): 322-8. https://psycnet.apa.org/doi/10.1037/0033-2909.88.2.322
https://psycnet.apa.org/doi/10.1037/0033... e não exato⁸8. Fleiss JL. Measuring nominal scale agreement among many raters. Psychol Bull 1971; 76(5): 378-82. https://psycnet.apa.org/doi/10.1037/h0031619
https://psycnet.apa.org/doi/10.1037/h003... , e o IC95% foi estimado empregando-se técnica de reamostragem com reposição (bootstrap) com geração de 1.000 amostras aleatórias com base na amostra original (Kappa de cada dupla de avaliadores), e essas amostras foram utilizadas para gerar a distribuição amostral da estimativa (Kappa global). Os limites inferiores e superiores do Kappa global correspondem, respectivamente, às estimativas dos percentis 2,5 e 97,5 da distribuição amostral. As análises foram realizadas pelo programa R⁹9. R Core Team. R: A language and environment for statistical computing [Internet]. Viena, Áustria: R Foundation for Statistical Computing; 2013 [acessado em ago. 2016]. Disponível em: Disponível em: http://www.R-project.org/ .
http://www.R-project.org/... . Posteriormente, as discordâncias entre os avaliadores foram revisadas por toda a equipe.

O estudo foi aprovado pelos Comitês de Ética e Pesquisa do Instituto de Medicina Social da Universidade do Estado do Rio de Janeiro (Certificado de Apresentação para Apreciação Ética - CAAE: 42928415.2.0000.5260) e da Universidade Federal de Juiz de Fora, Minas Gerais (CAAE: 46844115.7.0000.5147).

RESULTADOS

O RecLink formou 281 pares de registros, sendo 66 (23,5%) com escore máximo (17,2). Os demais 215 pares, com escore variando de 17,0 a 0,54, foram classificados independentemente por 10 avaliadores. Apenas nove pares (4,2%) obtiveram classificações discordantes. Revisão posterior por toda a equipe revelou que apenas um par foi classificado indevidamente como verdadeiro por um avaliador.

O coeficiente Kappa para cada uma das 45 duplas de avaliadores variou de 0,87 a 1,00 (Figura 1), com 80% (36/45) das duplas tendo concordância excelente (> 0,92). As duplas restantes envolveram o avaliador 3, com concordância muito boa (0,87 a 0,90). A concordância foi perfeita (Kappa = 1,00) para 14 duplas, tendo estas envolvido seis dos 10 avaliadores (60%), correspondendo a pelo menos um/a avaliador/a de cada um dos quatro centros participantes do estudo. O Kappa global exato e não exato foi 0,96 (p < 0,001; IC95% 0,94 - 0,99).

DISCUSSÃO

Este estudo envolveu a classificação de 215 pares de registros por 10 avaliadores independentes, com comparação dois a dois entre eles, correspondendo a 45 duplas de avaliadores analisadas. Cada centro participante do estudo contou com pelo menos um/a avaliador/a que obteve concordância perfeita com um ou mais avaliadores de outros centros.

Avaliações intermediárias, contudo, devem ser implementadas ao longo do estudo DAAC-SIS para monitorar a qualidade. Esses cuidados são fundamentais para minimizar possíveis perdas ou inclusão de falsos pares, o que poderia introduzir vieses nas análises a serem realizadas¹⁰10. Coeli CM. A qualidade do linkage de dados precisa de mais atenção. Cad Saúde Pública 2015; 31(7): 1349-50. http://dx.doi.org/10.1590/0102-311XED010715
http://dx.doi.org/10.1590/0102-311XED010... .

A divulgação desses resultados contribui para documentar os esforços envidados para a garantia de controle de qualidade na condução de estudos que utilizam relacionamento entre diferentes SIS do Sistema Único de Saúde (SUS). Adicionalmente, ajuda a disseminar a incorporação da avaliação em estudos semelhantes.

CONCLUSÃO

O estudo revelou confiabilidade interobservadores excelente, demonstrando a homogeneidade da equipe na classificação dos pares de registros. A avaliação interobservadores foi fundamental para certificar a qualidade do processo de relacionamento, e a sua prática deve ser rotina em estudos dessa natureza.

REFERÊNCIAS

Datas de Publicação

Histórico