ARTIGO ARTICLE
Os erros de classificação e os resultados de estudos epidemiológicos
Carlos Henrique Klein; Eduardo de Azeredo Costa
Escola Nacional de Saúde Pública FIOCRUZ
RESUMO
Este artigo analisa a validade de técnicas diagnósticas ou de medidas de fatores de risco, através dos seus erros de classificação, e seus efeitos sobre indicadores de risco, próprios de grupos, bem como sobre o risco relativo e a razão de produtos cruzados, obtidos em estudos epidemiológicos analíticos.
É demonstrado como os erros de classificação podem distorcer os resultados de inquéritos e estudos de cortes ou de casos e controles. Porém, são propostas formas simples de correção dos indicadores obtidos, sempre que se conhecem estimativas de sensibilidade e especificidade das técnicas utilizadas.
Unitermos: método epidemiológico; estudos analíticos; validade de técnicas; erros de classificação.
ABSTRACT
This paper analyses validity of techniques, either for diagnosis or for measures of risk factors, by means of their misclassifications and their effects upon risk measures of groups as well as upon relative risk and odds ratio obtained in analytical studies.
It is presented how misclassifîcation can distort results of cross-sectional and cohorts or case-controls studies. Nevertheless simple ways of correcting the results are suggested provided sensibility and especificity estimates of the techniques employed are known.
1) INTRODUÇÃO
Quando classificamos as pessoas de acordo com uma de suas características ou variáveis, seja uma doença ou um fator relacionado a sua causalidade, sempre existe a possibilidade de cometermos equívocos. Estes enganos serão chamados, doravante, de erros de classificação. O controle destes erros é uma das preocupações mais relevantes, em pesquisa epidemiológica.
É erro de classificação, toda categorização incorreta de determinado indivíduo, de acordo com a medida da característica. Assim por exemplo, um fumante, exposto ao fator de risco, pode ser classificado como não exposto em um estudo de casos e controles, por erro de registro do entrevistador. Por sua vez, um indivíduo que venha a manifestar uma doença, pode ser, erroneamente, classificado como não-doente, em um estudo de coortes, por defeito na técnica de diagnóstico,
Os erros de diagnóstico devem ser, criteriosamente, avaliados na execução e análise dos inquéritos epidemiológicos, pois, das suas quantidades relativas depende, em grande parte, um dos resultados mais importantes, a prevalência ou média da característica em investigação. Portanto, a validade de uma técnica diagnostica é da maior importância na avaliação da sua utilidade.
Neste artigo vou expor, detalhadamente, como analisar a validade de técnicas diagnosticas ou de medida de fatores de risco e suas repercussões sobre indicadores de risco de grupos, como a prevalência, assim como, também, sobre os riscos relativos, obtidos em estudos de coortes e de casos e controles. Os erros de classificação e seus efeitos sobre as medidas de prevalência de doenças em inquéritos, já vêm sendo discutidos, com relativa freqüência, na literatura1-6,10-13,15-19. desde a década de 50. Porém, as repercussões destes erros nos resultados de estudos analíticos, de coortes e de casos e controles, são de divulgação bem mais recente7,9,14. As intenções deste artigo são as de sistematizar o assunto e, principalmente, de contribuir com modelos bastante simples, de fácil aplicação, para o aproveitamento do conhecimento dos erros de classificação, na correção dos resultados de estudos epidemiológicos.
2) VALIDADE DE TÉCNICAS
Ao avaliarmos a utilidade de uma técnica para obtenção da medida de uma variável, seja com fins diagnósticos ou de classificação de indivíduos, de acordo com um fator de risco, utilizamos os seguintes critérios para escolha, quando existem alternativas:
a) aceitação por parte da população em estudo;
b) facilidade de aplicação;
c) custo financeiro;
d) precisão ou repetibilidade (coerência interna); e,
e) validade.
A validade pode ser relacionada com dados de registro, com perguntas de um questionário ou com exames objetivos que, daqui por diante, serão denominados, genericamente, de testes ou técnicas.
A validade de um teste é medida pela sua capacidade de classificar, corretamente, os indivíduos submetidos ao teste.
Além de válido, um teste deve ser, também, coerente, isto é, ter alta repetibilidade, que e a sua capacidade de concordância de resultados, quando aplicado, uniformemente, repetidas vezes, sobre objetos invariantes. Fraca repetibilidade implica em baixa utilidade, entretanto, alta repetibilidade não significa, necessariamente, grande utilidade, pois, o teste pode apresentar, constantemente, resultados incorretos, distorcidos, com viés, sendo assim, de baixa validade.
2.1) Sensibilidade e especificidade
Quando a escala de classificação, utilizada para análise, é dicotômica, a mais simples e mais empregada para diagnósticos, a validade pode ser expressa, quantitativamente pela sensibilidade e especificidade.
Sensibilidade e especificidade são os componentes da validade.
A sensibilidade é a capacidade de um teste em revelar altas proporções de resultados positivos, nas pessoas que apresentam a condição investigada. Portanto, quanto menor a proporção de falsos negativos, erro de classificação complementar da sensibilidade, maior é a sensibilidade do teste.
A especificidade é a capacidade de um teste em mostrar resultados positivos, apenas, nas pessoas com a condição investigada, e não naquelas que não a possuem. Portanto, quanto menor a proporção de falsos positivos, erro de classificação complementar da especificidade, maior é a especificidade do teste.
A sensibilidade e a especificidade são critérios de validade resultantes da comparação do teste com a verdade. Portanto, para se expressar, objetivamente, os dois critérios, com relação a um teste, é preciso comparar seus resultados com aqueles obtidos por um exame de referência, cujos resultados possam ser considerados como corretos ou reais.
Na prática, esta é uma questão delicada, uma vez que a verdade nem sempre pode ser obtida com absoluta segurança. Por isso, é comum utilizar-se, como exame de referência indicador da verdade, uma bateria exaustiva de testes complementares ou repetidos ou, ainda, o melhor teste conhecido. A aplicação deste exame de referência é, em geral, de alto custo e, portanto, as avaliações de validade de um teste são feitas em pequenas amostras de estudos, especialmente, delineados para este fim.
Em um inquérito epidemiológico, geralmente, queremos estimar uma prevalência de doença. Entretanto, se os diagnósticos foram feitos com uma técnica que não está isenta de erros de classificação, a prevalência obtida é uma estimativa distorcida da real. Para analisar a relação entre as prevalências real e aparente, esta última, sendo aquela obtida em um inquérito epidemiológico, através de uma técnica diagnóstica, vamos primeiro conceituar, algebricamente, sensibilidade e especificidade. Para este propósito vamos armar uma tabela que apresente os resultados gerais, de acordo com a aplicação da técnica teste e um exame de referência.
A tabela apresenta as quantidades de indivíduos classificados como positivos e negativos, em relação a uma característica, de acordo com o exame de referência e com o teste diagnóstico e, então, se apresentam as medidas de validade e os erros de classificação.
O uso das letras gregas a e b para definir os erros de classificação foi inspirado pelo uso das mesmas, na representação dos dois tipos de erros em amostragem.
As quantidades apresentadas na tabela também podem ser descritas assim:
a = verdadeiros positivos
b = falsos negativos
c = falsos positivos
d = verdadeiros negativos
a + b = total real de positivos
a + c = total aparente de positivos
A prevalência real (pr) é função dos resultados do exame de referência, enquanto que a prevalência aparente (pa) é função dos resultados da aplicação do teste. Portanto,
assim que, a prevalência aparente só é igual à real, quando as quantidades (a + c) e (a + b) forem idênticas, ou seja, quando há tantos falsos positivos quanto falsos negativos ou quando, simplesmente, nenhum erro de classificação é cometido.
Agora, a tabela pode ser apresentada novamente com valores relativos, assim:
Podemos, então, escrever o seguinte:
Isto resulta em que a prevalência real possa ser obtida através de:
ou usando diretamente os valores de sensibilidade (s) e especificidade (e),
pr = (pa + e 1)/(s + e 1)
Portanto, a prevalência real pode ser estimada numa situação concreta, em que foi utilizado um teste para diagnóstico, a partir da prevalência aparente e dos critérios de validade conhecidos do teste, sensibilidade e especificidade.
No caso especial de um teste sem erros de classificação, em que os valores de a e b são iguais a zero ou em que a sensibilidade e a especificidade são iguais a 1, o valor da prevalência real é igual ao da prevalência aparente. Isto pode facilmente ser verificado, através das fórmulas apresentadas.
2.2) Relações entre as prevalências real e aparente
A escolha de um teste diagnóstico, entre várias alternativas, depende do conhecimento dos seus erros de classificação ou, em outras palavras, da sua validade.
Um critério para escolha de um teste é o proposto por Youden.19 Para Youden deve-se optar pelo teste que apresentar a menor soma das proporções de erros de classificação, ou seja, aquele que tiver o maior valor do índice de Youden (com o valor ideal igual a 1). A expressão algébrica deste índice é dada por:
| J = 1 (a + b) | (3) |
É bom ressaltar que o uso deste índice na escolha do teste implica, na verdade, na obtenção da menor proporção total possível de erros de classificação (o menor número de diagnósticos incorretos, falsos negativos mais falsos positivos). Entretanto, em determinadas ocasiões, nas quais deverão ser tomadas medidas individuais de proteção, pode ser mais importante escolher o teste que resulte na menor proporção de falsos negativos, o mais sensível. Em outras situações, em que a medida de proteção individual pode resultar em sério risco para os falsos positivos, pode ser mais prudente a escolha do teste mais específico. E, por fim, o critério de Youden não garante a escolha do teste, cuja prevalência aparente mais se aproxima da real.
A prevalência aparente é dependente da sensibilidade e da especificidade do teste diagnóstico utilizado, assim como, também, da prevalência real. Portanto, uma vez que a expressão entre parênteses encontrada em (1) é equivalente ao índice de Youden, podemos dizer que:
Esta expressão, para a prevalência aparente, mostra que esta é uma função linear da prevalência real, com um intercepto no ponto de origem, prevalência real zero, igual a a (proporção de falsos positivos) e um coeficiente de inclinação de valor J (índice de Youden).
Esta função pode ser demonstrada com um exemplo hipotético da aplicação de quatro testes diferentes em relação aos erros de classificação.
Estes quatro testes teriam as seguintes características:
Se estes quatro testes forem aplicados a cinco amostras com prevalências reais de 0,1, 0,3, 0,5, 0,7 e 0,9, respectivamente, teremos o seguinte gráfico relacionando as prevalências reais e aparentes:
O ideal seria que os pontos de interseção estivessem, exatamente, sobre a diagonal traçada entre os pontos de interseção das prevalências correspondentes a 0 e 1, pois, nestes casos, as prevalências aparente e real seriam iguais. Porém, isto só ocorre com testes exatos, sem erros de classificação, ou em situações muito especiais, como já veremos.
Repare que os pontos de interseção das prevalências correspondentes a cada teste estão sempre em uma linha reta. O prolongamento de cada uma destas retas irá revelar que a prevalência aparente mínima (real igual a zero) será igual à proporção de falsos positivos (a) enquanto que a prevalência aparente máxima (real igual a um) será igual à especificidade (1 b) do teste. Isto também poderia ser deduzido pela substituição do valor de pr na fórmula de pa (pa = pr (1 b a) + a), assim para:
Portanto, a < pa < 1 b, o que significa que a prevalência aparente, nunca será menor do que a proporção de falsos positivos ou maior do que a especificidade do teste-diagnóstico empregado.
Para qualquer técnica, com erros de classificação, existe um único ponto de intersecção da sua reta específica com a reta do teste ideal, aquele sem erros. Esta é a situação especial referida, anteriormente, em que o número de falsos negativos é igual ao de falsos positivos, portanto, quando:
b pr = a (1 pr)
a prevalência real será dada por:
pr = a / (a + b)
Neste único caso as prevalências real e aparente são idênticas. Isto significa, também, que os valores das prevalências aparente e real são tão mais semelhantes quanto mais próxima estiver a prevalência real ou aparente do valor da razão a / (a + b).
3) A DIFERENÇA DE PROPORÇÕES E OS ERROS DE CLASSIFICAÇÃO
Nos estudos comparativos, é usual que a conclusão final dependa do resultado da diferença de duas proporções. Assim, em um estudo de casos e controles, podem estar sendo comparadas as proporções de exposição de casos e de controles ou, num inquérito, duas prevalências de doença, de acordo com uma característica. Por sua vez, em estudos de coortes, são confrontadas as incidências de doenças dos expostos com as dos não-expostos. Em qualquer uma destas situações estarão sendo comparadas proporções ou prevalências aparentes, se tiver sido utilizado um teste com erros de classificação.
Se definirmos a diferença real entre duas proporções reais, pr1 e pr2, como sendo:
D = pr1 pr2
então, a diferença aparente, entre as proporções aparentes será dada por:
d = pa1 pa2
Desta forma, a diferença real poderá ser calculada a partir das proporções aparentes e dos erros de classificação, usando o encontrado em (2) e (3), através de:
Se, entretanto, pudermos supor que os erros de classificação são constantes em ambos os grupos de comparação (a1 = a2 = a e b1 = b2 = b), então:
D = (pa1 pa2)/(1 b a)
assim que, d = D (1 b a) ou d = DJ, de acordo com (3).
Portanto, se os erros são máximos, isto é, a e b são iguais a 1 (um), a diferença aparente será da mesma magnitude da verdadeira, porém, com sentido inverso, pois:
d = D (1 1 1) = D
Se os erros não existem, isto é, a e b são iguais a 0 (zero), a diferença aparente será de mesmo sentido e magnitude da verdadeira, pois:
d = D (1 0 0) = D
Porém, se os erros são aleatórios, isto é a e b são iguais a 0,5, a diferença aparente será nula, pois:
d = D (1 0,5 0,5) = 0
Um teste, para ser considerado de alguma validade, deve ter a soma de seus erros menor do que 1 (um), ou seja, seu índice de Youden deve ser maior do que 0 (zero), e, neste caso, a diferença de proporções aparentes será sempre menor do que a verdadeira, toda vez que pudermos supor que os erros são independentes dos grupos de comparação. E isto porque a diferença aparente será o resultado do produto da verdadeira diferença, por um valor maior do que 0, porém, menor do que 1.
4) O RISCO RELATIVO E OS ERROS DE CLASSIFICAÇÃO
Uma das medidas mais usadas para expressar a força de uma associação, entre um fator de exposição e uma doença, o risco relativo. O risco relativo pode ser obtido, diretamente, em estudos de coortes ou em estudos seccionais (inquéritos). O risco relativo é a razão entre duas proporções, a de doentes entre os expostos sobre a de doentes entre os não-expostos.
Se admitirmos que os indivíduos foram, corretamente, classificados nos grupos de exposição, porém, a técnica diagnostica de doença permite erros de classificação, então, as proporções de doença obtidas não são as verdadeiras, mas sim, as aparentes.
Se definirmos o risco relativo real como sendo14,15
então, o risco relativo aparente será dado por:
r = pa1/pa2
Podemos estimar o risco relativo verdadeiro, usando o encontrado em (2), através de:
Se, mais ainda, pudermos supor que os erros de classificação são constantes, em ambos os grupos de comparação, (a1 = a2 = a e b1 = b2 = b) o cálculo pode ser simplificado para:
R = (pa1 a)/(pa2 a)
Por sua vez, o risco relativo aparente, utilizando o encontrato em (1) e (3), será o resultado de:
Portanto, se os erros são máximos, isto é, a1, a2, b1 e b2 são iguais a 1 (um), então:
assim que, se pr1 > pr2, então l pr1 < l pr2, o que resulta em que o risco relativo aparente seja menor do que 1 (um) quando o verdadeiro é maior do que 1 (um). Nesta infeliz situação, um fator de risco poderá ser interpretado como de proteção ou vice versa, quando se tratar de um fator de proteção contra a doença, na realidade.
Se os erros não existem, isto é, se a1, a2, b1 e b2 são iguais a 0 (zero), então:
Se os erros são aleatórios, isto é, a1, a2, b1 e b2 são iguais a 0,5, então:
levando a uma, possivelmente, falsa conclusão de não-associação entre fator e doença.
Entretanto, um teste de alguma validade deverá ter um índice de Youden maior do que zero, apesar de menor do que um, e se pr1 for maior do que pr2, então, na suposição de erros constantes nos grupos e de acordo com (5) e (6),
Isto significa que o valor do risco relativo aparente será menor do que o risco relativo verdadeiro, quando este for maior do que 1 (um).
Entretanto, quando pr1 for menor do que pr2, quer dizer, quando o risco relativo verdadeiro for menor do que 1 (um), o risco relativo aparente será maior do que o verdadeiro.
Em ambos os casos, a tendência do risco relativo aparente é estar mais próximo de 1 (um) do que o verdadeiro, o que torna sempre menor a força de associação aparente, tanto para um fator de risco como para um de proteção contra a doença.
5) A RAZÃO DE PRODUTOS CRUZADOS E OS ERROS DE CLASSIFICAÇÃO
Uma outra medida de força de associação é a razão de produtos cruzados, utilizada, também, como estimador viciado do risco relativo, em estudos de casos e controles. Nesta estratégia de estudo de casos e controles, os erros de classificação estão, geralmente, relacionados com a técnica que mede a exposição.
A razão dos produtos cruzados pode ser calculada, através das proporções de expostos dos casos e dos controles.14,15 Assim, se pr1 for a verdadeira proporção de expostos entre os casos e pr2, a verdadeira proporção de expostos entre os controles, a razão de produtos cruzados verdadeira será dada por:
enquanto que a razão de produtos cruzados aparente será calculada com os valores das proporções aparentes, assim:
A razão de produtos cruzados verdadeira pode ser estimada, através das proporções aparentes e dos erros, de acordo com (2), através de:
Se os erros de classificação forem constantes nos casos e nos controles (a1 = a2 = a e b = b2 = b) então é possível simplificar a fórmula para:
e se substituirmos 1 b, a sensibilidade, por (5) teremos:
Por sua vez, a razão de produtos cruzados aparente, de acordo com (4), será o resultado de:
Portanto, se os erros de classificação forem máximos, isto é, a1, a2, b1 e b2 são iguais a 1 (um), como conseqüência J1 e J2 serão iguais a -1 (menos um), então:
Repare que esta expressão é a recíproca daquela definida como sendo a correspondente à razão de produtos cruzados verdadeira. Por isso, neste caso, podemos dizer que:
rpc = 1/RPC
e, como no caso do risco relativo, a interpretação da associação entre o fator e a doença será falsa, quando afirmar risco ou proteção.
Se os erros não existem, quer dizer, a1, a2, b1 e b2 são iguais a 0 (zero), e como conseqüência J1 e J2 são iguais a 1 (um), então:
Se os erros são aleatórios, quer dizer a1, a2, b1 e b2 são iguais a 0,5, e como conseqüência J1 e J2 são iguais a 0 (zero), então:
Um teste válido deverá ter, entretanto, um índice de Youden maior do que 0 ainda que menor do que 1. Neste caso, se pr1 > pr2, e os erros do teste são constantes (a1 = a2= a e b1 = b2 = b) nos grupos de comparação, então, de acordo com (7) e (8),
Isto significa que a razão de produtos cruzados aparente terá valor menor do que a razão verdadeira, quando esta for maior do que 1 (um).
Entretanto, quando pr1 for menor do que pr2, quer dizer, quando a razão de produtos cruzados verdadeira for menor do que 1 (um), a razão aparente será maior do que a verdadeira.
Em ambos os casos, a tendência da razão de produtos cruzados aparente é estar mais próxima de 1 (um) do que a verdadeira, assim como aconteceu com o risco relativo, o que torna sempre menor a força de associação aparente, independentemente, do fator ser de risco ou de proteção.
REFERÊNCIAS BIBLIOGRÁFICAS
1 ARMITAGE, P.: Statistical Methds in Medical Research. Oxford, Blackwell Scientific Publications, 1971
2 BUCK, A. A. and Gart, J. J.: Comparison of a screening test and a reference test in epidemiologic studies. Am. J. Epidemiol. 83:586-602, 1966.
3 COCHRANE, A. L. and Holland, W. W.: Validation of screening procedures. Brit. Med. Bull. 27:3-8, 1971.
4 COPELAND, K. T., Checkoway, H., McMichael, A. J. and Holbrook, R. H.: Bias due to misclassification in the estimation of relative risk. Am. J. Epidemiol. 105:488-95, 1977.
5 DIAMOND, E. L. and Lilienfeld, A. M.: Effects of errors in classification and diagnosis in various types of epidemiological studies. Amer. J. Publ. Health 52:1137-44, 1962.
6 DIAMOND, E. L. and Lilienfeld, A. M.: Misclassification errors in 2 x 2 tables with one margin fixed: some further coments. Amer. J. Publ. Health 52:2106-10, 1962.
7 FLEGAL, K. M., Brownie, C. and Haas, J. D.: The effects of exposure misclassification on estimates of relative risk. Am. J. Epidemiol. 123:736-51, 1986.
8 FLEISS, J. L.: Statistical methods for rates and proportions. New York, John Wiley & Sons, 1979.
9 GOLDBERG, J. D.: The effects of misclassification on the bias in the difference between two proportions and the relative odds in the fourfold table. J. Am. Stat. Assoc. 70:561-7 1975.
10 GRINER, P. F., Mayewski, R. J. Mushlin, A. I. and Greenland, P.: Selection and interpretation of diagnostic tests and procedures. Am. Int. Med. 94:553-600, 1981.
11 GULLEN, W. H., Bearman, J. E. and Johnson, E. A.: Effects of misclassification in epidemiologic studies. Public Health Rep. 83:914-8, 1968.
12 HARPER, D.: Misclassification in epidemiological surveys. Amer J. Publ. Health 54:1882-86, 1964.
13 KEYS, A. and Kihlberg, J. K.: The effect of misclassifications on estimated relative prevalence of a characteristic. Amer. J. Publ. Health 53:1656-65, 1963.
14 KLEINBAUM, D. G., Kupper, L. L. and Morgenstern, H.: Epidemiologic research: principles and quantitative methods. Belmont, Lifetime Learning Publications, 1982.
15 LILIENFELD A. M. and Lilienfeld, D. D.: Foundations of epidemiology. New York, Oxford University Press, 1980.
16 NEWELL, D. J.: Errors in the interpretation of errors in epidemiology. Amer. J. Publ. Health 52:1925-28, 1962.
17 ROGAN, W. J. and Gladen, B.: Estimating prevalence from the results of a screening test. Amer. J. Epidemiol. 107:71-6, 1978.
18 TOMAN, K.: Sensibilidad, especificidad y valor predictivo de los test diagnosticos. Bol. Union Int. Contra la Tuberculosis 56:19-30, 1981.
19 YOUDEN, W. J.: Index for rating diagnostic tests. Cancer 3:32-5, 1950.