Tentativas e suicídios por intoxicação exógena no Rio de Janeiro, Brasil: análise das informações através do linkage probabilístico

Suicide and suicide attempts by exogenous poisoning in Rio de Janeiro, Brazil: information analysis through probabilistic linkage

Intentos de suicidio y suicidios por envenenamiento exógeno en Río de Janeiro, Brasil: análisis de la información a través de una relación probabilística

Simone Agadir Santos Letícia Fortes Legay Fernanda Pinheiro Aguiar Giovanni Marcos Lovisi Lucia Abelha Sergio Pacheco de Oliveira Sobre os autores

Resumos

A intoxicação exógena é um dos três principais meios utilizados nas tentativas e suicídios. Com o objetivo de melhorar a qualidade destas informações foi realizado um estudo seccional descritivo dos registros sobre casos do Estado do Rio de Janeiro, Brasil, período 2006-2008, presentes nos bancos de dados do Sistema de Informações sobre Agravos de Notificação (SINAN), Sistema de Informações sobre Mortalidade (SIM) e Centro de Controle de Intoxicação de Niterói (CCIn-Niterói). Através do método de relacionamento probabilístico desenvolveu-se um modelo de monitoramento dos casos de tentativas/suicídios devido intoxicação. Embora 68,8% dos 948 registros do CCIn tenham sido reportados por profissionais de saúde, apenas 2,6% constavam nos demais sistemas. O pareamento CCIn e SIM apresentou uma subnotificação de 61,3%. Sabe-se da importância da informação para a vigilância, formulação de políticas públicas, além de tomadas de decisão. O método de relacionamento de bancos de dados permitiu a identificação dos problemas existentes em cada sistema, proporcionou melhor qualidade das informações e maior proximidade com a situação real de agravos complexos e graves como o comportamento suicida.

Intoxicação; Tentativa de Suicídio; Suicídio; Sistemas de Informação


Poisoning is one of the three main means used in suicide and suicides attempts. In order to improve the quality of such information, a cross-sectional descriptive study was conducted on case records in the State of Rio de Janeiro, Brazil, from 2006 to 2008, in the databases of the Information System on Diseases of Notification (SINAN), the Mortality Information System (SIM), and the Poison Control Center in Niterói (CCIn-Niterói). Probabilistic linkage was used to develop a model for monitoring suicides and suicide attempts by poisoning. Although 68.8% of the 948 records at CCIn had been reported by health professionals, only 2.6% were included in the other databases. Linking CCIn and SIM showed 61.3% underreporting. Information is important for surveillance, public policy-making, and decision-making. Probabilistic linkage allowed identifying problems in each system and provided better data quality and a more accurate diagnosis of the real situation in a complex and serious problem like suicidal behavior.

Intoxication; Attempetd Suicide; Suicide; Information Systems


La intoxicación exógena es uno de los tres métodos principales utilizados en los intentos de suicido y suicidios. Con el objetivo de mejorar la calidad de esta información, se realizó un estudio seccional descriptivo de los registros de casos en el estado de Río de Janeiro, Brasil, 2006-2008, presentes en las bases de datos del Sistema de Información sobre Dolencias Notificables (SINAN por sus siglas en portugués), Sistema de Información sobre Mortalidad (SIM) y Centro de Control de Intoxicación de Niterói (CCIn-Niterói). A través del método probabilístico, se desarrolló un modelo para el seguimiento de los casos de intentos/suicidios por envenenamiento. Aunque un 68,8% de la CCIn (948 discos) ha sido reportado por profesionales de salud, sólo un 2,6% de ese tipo contenido está presente en otros sistemas. El emparejamiento CCIn y SIM presentó un subregistro de un 61,3%. Conocemos la importancia de esta información para la vigilancia, formulación de políticas públicas y la toma de decisiones. El método de relación probabilística de bancos de datos permitió la identificación de los problemas existentes en cada sistema, proporcionó una mejor calidad de la información y proximidad a la situación real de las enfermedades graves y complejas como el comportamiento suicida.

Intoxicación; Intento de Suicidio; Suicidio; Sistemas de Información


Introdução

A Organização Mundial da Saúde (OMS. Suicide Prevention (SUPRE). http://www.who.int/men tal_health/prevention/suicide/suicideprevent/en/, acessado em 25/Set/2012) estima que, até 2020, mais de 1,5 milhão de pessoas vão cometer suicídio. O suicídio é uma das três principais causas de óbitos na população jovem entre 15 e 44 anos, presente em países desenvolvidos e em desenvolvimento. Os métodos mais comuns de suicídio são enforcamento, armas de fogo e envenenamento 1. Krug EG, Dahlberg LL, Mercy JA, Zwi A, Lozano-Ascencio A. World report on violence and health. Geneva: World Health Organization; 2002.. Torna-se preocupante observar que esse grupo além de estar mais sob risco do suicídio, também se encontra mais exposto a outros tipos de violências em nossa sociedade.

No Brasil, a intoxicação exógena também se encontra entre os três principais meios utilizados nas tentativas e suicídios. As substâncias relacionadas a 70% dos casos são os medicamentos e pesticidas 2. Santos SA, Legay LF, Lovisi GM, Santos JCF, Lima LA. Suicídios e tentativas de suicídios por intoxicação exógena no Rio de Janeiro: análise dos dados dos sistemas oficiais de informação em saúde, 2006-2008. Rev Bras Epidemiol 2013; 16:376-87.,3. Santos AS, Lovisi G, Legay L, Abelha L. Prevalência de transtornos mentais nas tentativas de suicídio em um hospital de emergência no Rio de Janeiro, Brasil. Cad Saúde Pública 2009; 25:2064-74.,4. Lovisi GM, Santos SA, Legay L, Abelha L, Valencia E. Epidemiological analysis of suicide in Brazil from 1980 to 2006. Rev Bras Psiquiatr 2009; 31 Suppl 2:S86-93.,5. Damas FB, Zannin M, Serrano AI. Tentativas de suicídio com agentes tóxicos: análise estatística dos dados do CIT/SC (1994 a 2006). Rev Bras Toxicol 2009; 22:21-6.,6. Werneck GL, Hasselmann MH, Phebo LB, Vieira DE, Gomes VLO. Tentativas de suicídio em um hospital geral no Rio de Janeiro, Brasil. Cad Saúde Pública 2006; 22:2201-6.. Segundo dados do Sistema Nacional de Informações Tóxico-Farmacológicas (SINITOX), para o ano de 2010, de todas as intoxicações registradas, 17% se associavam a uma tentativa de suicídio, frequência superada apenas pelo acidente individual (55,8%). Já os óbitos por suicídio corresponderam 64,8% neste sistema (SINITOX. Tabela 6. Casos Registrados de Intoxicação Humana por Agente Tóxico e Circunstância, Brasil, 2010. http://www.fiocruz.br/sinitox_no vo/media/b6.pdf, acessado em 07/Jan/2014; SINITOX. Tabela 11. Óbitos Registrados de Intoxicação Humana por Agente Tóxico e Circunstância, Brasil, 2010. http://www.fiocruz.br/sinitox_no vo/media/b11.pdf, acessado em 07/Jan/2014). Destas tentativas, 64,2% evoluíram para óbito. A Vigilância de Violências e Acidentes (VIVA) 7. Ministério da Saúde. Portaria MS/GM no 1.356, de 23 de junho de 2006. Institui incentivo aos estados, ao Distrito Federal e aos municípios para a Vigilância de Acidentes e Violências em Serviços Sentinela, com recursos da Secretaria de Vigilância em Saúde. Diário Oficial da União 2006; 26 jun. através da Ficha de Notificação/Investigação de Violência Doméstica, Sexual e/ou outras Violências, também destaca a intoxicação exógena (62,2% de todos dos casos) como o principal meio utilizado no comportamento suicida (Sistema de Informação de Agravos de Notificação. Violência Doméstica, Sexual e/ou Outras Violências. http://dtr2004.saude.gov.br/sinanweb/tabnet/dh?si nannet/violencia/bases/violebrnet.def, acessado em 25/Set/2012).

Poucos estudos investigaram suicídios por intoxicação no Brasil, talvez devido à frequência não elevada (16%) em comparação ao enforcamento (60,1%), embora seja relevante, superando o suicídio com o uso de armas de fogo (10,3% em 2010). No Estado do Rio de Janeiro, Brasil, através dos dados disponibilizados pelo Departamento de Informática do SUS (DATASUS. Óbitos por Causas Externas – Brasil. http://tabnet.da tasus.gov.br/cgi/deftohtm.exe?sim/cnv/ext10uf.def, acessado em 15/Set/2012), verificou-se ser a intoxicação exógena o segundo método de escolha entre os suicidas (18,3% dos casos). E mais, em relação às tentativas de suicídio, as intoxicações exógenas lideraram com 85,4%. Através de pesquisas realizadas no estado em dois hospitais de emergência geral, as tentativas de suicídio com a utilização de agrotóxicos (33% e 52%) e de medicamentos (39%, em ambos) foram as mais frequentes 3. Santos AS, Lovisi G, Legay L, Abelha L. Prevalência de transtornos mentais nas tentativas de suicídio em um hospital de emergência no Rio de Janeiro, Brasil. Cad Saúde Pública 2009; 25:2064-74.,6. Werneck GL, Hasselmann MH, Phebo LB, Vieira DE, Gomes VLO. Tentativas de suicídio em um hospital geral no Rio de Janeiro, Brasil. Cad Saúde Pública 2006; 22:2201-6..

Com o cenário mencionado faz-se necessário o monitoramento desses dados, embora eles estejam longe de refletir o universo de casos, pois parcela significativa de vítimas não busca atendimento nos serviços de saúde. Assim, os centros de controle de intoxicação, cujo atendimento à demanda espontânea abrange também as solicitações de informação ao público leigo 2. Santos SA, Legay LF, Lovisi GM, Santos JCF, Lima LA. Suicídios e tentativas de suicídios por intoxicação exógena no Rio de Janeiro: análise dos dados dos sistemas oficiais de informação em saúde, 2006-2008. Rev Bras Epidemiol 2013; 16:376-87., podem funcionar como parte de um sistema de vigilância.

A busca por informações epidemiológicas precisas, completas e oportunas torna-se necessária e essencial para o monitoramento, planejamento e execução de ações mais adequadas. Os dados de saúde nacionais são disponibilizados pelo DATASUS através de vários sistemas informatizados entre eles o Sistema de Informações sobre Mortalidade (SIM) e o Sistema de Informações sobre Agravos de Notificação (SINAN). Já os centros de controle de intoxicação são serviços, tal como o Centro de Controle de Intoxicação de Niterói (CCIn-Niterói), que exige uma solicitação formal.

Avaliações sobre a completitude e subnotificação são importantes para um correto perfil epidemiológico e as consequentes decisões para a prevenção e ações em saúde. De imediato nos deparamos com a dificuldade dos serviços em identificar adequadamente a intoxicação como intencional e não-intencional, problema que nem sempre é de difícil detecção e correção, mas nem por isto de fácil eliminação. Soma-se a ele, a tão conhecida subnotificação da tentativa/suicídio por motivos socioculturais e econômicos, além dos erros de classificação 2. Santos SA, Legay LF, Lovisi GM, Santos JCF, Lima LA. Suicídios e tentativas de suicídios por intoxicação exógena no Rio de Janeiro: análise dos dados dos sistemas oficiais de informação em saúde, 2006-2008. Rev Bras Epidemiol 2013; 16:376-87.,8. Jesus T, Mota E. Fatores associados à subnotificação de causas violentas de óbito. Cad Saúde Colet (Rio J.) 2010; 18:361-70.,9. Minayo MC. Suicídio: violência auto-infligida. In: Secretaria de Vigilância em Saúde, Ministério da Saúde, organizador. Impactos da violência na saúde dos brasileiros. Brasília: Ministério da Saúde; 2005. p. 205-33..

Os sistemas de informação em saúde nacional não se comunicam diretamente. A falta de integração entre eles exige uso de métodos como o relacionamento probabilístico para identificar o mesmo indivíduo nestas diferentes fontes 1010 . Camargo Jr. KR, Coeli CM. Avaliação de diferentes estratégias de blocagem no relacionamento probabilístico de registros. Rev Bras Epidemiol 2002; 5:185-96.. Por tais razões relevantes, foi realizado este estudo com o objetivo de melhorar a qualidade das informações sobre os casos de tentativas e suicídios por intoxicação exógena em residentes no Estado do Rio de Janeiro.

Métodos

Realizou-se um estudo seccional descritivo, no qual foram analisados registros sobre os casos de tentativas e suicídios de residentes do Estado do Rio de Janeiro constantes nos bancos de dados do SINAN, SIM e CCIn-Niterói, referentes ao período 2006-2008.

O programa SPSS 13 (SPSS Inc., Chicago, Estados Unidos) foi utilizado para a criação de um banco de dados identificado com os registros do CCIn-Niterói, correções e modificações das estruturas dos bancos do SINAN e SIM, além de recodificações de variáveis selecionadas. O RecLink III (Camargo Jr. KR, Coeli CM. http://www.iesc.ufrj.br/reclink/RecLink_arquivos/RecLink dl.html) foi usado para a aplicação da técnica de relacionamento probabilístico 1111 . Camargo Jr. KR, Coeli CM. Reclink: aplicativo para o relacionamento de bases de dados, implementando o método probabilistic record linkage. Cad Saúde Pública 2000; 16:439-47..

Seleção das fontes de dados

Os sistemas SINAN e CCIn-Niterói foram selecionados por serem os únicos sistemas oficiais que concentram informações específicas acerca dos casos de intoxicação exógena. As tentativas de suicídio foram identificadas através da variável circunstância. Enquanto que os suicídios foram identificados através da variável “evolução” (cura, cura não confirmada, cura com ou sem sequela – tentativa de suicídio; óbito – suicídio).

Embora o SINAN (N = 3.857) tenha exibido 73,5% de dados em branco/ignorados no campo circunstância, optou-se por manter a seleção através desse campo, por ser este o único que especifica os casos de tentativas de suicídio. Não foi necessário utilizar o mesmo critério de inclusão para o CCIn-Niterói, pois este banco foi construído especificamente para a finalidade desta pesquisa, conforme supracitado. Quanto ao Sistema de Informações Hospitalares do SUS (SIH-SUS), apesar de este também conter as informações necessárias, optou-se neste estudo pela análise dos três bancos citados, isto é SINAN, CCIn-Niterói e o SIM para o suicídio, construindo-se assim um primeiro modelo de monitoramento para a vigilância desses agravos.

No SIM, utilizou-se o campo “causa básica” codificado entre X60-X69, segundo a 10a revisão da Classificação Internacional de Doenças (CID-10), da OMS, para identificar os casos de óbitos por suicídio. Apesar do SIM possuir o campo “circunstância do óbito” (acidente, suicídio, homicídio, outros e ignorado), observou-se que aproximadamente 91% dos registros estavam em branco ou ignorado, razão pela qual não foram utilizados.

Os arquivos dos bancos de dados do SINAN e SIM foram fornecidos no formato data base file (DBF). O banco de dados do CCIn-Niterói foi construído com o programa SPSS 14.0, com o formato saved file (SAV). Todos os bancos contêm informações de: identificação dos pacientes, médicas, unidades de saúde e óbitos.

Os bancos de dados do SINAN e SIM foram disponibilizados pela Subsecretaria de Vigilância em Saúde, da Secretaria de Estado de Saúde do Estado do Rio de Janeiro e os registros do CCIn-Niterói foram cedidos pelo Hospital Universitário Antônio Pedro, da Universidade Federal Fluminense.

Preparação dos bancos de dados

SINAN

O sistema é alimentado pelas informações presentes nas Fichas de Notificação/Investigação de Violência Doméstica, Sexual e/ou outras Violências preenchidas pelos profissionais das unidades de saúde (públicas, conveniadas e privadas), que constam na Lista Nacional de Agravos de Notificação Compulsória (Portaria GM/MS no 104/2011) 1212 . Ministério da Saúde. Portaria GM/MS no 104, de 25 de janeiro de 2011. Define as terminologias adotadas em legislação nacional, conforme o disposto no Regulamento Sanitário Internacional 2005 (RSI 2005), a relação de doenças, agravos e eventos em saúde pública de notificação compulsória em todo o território nacional e estabelece fluxo, critérios, responsabilidades e atribuições aos profissionais e serviços de saúde. Diário Oficial União 2011; 26 jan. e outros problemas de saúde do interesse de estados e municípios. O sistema também permite consulta online à sua base de dados através do site do Ministério da Saúde (http://www.saude.gov.br) ou do DATASUS (http://www.datasus.gov.br).

Com relação à estrutura, até o ano de 2006, o SINAN registrava somente as intoxicações causadas pelos agrotóxicos e o banco era constituído por 134 campos. A partir desse período, o sistema passou a notificar também diversos tipos de agentes tóxicos, tais como medicamentos, produtos químicos industriais, alimentos e bebidas, drogas de abuso, além do próprio agrotóxico. O sistema também sofreu uma redução do número de campos, sobretudo com relação às informações clínicas, passando a apresentar 103 campos.

Neste estudo, os dados referentes ao período de 2006 a 2008 foram unificados num único arquivo denominado sinantotal, com 3.857 registros de casos de intoxicação. Destes, 51 registros foram excluídos por não constar o nome ou apenas o primeiro nome do paciente ou ainda por ser duplicação (1,3%). O banco resultou em 3.806 registros. Deste banco foram gerados dois outros bancos: (a) um banco denominado sinants constituído pelos registros dos casos identificados como tentativas e suicídios (n = 464); e (b) outro banco intitulado sinangeral, com os demais registros, isto é, todos que não foram tentativas e suicídios (n = 3.342) (Figura 1).

Figura 1
Distribuição e desmembramento dos arquivos com registros sobre casos de intoxicação exógena dos bancos de dados dos Sistema de Informações sobre Agravos de Notificação (SINAN), Sistema de Informações sobre Mortalidade (SIM) e Centro de Controle de Intoxicação de Niterói (CCIn-Niterói). Estado do Rio de Janeiro, Brasil, 2006-2008.

SIM

O SIM é alimentado pelas informações contidas nas Declarações de Óbitos (DO), sendo o seu preenchimento realizado pelo médico ou pelo perito legista. O sistema permite a consulta online à sua base de dados no site do DATASUS.

A estrutura dos bancos de dados do SIM permaneceu a mesma durante o período estudado, havendo nele 122 campos. Os bancos de dados referentes ao período de 2006 a 2008 foram unificados num único arquivo denominado sim (n = 369.901) constituído com registros de óbito por todas as causas. Cerca de 5% dos registros (n = 18.074: por não constarem o nome ou apenas o primeiro nome do indivíduo, óbitos fetais, descrição do corpo, etc.) foram excluídos totalizando assim 351.827 registros. Este banco gerou dois outros bancos: (a) um banco denominado simie (sim intoxicações exógenas) constituído pelos registros dos casos identificados como suicídios (n = 182); e (b) outro banco intitulado simgeral, com os demais registros exceto suicídios por intoxicação exógena (n = 351.645) (Figura 1).

CCIn-Niterói

O CCIn-Niterói é o único centro de referência para o Estado do Rio de Janeiro que faz parte da Rede Nacional de Centros de Informação e Assistência Toxicológica (RENACIAT), coordenada pela Agência Nacional de Vigilância Sanitária (ANVISA). Os profissionais do centro atendem à demanda espontânea de indivíduos intoxicados, profissionais de saúde ou público leigo que buscam informações sobre tratamento e/ou orientações sobre procedimentos a serem realizados em caso de intoxicação. Estes atendimentos são registrados em fichas e digitados em um banco de dados.

O banco identificado é formado por 24 campos, denominado ccin (n = 951). Dele foram excluídos três registros por constar apenas o primeiro nome do indivíduo, resultando 948 registros de casos de intoxicação exógena devido à tentativa de suicídio e suicídio (Figura 1).

Avaliação da qualidade dos dados

A incompletitude (do campo) é a proporção de informação em branco ou preenchida como ignorada 1313 . Romero DE, Cunha CB. Avaliação da qualidade das variáveis epidemiológicas e demográficas do Sistema de Informações sobre Nascidos Vivos, 2002. Cad Saúde Pública 2007; 23:701-14.. Foram avaliados os campos data de nascimento do paciente, sexo, nome da mãe, endereço de residência, município de residência e CEP. Assim foi adotada a seguinte classificação: excelente (menor de 5%), bom (5% a 10%), regular (10% a 20%), ruim (20% a 50%) e muito ruim (50% ou mais).

Método de relacionamento probabilístico de bancos de dados

Os campos utilizados por serem úteis ao processo de relacionamento probabilístico foram: nome do paciente, sexo, data de nascimento, nome da mãe, endereço de residência, bairro, município, CEP e data de óbito (todos os bancos). O número e data de notificação (SINAN e CCIn), e número da DO e data de óbito (SIM) foram úteis na revisão manual, um dos processos do relacionamento descrito abaixo. Foram excluídos os registros sem nome ou mesmo com apenas o primeiro nome, mas sem quaisquer outras informações (por ex., nome da mãe, data de nascimento, endereço), uma vez que não permitem o relacionamento.

Foram executados os seguintes processos: (1) aplicação de rotinas de padronização do formato das variáveis dos bancos (por exemplo, foram retirados acentos, cedilhas, espaços e caracteres especiais e também foram mantidos formatos de campos idênticos em diferentes arquivos); (2) blocagem, que é a criação de conjuntos comuns de registros a partir da chave de identificação; (3) aplicação de algoritmos para comparações aproximadas de cadeias de caracteres, controlando erros fonéticos e de grafia; (4) cálculo de escores, estes indicam o grau de concordância entre registros de um mesmo par; (5) definição de limiares para o relacionamento dos pares de registros classificados como verdadeiros, duvidosos e não-pares; (6) revisão manual dos pares duvidosos, visando a sua reclassificação como pares verdadeiros ou não-pares 1010 . Camargo Jr. KR, Coeli CM. Avaliação de diferentes estratégias de blocagem no relacionamento probabilístico de registros. Rev Bras Epidemiol 2002; 5:185-96.,1414 . Vieira CL. Gestação na adolescência: avaliação de desfechos adversos ao nascimento e repetição rápida da gestação [Dissertação de Mestrado]. Rio de Janeiro: Instituto de Estudos em Saúde Coletiva, Universidade Federal do Rio de Janeiro; 2010..

O ponto de corte adotado foi o mesmo sugerido no manual do programa de relacionamento (ReckLink III): registros com escores menores de -6,9 foram considerados não-pares. Iniciou-se então a revisão manual ao final de cada passo, descartando os registros duvidosos. Os pares verdadeiros identificados foram retirados das demais buscas.

Foram realizados quatro relacionamentos: ccin vs. sinants; ccin vs. sinangeral; (ccin vs. sinants) vs. simie; sinangeral vs. simsuicidios; ccin vs. sinants vs. simgeral e adotada a estratégia de blocagem em múltiplos passos 1010 . Camargo Jr. KR, Coeli CM. Avaliação de diferentes estratégias de blocagem no relacionamento probabilístico de registros. Rev Bras Epidemiol 2002; 5:185-96.. Na estratégia de blocagem seis passos foram realizados a partir da combinação de códigos fonéticos (soundex) do primeiro e último nome, sexo, ano de nascimento e município. Já os campos utilizados no pareamento foram o primeiro e o último nome do paciente e o ano de nascimento (Tabela 1).

Tabela 1
Campos utilizados nos passos durante a blocagem e pareamento.

Os valores do pareamento dos registros para o nome do paciente foi de 92% (probabilidade de acerto), 1% (probabilidade de erro) e 85% (limiar – valor que considera que houve concordância entre os dois registros) e, data de nascimento com 90%, 5% e 65%, respectivamente. As chaves soundex do primeiro e último nome (paciente e mãe), sexo, ano de nascimento foram utilizadas para a identificação de duplicidades nos bancos de dados do CCIn e SINAN. Após a identificação dos casos duplicados pelo programa RecLink III, foi realizada uma análise segundo os critérios do manual de normas e rotinas do SINAN 1515 . Departamento de Vigilância Epidemiológica, Secretaria de Vigilância em Saúde, Ministério da Saúde. Sistema de Informação de Agravos de Notificação – SINAN: normas e rotinas. 2a Ed. Brasília: Ministério da Saúde; 2007., o qual caracteriza como sendo duplicidade os casos notificados que apresentaram os primeiros sintomas dentro da mesma semana epidemiológica. Desta maneira eliminou-se a duplicidade, mantendo-se os casos de reincidência de tentativas de suicídio para o mesmo paciente.

Considerações éticas

A presente pesquisa seguiu as diretrizes e normas da Resolução no 196/96, do Conselho Nacional de Saúde, garantindo o sigilo dos dados analisados. O uso de dados secundários identificados em pesquisa tem sido objeto de discussão envolvendo questões sobre confidencialidade e segurança. Desse modo, adotaram-se as recomendações do International Ethical Guidelines for Epidemiological Studies 1616 . Council for International Organizations of Medical Sciences; World Health Organization. International ethical guidelines for epidemiological studies. Geneva: Council for International Organizations of Medical Sciences; 2008., tais como a seleção cuidadosa somente dos campos de identificação necessários para o linkage probabilístico. A análise dos bancos de dados foi realizada no Laboratório de Métodos Estatísticos e Computacionais de Saúde, Instituto de Estudos em Saúde Coletiva, Universidade Federal do Rio de Janeiro (LABMECS/IESC/UFRJ), onde são adotadas normas rígidas para a segurança de dados 1414 . Vieira CL. Gestação na adolescência: avaliação de desfechos adversos ao nascimento e repetição rápida da gestação [Dissertação de Mestrado]. Rio de Janeiro: Instituto de Estudos em Saúde Coletiva, Universidade Federal do Rio de Janeiro; 2010.. Como já supracitado, os bancos de dados do SINAN e SIM foram disponibilizados pela Subsecretaria de Vigilância em Saúde, da Secretaria de Estado de Saúde do Rio de Janeiro e os registros do CCIn-Niterói foram cedidos pelo Hospital Universitário Antônio Pedro, da Universidade Federal Fluminense.

Resultados

A análise da incompletitude mostrou que o desempenho dos campos sexo, endereço e município de residência ficou entre excelente e bom, com as frequências variando entre 0 e 6,9%, em todos os sistemas. Contudo, ao examinar melhor o preenchimento dos endereços, observou-se que no SIM em 28,6% (n = 52) faltavam número e/ou complemento, bairro (SINAN: 10,8% e no CCIn: 11,1%). O nome da mãe e a data de nascimento variaram de excelente a muito ruim (0% vs. 15,9% vs. 62,3%). Já o dado sobre CEP foi muito ruim na maior parte dos sistemas (80,5% a 90,7%) (Tabela 2).

Tabela 2
Incompletitude dos campos dos sistemas Sistema de Informações sobre Agravos de Notificação (SINAN), Sistema de Informações sobre Mortalidade (SIM) e Centro de Controle de Intoxicação de Niterói (CCIn-Niterói). Estado do Rio de Janeiro, Brasil, 2006-2008.

O número de pares identificados no processo de relacionamento encontra-se na Figura 2. Embora 68,8% (n = 652) dos 948 registros do CCIn tenham sido reportados por médicos e outros profissionais de unidades de saúde, apenas 25 (2,6%) foram identificados como pares verdadeiros, isto é constavam nos demais sistemas. No pareamento CCIn e SIM, dos 31 suicídios reportados ao CCIn apenas 12 (38,7%) estavam presentes no SIM, resultando numa subnotificação de 61,3%. Por sua vez, dos 19 suicídios restantes do CCIn e inexistentes no SIM, 17 (89,5%) haviam sido relatados por médicos.

Foram captados 12 casos do CCIn registrados como suicídio no SIM e destes, um caso apenas estava presente no SINAN. Também foram encontrados pelos SINAN e CCIn oito suicídios, que haviam sido classificados erroneamente como envenenamento com intenção não determinada (Y10-Y19) no SIM geral. Outros 11 suicídios do CCIn e SINAN foram classificados como causa mal definida (R99) também no SIM geral. Alguns outros poucos casos de não concordância entre os sistemas estão incluídos na Figura 3. A comparação de oito casos registrados no SINAN dentro do campo “circunstância ignorada” indicou que estes estavam no SIM como suicídio por intoxicação. E ainda, três suicídios registrados no CCIn não constavam em nenhum dos bancos do SIM.

Finalmente, foram identificados no SINAN seis casos de reincidência, sendo que um destes resultou em três tentativas de suicídio e no CCIn apenas dois.

Discussão

É fato conhecido que a subnotificação de doenças e agravos é frequente, não permitindo análises confiáveis sobre eventos que exigem políticas, monitoramento e resolução. O estudo demonstrou como é possível melhorar a qualidade de informações relevantes sobre determinados agravos pouco estudados, avaliando através de uma metodologia reconhecida os sistemas já existentes e potencializando informações.

Optou-se por iniciar esta discussão apontando-se algumas implicações legais relacionadas. No pareamento do CCIn-Niterói com o SINAN, observa-se um grande descaso com a Portaria GM/MS no 104/2011 1212 . Ministério da Saúde. Portaria GM/MS no 104, de 25 de janeiro de 2011. Define as terminologias adotadas em legislação nacional, conforme o disposto no Regulamento Sanitário Internacional 2005 (RSI 2005), a relação de doenças, agravos e eventos em saúde pública de notificação compulsória em todo o território nacional e estabelece fluxo, critérios, responsabilidades e atribuições aos profissionais e serviços de saúde. Diário Oficial União 2011; 26 jan., com relação ao período analisado (2006 a 2008), que estabelece no seu artigo 7o as responsabilidades e atribuições dos profissionais e serviços de saúde uma vez que determina que (p. 38):

A notificação compulsória é obrigatória a todos os profissionais de saúde médicos, enfermeiros, odontólogos, médicos veterinários, biólogos, biomédicos, farmacêuticos e outros no exercício da profissão, bem como os responsáveis por organizações e estabelecimentos públicos e particulares de saúde e de ensino (...)”.

Embora a subnotificação não seja o objetivo do presente estudo, chamou atenção que cerca de apenas 3% dos casos registrados no CCIn tenha sido identificado nos sistemas oficiais. Waldman & Mello Jorge 1717 . Waldman EA, Mello Jorge MH. Vigilância para acidentes e violência: instrumento para estratégias de prevenção e controle. Ciênc Saúde Coletiva 1999; 4:71-9. apontam cinco possíveis causas para a subnotificação: (1) os profissionais não conhecem a importância e os procedimentos para notificação; (2) o desconhecimento da lista de doenças e agravos submetidos à vigilância; (3) ausência de adesão à notificação; (4) preocupação dos profissionais com a quebra da confidencialidade das informações; (5) falta de percepção dos profissionais da relevância em saúde pública das doenças e agravos submetidos à vigilância. E destacam que, apesar dos investimentos nos últimos anos em capacitação e sensibilização para a notificação de agravos consequentes das causas externas, observa-se ainda muito pouco controle da gestão central sobre os atendimentos realizados em unidades particulares.

A prevenção e o controle mais eficaz dessas violências dependem também, além de inúmeros outros fatores 2. Santos SA, Legay LF, Lovisi GM, Santos JCF, Lima LA. Suicídios e tentativas de suicídios por intoxicação exógena no Rio de Janeiro: análise dos dados dos sistemas oficiais de informação em saúde, 2006-2008. Rev Bras Epidemiol 2013; 16:376-87. de uma correta classificação da causa do óbito, que muitas vezes fica prejudicada pela dificuldade dos serviços em identificar adequadamente a intoxicação como intencional e não-intencional 1818 . Hawton K. Restricting access to methods of suicide rationale and evaluation of this approach to suicide prevention. Crisis 2007; 28 Suppl 1:4-9.,1919 . Marín-León L, Barros MB. Mortes por suicídio: diferenças de gênero e nível socioeconômico. Rev Saúde Pública 2003; 37:357-63..

Os resultados deste estudo mostraram a elevada discordância quanto à classificação da CID-10, quanto ao diagnóstico de suicídio. Por exemplo, óbitos classificados como suicídio no SINAN e CCIn estavam classificados no SIM como óbitos por causas indeterminadas, com intencionalidade indeterminada e outras causas (Figura 3). E como já visto nos resultados, o SIM, sistema responsável por todos os dados de mortalidade, não registrou mais da metade dos óbitos do CCIn e muitos daqueles que conseguiu captar, errou na classificação ou classificou diferentemente. Relacionando SIM/SINAN/tentativa de suicídio, houve concordância no número total de óbitos captados, porém cerca de 50% divergiram na classificação.

Muitos estudos mostraram que as informações do Instituto Médico-Legal (IML) agregadas às informações policiais, como o Boletim de Ocorrência (BO) que acompanha o corpo, são suficientes para a classificação correta dos óbitos violentos. Esses estudos também mostram que independente das orientações e treinamentos realizados durante décadas para o preenchimento da BO, os legistas permanecem informando apenas a natureza das lesões e falhando no fluxo dos encaminhamentos de corpos para necropsia 8. Jesus T, Mota E. Fatores associados à subnotificação de causas violentas de óbito. Cad Saúde Colet (Rio J.) 2010; 18:361-70.,2020 . Lessa A. Violência e impunidade em pauta: problemas e perspectivas sob a ótica da antropologia forense no Brasil. Ciênc Saúde Coletiva 2009; 14:1855-63.,2121 . Matos SG, Proiettill FA, Barata RCB. Confiabilidade da informação sobre mortalidade por violência em Belo Horizonte, MG. Rev Saúde Pública 2007; 41:76-84.,2222 . Mello Jorge MHP, Laurenti R, Gotlieb SLD. Análise da qualidade das estatísticas vitais brasileiras: a experiência de implantação do SIM e do SINASC. Ciênc Saúde Coletiva 2007; 12:643-54.. Este fato interfere diretamente na qualidade dos dados do SIM, o qual possui tanto instrumento quanto fluxo de informação melhor definidos.

O percentual de incompletitude (campos em branco/ignorado) diferiu para a seleção dos pares. Esses campos, de modo geral, apresentaram um bom desempenho com baixa proporção de incompletitude, isto pode estar relacionado com a natureza dos sistemas. Podemos supor que os indivíduos que ligam para o CCIn-Niterói podem não ter se esforçado em oferecer informações com melhor qualidade, tais como a data de nascimento e o nome da mãe, pelo fato de o centro atender demanda espontânea, geralmente pelo telefone, apesar dos esforços dos atendentes em obter as informações. Sendo sistemas com regulamentação oficial do Ministério da Saúde, espera-se mais responsabilidade dos informantes no caso SIM e SINAN.

O campo endereço, mesmo tendo apresentado bom desempenho nos sistemas, permanece requerendo atenção quanto à qualidade do seu preenchimento. O mesmo ocorre com o campo CEP, que é importante para a identificação do endereço correto, principalmente na diferenciação entre os nomes de ruas homônimas. Estes campos são importantes na revisão manual dos pares duvidosos, auxiliando na decisão entre par verdadeiro ou não.

A qualidade dos dados é tema recorrente nas avaliações dos sistemas de informação em saúde. Critérios são apontados para a sua avaliação, tais como a subnotificação, consistência, incompletitude e confiabilidade 2323 . Lima CRA. Gestão da qualidade dos dados e informações dos sistemas de informação em saúde: subsídios para a construção de uma metodologia adequada ao Brasil [Dissertação de Mestrado]. Rio de Janeiro: Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz; 2010.. Normas e definições conceituais claras, qualidade da coleta primária dos dados, capacitação adequada dos profissionais que coletam e inserem os dados nos SIS, além de recursos da tecnologia da informação e da informática que otimizem e aperfeiçoem o uso dos sistemas de informação em saúde (crítica de entrada de dados, armazenamento, recuperação, etc.) têm sido apontados por pesquisas nacionais e internacionais que buscam qualidade para o subsídio da gestão em saúde 2424 . Bochner R, Guimarães MCS, Santana RAL, Machado C. Qualidade da informação: a importância do dado primário, o princípio de tudo. Tendências da Pesquisa Brasileira em Ciência da Informação 2011; 4:1-11.,2525 . Glatt R. Análise da qualidade da base de dados de AIDS do sistema de informação de agravos de notificação (SINAN) [Dissertação de Mestrado]. Rio de Janeiro: Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz; 2005..

Devido à falta de um identificador único para o registro de informações em saúde, a técnica de linkage probabilístico mostrou-se eficiente por utilizar funções que comparam campos com erros de digitação, divergência de grafias de nome e outros, mas que pertencem ao mesmo indivíduo 1010 . Camargo Jr. KR, Coeli CM. Avaliação de diferentes estratégias de blocagem no relacionamento probabilístico de registros. Rev Bras Epidemiol 2002; 5:185-96.. Outros países mesmo já possuindo um sistema de informação integrado acerca de eventos violentos, como o caso do National Violent Death Reporting System, do Centers for Disease Control and Prevention (CDC), dos Estados Unidos 2626 . Paulozzi LJ, Mercy J, Frazier Jr. L, Annest JL; Centers for Disease Control and Prevention. CDC’s National Violent Death Reporting System: background and methodology. Inj Prev 2004; 10:47-52., destacam que um sistema de vigilância das violências pode ser ainda aperfeiçoado através de técnicas como o linkage, a integração dos dados e uma avaliação sistemática do sistema 2727 . Horan JM, Mallonee S. Injury surveillance. Epidemiol Rev 2003; 25:24-42..

Desse modo a operacionalização do programa não apresentou dificuldade, sendo a fase de seleção manual de registros mais trabalhosa por conta das estratégias menos restritivas que foram utilizadas devido aos erros de preenchimento ou de digitação. Em 2011, a Portaria no 763 2828 . Ministério da Saúde. Portaria no 763, de 20 de julho de 2011. Dispõe acerca do preenchimento do número do Cartão Nacional de Saúde do usuário no registro dos procedimentos ambulatoriais e hospitalares. Diário Oficial União 2011, 21 jul. do Ministério da Saúde normatizou o preenchimento obrigatório do Cartão Nacional de Saúde do usuário (cartão do SUS) nos estabelecimentos de saúde, público ou privado. A expectativa é que o cartão do SUS passe a funcionar como um identificador único.

Em termos de fonte de informação, o caso das violências conta também com a VIVA 7. Ministério da Saúde. Portaria MS/GM no 1.356, de 23 de junho de 2006. Institui incentivo aos estados, ao Distrito Federal e aos municípios para a Vigilância de Acidentes e Violências em Serviços Sentinela, com recursos da Secretaria de Vigilância em Saúde. Diário Oficial da União 2006; 26 jun., um grande avanço desde a implantação da Política Nacional de Redução da Morbimortalidade por Acidentes e Violências, do Ministério da Saúde, em 2001 2929 . Ministério da Saúde. Portaria MS/GM no 737, de 15 de maio de 2001. Política nacional de redução da morbimortalidade por acidentes e violências. Diário Oficial da União 2001; 18 mai.. VIVA conta com dois componentes: vigilância contínua (violência doméstica, sexual e/ou outras violências); e vigilância pontual (inquérito de acidentes e violências). Pela vigilância contínua, são coletadas informações em serviços de referência para violências através da Ficha de Notificação/Investigação de Violência Doméstica, Sexual e/ou outras Violências. Implantada em 2008 no SINAN e sendo incorporada à Lista Nacional de Agravos de Notificação Compulsória 1212 . Ministério da Saúde. Portaria GM/MS no 104, de 25 de janeiro de 2011. Define as terminologias adotadas em legislação nacional, conforme o disposto no Regulamento Sanitário Internacional 2005 (RSI 2005), a relação de doenças, agravos e eventos em saúde pública de notificação compulsória em todo o território nacional e estabelece fluxo, critérios, responsabilidades e atribuições aos profissionais e serviços de saúde. Diário Oficial União 2011; 26 jan..

Contudo, a Ficha de Notificação/Investigação de Violência Doméstica, Sexual e/ou outras Violências possui apenas quatro variáveis que investigam o comportamento suicida: (a) a lesão foi autoprovocada?; (b) meio de agressão; (c) consequências da ocorrência detectadas no momento da notificação; e (d) natureza da lesão. Apesar do esforço, a ficha não permite conhecer de fato os casos, no máximo permite um levantamento do perfil epidemiológico. Por isto não nos serve de referência no momento. A falta de integração dos diferentes sistemas de informação em saúde dificulta, mas não impede que o mesmo seja realizado. O método de relacionamento probabilístico mostrou-se eficaz, permitindo inclusive identificar falhas importantes nos sistemas existentes. A padronização dos instrumentos de coleta também é um aspecto essencial, como já discutido em outro estudo 2. Santos SA, Legay LF, Lovisi GM, Santos JCF, Lima LA. Suicídios e tentativas de suicídios por intoxicação exógena no Rio de Janeiro: análise dos dados dos sistemas oficiais de informação em saúde, 2006-2008. Rev Bras Epidemiol 2013; 16:376-87..

O conhecimento não apenas da sua magnitude, mas também do perfil epidemiológico mais próximo da realidade, são fundamentais para o desenvolvimento de estratégias e ações de prevenção e de atendimento.

Por fim, é relevante refletir as fragilidades da pesquisa. Entre elas vimos que uma das mais importantes se refere à incompletitude dos dados, o que dificultou a revisão manual, garantia para a identificação dos pares verdadeiros. Outra fragilidade é a limitação do método devido às coincidências de identidade dos indivíduos, tais como mesmo nome, sexo e data de nascimento. Contudo, o cuidado tomado na seleção das variáveis de comparação foi decisivo para amenizar essas dificuldades.

Conclusão

Concluindo, os resultados de nosso estudo mostraram que o método probabilístico de registros pode ser empregado para a melhora da qualidade das informações necessárias à vigilância das tentativas e suicídios por intoxicação exógena. A despeito de ser factível, a técnica probabilística demanda recursos e consumo de tempo para sua execução rotineira. A padronização dos sistemas de informações em saúde e inclusão de um campo identificador único, como se espera do cartão do SUS, pode contribuir para facilitar o uso integrado das bases disponíveis no monitoramento do comportamento suicida.

Agradecimentos

À Claudia Medina Coeli e Claudia Lima Vieira pelas valiosas contribuições durante o processo de linkage probabilístico e à FAPERJ pelo apoio financeiro.

Referências

  • 1
    Krug EG, Dahlberg LL, Mercy JA, Zwi A, Lozano-Ascencio A. World report on violence and health. Geneva: World Health Organization; 2002.
  • 2
    Santos SA, Legay LF, Lovisi GM, Santos JCF, Lima LA. Suicídios e tentativas de suicídios por intoxicação exógena no Rio de Janeiro: análise dos dados dos sistemas oficiais de informação em saúde, 2006-2008. Rev Bras Epidemiol 2013; 16:376-87.
  • 3
    Santos AS, Lovisi G, Legay L, Abelha L. Prevalência de transtornos mentais nas tentativas de suicídio em um hospital de emergência no Rio de Janeiro, Brasil. Cad Saúde Pública 2009; 25:2064-74.
  • 4
    Lovisi GM, Santos SA, Legay L, Abelha L, Valencia E. Epidemiological analysis of suicide in Brazil from 1980 to 2006. Rev Bras Psiquiatr 2009; 31 Suppl 2:S86-93.
  • 5
    Damas FB, Zannin M, Serrano AI. Tentativas de suicídio com agentes tóxicos: análise estatística dos dados do CIT/SC (1994 a 2006). Rev Bras Toxicol 2009; 22:21-6.
  • 6
    Werneck GL, Hasselmann MH, Phebo LB, Vieira DE, Gomes VLO. Tentativas de suicídio em um hospital geral no Rio de Janeiro, Brasil. Cad Saúde Pública 2006; 22:2201-6.
  • 7
    Ministério da Saúde. Portaria MS/GM no 1.356, de 23 de junho de 2006. Institui incentivo aos estados, ao Distrito Federal e aos municípios para a Vigilância de Acidentes e Violências em Serviços Sentinela, com recursos da Secretaria de Vigilância em Saúde. Diário Oficial da União 2006; 26 jun.
  • 8
    Jesus T, Mota E. Fatores associados à subnotificação de causas violentas de óbito. Cad Saúde Colet (Rio J.) 2010; 18:361-70.
  • 9
    Minayo MC. Suicídio: violência auto-infligida. In: Secretaria de Vigilância em Saúde, Ministério da Saúde, organizador. Impactos da violência na saúde dos brasileiros. Brasília: Ministério da Saúde; 2005. p. 205-33.
  • 10
    Camargo Jr. KR, Coeli CM. Avaliação de diferentes estratégias de blocagem no relacionamento probabilístico de registros. Rev Bras Epidemiol 2002; 5:185-96.
  • 11
    Camargo Jr. KR, Coeli CM. Reclink: aplicativo para o relacionamento de bases de dados, implementando o método probabilistic record linkage Cad Saúde Pública 2000; 16:439-47.
  • 12
    Ministério da Saúde. Portaria GM/MS no 104, de 25 de janeiro de 2011. Define as terminologias adotadas em legislação nacional, conforme o disposto no Regulamento Sanitário Internacional 2005 (RSI 2005), a relação de doenças, agravos e eventos em saúde pública de notificação compulsória em todo o território nacional e estabelece fluxo, critérios, responsabilidades e atribuições aos profissionais e serviços de saúde. Diário Oficial União 2011; 26 jan.
  • 13
    Romero DE, Cunha CB. Avaliação da qualidade das variáveis epidemiológicas e demográficas do Sistema de Informações sobre Nascidos Vivos, 2002. Cad Saúde Pública 2007; 23:701-14.
  • 14
    Vieira CL. Gestação na adolescência: avaliação de desfechos adversos ao nascimento e repetição rápida da gestação [Dissertação de Mestrado]. Rio de Janeiro: Instituto de Estudos em Saúde Coletiva, Universidade Federal do Rio de Janeiro; 2010.
  • 15
    Departamento de Vigilância Epidemiológica, Secretaria de Vigilância em Saúde, Ministério da Saúde. Sistema de Informação de Agravos de Notificação – SINAN: normas e rotinas. 2a Ed. Brasília: Ministério da Saúde; 2007.
  • 16
    Council for International Organizations of Medical Sciences; World Health Organization. International ethical guidelines for epidemiological studies. Geneva: Council for International Organizations of Medical Sciences; 2008.
  • 17
    Waldman EA, Mello Jorge MH. Vigilância para acidentes e violência: instrumento para estratégias de prevenção e controle. Ciênc Saúde Coletiva 1999; 4:71-9.
  • 18
    Hawton K. Restricting access to methods of suicide rationale and evaluation of this approach to suicide prevention. Crisis 2007; 28 Suppl 1:4-9.
  • 19
    Marín-León L, Barros MB. Mortes por suicídio: diferenças de gênero e nível socioeconômico. Rev Saúde Pública 2003; 37:357-63.
  • 20
    Lessa A. Violência e impunidade em pauta: problemas e perspectivas sob a ótica da antropologia forense no Brasil. Ciênc Saúde Coletiva 2009; 14:1855-63.
  • 21
    Matos SG, Proiettill FA, Barata RCB. Confiabilidade da informação sobre mortalidade por violência em Belo Horizonte, MG. Rev Saúde Pública 2007; 41:76-84.
  • 22
    Mello Jorge MHP, Laurenti R, Gotlieb SLD. Análise da qualidade das estatísticas vitais brasileiras: a experiência de implantação do SIM e do SINASC. Ciênc Saúde Coletiva 2007; 12:643-54.
  • 23
    Lima CRA. Gestão da qualidade dos dados e informações dos sistemas de informação em saúde: subsídios para a construção de uma metodologia adequada ao Brasil [Dissertação de Mestrado]. Rio de Janeiro: Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz; 2010.
  • 24
    Bochner R, Guimarães MCS, Santana RAL, Machado C. Qualidade da informação: a importância do dado primário, o princípio de tudo. Tendências da Pesquisa Brasileira em Ciência da Informação 2011; 4:1-11.
  • 25
    Glatt R. Análise da qualidade da base de dados de AIDS do sistema de informação de agravos de notificação (SINAN) [Dissertação de Mestrado]. Rio de Janeiro: Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz; 2005.
  • 26
    Paulozzi LJ, Mercy J, Frazier Jr. L, Annest JL; Centers for Disease Control and Prevention. CDC’s National Violent Death Reporting System: background and methodology. Inj Prev 2004; 10:47-52.
  • 27
    Horan JM, Mallonee S. Injury surveillance. Epidemiol Rev 2003; 25:24-42.
  • 28
    Ministério da Saúde. Portaria no 763, de 20 de julho de 2011. Dispõe acerca do preenchimento do número do Cartão Nacional de Saúde do usuário no registro dos procedimentos ambulatoriais e hospitalares. Diário Oficial União 2011, 21 jul.
  • 29
    Ministério da Saúde. Portaria MS/GM no 737, de 15 de maio de 2001. Política nacional de redução da morbimortalidade por acidentes e violências. Diário Oficial da União 2001; 18 mai.

  • Este estudo foi aprovado pelo Comitê de Ética em Pesquisa do IESC/UFRJ (no 68/2009), não envolvendo conflito de interesses.

Datas de Publicação

  • Publicação nesta coleção
    Maio 2014

Histórico

  • Recebido
    09 Mar 2013
  • Revisado
    12 Set 2013
  • Aceito
    04 Nov 2013
Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz Rio de Janeiro - RJ - Brazil
E-mail: cadernos@ensp.fiocruz.br