RESUMO

Objetivo

Analisar a confiabilidade dos registros no Sistema de Informação do Programa Nacional de Imunizações (SI-PNI) em uma subamostra de crianças incluídas no inquérito nacional de cobertura vacinal nas capitais brasileiras e no Distrito Federal, em 2020.

Método

Estudo de concordância entre registros nas cadernetas (doses e datas) e no SI-PNI para 4.050 crianças com esquema completo aos 24 meses.

Resultados

Foram localizados registros de 3.587 crianças no SI-PNI, havendo 11% (IC₉₅%10,0;12,0) de perdas. A concordância total entre doses e datas nas duas fontes foi de 86% (IC₉₅% 86,0;87,0), porém para cada dose e vacina a variação foi maior, com 32% de dados só em uma fonte.

Conclusão

Parte das informações não vem sendo adequadamente registrada, mas para os dados existentes nas duas fontes a discordância pode ser considerada pequena. O sub-registro de doses e crianças pode comprometer as estimativas de cobertura vacinal, alterando os dados do numerador e do denominador.

Palavras-chave
Sistema de Informação em Saúde; Confiabilidade; Vacinas

Contribuições do estudo

Principais resultados

Na subamostra de 4.050 crianças, entre aquelas com esquema completo aos 24 meses estudadas no inquérito nacional, 11% não estavam registradas no SI-PNI, 32% tinham doses não registradas (doses ou datas) e 8% discordantes entre caderneta e SI-PNI.

Implicações para os serviços

Reconhecer as dificuldades do SI-PNI e as discrepâncias entre as fontes é fundamental para a adoção de iniciativas de melhoria da qualidade dos dados, evitandose as estimativas imprecisas da cobertura vacinal na infância.

Perspectivas

A partir deste estudo, esperase contribuir para aprimorar a qualidade dos registros e a usabilidade dos dados para o acompanhamento da cobertura vacinal, desde o nível local até o nível nacional do programa de imunizações.

Palavras-chave
Sistema de Informação em Saúde; Confiabilidade; Vacinas

INTRODUÇÃO

O Programa Nacional de Imunizações (PNI) é o elemento central no controle das doenças imunopreveníveis, aquele conjunto de enfermidades para as quais as vacinas foram desenvolvidas como instrumentos de prevenção primária, ou seja, capazes de impedir a infecção ou o desenvolvimento da doença nos imunizados. O arranjo tecnológico adotado no controle desse grupo de doenças transmissíveis combina uma série de elementos, como a vacinação de rotina, os dias nacionais de vacinação, as campanhas eventuais e a vigilância epidemiológica.¹1 Moraes JC, Ribeiro MCSA, Simões O, Castro PC, Barata RB. Qual é a cobertura vacinal real? Epidemiol Serv Saúde. 2003;12(3):147-153.

A vacinação de rotina consiste no estabelecimento de um calendário nacional de vacinação, contendo todas as vacinas que devem ser oferecidas aos diferentes grupos etários da população, a indicação do número de doses para cada imunizante, bem como as idades corretas de aplicação (adequação epidemiológica) e os intervalos corretos entre as doses (adequação imunológica). A intenção é obter coberturas populacionais suficientes para que a imunidade de grupo ou de rebanho possa funcionar efetivamente como um mecanismo de proteção também para aqueles que não foram vacinados, mantendo a circulação dos agentes etiológicos sob controle.¹1 Moraes JC, Ribeiro MCSA, Simões O, Castro PC, Barata RB. Qual é a cobertura vacinal real? Epidemiol Serv Saúde. 2003;12(3):147-153.

Os dias nacionais de vacinação, organizados sob a forma de uma ação massiva realizada duas vezes ao ano para ampliar e facilitar o acesso àquelas famílias que, por diferentes razões, têm dificuldades no uso regular dos serviços de saúde, representaram, durante muitos anos, uma estratégia de discriminação positiva, visando à oferta equitativa de oportunidades para vacinar todos os grupos populacionais do país, de forma complementar às atividades de rotina.²2 Mello MLR, Moraes JC, Barbosa HA, Flannery B, Grupo do Inquérito de Cobertura Vacina 2007. Participação em dias nacionais de vacinação contra a poliomielite: resultados de inquérito de cobertura vacinal em crianças nas 27 capitais brasileiras. Rev Bras Epidemiol. 2010; 13(2):278-288.

As campanhas de vacinação eventuais ou a chamada vacinação de bloqueio ocorrem diante da identificação de surtos ou da ocorrência de casos de doenças evitáveis por vacinação, em conglomerados espaço-temporais delimitados, funcionando como um mecanismo supletivo na proteção de grupos ou segmentos populacionais particulares. Geralmente essas ações estão articuladas ao sistema de vigilância epidemiológica, que, ao detectar casos suspeitos ou confirmados dessas doenças, aciona diversas ações de contenção para interromper a transmissão das doenças.

O acompanhamento da situação vacinal do grupo das crianças menores de 24 meses é particularmente importante, pela relevância que as doenças imunopreveníveis têm na morbidade e mortalidade na infância, tanto nos menores de 1 ano (mortalidade infantil) quanto nos menores de 5 anos. Assim, a informação sobre cobertura vacinal na infância é essencial para as análises de situação de saúde e o direcionamento das políticas de saúde da criança.

O SI-PNI é formado por um conjunto de sistemas, de modo a atender a todos os aspectos envolvidos na realização do programa nacional de imunizações: avaliação do programa de imunizações, estoque e distribuição de imunobiológicos, eventos adversos pós-vacinação, programa de avaliação do instrumento de supervisão, programa de avaliação do instrumento de supervisão em sala de vacinação, apuração dos imunobiológicos utilizados e sistema de informações dos Centros de Referência em Imunobiológicos Especiais.³3 Ministério da Saúde. Apresentação SI-PNI. Disponível em: http://pni.datasus.gov.br. Acesso em: 25 out. 2023.
http://pni.datasus.gov.br.... Apenas o sistema de avaliação do programa de imunizações será objeto deste estudo.

Antes da criação do SI-PNI, a cobertura vacinal era expressa pelo número de doses aplicadas para uma determinada vacina sobre o número registrado ou estimado de menores de 1 ano ou menores de 24 meses existentes na área de abrangência do programa. Essa forma de estimar a cobertura habitualmente gerava valores superestimados para cada imunizante, não permitindo avaliar a cobertura pelo esquema completo, uma vez que as informações tinham vários graus de imprecisão, além de não corresponderem à experiência de cada uma das crianças no grupo etário de interesse.¹1 Moraes JC, Ribeiro MCSA, Simões O, Castro PC, Barata RB. Qual é a cobertura vacinal real? Epidemiol Serv Saúde. 2003;12(3):147-153.

O SI-PNI foi desenhado para permitir o acompanhamento longitudinal de cada criança incluída no programa, além de permitir que vacinas aplicadas em diferentes serviços de saúde sejam registradas na mesma caderneta-espelho, valendo-se para tanto de um registro on-line. Cada uma das doses de vacina deve ser registrada na caderneta de vacinação da criança e no sistema de informação, garantindo-se um registro fidedigno e redundante das doses aplicadas, fundamental para aumentar a segurança da manutenção do histórico vacinal do indivíduo. Além de fornecer uma ferramenta de análise da cobertura vacinal em diferentes níveis de análise (serviço de saúde, distrito, município, estado e país), o sistema permite a recuperação do histórico de vacinação de cada criança mesmo que o documento físico, a caderneta de vacinação seja perdido ou danificado.⁴4 Silva BS, Coelho HV, Cavalcante RB, Oliveira VC, Guimarães EAA. Evaluation study of the National Immunization Program Information System. Rev Bras Enferm. 2018; 71(Suppl 1):615-624. doi: 10.1590/0034-7167-2017-0601.

A introdução do novo sistema de informação, iniciada em 2010, progressivamente alcançou cobertura nos cinco anos seguintes, coincidindo com um período de redução das coberturas vacinais infantis no país, gerando-se um conjunto de dúvidas sobre os motivos para tal redução, incluindo o possível papel do novo sistema de informações. Tendo em vista a dimensão geográfica do país e as dificuldades conhecidas, relativas às redes de internet em diferentes regiões e a lentidão que um sistema nacional pode apresentar no momento de registrar as informações, uma das questões levantadas era o possível atraso no registro e envio das informações desde o nível local, acarretando aparente redução de coberturas.

A ocorrência das epidemias de sarampo, entretanto, pareciam indicar uma redução real nas coberturas, independentemente de problemas no sistema de registro. Desse modo, era necessário avaliar até que ponto o registro no SI-PNI estava sendo adequadamente realizado.

O objetivo deste estudo foi analisar a confiabilidade dos registros realizados no sistema de avaliação do programa de imunizações, parte do SI-PNI, para uma subamostra de crianças incluídas no inquérito nacional de cobertura vacinal, realizado nas capitais brasileiras e no Distrito Federal, em 2020, com cobertura completa aos 24 meses de idade. As perguntas de investigação foram:

Quantas destas crianças estavam registradas no SI-PNI? Para as registradas, qual era a concordância entre os dados da caderneta e os dados do SI-PNI?

MÉTODOS

A realização do inquérito nacional de cobertura vacinal nas capitais brasileiras e no Distrito Federal ofereceu a oportunidade de analisar uma subamostra das crianças nascidas em 2017 ou em 2018, residentes nas áreas urbanas dessas cidades, comparando-se os dados disponíveis nas cadernetas de vacinação com aqueles do SI-PNI. A metodologia do inquérito está descrita, em detalhes, em outra publicação.⁵5 Barata RB, França AP, Guibu IA, Vasconcellos MTL, Moraes JC e grupo ICV2020. Inquérito Nacional de Cobertura Vacinal 2020 Rev Brasi Epidemiol., 2023;26:e230031. doi: 10.1590/1980-549720230031.2
https://doi.org/10.1590/1980-54972023003...

Para este estudo de confiabilidade, foram consideradas como população-alvo as crianças participantes do inquérito nacional que apresentaram cobertura completa para as vacinas previstas até os 24 meses de idade, conforme documentação, doses e datas de aplicação, na caderneta de vacinação. Portanto, o registro na caderneta foi considerado o padrão ouro. As cadernetas foram fotografadas durante a entrevista domiciliar e posteriormente os dados foram transcritos para os questionários de cada criança, sob a supervisão de um profissional de enfermagem com experiência no PNI.

Das 31.001 crianças incluídas no inquérito nacional, 18.808 (58%) apresentavam a cobertura vacinal completa. Desse total, sortearam-se 150 crianças residentes em cada uma das capitais e no Distrito Federal, obtendo-se uma subamostra de 4.050 crianças. Essa estratégia permitiu realizar comparações na qualidade do preenchimento dos dados no SI-PNI entre as capitais.

O tamanho da amostra foi definido de forma arbitrária, tendo em vista o trabalho implicado na localização das crianças no SI-PNI e na transcrição dos dados para posterior análise.

Para cada uma das 4.050 crianças da subamostra, foram buscados os registros correspondentes no SI-PNI, a partir do nome da mãe e da data de nascimento da criança. Foram registradas no banco de dados tanto as doses e datas presentes na caderneta de vacinação quanto os registros correspondentes no SI-PNI.

Os dados foram comparados quanto ao registro da dose e as datas constantes nas duas fontes de informação. Para cada dose, os resultados foram classificados em três grupos: concordância das datas registradas em ambos os instrumentos; discordância entre as datas registradas em um dos instrumentos; e registro existente apenas na caderneta de vacinação, não constando da ficha espelho. Foram calculados os percentuais e intervalos de confiança de 95% (IC 95%).

Foram comparados os percentuais de concordância entre doses e datas nas duas fontes de informação, separadamente, para crianças que utilizaram serviços públicos de vacinação e para aquelas que receberam pelo menos uma dose em serviços privados. A associação foi testada pelo qui-quadrado.

A distribuição dos percentuais de concordância entre os dados nas duas fontes, para cada uma das doses de vacinas aplicadas a cada criança, em cada cidade, foi analisada por meio de gráficos boxplot. Os gráficos boxplot apresentam um resumo da distribuição representando o valor mediano e o intervalo interquartílico nas caixas (box) e os valores discrepantes, para mais ou para menos, em sinais gráficos apresentados fora das caixas. Assim, foi possível comparar os valores observados em cada capital quanto à concordância entre as duas fontes de informação.

Para cada uma das 150 crianças em cada cidade, foi analisada a concordância combinada de doses que compõem o esquema preconizado para os primeiros 24 meses de vida. Foram consideradas as três doses da vacina pentavalente (considerando-se todas as apresentações disponíveis), as três doses da vacina contra a poliomielite inativada, as duas doses e o reforço da vacina antipneumocócica, as duas doses e o reforço da vacina antimeningocócica C, as duas doses da vacina contra o rotavírus, a primeira dose da vacina tríplice viral, as vacinas contra a hepatite A e contra a varicela. Não foram incluídas as vacinas Bacilo de Calmette-Guérin (BCG) e hepatite B, ao nascer, porque os registros no SI-PNI foram ausentes para a maioria das crianças, e febre amarela, porque não estava implementada em todas as cidades em 2017 e 2018. A segunda dose da tríplice viral também foi excluída, por apresentar importante ausência de informação no SI-PNI.

Todas as análises e a construção dos gráficos foram feitas no programa Stata versão 17.0.

O estudo foi aprovado pelos Comitês de Ética em Pesquisa com Seres Humanos do Instituto de Saúde Coletiva da Universidade Federal da Bahia, sob parecer n° 3.366.818, em 4 de junho de 2019, com Certificado de Apresentação de Apreciação Ética (CAAE) 4306919.5.0000.5030; e da Irmandade da Santa Casa de São Paulo, sob parecer n° 4.380.019, em 4 de novembro de 2020, com CAAE 39412020.0.0000.5479.

RESULTADOS

Das 4.050 crianças sorteadas, 3.587 (89%) tiveram a ficha espelho localizada no SI-PNI. Portanto, 11% (IC₉₅%10,0;12,0) das crianças não tinham seus dados registrados no sistema. As perdas ocorreram em todas as cidades, estando acima de 20% em São Luís, Rio de Janeiro e Campo Grande (Tabela 4).

A Tabela 1 apresenta, para cada dose de vacina, a proporção de doses com registros concordantes, discordantes ou ausentes no SI-PNI para o total de 3.587 crianças com informações em ambas as fontes de dados. De modo geral, cerca de 32% das informações de aplicação das doses estavam ausentes no SI-PNI, 58% a 60% das informações eram concordantes em ambas as fontes e 8% eram discordantes. Ainda nesta tabela, chamam a atenção os percentuais bem mais altos de ausência de registros eletrônicos para as doses de BCG intradérmica, hepatite B e tríplice viral (segunda dose).

A Tabela 2 apresenta a comparação dos registros concordantes para crianças que receberam todas as doses nos serviços públicos e para as que receberam pelo menos uma dose nos serviços privados. De modo geral, houve maior concordância quando as vacinas foram aplicadas nos serviços públicos, exceção feita para a BCG, primeira dose da vacina para o rotavírus, e segunda dose da vacina tríplice viral. Para a vacina contra a hepatite B, embora a concordância estimada tenha sido maior entre as crianças que usaram serviços privados, a diferença não foi estatisticamente significante.

A Figura 1 apresenta a distribuição das proporções de concordância para as doses analisadas em cada uma das capitais e no Distrito Federal. Os municípios foram agrupados por região, para se tornar mais fácil a visualização. Pode-se observar a grande variação entre os municípios da região Nordeste, com maior concordância em geral observada para Teresina, Fortaleza, Natal, Aracaju e Salvador, e a menor, para São Luís e João Pessoa.

Na região Norte, Palmas e Macapá apresentavam maior concordância, e os menores valores foram observados em Boa Vista, havendo grande variabilidade nessa cidade. Na região Sudeste, a situação foi mais homogênea, com exceção do Rio de Janeiro, com menor concordância em geral. Na região Sul, Florianópolis apresentou a menor concordância e a maior dispersão. No Centro-Oeste, o pior desempenho foi observado em Campo Grande, ficando Cuiabá em posição intermediária e Goiânia e Brasília com concordância maior.

A Tabela 3 mostra as proporções extremamente baixas de concordância para o conjunto de vacinas selecionadas em cada uma das capitais e no Distrito Federal, quando observados longitudinalmente os dados de cada criança. Esses dados sugerem que os cálculos de cobertura pelo esquema completo dariam resultados distintos, dependendo da fonte de informações utilizada.

DISCUSSÃO

Em saúde pública, dados são usados para monitorar tendências e comportamentos das distribuições populacionais de eventos de interesse, tais como casos, óbitos, exposições, características sociodemográficas, entre outros. Eles também são usados para avaliar os riscos associados aos determinantes de saúde e possíveis efeitos benéficos de fatores protetores. Os dados informam a formulação, implementação e avaliação de políticas, programas e ações. Dados de alta qualidade são requisitos indispensáveis para mensurar resultados em saúde pública e avaliar o impacto das intervenções em saúde.⁶6 WHO. Framework and standards for country health information systems. 2nd ed. Geneva, 2012.

7 Bloland P, MacNeil A. Defining & assessing the quality, usability, and utilization of immunization data. BMC Public Health. 2019;19:380. doi: 10.1186/s12889-019-6709-1.
https://doi.org/10.1186/s12889-019-6709-... -⁸8 Silva AA, Teixeira AMS, Domingues CMAS, Braz RM, Cabral CM. Evaluación del sistema de vigilância del programa nacional de imunizaciones – Módulo Registro del Vacunado, Brasil, 2017. Epidemiol Serv Saude. 2021;30(1):e2019596. doi: 10.1590/S1679-49742021000100028.
https://doi.org/10.1590/S1679-4974202100...

A performance do sistema de informação pode ser medida pela qualidade dos dados produzidos, mas também deve considerar o uso continuado dos dados para melhorar o próprio sistema de saúde e os impactos sobre a saúde populacional. Melhorar um sistema de informação em termos de disponibilidade, qualidade e uso dos dados requer um conjunto amplo de iniciativas envolvendo recursos técnicos, treinamento e motivação dos recursos humanos, ambiente organizacional favorável, e principalmente uso continuado das informações, fornecendo retroalimentação para o sistema permanentemente.⁶6 WHO. Framework and standards for country health information systems. 2nd ed. Geneva, 2012.,⁸8 Silva AA, Teixeira AMS, Domingues CMAS, Braz RM, Cabral CM. Evaluación del sistema de vigilância del programa nacional de imunizaciones – Módulo Registro del Vacunado, Brasil, 2017. Epidemiol Serv Saude. 2021;30(1):e2019596. doi: 10.1590/S1679-49742021000100028.
https://doi.org/10.1590/S1679-4974202100...

A multiplicidade de sistemas de informação, bem como a coleta de dados sem análise crítica ou transformação em informações que possam ser usadas na gestão cotidiana ou em planejamento de longo prazo, muitas vezes se associa a problemas de qualidade no processo de coleta e registro, mesmo em sistemas informatizados.⁶6 WHO. Framework and standards for country health information systems. 2nd ed. Geneva, 2012.,⁸8 Silva AA, Teixeira AMS, Domingues CMAS, Braz RM, Cabral CM. Evaluación del sistema de vigilância del programa nacional de imunizaciones – Módulo Registro del Vacunado, Brasil, 2017. Epidemiol Serv Saude. 2021;30(1):e2019596. doi: 10.1590/S1679-49742021000100028.
https://doi.org/10.1590/S1679-4974202100... ,⁹9. Silva BS, Guimarães EAA, Oliveria VC, Cavalcante RB, Pinheiro MMK, Gontijo TL, et al. National Immunization Program Information System: implementation contexto assessment. BMC Health Services Research. 2020;20(1):333. doi: 10.1186/s12913-030-05175-9.
https://doi.org/10.1186/s12913-030-05175... As coberturas vacinais derivadas de dados administrativos são frequentemente avaliadas por comparação com estimativas de cobertura obtidas em inquéritos populacionais. Essa abordagem geralmente revela grandes diferenças, podendo indicar problemas subjacentes com a qualidade dos dados em uma ou em ambas as fontes de dados, ressaltando-se que a exatidão da cobertura baseada em dados administrativos ainda depende das estimativas corretas da população-alvo, introduzindo uma fonte adicional de erro.¹1 Moraes JC, Ribeiro MCSA, Simões O, Castro PC, Barata RB. Qual é a cobertura vacinal real? Epidemiol Serv Saúde. 2003;12(3):147-153.,⁷7 Bloland P, MacNeil A. Defining & assessing the quality, usability, and utilization of immunization data. BMC Public Health. 2019;19:380. doi: 10.1186/s12889-019-6709-1.
https://doi.org/10.1186/s12889-019-6709-... ,⁸8 Silva AA, Teixeira AMS, Domingues CMAS, Braz RM, Cabral CM. Evaluación del sistema de vigilância del programa nacional de imunizaciones – Módulo Registro del Vacunado, Brasil, 2017. Epidemiol Serv Saude. 2021;30(1):e2019596. doi: 10.1590/S1679-49742021000100028.
https://doi.org/10.1590/S1679-4974202100...

Este estudo optou por verificar a qualidade do registro dos dados de cada uma das doses de vacina que compõem o calendário vacinal até os 24 meses de idade, em vez de simplesmente comparar as coberturas entre as duas fontes. O primeiro aspecto a chamar a atenção foi a constatação de que cerca de 11% da subamostra de crianças selecionadas para o estudo não tinham nenhum registro no sistema informatizado (SI-PNI). Como destacado em artigo sobre imunização,⁷7 Bloland P, MacNeil A. Defining & assessing the quality, usability, and utilization of immunization data. BMC Public Health. 2019;19:380. doi: 10.1186/s12889-019-6709-1.
https://doi.org/10.1186/s12889-019-6709-... o ponto de coleta primário dos dados, ou seja, a sala de vacina, geralmente não é analisado nos estudos de avaliação de qualidade dos sistemas, ainda que potencialmente represente uma fonte substancial de erros que, uma vez registrados, não são passíveis de correção em níveis mais altos do sistema.⁹9. Silva BS, Guimarães EAA, Oliveria VC, Cavalcante RB, Pinheiro MMK, Gontijo TL, et al. National Immunization Program Information System: implementation contexto assessment. BMC Health Services Research. 2020;20(1):333. doi: 10.1186/s12913-030-05175-9.
https://doi.org/10.1186/s12913-030-05175...

As hipóteses mais plausíveis para explicar essa perda inicial de registros seriam o não registro da vacinação conduzida nos serviços privados, o não registro de dados no sistema imediatamente após a atualização das cadernetas, tendo em vista problemas com o sistema on-line ou excesso de tarefas dos servidores, ou ainda o não envio correto dos dados municipais para o nível federal. A primeira hipótese encontra algum respaldo nos dados apresentados na Tabela 2, que mostra diferenças estatisticamente significantes na concordância entre os dados da caderneta e do sistema informatizado para praticamente todas as doses analisadas, na comparação entre vacinas aplicadas exclusivamente nos serviços públicos e a utilização de serviços privados para aplicação de pelo menos uma das doses.

O estudo citado anteriormente⁷7 Bloland P, MacNeil A. Defining & assessing the quality, usability, and utilization of immunization data. BMC Public Health. 2019;19:380. doi: 10.1186/s12889-019-6709-1.
https://doi.org/10.1186/s12889-019-6709-... descreve dois indicadores para caracterizar a qualidade dos dados: a veracidade e a concordância. Segundo o estudo, a mensuração da veracidade é extremamente difícil no caso das vacinas, restando então a concordância entre dados de diferentes fontes de registro, tendo em vista que nenhuma das fontes pode ser realmente considerada padrão ouro, a concordância alta pode sugerir maior grau de veracidade.

Quando consideramos a concordância entre registros de datas da aplicação das doses nas duas fontes ‒ caderneta e sistema informatizado ‒, encontramos duas situações com significados diferentes: cerca de 32% de não registro no sistema informatizado de dados constantes na caderneta e cerca de 8% de discordância entre os dados restantes. Ou seja, quando os dados estão registrados, tende a haver pequena discrepância entre eles, porém parte significativa dos dados simplesmente não estão registrados em uma das fontes. Fuller encontrou maior concordância entre o sistema informatizado e os dados de prontuários em quatro estados norte-americanos.¹⁰10 Fuller JE, Walter Jr. EB, Dole N, O’Hara R, Herring AH, Durkin MS, et al. State-level immunization information systems: potential for childhood immunization data linkage. Mater Child Health J. 2017;21(1):29-35. doi: 10.1007/s10995-016-2090-1.
https://doi.org/10.1007/s10995-016-2090-...

Os principais motivos para as discordâncias observadas foram erros de anotação, com troca do ano, do mês ou do dia de aplicação, observados por comparação com a data de nascimento das crianças ou ainda por comparação com as doses anteriores, presentes tanto nas cadernetas quanto no sistema, legibilidade dos registros manuais nas cadernetas, borrões, e outros aspectos que dificultam a leitura correta.

As características de usabilidade levam em conta a relevância dos dados coletados, a eficiência, a completude, a oportunidade, a integridade e a consistência, além de características técnicas do próprio sistema.⁷7 Bloland P, MacNeil A. Defining & assessing the quality, usability, and utilization of immunization data. BMC Public Health. 2019;19:380. doi: 10.1186/s12889-019-6709-1.
https://doi.org/10.1186/s12889-019-6709-... ,⁸8 Silva AA, Teixeira AMS, Domingues CMAS, Braz RM, Cabral CM. Evaluación del sistema de vigilância del programa nacional de imunizaciones – Módulo Registro del Vacunado, Brasil, 2017. Epidemiol Serv Saude. 2021;30(1):e2019596. doi: 10.1590/S1679-49742021000100028.
https://doi.org/10.1590/S1679-4974202100... ,¹¹11 Guimarães EAA, Morato YC, Carvalho DBF, Oliveira VC, Pivatti VMS, Cavalcante RB, et al. Evaluation of the usability of the immunization information system in Brazil: a mixed-method study. Telemed J E Health. 2021;27(5):1-10. doi: 10.1089/tmj.2020.0077.
https://doi.org/10.1089/tmj.2020.0077... Quanto à relevância e eficiência, o sistema informatizado reproduz os dados da caderneta, contendo apenas os dados relevantes e indispensáveis para as estimativas das coberturas. Mas, a completude está bastante comprometida, com perdas de crianças que possuem cadernetas, estão vacinadas e não foram incluídas no sistema, além de doses aplicadas que também não foram registradas devidamente, à semelhança de resultados de outros estudos sobre o SI-PNI.⁸8 Silva AA, Teixeira AMS, Domingues CMAS, Braz RM, Cabral CM. Evaluación del sistema de vigilância del programa nacional de imunizaciones – Módulo Registro del Vacunado, Brasil, 2017. Epidemiol Serv Saude. 2021;30(1):e2019596. doi: 10.1590/S1679-49742021000100028.
https://doi.org/10.1590/S1679-4974202100... ,⁹9. Silva BS, Guimarães EAA, Oliveria VC, Cavalcante RB, Pinheiro MMK, Gontijo TL, et al. National Immunization Program Information System: implementation contexto assessment. BMC Health Services Research. 2020;20(1):333. doi: 10.1186/s12913-030-05175-9.
https://doi.org/10.1186/s12913-030-05175... Já a oportunidade poderia estar comprometida, caso as perdas anteriormente referidas fossem, em algum momento, compensadas por registros tardios. A integridade dos dados parece estar em grande parte preservada, dado o pequeno percentual de discordância para a maioria das doses no conjunto das cidades analisadas. Finalmente, a consistência de registros apresentou alguma variação entre doses para os mesmos municípios e entre municípios ,sendo mais pronunciadas em alguns deles, como mostrado na Figura 1.

Para melhorar a qualidade das estimativas, as preocupações iniciais devem focar o ponto em que os dados são inicialmente coletados. Os responsáveis pela coleta de dados primários estão geralmente sobrecarregados, pouco motivados, vendo o registro de dados como uma tarefa indesejável, com grande gasto de tempo desviado de outras tarefas. Como há pouco feedback sobre os dados coletados, sua importância, empregabilidade e resultados, pouco tempo disponível para as análises locais e falta de compreensão da importância da tarefa de registro, os problemas tendem a persistir sem solução. Sem o uso permanente das informações geradas, não haverá incentivo para a melhoria da coleta.⁸8 Silva AA, Teixeira AMS, Domingues CMAS, Braz RM, Cabral CM. Evaluación del sistema de vigilância del programa nacional de imunizaciones – Módulo Registro del Vacunado, Brasil, 2017. Epidemiol Serv Saude. 2021;30(1):e2019596. doi: 10.1590/S1679-49742021000100028.
https://doi.org/10.1590/S1679-4974202100... ,⁹9. Silva BS, Guimarães EAA, Oliveria VC, Cavalcante RB, Pinheiro MMK, Gontijo TL, et al. National Immunization Program Information System: implementation contexto assessment. BMC Health Services Research. 2020;20(1):333. doi: 10.1186/s12913-030-05175-9.
https://doi.org/10.1186/s12913-030-05175...

Segundo dados da “Pesquisa Nacional sobre cobertura vacinal, seus múltiplos determinantes e as ações de imunização nos territórios municipais brasileiros”, realizada pelo Núcleo de Estudos em Saúde Coletiva da Universidade Federal de Minas Gerais,¹²12 NESCON. Pesquisa nacional sobre cobertura vacinal, seus múltiplos determinantes e as ações de imunização nos territórios municipais brasileiros. 2023. (Apresentação) Disponível em: https://portal.conasems.org.br/orientacoes-tecnicas/noticias/6072_terceira-oficina-tematica-do-projeto-imunizasus-discute-sobre-os-desafios-relacionados-aos-sistemas-de-informacao-e-seu-impacto-nas-coberturas-vacinais. Acesso em: 17 out. 2023.
https://portal.conasems.org.br/orientaco... os responsáveis pelos programas municipais de imunização destacaram uma série de dificuldades relacionadas ao registro dos dados de vacinação realizados pelas unidades básicas de saúde em suas jurisdições.

Entre as dificuldades, algumas têm especial relevância para os dados descritos neste estudo, e podem ser agrupadas em dificuldades de infraestrutura material, escassez e qualificação de recursos humanos e modos de operação do sistema de informações. Com relação à infraestrutura, foram mencionadas: falta de acesso à internet; instabilidade das conexões e falta de computadores exclusivos para a atividade ou insuficiência de computadores para garantir o registro oportuno dos atendimentos. Quanto aos recursos humanos, foram destacados: falta ou insuficiência de pessoal qualificado para o manejo do sistema; e falta de capacitação dos profissionais que atuam nas salas de vacina. Quanto ao modo de funcionamento do sistema: proporção expressiva relatou utilizar sistema próprio incompatível com o sistema nacional dificultando o envio dos dados do nível local para o federal; o registro centralizado no âmbito municipal; a realização de registro manual no ponto de entrega da ação para posterior digitação no sistema; e dificuldades de uso para monitorar o alcance das metas de vacinação municipais, bem como o próprio acompanhamento dos usuários, para detectar precocemente problemas no cumprimento do calendário.⁸8 Silva AA, Teixeira AMS, Domingues CMAS, Braz RM, Cabral CM. Evaluación del sistema de vigilância del programa nacional de imunizaciones – Módulo Registro del Vacunado, Brasil, 2017. Epidemiol Serv Saude. 2021;30(1):e2019596. doi: 10.1590/S1679-49742021000100028.
https://doi.org/10.1590/S1679-4974202100...

9. Silva BS, Guimarães EAA, Oliveria VC, Cavalcante RB, Pinheiro MMK, Gontijo TL, et al. National Immunization Program Information System: implementation contexto assessment. BMC Health Services Research. 2020;20(1):333. doi: 10.1186/s12913-030-05175-9.
https://doi.org/10.1186/s12913-030-05175... -¹⁰10 Fuller JE, Walter Jr. EB, Dole N, O’Hara R, Herring AH, Durkin MS, et al. State-level immunization information systems: potential for childhood immunization data linkage. Mater Child Health J. 2017;21(1):29-35. doi: 10.1007/s10995-016-2090-1.
https://doi.org/10.1007/s10995-016-2090-...

Para que o SI-PNI possa cumprir seus objetivos e fornecer estimativas confiáveis de cobertura vacinal, esforços terão que ser feitos visando aumentar a qualidade dos dados, garantindo uma ferramenta útil.

A comparação entre os dados da caderneta e aqueles registrados no sistema de informação mostrou que o principal problema parece ser o de completude dos dados, havendo menos motivo de preocupação com a qualidade dos registros. O sub-registro de doses e de crianças pode comprometer as estimativas de cobertura, alterando tanto os dados do numerador quanto os dados do denominador dos cálculos.

A principal limitação do estudo foi não poder analisar as crianças das coortes de nascimento de interesse registradas no SI-PNI que não fizeram parte da amostra do inquérito, o que exigiria recensear todas elas, e isso seria inviável com os recursos disponíveis. Partindo das crianças incluídas no inquérito, só foi possível seguir uma direção: verificar seus registros no SI-PNI e compará-los com aqueles das cadernetas de vacinação.

Concluindo, os resultados mostram um importante problema de sub-registro de informações no SI-PNI que precisa ser melhor analisado em cada capital, buscando-se identificar os problemas operacionais relevantes. Esse sub-registro impacta negativamente as avaliações e o acompanhamento das coberturas vacinais no país. É importante separar problemas no sistema de registro em si, de responsabilidade da esfera federal, dos procedimentos operacionais de responsabilidade das autoridades municipais e locais, visando aprimorar o funcionamento das salas de vacina.

Referências bibliográficas

Datas de Publicação

Histórico