Uma avaliação do Sistema de Informações sobre Mortalidade

Morais, Rinaldo Macedo de; Costa, André Lucirton

doi:10.1590/0103-11042017s09

RESUMO

O artigo avalia indicadores de qualidade do Sistema de Informações sobre Mortalidade (SIM) com profissionais e gestores. Cada indicador foi analisado com uso de oscilador estocástico para avaliação qualitativa de escalas Likert. A avaliação indicou que o SIM possui funcionalidades que atendem os usuários, é efetivo à gestão, apresenta desempenho adequado, possibilita auditoria e rastreamento de acessos e operações, possui mecanismos que garantem a recuperação de dados em situações de falhas e possui uma interface robusta. Os indicadores de interoperabilidade foram mal avaliados, confirmando relatos sobre falta de integração, fragmentação e duplicidade de informações nos sistemas de informação de saúde do Sistema Único de Saúde.

PALAVRAS-CHAVE:
Gestão em saúde; Registros de mortalidade; Avaliação em saúde

Introdução

A captação de eventos de mortalidade no Brasil tem apresentado significativa melhora nas últimas décadas, porém o País tem sido classificado em perfis intermediários em pesquisas sobre cobertura e completude de eventos vitais (MAHAPATRA 2007MAHAPATRA, P. et al. Civil registration systems and vital statistics: successes and missed opportunities. The Lancet, London, v. 370, n. 9599, p. 1653-1663, nov. 2007., MATHERS , 2005MATHERS, C. D. et al. Counting the dead and what they died from: an assessment of the global status of cause of death data. Bull World Health Organ, Genebra, v. 83, n. 3, p. 171-177, mar. 2005.), apresenta volume significativo de registros com causas não definidas (LIMA; QUEIROZ, 2011LIMA, E. E. C.; QUEIROZ, B. L. A evolução do sub-registro de mortes e causas de óbitos mal definidas em Minas Gerais: diferenciais regionais. Rev. bras. estud. popul., Rio de Janeiro, v. 28, n. 2, p. 303-320, dez. 2011., FRANÇA , 2013FRANÇA, E. B. et al. Strengthening vital statistics in Brazil: investigation of ill-defined causes of death and implications on mortality statistics. The Lancet, London, v. 381, supl. 2, p. 51-51, jun. 2013.) e problemas na notificação e no fluxo de informação de óbitos (SIVIERO ., 2013SIVIERO, P. et al. Indicador de subnotificação de óbitos no Sistema de Informação de Mortalidade no Brasil obtido de pacientes que morreram por doença renal crônica terminal: mensuração baseada nas Autorizações de Procedimentos de Alta Complexidade de 2000 a 2004. Cad. saúde colet., v. 21, n. 1, p. 92-95, mar. 2013., FIGUEIROA , 2013FIGUEIROA, B. Q. et al. Análise da cobertura do Sistema de Informações sobre Mortalidade em Olinda, Pernambuco, Brasil. Cad. Saúde Pública, Rio de Janeiro, v. 29, n. 3, p. 475-484, mar. 2013.).

O processo de coleta, armazenamento e gerenciamento de registros de óbitos, no Brasil, é apoiado pelo Sistema de Informações sobre Mortalidade (SIM), de alimentação obrigatória em todos os municípios. Os registros de mortalidade são periodicamente enviados às Secretarias Estaduais de Saúde e transmitidos para o banco de dados nacional do Ministério da Saúde. O sistema também possui um módulo disponível pela web, que acessa a base de dados nacional para registros e consultas de investigação, como óbitos infantis e neonatais e de gestantes e mulheres em idade fértil. Os dados históricos armazenados pelo sistema produzem indicadores que subsidiam os gestores, por meio de consultas gerenciais acessíveis por intermédio dos aplicativos de consultas e de painéis situacionais de saúde em bases de dados consolidadas.

Trabalhos na literatura descrevem deficiências na qualidade dos sistemas de informação de saúde pública no Brasil, como falta de integração, fragmentação e duplicidade de informações (THAINES 2009THAINES, G. H. L. S. et al. Produção, fluxo e análise de dados do sistema de informação em saúde: um caso exemplar. Texto & Contexto Enfermagem, Florianópolis, v. 18, n. 3, p. 466-474, set. 2009., DAMÉ 2011DAMÉ, P. K. V. et al. Sistema de Vigilância Alimentar e Nutricional (SISVAN) em crianças do Rio Grande do Sul, Brasil: cobertura, estado nutricional e confiabilidade dos dados. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 11, p. 2155-2165, nov. 2011.), baixa cobertura de alguns sistemas e incertezas quanto à confiabilidade dos dados por eles mantidos (DAMÉ , 2011DAMÉ, P. K. V. et al. Sistema de Vigilância Alimentar e Nutricional (SISVAN) em crianças do Rio Grande do Sul, Brasil: cobertura, estado nutricional e confiabilidade dos dados. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 11, p. 2155-2165, nov. 2011., BARBUSCIA; RODRIGUES JÚNIOR, 2011BARBUSCIA, D. M.; RODRIGUES JÚNIOR, A. L. Completude da informação nas declarações de nascido vivo e nas declarações de óbito, neonatal precoce e fetal, da região de Ribeirão Preto, São Paulo, Brasil, 2000-2007. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 6, p. 1192-1200, jun. 2011., FARIAS , 2011FARIAS, L. M. M. et al. Os limites e possibilidades do Sistema de Informação da Esquistossomose (SISPCE) para a vigilância e ações de controle. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 10, p. 2055-2062, out. 2011., MOTA, 2009MOTA, F. R. L. Registro de informação no sistema de informação em saúde: um estudo das bases SINASC, SIAB e SIM no estado de Alagoas. 2009. Tese (Doutorado em Ciência da Informação) - Escola da Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2009.) e deficiências no apoio ao gestor em processos de tomada de decisão e planejamento (MOTA, 2009MOTA, F. R. L. Registro de informação no sistema de informação em saúde: um estudo das bases SINASC, SIAB e SIM no estado de Alagoas. 2009. Tese (Doutorado em Ciência da Informação) - Escola da Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2009., VIDOR; FISHER; BORDIN, 2011VIDOR, A. C.; FISHER, P. D.; BORDIN, R. Utilização dos sistemas de informação em saúde em municípios gaúchos de pequeno porte. Revista de Saúde Pública, São Paulo, v. 45, n. 1, p. 24-30, 2011.). As informações em saúde no País possuem múltiplas fontes, baixa qualidade dos dados e disponibilização em formato que dificulta sua apropriação pelos gestores e pelo controle social (MORAES, 2010MORAES, I. H. S. Sala de situação em saúde: contribuição à ampliação da capacidade gestora do Estado? In: ORGANIZAÇÃO PAN-AMERICANA DA SAÚDE. Sala de situação em saúde: compartilhando as experiências do Brasil. Brasília, DF: Organização Pan-Americana da Saúde, Ministério da Saúde, 2010.) e o monitoramento da qualidade de dados em sistemas de informação de saúde que atendem ao Sistema Único de Saúde (SUS) não segue um plano regular de avaliações (LIMA 2009LIMA, C. R. A. et al. Revisão das dimensões de qualidade dos dados e métodos aplicados na avaliação dos sistemas de informação em saúde. Cad. Saúde Pública, Rio de Janeiro, v. 25, n. 10, p. 2095-2109, out. 2009.).

Este artigo apresenta um processo de avaliação do SIM para dois perfis de usuários: profissionais de saúde que utilizam o sistema e gestores de saúde que analisam informações do sistema para gerenciamento e tomada de decisões, em municípios do nordeste do estado de São Paulo, Brasil.

Métodos

Caracterizada como um estudo transversal, esta pesquisa consistiu em uma avaliação de qualidade do SIM que incluiu profissionais de saúde de uma macrorregião do estado de São Paulo e gestores de saúde que atuam nos níveis local, regional e estadual. A opção de avaliar o SIM se deu pelo fato deste se tratar de um sistema de alta capilaridade, de uso regular e obrigatório em todos os municípios brasileiros e que tem demandado muitos estudos na literatura em epidemiologia e saúde pública.

Com os profissionais de saúde, o SIM foi avaliado por meio de entrevistas em cidades da 13ª Rede Regional de Atenção à Saúde do Estado de São Paulo (RRAS-13), que inclui as regiões de saúde de Araraquara, Barretos, Franca e Ribeirão Preto. No critério de seleção, foi adotada uma grade com cinco faixas populacionais, adaptada da grade de indicadores sociais municipais do Instituto Brasileiro de Geografia e Estatística (IBGE). Dezoito cidades foram selecionadas (20% das cidades da RRAS-13), observando-se a distribuição populacional proporcional da região por faixa, resultando em duas cidades com população até 5 mil habitantes (Cássia dos Coqueiros e Santa Cruz da Esperança), nove entre 5 e 25 mil (Dumont, Santo Antônio da Alegria, Serra Azul, Luiz Antônio, São Simão, Pradópolis, Miguelópolis, Cajuru e Santa Rosa de Viterbo), quatro entre 25 e 50 mil (São Joaquim da Barra, Ituverava, Barrinha e Santa Rita do Passa Quatro), duas entre 50 e 200 mil (Taquaritinga e Barretos) e uma acima de 200 mil habitantes (Ribeirão Preto). As cidades, em cada faixa, foram selecionadas por conveniência: foram incluídas aquelas em que houve concordância dos profissionais em participar da pesquisa e que utilizavam o SIM há pelo menos três meses.

Com os gestores de saúde, foram entrevistados cinco profissionais que atuam nos municípios de Ribeirão Preto, Barretos, Araraquara, São Joaquim da Barra e Taquaritinga, quatro que atuam nos Grupos de Vigilância Epidemiológica (GVE) nos Departamentos Regionais de Saúde de Ribeirão Preto, Araraquara, Franca e Barretos (RRAS-13) e uma gestora do SIM da diretoria do Centro de Informações Estratégicas em Vigilância à Saúde da Secretaria Estadual de Saúde do Estado de São Paulo. Os profissionais selecionados trabalham com o SIM há pelo menos seis meses.

Como referencial teórico, foi utilizado o modelo de avaliação proposto por Morais e Costa (2014)MORAIS, R. M.; COSTA, A. L. Um modelo para avaliação dos sistemas de informação do SUS de abrangência nacional: o processo de seleção e estruturação de indicadores. Revista de Adm. Pública, Rio de Janeiro, v. 48, n. 3, p. 377-385, jun. 2014., projetado como um instrumento para avaliação da qualidade dos sistemas de informação do SUS de abrangência nacional. Esse modelo inclui três dimensões de qualidade: qualidade do produto de software, qualidade em uso e qualidade de serviços. Para cada dimensão, o modelo especifica de um conjunto de indicadores de qualidade para sistemas de informação de saúde, descritos no quadro 1.

Thumbnail

Quadro 1
Estruturação e definições de atributos de qualidade do modelo de avaliação

Para a coleta de dados, foram preparados dois questionários orientados a cada perfil de usuário, com a especificação de questões de avaliação para 45 indicadores de qualidade para sistemas de informação em saúde previstos no modelo especificado por Morais e Costa (2014)MORAIS, R. M.; COSTA, A. L. Um modelo para avaliação dos sistemas de informação do SUS de abrangência nacional: o processo de seleção e estruturação de indicadores. Revista de Adm. Pública, Rio de Janeiro, v. 48, n. 3, p. 377-385, jun. 2014., sendo 28 questões para profissionais de saúde que atuam em municípios e 17 questões orientadas a gestores, com escala ordinal de Likert de quatro pontos.

Os resultados são apresentados com as distribuições de frequência absolutas e percentuais observadas para as categorias de respostas para cada indicador. A avaliação dos resultados reutilizou um procedimento para análise de dados em escalas de Likert, formulado por Sanches, Meireles e De Sordi (2011)SANCHES, C.; MEIRELES, M.; DE SORDI, J. O. Análise qualitativa por meio da Lógica Paraconsistente: método de interpretação e síntese de informação obtida por escalas Likert. In: ENCONTRO DE PESQUISA EM ADMINISTRAÇÃO E CONTABILIDADE DA ANPAD (ENEPQ), 3., 2011, João Pessoa. Anais... João Pessoa, 2011. Disponível em: <http://www.anpad.org.br/diversos/trabalhos/EnEPQ/enepq_2011/ENEPQ221.pdf>. Acesso em: 24 abr. 2014.
http://www.anpad.org.br/diversos/trabalh... , com versão adaptada do oscilador estocástico proposto pelos autores, para avaliação do grau de concordância (GC) para cada indicador, em uma escala entre zero e um, com inclusão de fatores de peso para as categorias, conforme a expressão:

GC=100−100×0.011+2×ΣCC+ΣCP+0.25×ΣDP+0.000012×ΣDC+ΣDP+0.25×ΣCP+0.00001

Na expressão, os somatórios para CC, CP, DP e DC referem-se aos totais obtidos das compilações de respostas para cada categoria nos questionários de avaliação (CC=Concordo Completamente, CP=Concordo Parcialmente, DC=Discordo Completamente e DP=Discordo Parcialmente). O fator 0.00001 foi adicionado à expressão para evitar erros de divisão por zero. O grau de concordância (GC) para a proposição associada ao indicador foi interpretado qualitativamente, de acordo com a função de mapeamento apresentada na tabela 1. Conforme é mostrado na tabela 1, o valor calculado para o grau de concordância foi mapeado para concordância ou discordância muito forte, substancial, moderada, baixa ou desprezível, adaptada da proposta dos autores para a escala adotada.

Thumbnail

Tabela 1
Avaliação qualitativa do grau de concordância (GC)

Um indicador foi considerado bem avaliado para concordância muito forte, substancial ou moderada (valor de CG superior a 0.7) e mal avaliado para discordância muito forte, substancial ou moderada (CG inferior a 0.3). O resultado foi considerado inconclusivo para as demais opções (concordâncias ou discordâncias baixas ou desprezíveis, com GC entre 0.3 e 0.7).

Este estudo foi incluído em projeto submetido e aprovado pelo Comitê de Ética em Pesquisa do Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo (HCFMRP-USP) (CAAE/Conep 21337513.0.0000.5440) e não apresenta conflitos de interesses.

Resultados e discussão

Avaliação com profissionais de saúde

As entrevistas com os usuários do SIM em nível local ocorreram entre novembro de 2013 e fevereiro de 2014, nos departamentos de vigilância epidemiológica das secretarias de saúde dos municípios selecionados. A aplicação do questionário foi conduzida pessoalmente pelo pesquisador, com a apresentação de cada proposição associada ao indicador: o respondente assinalou as opções de respostas, com abertura para suas observações e comentários.

A tabela 2 apresenta as distribuições das frequências das respostas para as questões referentes às dimensões Qualidade de Produto de Software (indicadores 1 a 21), Qualidade em Uso (indicadores 22 a 25) e Qualidade de Serviços (indicadores 26 a 28), com as respectivas métricas de avaliação, interpretações e resultados para os indicadores avaliados.

Thumbnail

Tabela 2
Distribuições de frequência, métricas e avaliação dos indicadores – profissionais de saúde

SUPORTABILIDADE FUNCIONAL

Os indicadores incluem Completude e Corretude Funcional (questões 1 e 2), foram avaliados muito positivamente, sem respostas discordantes. Cabe observar que, para Corretude Funcional, 47.1% dos usuários observaram que o SIM apresenta algum nível de informações incorretas, sobretudo em causas de óbitos, associado ao registro de causas de mortalidade nas declarações de óbitos, que impacta na qualidade das informações mantidas pelo sistema.

Quanto à qualidade dos dados mantidos pelo sistema, associada à Corretude Funcional, os registros de óbitos com causas não definidas, informadas erroneamente ou incompletos são recorrentemente relatados na literatura (FRANÇA ., 2013FRANÇA, E. B. et al. Strengthening vital statistics in Brazil: investigation of ill-defined causes of death and implications on mortality statistics. The Lancet, London, v. 381, supl. 2, p. 51-51, jun. 2013., BARBUSCIA; RODRIGUES JÚNIOR, 2011BARBUSCIA, D. M.; RODRIGUES JÚNIOR, A. L. Completude da informação nas declarações de nascido vivo e nas declarações de óbito, neonatal precoce e fetal, da região de Ribeirão Preto, São Paulo, Brasil, 2000-2007. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 6, p. 1192-1200, jun. 2011.; COSTA; FRIAS, 2011COSTA, J. M. B. S.; FRIAS, P. G. Avaliação da completitude das variáveis da declaração de óbitos de menores de um ano residentes em Pernambuco, 1997-2005. Ciênci saúde coletiva, Rio de Janeiro, v. 16, supl. 1, p. 1267-1274, 2011.).

Avanços na melhoria na qualidade dos dados no SIM incluem maior comprometimento do profissional médico (MELLO-JORGE; LAURENT; GOTLIEB, 2007MELLO-JORGE, M. H. P.; LAURENTI, R.; GOTLIEB, S. L. D. Análise da qualidade das estatísticas vitais brasileiras: a experiência de implantação do SIM e do SINASC. Ciência saúde coletiva, Rio de Janeiro, v. 12, n. 3, p. 643-654, jun. 2007.; CASCÃO; COSTA; KALE, 2012CASCÃO, A. M.; COSTA, A. J. L.; KALE, P. L. Qualidade da informação sobre mortalidade numa coorte de diabéticos - Estado do Rio de Janeiro, 2000 a 2003. Rev. bras. epidemiol., São Paulo, v. 15, n. 1, p. 134-142, mar. 2012.), de profissionais que trabalham na codificação e alimentação do sistema (COSTA; FRIAS, 2011COSTA, J. M. B. S.; FRIAS, P. G. Avaliação da completitude das variáveis da declaração de óbitos de menores de um ano residentes em Pernambuco, 1997-2005. Ciênci saúde coletiva, Rio de Janeiro, v. 16, supl. 1, p. 1267-1274, 2011.; BRAZ 2013BRAZ, R. M. et al. Avaliação da completude da variável raça/cor nos sistemas nacionais de informação em saúde para aferição da equidade étnico-racial em indicadores usados pelo Índice de Desempenho do Sistema Único de Saúde. Saúde debate, Rio de Janeiro, v. 37, n. 99, p. 554-562, 2013.) e melhor integração com outros órgãos públicos que possuem interface com serviços e sistemas de informação de saúde (MELO; VALONGUEIRO, 2015MELO, G. B.; VALONGUEIRO, S. Incompletude dos registros de óbitos por causas externas no Sistema de Informações sobre Mortalidade em Pernambuco, Brasil, 2000-2002 e 2008-2010. Epidemiol. Serv. Saúde, Brasília, DF, v. 24, n. 4, p. 651-660, dez. 2015.). Uma melhoria técnica que pode reduzir alimentações incorretas no sistema é a inclusão de regras de validação de motivos de óbitos em relação a gênero, idade e contexto do óbito.

Para óbitos precoces, Costa e Frias (2011)COSTA, J. M. B. S.; FRIAS, P. G. Avaliação da completitude das variáveis da declaração de óbitos de menores de um ano residentes em Pernambuco, 1997-2005. Ciênci saúde coletiva, Rio de Janeiro, v. 16, supl. 1, p. 1267-1274, 2011. também relatam uma estratégia que tem se mostrado eficiente na melhoria do preenchimento das declarações de óbitos: a atuação da Vigilância dos Óbitos Infantis e dos Comitês de Prevenção do Óbito Infantil, organizados pelo poder público e pela sociedade civil, que promovem a investigação e discussão sistemática desses casos de óbitos no âmbito dos municípios.

EFICIÊNCIA NO DESEMPENHO

A Eficiência no Desempenho (questões 3 a 5) foi satisfatoriamente avaliada pelos usuários, tanto para o módulo local como para o módulo web do SIM, para operações on-line, em lote e de autenticação. Os problemas de desempenho relatados pelos usuários relacionam-se, sobretudo, às deficiências na estrutura de rede interna e de acesso à Internet em alguns municípios, mas que não comprometem a operacionalidade do sistema.

USABILIDADE

Para os indicadores de Usabilidade (questões 6 a 16), as respostas indicaram que:

o sistema possui documentação acessível ao usuário, porém não se pode inferir se o sistema é de fácil aprendizagem, sem longo treinamento, com apoio da documentação disponível. Esses resultados podem ser parcialmente justificados pelo fato de que, enquanto alguns usuários foram capacitados e contaram com apoio de profissionais na aprendizagem no uso do sistema, como, por exemplo, na codificação de casos de óbito, outros aprenderam seu uso sem recurso algum, com suporte deficiente ou ausente;
o sistema possui boa operabilidade, com fácil operação, acesso e navegação padronizados, e suas funções oferecem feedback de operações adequado ao usuário, permite ao usuário efetuar correções com facilidade e auxilia o usuário na prevenção de erros, com validação de valores de entrada e bloqueio de operações inválidas e
ainda que os usuários tenham observado que o sistema possua interfaces uniformes e padronizadas, a estética da interface foi mal avaliada na flexibilidade do usuário para ajustar os arranjos de campos, assim como na acessibilidade, por não disponibilizar facilidades para usuários com necessidades especiais ou idosos.

CONFIABILIDADE

Na avaliação dos atributos de Confiabilidade (questões 17 a 21), os usuários divergiram sobre a frequência de manutenções para correções de erros, sobre a estabilidade de novas versões e avaliaram negativamente a prevalência de erros durante a operação do sistema. Alguns fatores que podem estar associados à má avaliação desses indicadores, com base nos relatos, incluem o treinamento e tempo de uso do sistema, a infraestrutura disponível para operação do sistema, a qualidade dos dados e a disponibilidade de suporte ao usuário.

Dois indicadores de Confiabilidade foram bem avaliados: há um grau de disponibilidade adequada para o sistema, tanto para o módulo local como para o módulo web para acesso à base de dados nacional, e o sistema possui recursos de backup e restauração confiáveis que garantem suporte em casos de falha.

QUALIDADE EM USO

Os resultados sobre a efetividade do SIM no suporte às atividades do usuário (questões 22 a 25) sugerem que o sistema auxilia na redução do tempo de trabalho do profissional e é eficiente no armazenamento e recuperação de informações mantidas por ele.

QUALIDADE DE SERVIÇOS

Os indicadores de Qualidade de Serviços (questões 26 a 28), para avaliar a infraestrutura para apoio ao usuário na capacitação e suporte para resolução de problemas, apresentaram os seguintes resultados: (a) a maioria dos usuários declarou-se satisfeita com o treinamento e qualificação dos usuários do sistema, apesar de parte dessa maioria avaliar que não seja adequado; e (b) os resultados para os indicadores associados à infraestrutura para atendimento ao usuário sugerem que a equipe de suporte técnico para o sistema é efetiva e qualificada para auxiliar os profissionais em dificuldades no uso do sistema, apesar da estrutura de atendimento on-line/help-desk não ser ideal. Os usuários relataram que dificilmente são atendidos prontamente, nem sempre o profissional está disponível para atendimento e muitas vezes há demora no feedback para solução de pendências.

AVALIAÇÃO COM GESTORES DE SAÚDE

As entrevistas com os usuários do SIM que trabalham na gestão ocorreram entre janeiro e março de 2014, nas coordenações de departamentos de vigilância epidemiológica das secretarias de saúde dos municípios (gestores municipais), grupos de vigilância epidemiológica de departamentos regionais de saúde (gestores regionais) e na Diretoria do Centro de Informações Estratégicas em Vigilância à Saúde da Secretaria Estadual de Saúde (gestor estadual), após agendamento prévio.

A tabulação dos resultados quantitativos e qualitativos referentes aos questionários aplicados aos gestores é apresentada na tabela 3, que inclui as distribuições das frequências, das respostas para as questões referentes às dimensões Qualidade de Produto de Software (indicadores 1 a 10), Qualidade em Uso (indicadores 11 a 16) e Qualidade de Serviços (indicador 17), com as respectivas métricas de avaliação, interpretações e resultados para os indicadores avaliados.

Thumbnail

Tabela 3
Distribuições de frequência, métricas e avaliação dos indicadores – gestores de saúde

SUPORTABILIDADE FUNCIONAL

Os indicadores de Completude Funcional (questões 1 a 3) foram avaliados positivamente, com predominância de respostas concordantes. Algumas observações foram comentadas pelos respondentes:

Há demanda por relatórios para tomada de decisão que apresentem dados consolidados, muitos relatórios são de extração trabalhosa e não apresentam dados sintetizados, o que exige retrabalho do gestor no tratamento dos dados em planilhas eletrônicas;
Quanto às normas legais e tabelas padronizadas, foram relatadas inconsistências associadas ao CID10 (Código Internacional de Doenças), códigos de ocupação (CBO) e logradouros e
Os relatórios e consultas ao sistema não incluem dados de prontuários e exigem investigação manual em outros sistemas.

O indicador para Adequação Funcional (questão 4) apresentou resultado inconclusivo: apesar de 50% dos entrevistados concordarem completamente que o SIM integra as áreas e departamentos abrangidos pelo sistema, 30% apontaram baixo grau de integração, como, por exemplo, entre as equipes que trabalham integradas com as equipes de agravos e notificações, que utilizam o Sistema de Informação de Agravos de Notificação (Sinan).

EFICIÊNCIA NO DESEMPENHO

O indicador para Eficiência no Desempenho (questão 5) foi satisfatoriamente avaliado pelos usuários do SIM, com 100% de respostas concordantes, como sugerem os resultados para o indicador 5. Os problemas de desempenho apontados pelos usuários relacionam-se basicamente às deficiências na estrutura de rede e de acesso à Internet, mas que não comprometem a operação do sistema.

COMPATIBILIDADE

Os indicadores de Compatibilidade - Coexistência (questão 6) e Interoperabilidade (questão 7) - foram mal avaliados pelos respondentes, com 87.5 e 80% de respostas discordantes respectivamente, conforme os resultados para os indicadores 6 e 7. Os usuários relataram que:

- Não há integração com aplicações que registram dados clínicos da pessoa falecida (enquanto paciente);
- Não há integração com o Sinan;
- Há deficiências de integração com o Sistema de Informações sobre Nascidos Vivos (Sinasc);
- Há demandas para integração mais efetiva entre o módulo local e o módulo web do SIM;
- Os cruzamentos de dados para relatórios gerenciais são obtidos de forma manual, a partir de diversas fontes e sistemas.

Também foi observado pelos respondentes que a integração entre aplicações, por meio de data-linkages, é inviabilizada devido a restrições na lei de acesso à informação, que limita identificação de registros públicos sobre dados populacionais até o nível de bairro. Apesar dessa limitação, o desenvolvimento de alguns linkages específicos poderia auxiliar a gestão no acesso a informações integradas de múltiplas fontes.

A má avaliação dos atributos de Compatibilidade confirmam relatos de trabalhos na literatura sobre a falta de integração entre os SIS, fragmentação e duplicidade de informações (THAINES , 2009THAINES, G. H. L. S. et al. Produção, fluxo e análise de dados do sistema de informação em saúde: um caso exemplar. Texto & Contexto Enfermagem, Florianópolis, v. 18, n. 3, p. 466-474, set. 2009., DAMÉ 2011DAMÉ, P. K. V. et al. Sistema de Vigilância Alimentar e Nutricional (SISVAN) em crianças do Rio Grande do Sul, Brasil: cobertura, estado nutricional e confiabilidade dos dados. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 11, p. 2155-2165, nov. 2011.). Diversas ações do Ministério da Saúde buscam promover regulamentações sobre padrões de interoperabilidade, como a Portaria nº 2.073/2011, a institucionalização do CIINFO (Comitê de Informação e Informática em Saúde), o gerenciamento e aperfeiçoamento da PNIIS (Política Nacional de Informação e Informática em Saúde) e a padronização de tecnologias (Portarias nº 2.466/2009, nº 2.072/2011 e nº 188/2012 do Ministério da Saúde), mas uma efetiva integração entre as aplicações ainda é um desafio a ser equacionado.

USABILIDADE

Dois indicadores de Usabilidade (questões 8 e 9) foram avaliados: (a) a flexibilidade do sistema foi mal avaliada pelos respondentes, os entrevistados comentaram que o SIM não possui interface modificável, mas um padrão fixo baseado nos formulários aprovados pelo comitê gestor do sistema, sem flexibilidade para customizações; e (b) a estética da interface foi positivamente avaliada, com 90% de respostas concordantes quanto à apresentação de formulários, relatórios, telas e gráficos claros, com termos compreensíveis e sem ambiguidades.

SEGURANÇA

O indicador para auditoria e rastreabilidade de acesso a operações (questão 10) foi positivamente avaliado: os entrevistados comentaram que o SIM mantém os registros de eventos executados por usuários - tanto em nível local como no módulo web. Os controles de acessos são registrados com dados de usuários cadastrados pelos gestores, que atendem aos requisitos de segurança para o sistema.

QUALIDADE EM USO

Para os indicadores de Qualidade em Uso (questões 11 a 16), a Efetividade - que avalia o grau que o sistema permite que o usuário acesse informações relacionadas durante seu uso - foi positivamente avaliada, bem como os indicadores de Satisfação, Utilidade e Cobertura de Contexto.

QUALIDADE DE SERVIÇOS

Um único indicador para a dimensão Qualidade de Serviços (questão 17) foi avaliado: se o processamento de modificações requeridas para o sistema é adequado em relação ao tempo, resultados das modificações e abertura à participação do usuário nos processos de manutenção evolutiva. Nos resultados, 44.4% dos respondentes concordaram com a afirmação, enquanto 55.6% discordaram. As avaliações negativas para esse indicador foram justificadas pelos respondentes com argumentos que os prazos em que as modificações requeridas são atendidas são muito longos, nem sempre as modificações implementadas atendem às necessidades dos usuários e a decisão sobre prioridades não envolve os usuários em nível local e estadual.

Conclusões

Ainda que a literatura relate que o SIM apresenta problemas associados à cobertura, incompletude dos dados, integração e apoio à gestão (FRANÇA 2013FRANÇA, E. B. et al. Strengthening vital statistics in Brazil: investigation of ill-defined causes of death and implications on mortality statistics. The Lancet, London, v. 381, supl. 2, p. 51-51, jun. 2013.; SIVIERO 2013SIVIERO, P. et al. Indicador de subnotificação de óbitos no Sistema de Informação de Mortalidade no Brasil obtido de pacientes que morreram por doença renal crônica terminal: mensuração baseada nas Autorizações de Procedimentos de Alta Complexidade de 2000 a 2004. Cad. saúde colet., v. 21, n. 1, p. 92-95, mar. 2013.; BARBUSCIA; RODRIGUES JÚNIOR, 2011BARBUSCIA, D. M.; RODRIGUES JÚNIOR, A. L. Completude da informação nas declarações de nascido vivo e nas declarações de óbito, neonatal precoce e fetal, da região de Ribeirão Preto, São Paulo, Brasil, 2000-2007. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 6, p. 1192-1200, jun. 2011.; MOTA, 2009MOTA, F. R. L. Registro de informação no sistema de informação em saúde: um estudo das bases SINASC, SIAB e SIM no estado de Alagoas. 2009. Tese (Doutorado em Ciência da Informação) - Escola da Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2009.; BRAZ , 2013BRAZ, R. M. et al. Avaliação da completude da variável raça/cor nos sistemas nacionais de informação em saúde para aferição da equidade étnico-racial em indicadores usados pelo Índice de Desempenho do Sistema Único de Saúde. Saúde debate, Rio de Janeiro, v. 37, n. 99, p. 554-562, 2013.), em números absolutos, para ambos os perfis de usuários, o SIM foi bem avaliado no processo desenvolvido. Para 45 atributos de qualidade do sistema analisados, houve 31 avaliações positivas contra 6 avaliações negativas, enquanto em 8 indicadores houve resultados divergentes ou inconclusivos.

A avaliação indicou que o SIM possui funcionalidades que atendem às necessidades de seus usuários, apresenta um desempenho adequado e, apesar de deficiências na flexibilidade para adaptações e acessibilidade da interface, sua usabilidade foi bem avaliada. Quanto à Confiabilidade, a avaliação indicou que o sistema se apresenta disponível e possui mecanismos que garantem a recuperação de dados em situações de falhas, porém, segundo os respondentes, o sistema apresenta prevalência de erros e instabilidade em novas versões, que comprometem sua operação normal. A segurança também foi bem avaliada, o sistema possibilita auditoria e rastreamento de acessos e operações realizadas por seus usuários.

Os indicadores de Interoperabilidade foram mal avaliados, confirmando relatos na literatura sobre falta de integração, fragmentação e duplicidade de informações nos sistemas de informação de saúde do SUS. A qualidade de dados mantidos pelo sistema também foi um dos problemas apontados pelos usuários, devido a registros de óbitos com causas não definidas, informadas erroneamente ou incompletos.

Quanto à dimensão Qualidade em Uso, os resultados para seus indicadores sugerem que o SIM tem sido efetivo para apoio à gestão e à satisfação desses usuários, com avaliações positivas acima de 70%.

Para a dimensão de Qualidade de Serviços, a avaliação dos indicadores indicou deficiências no suporte e atendimento ao usuário. O treinamento e a capacitação dos profissionais que operam o SIM nos municípios foi uma das demandas identificadas neste estudo: foi observado que a formação dos profissionais é heterogênea e investimentos na qualificação podem trazer ganhos na qualidade dos dados mantidos pelo sistema.

A infraestrutura de apoio ao usuário também carece da organização de um serviço de atendimento remoto mais bem estruturado e que ofereça um feedback ao usuário mais efetivo. Os resultados também indicam que não há um gerenciamento adequado de modificações no sistema, em relação ao tempo, conteúdo de alterações e abertura para participação de usuários.

Em síntese, foi possível realizar uma avaliação do SIM com seus principais usuários, identificar os atributos que o sistema apresenta adequação e aqueles que requerem melhorias. A avaliação positiva para o SIM não é extensível a outros sistemas, deve-se considerar que o SIM possui considerável estabilidade e que foi o primeiro sistema de informação de saúde pública implantado no Brasil, ainda em 1976.

Em estudo recente, Santos e Teixeira (2016)SANTOS, J. S.; TEIXEIRA, C. F. Política de saúde no Brasil: produção científica 1988-2014. Saúde debate, Rio de Janeiro, v. 40, n. 108, p. 219-230, jan./mar. 2016. procederam uma revisão sistemática sobre estudos na literatura associados às políticas de saúde no âmbito do Ministério da Saúde entre 1998 e 2014. Entre os achados da pesquisa, foram identificados apenas 2 artigos sobre sistemas de informação de saúde, em um universo de 377 trabalhos (0.5%), o que evidencia a carência de trabalhos na literatura sobre esse tema e um potencial para pesquisas futuras.

O processo descrito neste artigo poderá auxiliar outros projetos de avaliação de sistemas de informação em saúde, no contexto de políticas públicas, poderá ser replicado total ou parcialmente para outras aplicações e ser útil como mais uma referência para estudos que envolvam processos de avaliação da qualidade técnica de softwares em saúde ou em outras áreas, com adaptações.

Suporte financeiro: não houve

Referências

BARBUSCIA, D. M.; RODRIGUES JÚNIOR, A. L. Completude da informação nas declarações de nascido vivo e nas declarações de óbito, neonatal precoce e fetal, da região de Ribeirão Preto, São Paulo, Brasil, 2000-2007. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 6, p. 1192-1200, jun. 2011.
BRAZ, R. M. et al Avaliação da completude da variável raça/cor nos sistemas nacionais de informação em saúde para aferição da equidade étnico-racial em indicadores usados pelo Índice de Desempenho do Sistema Único de Saúde. Saúde debate, Rio de Janeiro, v. 37, n. 99, p. 554-562, 2013.
CASCÃO, A. M.; COSTA, A. J. L.; KALE, P. L. Qualidade da informação sobre mortalidade numa coorte de diabéticos - Estado do Rio de Janeiro, 2000 a 2003. Rev. bras. epidemiol., São Paulo, v. 15, n. 1, p. 134-142, mar. 2012.
COSTA, J. M. B. S.; FRIAS, P. G. Avaliação da completitude das variáveis da declaração de óbitos de menores de um ano residentes em Pernambuco, 1997-2005. Ciênci saúde coletiva, Rio de Janeiro, v. 16, supl. 1, p. 1267-1274, 2011.
DAMÉ, P. K. V. et al Sistema de Vigilância Alimentar e Nutricional (SISVAN) em crianças do Rio Grande do Sul, Brasil: cobertura, estado nutricional e confiabilidade dos dados. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 11, p. 2155-2165, nov. 2011.
FARIAS, L. M. M. et al Os limites e possibilidades do Sistema de Informação da Esquistossomose (SISPCE) para a vigilância e ações de controle. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 10, p. 2055-2062, out. 2011.
FIGUEIROA, B. Q. et al Análise da cobertura do Sistema de Informações sobre Mortalidade em Olinda, Pernambuco, Brasil. Cad. Saúde Pública, Rio de Janeiro, v. 29, n. 3, p. 475-484, mar. 2013.
FRANÇA, E. B. et al Strengthening vital statistics in Brazil: investigation of ill-defined causes of death and implications on mortality statistics. The Lancet, London, v. 381, supl. 2, p. 51-51, jun. 2013.
LIMA, C. R. A. et al Revisão das dimensões de qualidade dos dados e métodos aplicados na avaliação dos sistemas de informação em saúde. Cad. Saúde Pública, Rio de Janeiro, v. 25, n. 10, p. 2095-2109, out. 2009.
LIMA, E. E. C.; QUEIROZ, B. L. A evolução do sub-registro de mortes e causas de óbitos mal definidas em Minas Gerais: diferenciais regionais. Rev. bras. estud. popul, Rio de Janeiro, v. 28, n. 2, p. 303-320, dez. 2011.
MAHAPATRA, P. et al Civil registration systems and vital statistics: successes and missed opportunities. The Lancet, London, v. 370, n. 9599, p. 1653-1663, nov. 2007.
MATHERS, C. D. et al Counting the dead and what they died from: an assessment of the global status of cause of death data. Bull World Health Organ, Genebra, v. 83, n. 3, p. 171-177, mar. 2005.
MELLO-JORGE, M. H. P.; LAURENTI, R.; GOTLIEB, S. L. D. Análise da qualidade das estatísticas vitais brasileiras: a experiência de implantação do SIM e do SINASC. Ciência saúde coletiva, Rio de Janeiro, v. 12, n. 3, p. 643-654, jun. 2007.
MELO, G. B.; VALONGUEIRO, S. Incompletude dos registros de óbitos por causas externas no Sistema de Informações sobre Mortalidade em Pernambuco, Brasil, 2000-2002 e 2008-2010. Epidemiol. Serv. Saúde, Brasília, DF, v. 24, n. 4, p. 651-660, dez. 2015.
MORAES, I. H. S. Sala de situação em saúde: contribuição à ampliação da capacidade gestora do Estado? In: ORGANIZAÇÃO PAN-AMERICANA DA SAÚDE. Sala de situação em saúde: compartilhando as experiências do Brasil. Brasília, DF: Organização Pan-Americana da Saúde, Ministério da Saúde, 2010.
MORAIS, R. M.; COSTA, A. L. Um modelo para avaliação dos sistemas de informação do SUS de abrangência nacional: o processo de seleção e estruturação de indicadores. Revista de Adm. Pública, Rio de Janeiro, v. 48, n. 3, p. 377-385, jun. 2014.
MOTA, F. R. L. Registro de informação no sistema de informação em saúde: um estudo das bases SINASC, SIAB e SIM no estado de Alagoas. 2009. Tese (Doutorado em Ciência da Informação) - Escola da Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2009.
SANCHES, C.; MEIRELES, M.; DE SORDI, J. O. Análise qualitativa por meio da Lógica Paraconsistente: método de interpretação e síntese de informação obtida por escalas Likert. In: ENCONTRO DE PESQUISA EM ADMINISTRAÇÃO E CONTABILIDADE DA ANPAD (ENEPQ), 3., 2011, João Pessoa. Anais... João Pessoa, 2011. Disponível em: <http://www.anpad.org.br/diversos/trabalhos/EnEPQ/enepq_2011/ENEPQ221.pdf>. Acesso em: 24 abr. 2014.
» http://www.anpad.org.br/diversos/trabalhos/EnEPQ/enepq_2011/ENEPQ221.pdf
SANTOS, J. S.; TEIXEIRA, C. F. Política de saúde no Brasil: produção científica 1988-2014. Saúde debate, Rio de Janeiro, v. 40, n. 108, p. 219-230, jan./mar. 2016.
SIVIERO, P. et al Indicador de subnotificação de óbitos no Sistema de Informação de Mortalidade no Brasil obtido de pacientes que morreram por doença renal crônica terminal: mensuração baseada nas Autorizações de Procedimentos de Alta Complexidade de 2000 a 2004. Cad. saúde colet., v. 21, n. 1, p. 92-95, mar. 2013.
THAINES, G. H. L. S. et al Produção, fluxo e análise de dados do sistema de informação em saúde: um caso exemplar. Texto & Contexto Enfermagem, Florianópolis, v. 18, n. 3, p. 466-474, set. 2009.
VIDOR, A. C.; FISHER, P. D.; BORDIN, R. Utilização dos sistemas de informação em saúde em municípios gaúchos de pequeno porte. Revista de Saúde Pública, São Paulo, v. 45, n. 1, p. 24-30, 2011.

Datas de Publicação

Publicação nesta coleção
Mar 2017

Histórico

Recebido
Abr 2016
Aceito
Out 2016

Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que o trabalho original seja corretamente citado.

[1] Suporte financeiro: não houve

Dimensões	Características	Subcaracterísticas
Qualidade do produto	Suportabilidade funcional: capacidade do produto de software em prover funções para atender a necessidades explícitas e implícitas para as quais foi concebido.	Completeza funcional: capacidade do produto de software de prover um conjunto apropriado de funções para tarefas e objetivos do usuário especificados.
		Corretude funcional: capacidade do produto de software de prover, com o grau de precisão necessário, resultados ou efeitos corretos ou conforme acordados.
		Adequação funcional: capacidade do produto de software em facilitar a realização das tarefas e objetivos do usuário.
	Eficiência no desempenho: capacidade do produto de software de manter um nível de desempenho apropriado, quando usado em condições especificadas.	Comportamento em relação ao tempo: capacidade do produto de software de fornecer tempos de resposta e de processamento apropriados, quando o software executa suas funções, sob condições estabelecidas.
		Utilização dos recursos: capacidade do produto de software de usar tipos e quantidades apropriados de recursos, quando executa suas funções sob condições estabelecidas.
		Capacidade: limites máximos de parâmetros do sistema (itens que podem ser armazenados, número de usuários concorrentes, largura de banda, velocidade de transações, tamanho da base de dados etc.) que atendem aos seus requisitos.
	Compatibilidade: capacidade de o produto de software possibilitar a troca de informações com outras aplicações e/ou compartilhar o mesmo ambiente de hardware ou software.	Coexistência: capacidade do produto de software de coexistir com outros produtos de software independentes, em um ambiente comum, compartilhando recursos comuns.

Qualidade do produto	Usabilidade: capacidade do produto de software, uma vez possuindo efetividade e eficiência, de ser compreendido, aprendido, operado e atraente ao usuário, quando usado sob condições especificadas.	Inteligibilidade: capacidade do produto de software de possibilitar ao usuário compreender se o software é apropriado e como ele pode ser usado para tarefas e condições de uso específicas. Depende da documentação do software.
		Apreensibilidade: capacidade do produto de software de possibilitar ao usuário aprender seu uso. Depende da documentação do software.
		Operabilidade: capacidade do produto de software de possibilitar facilidade ao usuário para operá-lo e controlá-lo.
		Proteção ao erro do usuário: capacidade do produto de software em proteger o usuário de erros.
		Estética da interface com o usuário: capacidade do produto de software de ser atraente ao usuário, ao oferecer uma interface com interação agradável.
		Acessibilidade: capacidade de o produto de software ser utilizado por um amplo espectro de pessoas, que inclui portadores de necessidades especiais e com limitações associadas à idade.
	Confiabilidade: capacidade do produto de software de executar suas funções de modo contínuo.	Maturidade: capacidade do produto de software de evitar falhas decorrentes de defeitos no software, mantendo sua operação normal.
		Disponibilidade: capacidade do produto de software em ser operacional e acessível quando seu uso for requerido.
		Tolerância a falhas: capacidade do produto de software de operar em um nível de desempenho especificado em casos de defeitos no software ou no hardware.
		Recuperabilidade: capacidade do produto de software de restabelecer seu nível de desempenho especificado e recuperar os dados diretamente afetados no caso de uma falha.
	Segurança: capacidade do produto de software de proteger informações e dados: pessoas ou sistemas não autorizados não podem lê-los nem os modificar e o acesso às pessoas ou sistemas não autorizados é negado.	Confidencialidade: capacidade do produto de software de garantir que os dados serão acessíveis apenas por pessoas que possuem acesso a eles.
		Integridade: capacidade do produto de software de evitar o acesso não autorizado para acesso ou modificação de programas ou dados.
		Não questionamento: capacidade do produto de software em garantir que a ocorrência de ações ou eventos possam ser provados, evitando-se questionamentos futuros.
		Responsabilização: capacidade do sistema em auditar a rastreabilidade de acesso a operações.
		Autenticação: capacidade do sistema em validar a identidade de um usuário.
	Manutenabilidade: capacidade do produto de software de ser modificado. As modificações podem incluir correções, melhorias ou adaptações do software devido a mudanças no ambiente e em seus requisitos ou especificações funcionais.	Modularidade: capacidade de o sistema possuir componentes discretos de modo que uma modificação em um componente tenha impacto mínimo em outros componentes.
		Reusabilidade: capacidade de os componentes do software serem utilizados em outro software ou na construção de outros componentes ou sistemas.
		Analisibilidade: capacidade do produto de software de permitir o diagnóstico de deficiências ou causas de falhas, ou a identificação de partes a serem modificadas.
		Modificabilidade: capacidade do produto de software de permitir que uma modificação especificada seja implementada.
		Testabilidade: capacidade do produto de software de permitir que ele, quando modificado, seja validado.
Qualidade do produto	Portabilidade: capacidade do produto de software de ser transferido de um ambiente para outro.	Adaptabilidade: capacidade do produto de software de ser adaptado para diferentes ambientes especificados, sem necessidade de aplicação de outras ações ou meios além daqueles fornecidos para essa finalidade pelo softwareconsiderado.
		Capacidade para ser instalado: capacidade do produto de software para ser instalado em um ambiente especificado.
		Capacidade para substituir: Capacidade do produto de software de ser usado em substituição a outro produto de software especificado, com o mesmo propósito e no mesmo ambiente.
Qualidade em uso	Efetividade: capacidade do produto de software de permitir que usuários atinjam metas especificadas com acurácia e completitude, em um contexto de uso especificado.
	Eficiência: capacidade do produto de software de permitir que seus usuários empreguem quantidade apropriada de recursos em relação à efetividade obtida, em um contexto de uso especificado.
	Satisfação: capacidade do produto de software de satisfazer usuários, em um contexto de uso especificado.	Utilidade: grau em que o usuário percebe que o software auxilia na execução de suas atividades.
		Credibilidade: grau de confiança que usuário tem no correto comportamento do sistema.
		Agradabilidade: grau de contentamento do usuário no uso do software.
		Conforto: grau de conforto físico no uso do software.
	Ausência de riscos: capacidade do produto de software de apresentar níveis aceitáveis de riscos de danos a pessoas, negócios, propriedades ou ao ambiente.	Mitigação de riscos econômicos: grau em que o software reduz potenciais riscos de natureza financeira, de operações, de propriedade ou de reputação em seu contexto de uso.
		Mitigação de riscos de segurança e saúde: grau em que o software reduz potenciais riscos a pessoas em seu contexto de uso.
		Mitigação de riscos ambientais: grau em que o software reduz potenciais riscos ao ambiente em seu contexto de uso.
	Cobertura de contexto: capacidade de o produto de software ser utilizado em seu contexto de uso e além daqueles inicialmente especificados.	Completude de contexto: grau em que o software é utilizado em todos os contextos de uso (por exemplo: com uso de um monitor de baixa resolução, com baixa taxa de acesso à rede, por um usuário inexperiente ou sem acesso à rede).
		Flexibilidade: grau em que o software é utilizado além de seu contexto previsto de uso (se um software não foi projetado para flexibilidade, pode não ser seguro em contextos não planejados).
Qualidade de serviços: capacidade do produto de software em incluir a infraestrutura para apoio ao usuário, na capacitação e suporte para resolução de problemas associados ao sistema.

Valor de GC	Avaliação qualitativa
0.9 a 1.0	concordância muito forte
0.8 a 0.9	concordância substancial
0.7 a 0.8	concordância moderada
0.6 a 0.7	concordância baixa
0.5 a 0.6	concordância desprezível
0.4 a 0.5	discordância desprezível
0.3 a 0.4	discordância baixa
0.2 a 0.3	discordância moderada
0.1 a 0.2	discordância substancial
0.0 a 0.1	discordância muito forte

Indicador	Concordo				Discordo				Métrica (GC)	Interpretação qualitativa	Avaliação do indicador
	completamente		parcialmente		parcialmente		completamente
	N	%	N	%	N	%	N	%
1. O sistema possui funções que disponibilizam e tratam as informações que necessito/utilizo.	13	72,2%	5	27,8%	0	0,0%	0	0,0%	0,96	concordância muito forte	Bem avaliado
2. O sistema apresenta informações corretas e precisas.	10	55,6%	8	44,4%	0	0,0%	0	0,0%	0,93	concordância muito forte	Bem avaliado
3. O tempo de resposta de uma operação on-line no sistema é satisfatório.	9	50,0%	8	44,4%	1	5,6%	0	0,0%	0,89	concordância substancial	Bem avaliado
4. O tempo de resposta de uma solicitação do tipo ‘job’ no sistema é satisfatório.	12	66,7%	6	33,3%	0	0,0%	0	0,0%	0,95	concordância muito forte	Bem avaliado
5. O acesso e autenticação no sistema ocorrem em tempo satisfatório.	13	72,2%	5	27,8%	0	0,0%	0	0,0%	0,96	concordância muito forte	Bem avaliado
6. O sistema disponibiliza aos usuários a documentação/help on-line de suas funções.	11	68,8%	2	12,5%	3	18,7%	0	0,0%	0,88	concordância substancial	Bem avaliado
7. A aprendizagem do sistema não exige um longo treinamento.	3	16,7%	7	38,9%	3	16,7%	5	27,8%	0,48	discordância desprezível	Inconclusivo
8. As funções do sistema possuem fácil operação e uso intuitivo.	9	50,0%	5	27,8%	4	22,2%	0	0,0%	0,82	concordância substancial	Bem avaliado
9. As funções do sistema possuem acesso/navegação rápida e padronizada.	12	66,7%	6	33,3%	0	0,0%	0	0,0%	0,95	concordância muito forte	Bem avaliado
10. As funções do sistema produzem feedback adequado, com mensagens claras.	13	72,1%	5	27,9%	0	0,0%	0	0,0%	0,96	concordância muito forte	Bem avaliado
11. Nas funções do sistema, é simples, fácil e seguro corrigir um erro: as operações feitas pelo usuário são reversíveis.	9	52,9%	6	35,3%	2	11,8%	0	0,0%	0,88	concordância substancial	Bem avaliado
12. As funções do sistema verificam se os valores de entradas de dados são válidos.	14	77,8%	4	22,2%	0	0,0%	0	0,0%	0,97	concordância muito forte	Bem avaliado
13. O sistema evita que sejam executadas operações incorretas.	9	52,9%	5	29,4%	1	5,9%	2	11,8%	0,79	concordância moderada	Bem avaliado
14. O usuário pode ajustar os arranjos dos campos nas interfaces das funções do sistema, de modo que fiquem adequadas ao seu trabalho.	0	0,0%	0	0,0%	0	0,0%	15	100,0%	0,00	discordância muito forte	Mal avaliado
15. As funções do sistema possuem interfaces uniformes e padronizadas.	15	88,2%	2	11,8%	0	0,0%	0	0,0%	0,98	concordância muito forte	Bem avaliado
16. O sistema inclui facilidades para usuários com necessidades especiais ou idosos.	0	0,0%	1	10,0%	2	20,0%	7	70,0%	0,08	discordância muito forte	Mal avaliado
17. O sistema sofre muitas manutenções para corrigir erros.	3	18,8%	5	31,2%	5	31,2%	3	18,8%	0,50	concordância desprezível	Inconclusivo
18. As correções, melhorias ou atualizações que ocorrem no sistema causam instabilidade ou demandam esforços ou tempo excessivos.	4	25,0%	2	12,5%	4	25,0%	6	37,5%	0,40	discordância desprezível	Inconclusivo
19. Ocorrem erros durante o uso do sistema.	0	0,0%	5	29,4%	6	35,3%	6	35,3%	0,25	discordância moderada	Mal avaliado
20. O sistema está disponível para o usuário, quando é requerido.	15	83,3%	3	16,7%	0	0,0%	0	0,0%	0,98	concordância muito forte	Bem avaliado
21. O sistema apresenta baixo nível de perda de dados e mecanismos eficientes de restauração.	12	75,0%	2	12,5%	2	12,5%	0	0,0%	0,91	concordância muito forte	Bem avaliado
22. O sistema oferece adequado suporte/ funcionalidades para execução de minhas tarefas/atividades.	15	88,2%	2	11,8%	0	0,0%	0	0,0%	0,98	concordância muito forte	Bem avaliado
23. O sistema auxilia na redução de meu tempo de trabalho.	6	37,5%	7	43,8%	2	12,5%	1	6,2%	0,77	concordância moderada	Bem avaliado
24. O uso do sistema facilita o armazenamento e recuperação de informações.	14	77,8%	4	22,2%	0	0,0%	0	0,0%	0,97	concordância muito forte	Bem avaliado
25. Não perco tempo na resolução de problemas técnicos associados ao sistema.	5	35,7%	5	35,7%	2	14,3%	2	14,3%	0,68	concordância baixa	Inconclusivo
26. São oferecidos treinamentos e qualificação para o uso do sistema.	3	16,7%	7	38,9%	4	22,2%	4	22,2%	0,50	concordância desprezível	Inconclusivo
27. Há uma equipe dimensionada e qualificada para suporte efetivo no uso do sistema em situações de dificuldade.	7	38,8%	9	50,0%	1	5,6%	1	5,6%	0,82	concordância substancial	Bem avaliado
28. O serviço de suporte ao sistema inclui uma estrutura de atendimento on-line (hot-line) e/ou help-desk.	3	17,6%	8	47,1%	5	29,4%	1	5,9%	0,63	concordância baixa	Inconclusivo

Indicador	Concordo				Discordo				Métrica (GC)	Interpretação qualitativa	Avaliação do indicador
	completamente		parcialmente		parcialmente		completamente
	N	%	N	%	N	%	N	%
1. O sistema disponibiliza as funções que preciso, para apoio em tomada de decisões.	5	50,0%	5	50,0%	0	0,0%	0	0,0%	0,92	concordância muito forte	Bem avaliado
2. O sistema disponibiliza funções que observam normas legais de informação (CID10, DRG, transmissão de dados etc.).	5	50,0%	5	50,0%	0	0,0%	0	0,0%	0,92	concordância muito forte	Bem avaliado
3. As funções do sistema disponibilizam a documentação clínica/de saúde de modo correto e completo.	5	55,6%	3	33,3%	1	11,1%	0	0,0%	0,88	concordância substancial	Bem avaliado
4. As funcionalidades do sistema integram diferentes áreas/departamentos.	5	50,0%	2	20,0%	1	10,0%	2	20,0%	0,69	concordância baixa	Inconclusivo
5. O sistema gera a documentação clínica/de saúde com tempo de resposta satisfatório.	5	55,6%	4	44,4%	0	0,0%	0	0,0%	0,93	concordância muito forte	Bem avaliado
6. O sistema disponibiliza seus dados para outros sistemas que precisam acessá-los.	0	0,0%	1	12,5%	2	25,0%	5	62,5%	0,11	discordância substancial	Mal avaliado
7. O sistema possui integração com outros sistemas, através da troca de informações e do uso de informações que são trocadas.	0	0,0%	2	20,0%	2	20,0%	6	60,0%	0,15	discordância substancial	Mal avaliado
8. Para as funções do sistema que requerem ou demandam customização pelo próprio usuário, o sistema permite que se façam as adaptações para atender suas necessidades locais/especificas.	0	0,0%	0	0,0%	3	30,0%	7	70,0%	0,04	discordância muito forte	Mal avaliado
9. As funções do sistema apresentam interfaces (telas/formulários/ entradas de dados/ relatórios/gráficos) claras, com termos compreensíveis e sem ambiguidades.	5	50,0%	4	40,0%	1	10,0%	0	0,0%	0,88	concordância substancial	Bem avaliado
10. As funções do sistema registram informações de acessos e operações, que podem futuramente ser auditadas/rastreadas.	7	77,8%	1	11,1%	1	11,1%	0	0,0%	0,92	concordância muito forte	Bem avaliado
11. Eu posso obter as informações relacionadas que necessito durante o uso do sistema.	7	77,8%	2	22,2%	0	0,0%	0	0,0%	0,97	concordância muito forte	Bem avaliado
12. O sistema contribui efetivamente com os objetivos estratégicos do gerenciamento de profissionais (equipes médicas, de enfermagem, administrativas etc.).	3	37,5%	4	50,0%	1	12,5%	0	0,0%	0,84	concordância substancial	Bem avaliado
13. O sistema tem contribuído para a melhoria da qualidade da oferta dos serviços de saúde.	6	66,7%	2	22,2%	0	0,0%	1	11,1%	0,85	concordância substancial	Bem avaliado
14. O sistema tem contribuído na melhoria do gerenciamento dos serviços de saúde.	4	44,4%	5	55,6%	0	0,0%	0	0,0%	0,91	concordância muito forte	Bem avaliado
15. Diferentes grupos de usuários estão satisfeitos com o sistema.	2	20,0%	8	80,0%	0	0,0%	0	0,0%	0,86	concordância substancial	Bem avaliado
16. O sistema opera conforme seu projeto e especificações.	6	60,0%	2	20,0%	2	20,0%	0	0,0%	0,85	concordância substancial	Bem avaliado
17. O processamento de solicitações de mudanças requeridas para o sistema é adequado (tempo, modificações, abertura à participação do usuário).	0	0,0%	4	44,4%	3	33,3%	2	22,2%	0,37	discordância baixa	Inconclusivo