Resumo

A Tecnologia da Informação (TI) tornou-se fundamental na prestação de serviços de cuidado à saúde, abrangendo a pluralidade dos aspectos que envolvem a área. Isso faz com que a TI possa oferecer significativa contribuição ao desempenho das organizações de saúde. Há uma lacuna do conhecimento sobre como realizar e implementar melhorias nessas tecnologias, que como um dos motivos, cita-se a carência de estudos com o tema de Avaliação de Desempenho de Tecnologia da Informação na saúde. O objetivo deste trabalho é contribuir na disseminação do conhecimento sobre o assunto, através da realização de uma revisão sistemática com o emprego do “Knowledge Development Process – Constructivist (Proknow-C)”. Através da análise de métricas de produção, observou-se de que forma os estudos integrantes do Portfólio Bibliográfico da pesquisa representam a área do conhecimento investigada, e a partir de uma análise sistemática do conteúdo dessas publicações foi possível indicar as lacunas do conhecimento ainda existentes na área. Como limitação do estudo destaca-se a característica construtivista do “Proknow-C” e, nas sugestões para futuras pesquisas, recomenda-se o preenchimento das lacunas de conhecimento observadas, oriundas da análise realizada.

Palavras-chave
Gestão em saúde; Tecnologia da informação; Pesquisa operacional; Gestão do conhecimento para a pesquisa em saúde; Revisão

Abstract

Information Technology (IT) has become fundamental in the provision of healthcare services, encompassing the entire gamut of aspects involved in the area. For this reason, IT can make a significant contribution to the performance of health organizations. There is a knowledge gap about how to introduce and implement improvements in these technologies, one of the reasons cited being the lack of studies on the topic of Evaluation of the Performance of Information Technology in health. The objective of this work is to contribute to the dissemination of knowledge on the subject, by conducting a systematic review using Proknow-C (Knowledge Development Process–Constructivist). By means of the analysis of production metrics, it was seen how the studies comprised in the Bibliographical Portfolio of research represent the area of knowledge investigated. Based on a systematic analysis of the content of these publications, it was possible to ascertain the knowledge gaps still existing in the area. As a limitation of the study, the constructivist nature of Proknow-C is the main issue and, in the suggestions for future research, it is recommended that, based on the analysis performed, the knowledge gaps identified be filled.

Key words
Health management; Information Technology; Operational research; Knowledge Management for Health Research; Review

Introdução

A gestão na área da saúde deixou de ser uma característica distintiva, para ser característica necessária ao funcionamento e sobrevivência das organizações¹1 Escrivão Júnior A. Uso da informação na gestão de hospitais públicos. Cien Saude Colet 2007; 12(3):655-666. culminando na busca de um melhor desempenho tanto na esfera administrativa, como na médica das organizações do campo²2 Olson JR. Belohlav JA, Cook LS. A Rasch model analysis of technology usage in Minnesota hospitals. Inl JMed Inform 2012; 81(8):527-538.. Devido às especificidades da gestão na área, o desafio centra-se no entendimento de uma percepção macro sobre o desempenho, cujos aspectos administrativos e médicos tornam-se integrados. A desconsideração da pluralidade desses aspectos, correspondentes à estrutura, processos, pessoas, relações políticas e sociais, culturas e tecnologias implicam no desempenho obtido e na prosperidade de melhores resultados³3 Gonçalves JEL. Por que as nossas organizações apostam em gestão? Col Meira Mattos-Rev das Cien Militares 2003; 5..

A Avaliação do Desempenho pondera os multicritérios envolvidos no cenário citado abrangendo essa percepção de complexidade. A ocorrência desse tipo de avaliação nas organizações de saúde se expande com a adoção de novas práticas e metodologias de gerenciamento em apoio à gestão da saúde, tal como na aplicação de recursos tecnológicos que se relacionam de forma direta e indireta aos processos operacionais e gerenciais⁴4 Farias DC, Araujo FOD. Gestão hospitalar no Brasil: revisão da literatura visando ao aprimoramento das práticas administrativas em hospitais. Cien Saude Colet 2017; 22(6):1895-1904.^,55 Schiesari LMC. Avaliação externa de organizações hospitalares no Brasil: podemos fazer diferente? Cien Saude Colet 2014; 19(10):4229-4234..

Da mesma forma em que as tecnologias facilitaram a mensuração do desempenho, no que tange às organizações de saúde, a Tecnologia da Informação (TI) tornou-se parte integral qualquer atividade relacionada à prestação dos serviços de cuidado à saúde⁶6 Nguyen QT, Naguib RNG, AbdGhani MK, Bali RK, Marshall IM, Culaba NH, Wickramasinghe NS, Chaker MH, Lee RV. An analysis of the healthcare informatics and systems in Southeast Asia: a current perspective from seven countries. International Journal of Electronic Healthcare 2008; 4(2):184-207., compreendendo a heterogeneidade de processos envolvidos dessas organizações. A TI é considerada como fator de relevância ao desempenho das mesmas²2 Olson JR. Belohlav JA, Cook LS. A Rasch model analysis of technology usage in Minnesota hospitals. Inl JMed Inform 2012; 81(8):527-538.^,77 Goldschimidt PG. HIT and MIS: implications of health information technology and medical information systems. Communications of the ACM 2005; 48(10):68-74.

8 Shekelle P, Morton SC, Keeler EB. Costs and benefits of health information technology. 2006. Evidence Report/Technology Assessment No. 132. Maryland: Agency for Healthcare Research and Quality. (AHRQ) (No.06-E006). [acessado 2017 Jul 10]. Disponível em: https://www.ncbi.nlm.nih.gov/books/NBK37988/
https://www.ncbi.nlm.nih.gov/books/NBK37...

9 Gagnon M, Desmartis M, Labrecque M, Car J, Pagliari C, Pluye P, Frèmont P, Gagnon J, Tremblay N, Légaré F. Systematic Review of Factors Influencing the Adoption of Information and Communication Technologies by Healthcare Professionals. J Med Syst 2010; 36(1):241-277.^-1010 Sinha RK. Impact of health information technology in public health. J Biomed Inform 2010; 1(4):223-236., pois transformou a forma em que se prestam os serviços¹¹11 Strome T. Healthcare analytics for quality and performance improvement. Hobbken: John Wiley & Sons; 2013.. Dito isso, o simples fato de adotar uma tecnologia não pode ser considerada como uma certeza de melhora ao desempenho, as vantagens com sua utilização, ocorrerem somente se houver um emprego eficiente das disponíveis¹²12 Langley J, Beasley C. Health Information Technology for Improving Quality of Care in Primary Care Settings. Prepared by the Institute for Healthcare Improvement for the National Opinion Research Center under contract No. 290-04-0016. AHRQ Publication No. 07-0079-EF. Rockville: Agency for Healthcare Research and Quality; 2007. [acessado 2017 Jul 13]. Disponível em: http://library.ahima.org/PdfView?oid=79033
http://library.ahima.org/PdfView?oid=790... .

Nisso, devido à importância da TI nessa conjuntura, a Avaliação de Desempenho da mesma, torna-se fundamental para que os resultados com sua utilização impliquem em um melhor desempenho organizacional¹³13 Bose R. Knowledge management-enabled health care management systems: capabilities, infrastructure, and decision-support. Expert Syst Appl 2003; 24(1):59-71.. No entanto, existe uma lacuna do conhecimento sobre como realizar, analisar e implementar melhorias nas Tecnologias da Informação na saúde¹⁰10 Sinha RK. Impact of health information technology in public health. J Biomed Inform 2010; 1(4):223-236.. As atividades de Avaliação de Desempenho sobre as tecnologias, devem se associar ao conhecimento dos gestores na interpretação da real análise dos impactos ocasionados pelas mesmas. Assim, seja na prática, no ensino e na literatura, o conhecimento relacionado às tecnologias na saúde desponta como desafiador e muito promissor¹⁴14 Haux R. Health information systems - past, present, future. Int J Med Inform 2006; 75(3):268-281.^,1515 Hemmat M, Ayatollahi H, Maleki MR, Saghafi F. Future Research in Health Information Technology: A Review. Perspect Health Inf Manag 2017; 14(1):1-19. de forma a que estudos sobre Avaliação de Desempenho na temática, necessitem progredir devido à carência de avaliação das tecnologias no ambiente da saúde¹⁶16 Chaves LDP, Ferreira JBB, Camelo SHH, Balderama p, Tanaka OY. Reflections on Information Systems in Health, Evaluative Search and Nursing. Enfermería Global 2014; 13(2):313-321.^,1717 Greenes RA. Clinical Decision Support: The Road Ahead. Cambridge: Academic Press; 2006..

Com base no que foi apresentado, esta pesquisa tem como objetivo contribuir na disseminação do conhecimento da literatura científica que aborda o tema da Avaliação de Desempenho de TI na saúde. Para tal objetivo, adotou-se o Knowledge Development Process – Constructivist (Proknow-C)¹⁸18 Ensslin L, Ensslin SR, Lacerda RTO, Tasca JE. Proknow -C, Knowledge Development Process- Constructivist. Processo técnico com patente de registro pendente junto ao INPI. Brasil. Edição 10, n.4. Rio de Janeiro: INPI; 2010.^,1919 Tasca JE, Ensslin L, Ensslin SR, Alves MBM. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training 2010; 34(7):631-655., um processo estruturado de pesquisa científica, desenvolvido no Laboratório de Metodologia Multicritério de Apoio à Decisão (LabMCDA), do Departamento de Engenharia de Produção e Sistemas da Universidade Federal de Santa Catarina (UFSC), originado com o propósito de auxiliar os pesquisadores a realizar uma busca na literatura a fim de produzir resultados relevantes e com reconhecimento científico. A escolha desse método se adequa com o objetivo proposto, pois se levantou um fragmento de literatura pertinente sobre o tema da Avaliação de Desempenho da Tecnologia da Informação na área da saúde, investigando o estado atual dos estudos realizados com a temática, sendo possível indicar as lacunas do conhecimento presentes na área.

Tecnologia da Informação na saúde

Conceitualmente, a “Tecnologia da Informação na saúde” (Health Information Technology – HIT) define-se como o processamento de informação tanto de software como hardware que lida com armazenagem, recuperação, compartilhamento e uso de informação, dados e conhecimento da área da saúde para comunicação e tomada de decisão²⁰20 Thompson T, Brailer D. The Decade of Health Information Technology: Delivering Consumer-centric and Information-rich Health Care - Framework for Strategic Action. Washington: Department of Health & Human Services; 2004.

A complexidade envolvida nas organizações de saúde produz desafios, que de fato, a tecnologia pode ajudar a cumprir, porém requer recursos financeiros, humanos e técnicos de uma fonte escassa¹¹11 Strome T. Healthcare analytics for quality and performance improvement. Hobbken: John Wiley & Sons; 2013.. Na utilização da HIT é necessária a compreensão de necessidades diferentes quanto ao uso das tecnologias¹⁰10 Sinha RK. Impact of health information technology in public health. J Biomed Inform 2010; 1(4):223-236., visto que a coleta de informações, a forma como utilizá-las e para quem disponibilizá-las varia de acordo com diferentes dimensões presentes nessas organizações. Estas são: dimensão administrativa, envolvendo principalmente os aspectos responsáveis pela gestão; dimensão médica, envolvendo principalmente os aspectos diretamente ligados a prestação de serviços à saúde; e dimensão dos pacientes, aspectos originados por pacientes que buscam cuidado em saúde.

Segundo Bose¹³13 Bose R. Knowledge management-enabled health care management systems: capabilities, infrastructure, and decision-support. Expert Syst Appl 2003; 24(1):59-71., além da multidimensionalidade de dados, a HIT também possui desafios relacionados à complexidade de dados, integração entre sistemas, segurança e confiabilidade, e a noção dos reais benefícios e riscos das tecnologias. A fim de que a HIT supere esses desafios provando ser eficiente para os processos administrativos e clínicos, além de gerar satisfação com os pacientes, é necessário avaliar o desempenho das tecnologias de forma rigorosa²¹21 Luzi D, Pecoraro F, Tamburis O. Economic Evaluation of Health IT. Ammenwerth E, Rigby M, editors. Evidence-Based Health Informatics - Promoting Safety and Efficiency Through Scientific Methods and Ethical Policy. Amsterdam: IOS Press; 2016. p.165-180..

Avaliação de Desempenho da Tecnologia da Informação na saúde

Inicialmente, na literatura houve a preocupação com a avaliação financeira, investigando a relação direta entre os investimentos em tecnologias e o desempenho das organizações de saúde. Mas, recentemente começou a surgir um interesse na avaliação da HIT de forma integrada, tornando clara a noção de que o desempenho se relaciona com os potenciais benefícios da HIT²²22 Black AD, Car J, Pagliari J, Anandan C, Cresswel K, Bokun T, McKinstry B, Procter R, Majeed A, Sheikh A. The Impact of eHealth on the Quality and Safety of Health Care: A Systematic Overview. PLoS Medicine 2011; 8(1):1-16..

A avaliação de Desempenho da HIT, não inclui apenas a investigação do hardware ou software que compõe a tecnologia em si, é preciso conhecer o processo da informação no determinado contexto em que as instituições da saúde se inserem²³23 Yen Po-Yin, Bakken, S. Review of health information technology usability study methodologies. J Am Med Inform Assoc 2012; 19(3):413-422.. Geralmente, os pesquisadores da área buscam desenvolver survey para a avaliação da HIT e seu desempenho, porém, essa metodologia não gera e nem analisa indicadores de desempenho²⁴24 Hübner-Bloder G, Ammenwerth E. Key Performance Indicators to Benchmark Hospital Information Systems - A Delphi Study. Methods Inf Med 2009; 48(6):508-518.. Para abranger todos os critérios que envolvem seria necessário adotar uma visão holística da Avaliação de Desempenho, conforme um “processo para construir conhecimento no decisor, a respeito do contexto específico que se propõe avaliar, a partir da percepção do próprio decisor por meio de atividades que identificam, organizam, mensuram ordinalmente e cardinalmente, integram e permitem visualizar o impacto das ações e seu gerenciamento”²⁵25 Ensslin L, Girrhorn E, Ensslin SR, Petri M,Vianna WB. Avaliação do desempenho de empresas terceirizadas com o uso da metodologia multicritério de apoio à decisão - construtivista. Pesq Oper 2010; 30(1):125-152..

Metodologia

O presente estudo baseia-se na metodologia proposta por Roesch²⁶26 Roesch SMA. Projetos de Estágio e de Pesquisa em Administração. 3ª ed. São Paulo: Atlas; 2013., sendo classificado quanto ao propósito do projeto, método (delineamento), técnicas de coleta e de análise de dados.

A revisão sistemática realizada foi classificada quanto à natureza do objetivo do estudo, como uma pesquisa diagnóstico, buscando-se investigar um fragmento da literatura relevante ao tema da Avaliação de Desempenho de Tecnologias da Informação na saúde. No que tange ao delineamento, a pesquisa caracteriza-se como descritiva, pois foi a partir da descrição das características pertencentes ao fragmento da literatura selecionado, que a pesquisa diagnóstico se concretizou. A abordagem metodológica da pesquisa enquadra-se como quali-quantitativa. De acordo com Roesch²⁶26 Roesch SMA. Projetos de Estágio e de Pesquisa em Administração. 3ª ed. São Paulo: Atlas; 2013., a associação dessas duas dimensões oferece entendimento sobre a complexidade do tema, assim como possibilita a exposição do tema de forma objetiva. A abordagem qualitativa está aplicada na composição do Portfólio Bibliográfico e na análise sistêmica de conteúdo, e a abordagem quantitativa está empregada na bibliometria do estudo, cujos ambos os processos pertencem ao instrumento de intervenção utilizado, o Knowledge Development Process – Constructivist (Proknow-C).

O Proknow-C como método de revisão sistemática consiste em uma estrutura para construir conhecimento a partir da característica do construtivismo, isto é o processo de pesquisa na literatura é determinado a partir dos interesses e delimitações impostas pelo pesquisador através da visão de mundo adotada. Dentre as características que tornam o método robusto cientificamente destaca-se um processo amplo de busca de dados, e a característica particular de análise quanto aos critérios para análise de conteúdo calcada previamente a partir da visão de mundo adotada, permitindo a integração dos achados²⁷27 Chaves LC, Ensslin L, Ensslin SR, Valmorbida SMI, Da Rosa FS. Sistemas de apoio à decisão: mapeamento e análise de conteúdo. RECADM, 2013; 12(1):6-22..

A técnica de coleta de dados adotada mediante ao propósito de pesquisa, método, abordagem metodológica e instrumento de intervenção definidos, correspondeu à pesquisa de documentos. Tanto para coleta, como para a análise dos dados, foi utilizado o instrumento de intervenção adotado, contribuindo com rigor científico à realização do estudo.

Resultados e discussão

A condução deste estudo baseou-se no emprego do método Proknow-C para revisar na literatura o tema da Avaliação de Desempenho de TI na saúde. A escolha é justificada pela visão de mundo adotada, Avaliação de Desempenho, para análise da literatura, permitindo que o conhecimento gerado pudesse ser quantificado e analisado pelas lentes do Proknow-C.

O processo do método é composto por uma série de quatro etapas: 1) seleção do Portfólio Bibliográfico; 2) análise bibliométrica; 3) Análise sistêmica; e 4) identificação de lacunas e objetivos de pesquisa¹⁸18 Ensslin L, Ensslin SR, Lacerda RTO, Tasca JE. Proknow -C, Knowledge Development Process- Constructivist. Processo técnico com patente de registro pendente junto ao INPI. Brasil. Edição 10, n.4. Rio de Janeiro: INPI; 2010.^,1919 Tasca JE, Ensslin L, Ensslin SR, Alves MBM. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training 2010; 34(7):631-655., demonstrados na Figura 1.

A seleção do Portfólio Bibliográfico (PB) visa identificar um conjunto de pesquisas, neste estudo, que possuem foco na Avaliação de desempenho da TI na saúde sob a visão da Avaliação de Desempenho.

O objetivo da bibliometria é desenvolver conhecimento aos pesquisadores acerca das características bibliográficas dos estudos selecionados. No Proknow-C a análise bibliométrica é realizada tanto no Portfólio Bibliográfico quanto nas referências citadas pelas publicações pertencentes ao PB.

Para refletir acerca do conteúdo dos estudos selecionados a etapa da análise sistêmica corresponde à análise do PB a partir de uma visão de mundo estabelecida. Como a presente pesquisa adota como visão de mundo a Avaliação de Desempenho, a estrutura de análise baseia-se em seis lentes derivadas do conceito de Avaliação de Desempenho.

Como conclusão das etapas anteriores, o conhecimento gerado permite aos pesquisadores a identificação de lacunas na literatura, retratando também o campo de estudos analisado, instigando a produção científica¹⁸18 Ensslin L, Ensslin SR, Lacerda RTO, Tasca JE. Proknow -C, Knowledge Development Process- Constructivist. Processo técnico com patente de registro pendente junto ao INPI. Brasil. Edição 10, n.4. Rio de Janeiro: INPI; 2010.^,1919 Tasca JE, Ensslin L, Ensslin SR, Alves MBM. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training 2010; 34(7):631-655..

Seleção do Portfólio Bibliográfico (PB)

Primeiramente foram determinados os eixos de pesquisa e, para cada eixo, palavras-chave relacionadas. Os eixos de pesquisa foram a Tecnologia da Informação na saúde (nas dimensões administrativas e operacionais, esta última correspondente às dimensões da informação de médicos e pacientes) e Avaliação de Desempenho, como ilustrado na Figura 2.

Ao todo 170 combinações de palavras-chave foram realizadas mediante o uso da expressão booleana AND que indica que os estudos encontrados, de alguma forma abordaram os 2 eixos de pesquisa definidos.

A consulta nas bases de dados foi realizada no período de 28 de julho e 29 de julho de 2017, sendo as bases selecionadas: American Society of Civil Engineers – ASCE; Compendex; Ebsco; ProQuest; Science Direct; Scopus; Web of Science; e Wiley Online Library. Na consulta das bases, não existiu filtragem relacionada à delimitação temporal dos estudos. Durante o andamento da consulta nas bases, testou-se a aderência das palavras-chaves estipuladas, selecionando-se cinco estudos, aleatoriamente, para comparar as palavras-chave destes, com as palavras-chave definidas nos eixos de pesquisa. Ao final da comparação, verificou-se correspondência entre as palavras-chaves.

A busca inicial resultou em um Portfólio Bibliográfico bruto de 1.914 publicações. Com o auxílio do software ENDNOTE X8, as publicações forma organizadas e deu-se início aos processos de filtragem. Primeiro, realizou-se a eliminação de artigos repetidos, ao todo 1.407 publicações foram excluídas, restando, portanto 507 publicações. Após, verificou-se o alinhamento do título dos estudos ao tema de Avaliação de Desempenho da TI no ambiente da saúde, eliminando-se 379 publicações, sobrando 128 para a próxima filtragem.

Na fase de reconhecimento científico, consultou-se o Google Acadêmico, com o intuito de se investigar o número de citações de cada publicação. A escolha pelo site ocorreu pela disponibilização de grande quantidade de informações relacionadas às métricas das publicações, além de permitir o uso do software Publishor Perish²⁸28 Harzing AW. Publish or Perish. Harzing; 2007. [acessado 2017 Jul 13]. Disponível em: https://harzing.com/resources/publish-or-perish
https://harzing.com/resources/publish-or... . Ao se contabilizar o número total de citações do PB, pôde-se estipular um ponto de corte do total de citações, correspondido a um percentual de representatividade científica de 95%. As 63 publicações com reconhecimento científico foram submetidas à leitura do resumo para alinhamento quanto ao objetivo da revisão. Estudos em que o ano de publicação corresponde a 2015, 2016 ou 2017, pertencentes às 65 publicações que não obtiveram reconhecimento científico, também foram separados para análise do alinhamento quanto ao resumo, devido ao fato de que por serem publicações recentes, possuem menor oportunidade de serem citadas.

Sendo assim, 63 publicações de reconhecimento científico comprovado, mais 30 publicações cujo ano de publicação é 2015, 2016 ou 2017, tiverem lido o resumo. Constatou-se que 23 publicações estão alinhadas de acordo com o resumo. Partindo para a leitura integral das 23 publicações, primeiro conferiu-se a disponibilidade das mesmas, apenas uma publicação foi excluída por não estar disponível gratuitamente. Desta forma, 8 estudos foram excluídos por não se alinharem integralmente com o tema proposto, e um foi descartado por constar duas vezes no PB devido ao fato de ser a mesma publicação, mas publicada de forma diferente, a versão com menos notoriedade científica foi descartada. Assim, o Portfólio Bibliográfico contabilizou, após as filtragens mencionadas, 13 publicações.

Como última etapa da seleção do PB, realizou-se o teste de representatividade. Para isso, levantou-se das 13 publicações alinhadas integralmente com o objetivo da revisão, todas as referências utilizadas nos estudos. No total, 498 referências foram citadas. Organizando os dados dessas referências, também foram realizadas as filtragens de alinhamento de título, de reconhecimento científico, alinhamento de resumo e leitura integral verificando a oportunidade de incorporar ao Portfólio Bibliográfico novas publicações representativas. Sendo assim, das 498 referências extraídas das 13 publicações do PB, verificou-se a congruência com o objetivo da revisão de 3 publicações.

Portanto, de um total de 1.914 publicações inicialmente, o fragmento da literatura representativo da forma em que o tema da Avaliação de Desempenho da Tecnologia da Informação na Saúde na visão de mundo da Avaliação de Desempenho é abordado cientificamente, foi composto por um Portfólio Bibliográfico final de 16 publicações²⁹29 Bilsel RU, Büyüközkan G, Ruan, D. A fuzzy preference-ranking model for a quality evaluation of hospital web sites. International Journal of Intelligent Systems 2006; 21(11):1181-1197.

30 Edwards PJ, Moloney KP, Jacko JA, Sainfort F. Evaluating usability of a commercial electronic health record: A case study. Int J Hum Comput Studies 2008; 66(10):718-728.

31 Amarasingham R, Plantinga L, Diener-West M. Clinical information technologies and inpatient outcomes: a multiple hospital study. Arch Int Med 2009; 169(2):108-114.

32 Aqil A, Lippeveld T, Hozumi D. PRISM framework: a paradigm shift for designing, strengthening and evaluating routine health information systems. Health policy and planning 2009; 24(3):217-228.

33 Pennathur PR, Cao D, Bisantz AM, Lin L, Fairbanks RJ, Wears RL, Perry SJ, Guarrera TK, Brown JL, Sui Z. Emergency department patient-tracking system evaluation. Int Ind Ergon 2011; 41(4):360-369.

34 Kazandjian V, Lipitz-Snyderman A. HIT or miss: the application of health care information technology to managing uncertainty in clinical decision making. J Eval Clin Pract 2011; 17(6):1108-1113.

35 Holden RJ, Brown RL, Alper SJ, Scanlon MC, Patel NR, Karsh B. That's nice, but what does IT do? Evaluating the impact of bar coded medication administration by measuring changes in the process of care. Int J Ind Ergon 2011; 41(4):370-379.

36 Hah H, Bharadwaj A. A multi-level analysis of the impact of health information technology on hospital performance. Proceedings of the International Conference on Information Systems, 2012.

37 Kim MS, Shapiro JS, Genes N, Aguilar MV, Mohrer D, Baumlin K, Belden JL. A pilot study on usability analysis of emergency department information system by nurses. Appl Clin Inform 2012; 3(1):135-153.

38 Or C, Tao D. Usability study of a computer-based self-management system for older adults with chronic diseases. J Med Internet Res 2012; 1(2):1-16.

39 Verbeke F, Karara G, Nyssen M. Evaluating the impact of ICT-tools on health care delivery in sub-Saharan hospitals. Stud Health Technol Inform 2013; 192:520-523.

40 Bardhan IR, Thouin MF. Health information technology and its impact on the quality and cost of healthcare delivery. Decision Support Systems 2013; 55(2):438-449.

41 Bisio I, Lavagetto F, Marchese M, Sciarrone A. A smartphone-centric platform for remote health monitoring of heart failure. International Journal of Communication Systems 2015; 28(11):1753-1771.

42 Hypponen H, Ronchi E, Adler-Milstein J. Health care performance indicators for health information systems. Stud Health Technol Inform 2016; 222:181-194.

43 Jian W, Lu M, Han W, Hu M. Introducing diagnosis-related groups: is the information system ready? Int J health plann. Manage.2016; 31(1):58-68.^-4444 Rejeb O, Pilet C, Hamana S, Xie X, Durand T, Aloui S, Doly A, Biron P, Perrier L, Augusto V. Performance and cost evaluation of health information systems using micro-costing and discrete-event simulation. Health Care Manag Sci 2017; 21(2):204-223..

Análise bibliométrica

Depois de selecionado o Portfólio Bibliográfico, a segunda etapa do Proknow-C corresponde à bibliometria. Foram conduzidas análises respectivas à relevância dos periódicos e fator de impacto da produção, dos autores mais prolíferos ao tema e das publicações de maior destaque.

Para a identificação dos periódicos relevantes à temática da Avaliação de Desempenho das Tecnologias da Informação na saúde elaborou-se o Gráfico 1, evidenciando os periódicos com maior número de publicações dentre os estudos selecionados no PB e os periódicos mais encontrados nas referências das publicações do PB, já que, como mencionado, a análise bibliométrica é realizada tanto no Portfólio Bibliográfico quanto em suas referências.

Analisando os dados, indica-se que o periódico mais relevante do Portfólio Bibliográfico é o International Journal of Industrial Ergonomics, com duas publicações no PB e uma nas referências do mesmo. Estipula-se o fator de impacto de produção do periódico em 1.415 pelo índice do Journal Citation Reports (JCR), e em 0.564 pelo índice do SCImago Journal & Country Rank (SJR). Publicado pela editora Elsevier, o periódico atua desde 1986, com a finalidade de desenvolver contribuições para o entendimento do fator humano na relação com a tecnologia e seus componentes. Ao analisar individualmente o fator de impacto de produção, o periódico JAMA Internal Medicine se sobressai sobre os demais, com índices de 16.538 (JCR) e 6.684 (SJR).

Na análise de quais autores possuem relevância na temática da Avaliação de Desempenho das Tecnologias da Informação na saúde, observou-se que os autores dos estudos selecionados no PB não se repetem, não havendo um autor destaque. No entanto, em relação aos autores das publicações citadas nas referências do Portfólio Bibliográfico, Ben-Tzion Karsh e Richard Holden, aparecem como os autores com mais publicações, 16 e 12, respectivamente.

De forma a investigar a relevância das publicações pertencentes ao Portfólio Bibliográfico, elaborou-se o Gráfico 2 com a finalidade de relacionar as publicações de maior citação do PB, com a relevância de seus autores, averiguando quais os atores destas possuem estudos com destaque entre as referências citadas pelo PB. Consultou-se Google Acadêmico para retratar a relação mencionada.

Analisando os dados, a publicação de maior relevância para o PB pertence à Amarasingham et al. ³¹31 Amarasingham R, Plantinga L, Diener-West M. Clinical information technologies and inpatient outcomes: a multiple hospital study. Arch Int Med 2009; 169(2):108-114. com o artigo citado 330 vezes. Demonstrando relevância tanto para o Portfólio Bibliográfico quanto as referências do PB, o artigo³²32 Aqil A, Lippeveld T, Hozumi D. PRISM framework: a paradigm shift for designing, strengthening and evaluating routine health information systems. Health policy and planning 2009; 24(3):217-228. consta com 157 citações, e um de seus autores, Anwer Aqil contabiliza oito estudos citados pelas referências do PB. Dentre os estudos citados como referências do Portfólio Bibliográfico, e que destacam-se na temática da Avaliação de Desempenho da TI na saúde, ressalta-se o artigo³⁵35 Holden RJ, Brown RL, Alper SJ, Scanlon MC, Patel NR, Karsh B. That's nice, but what does IT do? Evaluating the impact of bar coded medication administration by measuring changes in the process of care. Int J Ind Ergon 2011; 41(4):370-379., devido ao fato de que um dos autores ser o Ben-Tzion Karsh, considerado pela análise dos autores mais relevantes ao Portfólio Bibliográfico como autor notório, com 16 publicações citadas nas referências do PB.

Análise sistêmica

A análise sistêmica adotada na pesquisa tem como base as lentes difundidas no Proknow-C, indicando a filiação teórica que dá norte para a análise. As lentes do Proknow-C dividem-se em seis caracterizando a Avaliação de Desempenho, como uma atividade contínua e integrada, de acordo com a abordagem propositada (Lente 1 - Abordagem), construída para determinado ambiente/contexto (Lente 2 - Singularidade), por meio da identificação dos objetivos dos decisores envolvidos (Lente 3 - Identificação dos objetivos), mensurando os indicadores construídos (Lente 4 - Mensuração), integrando os indicadores para informar uma visão holística (Lente 5 - Integração) e identificando o status quo do desempenho analisado, permitindo o apoio à decisão, propondo ações de melhora ao desempenho. (Lente 6 - Gestão)¹⁸18 Ensslin L, Ensslin SR, Lacerda RTO, Tasca JE. Proknow -C, Knowledge Development Process- Constructivist. Processo técnico com patente de registro pendente junto ao INPI. Brasil. Edição 10, n.4. Rio de Janeiro: INPI; 2010.^,1919 Tasca JE, Ensslin L, Ensslin SR, Alves MBM. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training 2010; 34(7):631-655..

Cabe ressaltar que na realização da análise sistêmica apenas estudos em que os modelos de Avaliação de Desempenho foram aplicados de forma prática puderam ser analisados. Sendo assim, das 16 publicações pertencentes ao Portfólio, os artigos³²32 Aqil A, Lippeveld T, Hozumi D. PRISM framework: a paradigm shift for designing, strengthening and evaluating routine health information systems. Health policy and planning 2009; 24(3):217-228.^,4242 Hypponen H, Ronchi E, Adler-Milstein J. Health care performance indicators for health information systems. Stud Health Technol Inform 2016; 222:181-194. não fizeram parte desta seção.

A primeira lente refere-se ao tipo de abordagem utilizada pelas publicações do Portfólio Bibliográfico para a realização da avaliação de desempenho proposta. Quanto às abordagens que oferecem um processo de apoio à decisão, nenhuma publicação possui como alicerce a abordagem construtivista, e apenas os estudos³⁰30 Edwards PJ, Moloney KP, Jacko JA, Sainfort F. Evaluating usability of a commercial electronic health record: A case study. Int J Hum Comput Studies 2008; 66(10):718-728.^,3838 Or C, Tao D. Usability study of a computer-based self-management system for older adults with chronic diseases. J Med Internet Res 2012; 1(2):1-16. propuseram a abordagem prescritivista. As demais publicações aplicaram um modelo associado ao processo de tomada de decisão, nas abordagens normativistas²⁹29 Bilsel RU, Büyüközkan G, Ruan, D. A fuzzy preference-ranking model for a quality evaluation of hospital web sites. International Journal of Intelligent Systems 2006; 21(11):1181-1197.^,3131 Amarasingham R, Plantinga L, Diener-West M. Clinical information technologies and inpatient outcomes: a multiple hospital study. Arch Int Med 2009; 169(2):108-114.^,3434 Kazandjian V, Lipitz-Snyderman A. HIT or miss: the application of health care information technology to managing uncertainty in clinical decision making. J Eval Clin Pract 2011; 17(6):1108-1113.^,3636 Hah H, Bharadwaj A. A multi-level analysis of the impact of health information technology on hospital performance. Proceedings of the International Conference on Information Systems, 2012.^,3939 Verbeke F, Karara G, Nyssen M. Evaluating the impact of ICT-tools on health care delivery in sub-Saharan hospitals. Stud Health Technol Inform 2013; 192:520-523.^,4040 Bardhan IR, Thouin MF. Health information technology and its impact on the quality and cost of healthcare delivery. Decision Support Systems 2013; 55(2):438-449. ou descritivas³³33 Pennathur PR, Cao D, Bisantz AM, Lin L, Fairbanks RJ, Wears RL, Perry SJ, Guarrera TK, Brown JL, Sui Z. Emergency department patient-tracking system evaluation. Int Ind Ergon 2011; 41(4):360-369.^,3535 Holden RJ, Brown RL, Alper SJ, Scanlon MC, Patel NR, Karsh B. That's nice, but what does IT do? Evaluating the impact of bar coded medication administration by measuring changes in the process of care. Int J Ind Ergon 2011; 41(4):370-379.^,3737 Kim MS, Shapiro JS, Genes N, Aguilar MV, Mohrer D, Baumlin K, Belden JL. A pilot study on usability analysis of emergency department information system by nurses. Appl Clin Inform 2012; 3(1):135-153.^,4141 Bisio I, Lavagetto F, Marchese M, Sciarrone A. A smartphone-centric platform for remote health monitoring of heart failure. International Journal of Communication Systems 2015; 28(11):1753-1771.^,4343 Jian W, Lu M, Han W, Hu M. Introducing diagnosis-related groups: is the information system ready? Int J health plann. Manage.2016; 31(1):58-68.^,4444 Rejeb O, Pilet C, Hamana S, Xie X, Durand T, Aloui S, Doly A, Biron P, Perrier L, Augusto V. Performance and cost evaluation of health information systems using micro-costing and discrete-event simulation. Health Care Manag Sci 2017; 21(2):204-223..

Na lente 2, analisou-se o reconhecimento a partir do autor de cada publicação do Portfólio Bibliográfico, de que o contexto avaliado é único. Apenas para cinco publicações²⁹29 Bilsel RU, Büyüközkan G, Ruan, D. A fuzzy preference-ranking model for a quality evaluation of hospital web sites. International Journal of Intelligent Systems 2006; 21(11):1181-1197.

30 Edwards PJ, Moloney KP, Jacko JA, Sainfort F. Evaluating usability of a commercial electronic health record: A case study. Int J Hum Comput Studies 2008; 66(10):718-728.^-3131 Amarasingham R, Plantinga L, Diener-West M. Clinical information technologies and inpatient outcomes: a multiple hospital study. Arch Int Med 2009; 169(2):108-114.^,3535 Holden RJ, Brown RL, Alper SJ, Scanlon MC, Patel NR, Karsh B. That's nice, but what does IT do? Evaluating the impact of bar coded medication administration by measuring changes in the process of care. Int J Ind Ergon 2011; 41(4):370-379.^,3838 Or C, Tao D. Usability study of a computer-based self-management system for older adults with chronic diseases. J Med Internet Res 2012; 1(2):1-16., os autores das mesmas consideram que o modelo aplicado é único considerado o contexto físico. Verificou-se também se o decisor é identificado nos modelos de Avaliação de Desempenho desenvolvidos e, como resultado, para nove publicações o decisor, não é reconhecido³¹31 Amarasingham R, Plantinga L, Diener-West M. Clinical information technologies and inpatient outcomes: a multiple hospital study. Arch Int Med 2009; 169(2):108-114.^,3434 Kazandjian V, Lipitz-Snyderman A. HIT or miss: the application of health care information technology to managing uncertainty in clinical decision making. J Eval Clin Pract 2011; 17(6):1108-1113.

35 Holden RJ, Brown RL, Alper SJ, Scanlon MC, Patel NR, Karsh B. That's nice, but what does IT do? Evaluating the impact of bar coded medication administration by measuring changes in the process of care. Int J Ind Ergon 2011; 41(4):370-379.^-3636 Hah H, Bharadwaj A. A multi-level analysis of the impact of health information technology on hospital performance. Proceedings of the International Conference on Information Systems, 2012.^,3939 Verbeke F, Karara G, Nyssen M. Evaluating the impact of ICT-tools on health care delivery in sub-Saharan hospitals. Stud Health Technol Inform 2013; 192:520-523.

40 Bardhan IR, Thouin MF. Health information technology and its impact on the quality and cost of healthcare delivery. Decision Support Systems 2013; 55(2):438-449.^-4141 Bisio I, Lavagetto F, Marchese M, Sciarrone A. A smartphone-centric platform for remote health monitoring of heart failure. International Journal of Communication Systems 2015; 28(11):1753-1771.^,4343 Jian W, Lu M, Han W, Hu M. Introducing diagnosis-related groups: is the information system ready? Int J health plann. Manage.2016; 31(1):58-68.^,4444 Rejeb O, Pilet C, Hamana S, Xie X, Durand T, Aloui S, Doly A, Biron P, Perrier L, Augusto V. Performance and cost evaluation of health information systems using micro-costing and discrete-event simulation. Health Care Manag Sci 2017; 21(2):204-223.. Mesmo que de alguma forma reconhecidos, os decisores nos estudos³³33 Pennathur PR, Cao D, Bisantz AM, Lin L, Fairbanks RJ, Wears RL, Perry SJ, Guarrera TK, Brown JL, Sui Z. Emergency department patient-tracking system evaluation. Int Ind Ergon 2011; 41(4):360-369.^,3737 Kim MS, Shapiro JS, Genes N, Aguilar MV, Mohrer D, Baumlin K, Belden JL. A pilot study on usability analysis of emergency department information system by nurses. Appl Clin Inform 2012; 3(1):135-153. são apenas mencionados durante o estudo. As três publicações restantes²⁰20 Thompson T, Brailer D. The Decade of Health Information Technology: Delivering Consumer-centric and Information-rich Health Care - Framework for Strategic Action. Washington: Department of Health & Human Services; 2004^,3030 Edwards PJ, Moloney KP, Jacko JA, Sainfort F. Evaluating usability of a commercial electronic health record: A case study. Int J Hum Comput Studies 2008; 66(10):718-728.^,3333 Pennathur PR, Cao D, Bisantz AM, Lin L, Fairbanks RJ, Wears RL, Perry SJ, Guarrera TK, Brown JL, Sui Z. Emergency department patient-tracking system evaluation. Int Ind Ergon 2011; 41(4):360-369. contam com a participação do decisor no modelo.

Na análise da lente 3, buscou-se intensificar a investigação sobre a participação do decisor nas publicações, identificando a existência de influência do decisor na construção dos modelos de avaliação. No caso, se no desenvolvimento dos modelos são levados em consideração os objetivos, critérios e valores dos decisores, buscando conhecer se durante o processo houve o aumento de conhecimento do problema no decisor. Dentre o Portfólio selecionado, em nenhuma publicação, o modelo está integralmente alicerçado nos objetivos, valores e critérios do decisor, e apenas em dois estudos²⁹29 Bilsel RU, Büyüközkan G, Ruan, D. A fuzzy preference-ranking model for a quality evaluation of hospital web sites. International Journal of Intelligent Systems 2006; 21(11):1181-1197.^,3030 Edwards PJ, Moloney KP, Jacko JA, Sainfort F. Evaluating usability of a commercial electronic health record: A case study. Int J Hum Comput Studies 2008; 66(10):718-728. esse processo está parcialmente alicerçado pela influência do mesmo.

A lente 4 tem como objetivo identificar os estudos do Portfólio Bibliográfico em que é informado o tipo de escalas de mensuração utilizada, e se as propriedades das mesmas respeitam a Teoria da Mensuração⁴⁵45 Roberts FS. Measurement theory. Boston: Addison Wesley; 1979.. Em doze publicações³⁰30 Edwards PJ, Moloney KP, Jacko JA, Sainfort F. Evaluating usability of a commercial electronic health record: A case study. Int J Hum Comput Studies 2008; 66(10):718-728.^,3131 Amarasingham R, Plantinga L, Diener-West M. Clinical information technologies and inpatient outcomes: a multiple hospital study. Arch Int Med 2009; 169(2):108-114.^,3333 Pennathur PR, Cao D, Bisantz AM, Lin L, Fairbanks RJ, Wears RL, Perry SJ, Guarrera TK, Brown JL, Sui Z. Emergency department patient-tracking system evaluation. Int Ind Ergon 2011; 41(4):360-369.

34 Kazandjian V, Lipitz-Snyderman A. HIT or miss: the application of health care information technology to managing uncertainty in clinical decision making. J Eval Clin Pract 2011; 17(6):1108-1113.

35 Holden RJ, Brown RL, Alper SJ, Scanlon MC, Patel NR, Karsh B. That's nice, but what does IT do? Evaluating the impact of bar coded medication administration by measuring changes in the process of care. Int J Ind Ergon 2011; 41(4):370-379.

36 Hah H, Bharadwaj A. A multi-level analysis of the impact of health information technology on hospital performance. Proceedings of the International Conference on Information Systems, 2012.

37 Kim MS, Shapiro JS, Genes N, Aguilar MV, Mohrer D, Baumlin K, Belden JL. A pilot study on usability analysis of emergency department information system by nurses. Appl Clin Inform 2012; 3(1):135-153.

38 Or C, Tao D. Usability study of a computer-based self-management system for older adults with chronic diseases. J Med Internet Res 2012; 1(2):1-16.

39 Verbeke F, Karara G, Nyssen M. Evaluating the impact of ICT-tools on health care delivery in sub-Saharan hospitals. Stud Health Technol Inform 2013; 192:520-523.

40 Bardhan IR, Thouin MF. Health information technology and its impact on the quality and cost of healthcare delivery. Decision Support Systems 2013; 55(2):438-449.^-4141 Bisio I, Lavagetto F, Marchese M, Sciarrone A. A smartphone-centric platform for remote health monitoring of heart failure. International Journal of Communication Systems 2015; 28(11):1753-1771.^,4343 Jian W, Lu M, Han W, Hu M. Introducing diagnosis-related groups: is the information system ready? Int J health plann. Manage.2016; 31(1):58-68. as escalas utilizadas são ordinais As duas publicações²⁹29 Bilsel RU, Büyüközkan G, Ruan, D. A fuzzy preference-ranking model for a quality evaluation of hospital web sites. International Journal of Intelligent Systems 2006; 21(11):1181-1197.^,4444 Rejeb O, Pilet C, Hamana S, Xie X, Durand T, Aloui S, Doly A, Biron P, Perrier L, Augusto V. Performance and cost evaluation of health information systems using micro-costing and discrete-event simulation. Health Care Manag Sci 2017; 21(2):204-223. restantes utilizam-se de escalas cardinais, sendo apenas a pesquisa²⁹29 Bilsel RU, Büyüközkan G, Ruan, D. A fuzzy preference-ranking model for a quality evaluation of hospital web sites. International Journal of Intelligent Systems 2006; 21(11):1181-1197. apresenta conformidade com a Teoria da Mensuração, contemplando todos critérios de mensurabilidade operacionalidade, homogeneidade, inteligibilidade e distinção.

A lente 5 refere-se à integração dos critérios do modelo de avaliação. Em onze publicações³⁰30 Edwards PJ, Moloney KP, Jacko JA, Sainfort F. Evaluating usability of a commercial electronic health record: A case study. Int J Hum Comput Studies 2008; 66(10):718-728.^,3131 Amarasingham R, Plantinga L, Diener-West M. Clinical information technologies and inpatient outcomes: a multiple hospital study. Arch Int Med 2009; 169(2):108-114.^,3333 Pennathur PR, Cao D, Bisantz AM, Lin L, Fairbanks RJ, Wears RL, Perry SJ, Guarrera TK, Brown JL, Sui Z. Emergency department patient-tracking system evaluation. Int Ind Ergon 2011; 41(4):360-369.

34 Kazandjian V, Lipitz-Snyderman A. HIT or miss: the application of health care information technology to managing uncertainty in clinical decision making. J Eval Clin Pract 2011; 17(6):1108-1113.^-3535 Holden RJ, Brown RL, Alper SJ, Scanlon MC, Patel NR, Karsh B. That's nice, but what does IT do? Evaluating the impact of bar coded medication administration by measuring changes in the process of care. Int J Ind Ergon 2011; 41(4):370-379.^,3737 Kim MS, Shapiro JS, Genes N, Aguilar MV, Mohrer D, Baumlin K, Belden JL. A pilot study on usability analysis of emergency department information system by nurses. Appl Clin Inform 2012; 3(1):135-153.^,3939 Verbeke F, Karara G, Nyssen M. Evaluating the impact of ICT-tools on health care delivery in sub-Saharan hospitals. Stud Health Technol Inform 2013; 192:520-523.

40 Bardhan IR, Thouin MF. Health information technology and its impact on the quality and cost of healthcare delivery. Decision Support Systems 2013; 55(2):438-449.^-4141 Bisio I, Lavagetto F, Marchese M, Sciarrone A. A smartphone-centric platform for remote health monitoring of heart failure. International Journal of Communication Systems 2015; 28(11):1753-1771.^,4343 Jian W, Lu M, Han W, Hu M. Introducing diagnosis-related groups: is the information system ready? Int J health plann. Manage.2016; 31(1):58-68.^,4444 Rejeb O, Pilet C, Hamana S, Xie X, Durand T, Aloui S, Doly A, Biron P, Perrier L, Augusto V. Performance and cost evaluation of health information systems using micro-costing and discrete-event simulation. Health Care Manag Sci 2017; 21(2):204-223. não são integrados os resultados do desempenho das tecnologias no ambiente da saúde, conforme o modelo de avaliação adotado. Ocorre a integração de critérios apenas nos estudos²⁹29 Bilsel RU, Büyüközkan G, Ruan, D. A fuzzy preference-ranking model for a quality evaluation of hospital web sites. International Journal of Intelligent Systems 2006; 21(11):1181-1197.^,3636 Hah H, Bharadwaj A. A multi-level analysis of the impact of health information technology on hospital performance. Proceedings of the International Conference on Information Systems, 2012.^,3838 Or C, Tao D. Usability study of a computer-based self-management system for older adults with chronic diseases. J Med Internet Res 2012; 1(2):1-16.. Em relação à forma em que é realizada a integração do modelo, em ambos os estudos³⁶36 Hah H, Bharadwaj A. A multi-level analysis of the impact of health information technology on hospital performance. Proceedings of the International Conference on Information Systems, 2012.^,3838 Or C, Tao D. Usability study of a computer-based self-management system for older adults with chronic diseases. J Med Internet Res 2012; 1(2):1-16. a integração foi feita de forma ilustrativa, apresentando os indicadores em escalas ordinais, dispostos em gráficos. Já no estudo²⁹29 Bilsel RU, Büyüközkan G, Ruan, D. A fuzzy preference-ranking model for a quality evaluation of hospital web sites. International Journal of Intelligent Systems 2006; 21(11):1181-1197. verificou-se uma integração cardinal, porém sem um nível de referência que permitisse um melhor conhecimento do nível de desempenho da tecnologia avaliada.

A última lente do Proknow-C diz respeito ao processo de gestão do desempenho. Primeiramente, foi analisado se o estudo permitia realizar o diagnóstico dos pontos fortes e fracos da Tecnologia da Informação na saúde na situação atual (status quo) de desempenho. Das 14 publicações submetidas à análise sistêmica, quatro estudos não realizam o diagnóstico da situação atual²⁹29 Bilsel RU, Büyüközkan G, Ruan, D. A fuzzy preference-ranking model for a quality evaluation of hospital web sites. International Journal of Intelligent Systems 2006; 21(11):1181-1197.^,3434 Kazandjian V, Lipitz-Snyderman A. HIT or miss: the application of health care information technology to managing uncertainty in clinical decision making. J Eval Clin Pract 2011; 17(6):1108-1113.^,3535 Holden RJ, Brown RL, Alper SJ, Scanlon MC, Patel NR, Karsh B. That's nice, but what does IT do? Evaluating the impact of bar coded medication administration by measuring changes in the process of care. Int J Ind Ergon 2011; 41(4):370-379.^,3737 Kim MS, Shapiro JS, Genes N, Aguilar MV, Mohrer D, Baumlin K, Belden JL. A pilot study on usability analysis of emergency department information system by nurses. Appl Clin Inform 2012; 3(1):135-153.. Dentre os estudos que permitem o conhecimento dos pontos fortes e fracos do desempenho obtido na avaliação, nove publicações³⁰30 Edwards PJ, Moloney KP, Jacko JA, Sainfort F. Evaluating usability of a commercial electronic health record: A case study. Int J Hum Comput Studies 2008; 66(10):718-728.^,3131 Amarasingham R, Plantinga L, Diener-West M. Clinical information technologies and inpatient outcomes: a multiple hospital study. Arch Int Med 2009; 169(2):108-114.^,3333 Pennathur PR, Cao D, Bisantz AM, Lin L, Fairbanks RJ, Wears RL, Perry SJ, Guarrera TK, Brown JL, Sui Z. Emergency department patient-tracking system evaluation. Int Ind Ergon 2011; 41(4):360-369.^,3636 Hah H, Bharadwaj A. A multi-level analysis of the impact of health information technology on hospital performance. Proceedings of the International Conference on Information Systems, 2012.^,3838 Or C, Tao D. Usability study of a computer-based self-management system for older adults with chronic diseases. J Med Internet Res 2012; 1(2):1-16.^,4040 Bardhan IR, Thouin MF. Health information technology and its impact on the quality and cost of healthcare delivery. Decision Support Systems 2013; 55(2):438-449.^,4141 Bisio I, Lavagetto F, Marchese M, Sciarrone A. A smartphone-centric platform for remote health monitoring of heart failure. International Journal of Communication Systems 2015; 28(11):1753-1771.^,4343 Jian W, Lu M, Han W, Hu M. Introducing diagnosis-related groups: is the information system ready? Int J health plann. Manage.2016; 31(1):58-68.^,4444 Rejeb O, Pilet C, Hamana S, Xie X, Durand T, Aloui S, Doly A, Biron P, Perrier L, Augusto V. Performance and cost evaluation of health information systems using micro-costing and discrete-event simulation. Health Care Manag Sci 2017; 21(2):204-223. realizam diagnóstico descritivos e uma publicação³⁹39 Verbeke F, Karara G, Nyssen M. Evaluating the impact of ICT-tools on health care delivery in sub-Saharan hospitals. Stud Health Technol Inform 2013; 192:520-523. realiza diagnóstico numérico. Para completar a análise da sexta lente, investigou-se se as publicações do Portfólio propõem ações com a finalidade de melhorias ao desempenho das tecnologias avaliadas. A maior parte dos estudos não recomenda ações de aperfeiçoamento²⁹29 Bilsel RU, Büyüközkan G, Ruan, D. A fuzzy preference-ranking model for a quality evaluation of hospital web sites. International Journal of Intelligent Systems 2006; 21(11):1181-1197.^,3333 Pennathur PR, Cao D, Bisantz AM, Lin L, Fairbanks RJ, Wears RL, Perry SJ, Guarrera TK, Brown JL, Sui Z. Emergency department patient-tracking system evaluation. Int Ind Ergon 2011; 41(4):360-369.

34 Kazandjian V, Lipitz-Snyderman A. HIT or miss: the application of health care information technology to managing uncertainty in clinical decision making. J Eval Clin Pract 2011; 17(6):1108-1113.

35 Holden RJ, Brown RL, Alper SJ, Scanlon MC, Patel NR, Karsh B. That's nice, but what does IT do? Evaluating the impact of bar coded medication administration by measuring changes in the process of care. Int J Ind Ergon 2011; 41(4):370-379.

36 Hah H, Bharadwaj A. A multi-level analysis of the impact of health information technology on hospital performance. Proceedings of the International Conference on Information Systems, 2012.

37 Kim MS, Shapiro JS, Genes N, Aguilar MV, Mohrer D, Baumlin K, Belden JL. A pilot study on usability analysis of emergency department information system by nurses. Appl Clin Inform 2012; 3(1):135-153.

38 Or C, Tao D. Usability study of a computer-based self-management system for older adults with chronic diseases. J Med Internet Res 2012; 1(2):1-16.

39 Verbeke F, Karara G, Nyssen M. Evaluating the impact of ICT-tools on health care delivery in sub-Saharan hospitals. Stud Health Technol Inform 2013; 192:520-523.

40 Bardhan IR, Thouin MF. Health information technology and its impact on the quality and cost of healthcare delivery. Decision Support Systems 2013; 55(2):438-449.^-4141 Bisio I, Lavagetto F, Marchese M, Sciarrone A. A smartphone-centric platform for remote health monitoring of heart failure. International Journal of Communication Systems 2015; 28(11):1753-1771.^,4444 Rejeb O, Pilet C, Hamana S, Xie X, Durand T, Aloui S, Doly A, Biron P, Perrier L, Augusto V. Performance and cost evaluation of health information systems using micro-costing and discrete-event simulation. Health Care Manag Sci 2017; 21(2):204-223.. Apenas os estudos³⁰30 Edwards PJ, Moloney KP, Jacko JA, Sainfort F. Evaluating usability of a commercial electronic health record: A case study. Int J Hum Comput Studies 2008; 66(10):718-728.^,3131 Amarasingham R, Plantinga L, Diener-West M. Clinical information technologies and inpatient outcomes: a multiple hospital study. Arch Int Med 2009; 169(2):108-114.^,4343 Jian W, Lu M, Han W, Hu M. Introducing diagnosis-related groups: is the information system ready? Int J health plann. Manage.2016; 31(1):58-68. apresentam ações de aperfeiçoamento, porém sem um processo por trás das ações, de forma que também não haja indicação de uma hierarquia entre as ações necessárias melhoria do desempenho.

Lacunas e oportunidades de pesquisa

A análise realizada referente às 6 lentes do Proknow-C permitiu, a partir de um fragmento da literatura sobre a Avaliação de Desempenho da Tecnologia da Informação na saúde, destacar oportunidades para futuras pesquisas. O Quadro 1 apresenta as oportunidades de pesquisa referentes ao tema proposto para cada lente do Proknow-C, segundo a visão de mundo adotada neste trabalho, a visão da Avaliação de Desempenho.

As oportunidades descritas referem-se às lacunas de pesquisa percebidas nas publicações que compõem o Portfólio Bibliográfico, considerando Avaliação de Desempenho de Tecnologias da Informação na saúde. Os estudos até o momento sobre o tema carecem de modelos construídos a partir do contexto físico e seus decisores em abordagem que fomente o processo de apoio à decisão de início ao fim de todas as etapas de construção do modelo de avaliação de desempenho, como também da definição de critérios e indicadores que permitem identificar o desempenho atual das tecnologias de forma integral, viabilizando ações de gestão para o aperfeiçoamento.

As lacunas observadas corroboram a ideia de que a Tecnologia da Informação na saúde carece da análise do uso das tecnologias e na obtenção da totalidade de benefícios que o emprego das tecnologias proporciona. A falta de estudos, ou a ainda baixa produção científica sobre o tema sob a visão de mundo da Avaliação de Desempenho que abordam as nuances do construto da Avaliação de Desempenho de forma integral, apontam descuido na gestão da saúde com um aspecto fundamental ao funcionamento das organizações de saúde, tanto na esfera administrativa, como no âmbito médico.

Considerações finais

Este estudo teve como objetivo analisar as publicações científicas referentes à Avaliação de Desempenho da Tecnologia da Informação na saúde, a fim de contribuir na geração de conhecimento sobre o tema. Na perspectiva de identificar o campo científico dessa temática, detalhando as lacunas e a oportunidade de pesquisa para a área, adotou-se como instrumento de intervenção, o Knowledge Development Process – Constructivist (Proknow-C).

A revisão sistemática com o emprego do Proknow-C se destaca por ser um processo estruturado a partir da visão de mundo adotada pelo pesquisador. Com isso, sob o ponto de vista da Avaliação de Desempenho, o presente estudo se propôs a contribuir descrevendo uma área do conhecimento ainda recente e que carece de uma maior produção. A partir do instrumento de intervenção utilizado, foi selecionado um Portfólio Bibliográfico representativo ao tema, composto por 16 publicações.

Como etapa de análise, investigou-se o estado atual da produção científica sobre a temática na identificação de periódicos, autores e publicações de destaque na área de estudo. Além disso, determinou-se lacunas do conhecimento presentes na área que indicam a negligência das características dos modelos de Avaliação de Desempenho na análise do desempenho das tecnologias empregadas na área da saúde.

Outra contribuição refere-se à disseminação do método Proknow-C sobre uma temática ainda pouco explorada na perspectiva da Avaliação de Desempenho. Já como limitações destaca-se a escolha das bases de dados para consulta na seleção do Portfólio Bibliográfico, que ficou limitada a seis, embora todas elas representativas ao campo do conhecimento estudado. Também se destaca o aspecto construtivista inerente ao método Proknow-C.

Por fim, como sugestão para futuras pesquisas indica-se a ampliação da consulta em outras bases e o desenvolvimento de estudos que preencham as lacunas de conhecimento encontradas.

Referências

Datas de Publicação

Histórico