Validación psicométrica de instrumento para evaluar contexto de mejora de calidad y acreditación de hospitales

Zapata-Vanegas, Mario; Saturno-Hernández, Pedro J

doi:10.21149/9127

Resumen:

Objetivo:

Adaptar y validar instrumento para medir elementos del contexto que pueden favorecer iniciativas de mejoramiento de la calidad y acreditación de hospitales.

Material y métodos:

Se adaptó y validó modelo y cuestionario Model for Understanding Success in Quality (MUSIQ) para aplicación en países hispanoparlantes y uso específico para proyectos de acreditación de hospitales. Se realizó un análisis factorial confirmatorio (test de Bartlett e índice Kaiser-Meyer-Olkim) del constructo teórico de sus dimensiones y se comprueba consistencia interna en estudio realizado en muestra de 54 hospitales de mediana y alta complejidad en Colombia.

Resultados:

Instrumento con cuatro dimensiones de contexto (ambiente, macrosistema, microsistema, equipo de calidad), compuestas por 23 elementos medidos a través de 35 variables. El análisis factorial mostró significancia estadística y adecuación de las dimensiones que tuvieron también buena consistencia interna.

Conclusión:

Instrumento adaptado con utilidad para monitorizar elementos del contexto que pueden favorecer iniciativas de mejora y acreditación en hospitales.

Palabras clave:
estudios de validación; mejoramiento de la calidad; acreditación de hospitales

Abstract:

Objective:

To adapt and validate an instrument to measure the context factors which favor quality improvement initiatives and accreditation of hospitals.

Materials and methods:

The model and questionnaire Model for Understanding Success in Quality (MUSIQ) is adapted and validated for application in Spanish-speaking countries and its specific use in hospital accreditation projects. The theoretical construct of its dimensions is assessed by confirmatory factor analysis (Bartlett test and Kaiser-Meyer-Olkim index) and internal consistency (Cronbach’s α), in a study carried out in a sample of 54 hospitals of medium and high complexity in Colombia.

Results:

Instrument with four dimensions of context (environment, macrosystem, microsystem, quality team), composed of 23 elements that are measured through 35 variables. Factor analysis showed statistical significance and adequacy of the dimensions, which had also good internal consistency.

Conclusion:

Adapted instrument with usefulness for measurement of context elements that can promote initiatives of improvement and accreditation in hospitals.

Keywords:
validation studies; quality improvement; hospital accreditation

Introducción

Los expertos en el tema han debatido por décadas cual sería la mejor definición de calidad con una mejor aplicación práctica para el entorno en el cual se use.¹1. Palmer RH. Considerations in defining quality of health care. En: Palmer RH, Donabedian A, Povar GJ, (eds.). Striving for quality in health care: an inquiry into policy and practice. Ann Arbor: Health Administration Press, 1991;1-53.^,²2. Robledo H, Meljem J, Fajardo G, Olvera D. De la idea al concepto en la calidad en los servicios de salud. Rev Conamed. 2012;17(4):172-5.^,³3. Saturno-Hernández PJ. Capítulo 1. Marco conceptual para la gestión de la calidad. En: Saturno-Hernández PJ. Métodos y herramientas para la realización de ciclos de mejora de la calidad en servicios de salud. Cuernavaca, México: Instituto Nacional de Salud Pública, 2015;13-38. Estas definiciones y su alcance son necesarias porque guían, dando validez, y facilitan la implementación de métodos de evaluación, que a su vez permiten la medición del estado y avance de procesos estructurales y organizativos de hospitales en busca del mejoramiento de la calidad (MC). A la vez, se encuentra la complejidad de una organización hospitalaria,⁴4. Cortés-Martinez A. La economía de la salud en el hospital. Rev Gerenc Polit Salud. 2010;9(19):138-49. cuyos componentes e interrelaciones deben comprenderse para lograr definir “qué” debe medirse, para proponer luego “cómo” hacer esta medición y a través de qué instrumentos fiables y válidos.⁵5. Boaden R, Harvey G, Moxham C, Proudlove N. Quality Improvement: theory and practice in healthcare. Coventry, UK: NHS Institute for Innovation and Improvement, 2008.^,⁶6. Walshe K. Understanding what Works and why in quality improvement: the need for theory driven evaluation, Int J Qual Health Care. 2007;19(2):57-9. https://doi.org/10.1093/intqhc/mzm004
https://doi.org/10.1093/intqhc/mzm004...

En la última década, varios autores⁷7. Øvretveit J. Understanding the conditions for improvement: research to discover which context influences affect improvement success. BMJ Qual Saf. 2011;20(supl 1):i18-23. https://doi.org/10.1136/bmjqs.2010.045955
https://doi.org/10.1136/bmjqs.2010.04595... ^,⁸8. Kaplan HC, Provost LP, Froehle CM, Margolis PA. The Model for Understanding Success en quality (MUSIQ): building a theory of context in healthcare quality improvement. BMJ Qual Saf . 2012;21:13-20. https://doi.org/10.1136/bmjqs-2011-000010
https://doi.org/10.1136/bmjqs-2011-00001... ^,⁹9. Kaplan HC, Froehle CM, Cassedy A, Provost LP, Margolis P. An exploratory analysis of the Model for Understanding Success in Quality. Health Care Manage Rev. 2013;38(4):325-38. https://doi.org/10.1097/HMR.0b013e3182689772
https://doi.org/10.1097/HMR.0b013e318268... coinciden en la necesidad de realizar investigaciones que permitan profundizar y ganar en evidencia para entender y definir el rol del contexto y de los elementos que lo conforman en el mejoramiento de la calidad en servicios de salud. En esta línea Kaplan, Provost, Froehle y Margolis propusieron tras una amplia revisión sistemática el modelo MUSIQ (The Model for Understanding Success in Quality),⁸8. Kaplan HC, Provost LP, Froehle CM, Margolis PA. The Model for Understanding Success en quality (MUSIQ): building a theory of context in healthcare quality improvement. BMJ Qual Saf . 2012;21:13-20. https://doi.org/10.1136/bmjqs-2011-000010
https://doi.org/10.1136/bmjqs-2011-00001... el cual identifica en su versión original elementos clave del contexto que pueden favorecer el éxito en la implementación de proyectos que busquen mejorar la calidad, organizándolos de acuerdo con el nivel en el cual se considera que actúan: ambiente, macrosistema y microsistema. De esta forma, el contexto, a la luz del modelo propuesto, incluye características del ambiente externo, de la organización en su nivel macro y de la operación de sus servicios en su nivel micro en donde se provee la atención directa a pacientes y usuarios; el modelo incluye igualmente la interrelación con el equipo humano gestor para la mejora de la calidad.

MUSIQ⁸8. Kaplan HC, Provost LP, Froehle CM, Margolis PA. The Model for Understanding Success en quality (MUSIQ): building a theory of context in healthcare quality improvement. BMJ Qual Saf . 2012;21:13-20. https://doi.org/10.1136/bmjqs-2011-000010
https://doi.org/10.1136/bmjqs-2011-00001... se complementó con la elaboración de un instrumento de medición para los elementos del contexto identificados, validándose el constructo teórico mediante la determinación de la interrelación entre sus variables componentes.⁹9. Kaplan HC, Froehle CM, Cassedy A, Provost LP, Margolis P. An exploratory analysis of the Model for Understanding Success in Quality. Health Care Manage Rev. 2013;38(4):325-38. https://doi.org/10.1097/HMR.0b013e3182689772
https://doi.org/10.1097/HMR.0b013e318268... Este instrumento se propuso originalmente para la identificación de elementos y factores que pueden influenciar el éxito en la implementación de proyectos de mejoramiento de la calidad en general; en este caso, se ha considerado de interés explorar su utilidad para el caso particular de la identificación y nivel de desarrollo de elementos y factores del contexto que pueden facilitar el logro de la acreditación de hospitales,⁵5. Boaden R, Harvey G, Moxham C, Proudlove N. Quality Improvement: theory and practice in healthcare. Coventry, UK: NHS Institute for Innovation and Improvement, 2008.^,¹⁰10. Viswanathan HN, Salmon JW. Accrediting Organizations and Quality Improvement. Am J Manag Care. 2000;6(10):1117-29. como iniciativa específica considerada de relevancia en el ámbito de la gestión de la calidad en un número creciente de sistemas de salud.¹¹11. Kirsten B, Vist G, Bukholm G, Barach P, Tjomsland O. A systematic review of hospital accreditation: the challenges of measuring complex intervention effects. BMC Health Services Research. 2015;15:280. https://doi.org/10.1186/s12913-015-0933-x
https://doi.org/10.1186/s12913-015-0933-...

En consecuencia, el objetivo del presente estudio es la adaptación cultural y comprobación de la validez psicométrica del modelo e instrumento MUSIQ en este entorno, con un enfoque específico adicional para el caso de los procesos de acreditación.

Material y métodos

Se utilizó como referencia el modelo y cuestionario MUSIQ,⁸8. Kaplan HC, Provost LP, Froehle CM, Margolis PA. The Model for Understanding Success en quality (MUSIQ): building a theory of context in healthcare quality improvement. BMJ Qual Saf . 2012;21:13-20. https://doi.org/10.1136/bmjqs-2011-000010
https://doi.org/10.1136/bmjqs-2011-00001... ^,⁹9. Kaplan HC, Froehle CM, Cassedy A, Provost LP, Margolis P. An exploratory analysis of the Model for Understanding Success in Quality. Health Care Manage Rev. 2013;38(4):325-38. https://doi.org/10.1097/HMR.0b013e3182689772
https://doi.org/10.1097/HMR.0b013e318268... el cual es producto de una amplia revisión sistemática, con intervención adicional de expertos cuya opinión fue recopilada con técnicas Delphi y de Grupo Nominal¹²12. Van de Ven AH, Delbecq AL. The nominal group as a research instrument for exploratory health studies. Am J Public Health. 1972;62(3):337-42. https://doi.org/10.2105/AJPH.62.3.337
https://doi.org/10.2105/AJPH.62.3.337... y posterior comprobación empírica de sus cualidades psicométricas,⁹9. Kaplan HC, Froehle CM, Cassedy A, Provost LP, Margolis P. An exploratory analysis of the Model for Understanding Success in Quality. Health Care Manage Rev. 2013;38(4):325-38. https://doi.org/10.1097/HMR.0b013e3182689772
https://doi.org/10.1097/HMR.0b013e318268... antecedentes que le dan fuerte validez facial y de contenido. Se realizó una adaptación idiomática y transcultural¹³13. Callegaro J, Figueiredo B, Ruschel D. Cross-cultural adaptation and validation of psychological instruments: Some considerations. Paidéia. 2012;22:423-32. https://doi.org/10.1590/S0103-863X2012000300014
https://doi.org/10.1590/S0103-863X201200... y se complementaron modelo y herramienta con elementos adicionales, proponiendo un nuevo uso específico para el instrumento en relación con el estado de avance y desarrollo de elementos que puedan facilitar el logro de la acreditación de hospitales. La validación está soportada en un estudio realizado entre julio de 2014 y marzo de 2016, periodo utilizado para la recolección, procesamiento y edición de información de una muestra de 54 hospitales de mediana y alta complejidad en Colombia,¹⁴14. Zapata-Vanegas MA. Factores predictivos del resultado para el mejoramiento de la calidad en salud (tesis). Murcia, España: Universidad de Murcia, 2016 [citado septiembre 2017]. Disponible en: http://hdl.handle.net/10803/396357
http://hdl.handle.net/10803/396357... de los cuales se obtuvo aceptación por escrito para la participación en el estudio; el protocolo para este estudio fue evaluado y aprobado por el Comité Operativo de Investigaciones de la Facultad de Medicina de la Universidad CES en Colombia en el mes de julio de 2014, y acorde con la normatividad en este país,¹⁵15. República de Colombia, Ministerio de Salud. Resolución 8430 de 1993, “Por la cual se establecen las normas científicas, técnicas y administrativas para la investigación en salud”. Bogotá: República de Colombia, Ministerio de Salud, 1993 [citado septiembre 2017]. Disponible en: https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/DE/DIJ/RESOLUCION-8430-DE-1993.PDF
https://www.minsalud.gov.co/sites/rid/Li... se clasificó como “investigación sin riesgo”.

Adaptación cultural y validación del instrumento

Previa autorización de autor principal Heather Kaplan, se realizó adaptación transcultural del instrumento MUSIQ⁹9. Kaplan HC, Froehle CM, Cassedy A, Provost LP, Margolis P. An exploratory analysis of the Model for Understanding Success in Quality. Health Care Manage Rev. 2013;38(4):325-38. https://doi.org/10.1097/HMR.0b013e3182689772
https://doi.org/10.1097/HMR.0b013e318268... para su aplicación en países hispanoparlantes, siguiendo la metodología propuesta en la literatura internacional.¹⁶16. Escobar M. Adaptación transcultural de instrumentos de medida relacionados con la salud. Enferm Clin. 2004;14:102-6. https://doi.org/10.1016/S1130-8621(04)73863-2
https://doi.org/10.1016/S1130-8621(04)73... ^,¹⁷17. Scheneider A, Szecsenyi J, Barie S, Joest K, Rosemann T. Validation and cultural adaptation of a German version of Physician’ Reactions to Uncertainty scales. BMC Health Serv Res. 2007;7:81. https://doi.org/10.1186/1472-6963-7-81
https://doi.org/10.1186/1472-6963-7-81... Se realizaron dos traducciones independientes, versiones que fueron comparadas para evaluar semántica, manejo del idioma (expresiones), aspectos conceptuales técnicos y posibles diferencias contextuales, lo cual produjo versión única del instrumento que conserva consistencia con la versión original para no perder los esfuerzos de validez de contenido ya obtenidos. La nueva versión se somete a revisión individual por tres expertos (gerente de hospital acreditado, subdirector médico de hospital universitario y docente investigador universitario), quienes evalúan instrucciones, estructura del instrumento, distribución, extensión, suficiencia explicativa y claridad de las expresiones. Posteriormente, se realizó evaluación y ajuste adicional teniendo en cuenta las anotaciones de los expertos y se procede al ajuste técnico que enfatiza el enfoque para evaluar avances del proceso de acreditación en hospitales. En este proceso, algunos de los elementos se descartan, se añaden otros, en otros casos se modifican para enfocarlos a proyectos de acreditación en lugar de proyectos de mejora en general, y algunos, en lugar de ser medidos con un solo ítem, se miden con varios (escalas), según se explica a continuación.

Ajustes de contenido técnico de la encuesta

El instrumento original mide cuatro dimensiones de contexto (ambiente externo, macrosistema, microsistema, y área o equipo de calidad), conformadas por 24 elementos que se caracterizan a través de 35 ítems dirigidos a evaluar el éxito potencial en la implementación de proyectos específicos que busquen el mejoramiento de la calidad.⁸8. Kaplan HC, Provost LP, Froehle CM, Margolis PA. The Model for Understanding Success en quality (MUSIQ): building a theory of context in healthcare quality improvement. BMJ Qual Saf . 2012;21:13-20. https://doi.org/10.1136/bmjqs-2011-000010
https://doi.org/10.1136/bmjqs-2011-00001... ^,⁹9. Kaplan HC, Froehle CM, Cassedy A, Provost LP, Margolis P. An exploratory analysis of the Model for Understanding Success in Quality. Health Care Manage Rev. 2013;38(4):325-38. https://doi.org/10.1097/HMR.0b013e3182689772
https://doi.org/10.1097/HMR.0b013e318268... Tres de los 24 elementos de contexto se miden con varios ítems (escalas) y el resto con ítems individuales.

En el instrumento adaptado se modifica la escala proceso de toma de decisiones del equipo del proyecto de mejoramiento¹⁸18. Shortell SM, Levin DZ, O`Brien JL, Hughes EF. Assessing the evidence on CQI: Is the glass half empty or half full? Hosp Health Serv Adm. 1995;40(1):4-24. y se eliminaron cuatro elementos (uno de ellos, “normas del equipo de mejora” medido con una escala de cuatro ítems¹⁹19. Lemieux-Charles L, Murray M, Bakeer GR, Barnsley J, Tasa K, Ibrahim SA. The effects of quality improvement practices on team effectiveness; A mediational model. J Organ Behav. 2002;23(5):533-53. https://doi.org/10.1002/job.154
https://doi.org/10.1002/job.154... ), todos ellos referidos a la realización de proyectos de mejora específicos a nivel micro; igualmente se modificó la redacción de dos ítems/elementos de la dimensión Ambiente para referirlos al caso concreto del logro de la acreditación del hospital. Se añaden también tres elementos nuevos que fueron considerados relevantes: “búsqueda de prestigio a través de la acreditación” en la dimensión Ambiente, “estabilidad y condiciones laborales del recurso humano” en la dimensión Macrosistema, e “involucramiento de los médicos en la gestión de calidad del hospital” en la dimensión Microsistema. Por otra parte, se decide medir, con escalas de varios ítems, tres de los elementos medidos con un solo ítem en el instrumento original (“cultura organizacional para la calidad” en el Macrosistema, “cultura de calidad” en el Microsistema, y “liderazgo” en el Microsistema) dada su potencial relevancia y la existencia de escalas previamente validadas.

En todas las escalas utilizadas para caracterizar los respectivos ítems de contexto se realizó adaptación transcultural, validación de contenido y valoración de la consistencia interna en el nuevo escenario de aplicación hispano parlante, una de ellas adoptada del instrumento original²⁰20. RAND Corporation. Improving chronic illness care evaluation. Healthcare Organization survey for Quality Management Director, 1999 [citado septiembre 2016]. Disponible en: https://www.rand.org/content/dam/rand/www/external/health/projects/icice/pdfs/qmd.pdf
https://www.rand.org/content/dam/rand/ww... (prioridad en el desarrollo del talento humano); tres tomadas de instrumentos validados y publicados previamente por otros autores²¹21. Helfrich CD, Li YF, Mohr DC, Meterko M, Sales AE. Assessing an organizational culture instrument base on the Competing Values Framework: Exploratory and confirmatory factor analyses. Implement Sci. 2007;2:13. https://doi.org/10.1186/1748-5908-2-13
https://doi.org/10.1186/1748-5908-2-13... ^,²²22. Strating M, Nieboer A. Norms for creativity and implementation in health care teams: testing the group innovation inventory. Qual Assur Health Care. 2010;22(4):275-82. https://doi.org/10.1093/intqhc/mzq027
https://doi.org/10.1093/intqhc/mzq027... (“cultura en el Macrosistema”, “cultura en el Microsistema” y “trabajo en equipo”), y una nueva escala que tiene como soporte el estudio publicado por Edmondson²³23. Edmonson A. Psychological safety and learning behavior in work teams. Adm Sci Q. 1999; 44(2):350-83. https://doi.org/10.2307/2666999
https://doi.org/10.2307/2666999... que busca explorar el liderazgo de los equipos de trabajo.

El nuevo instrumento consta, como el original, de 35 ítems para caracterizar cuatro dimensiones de contexto; si bien mide 23 elementos en lugar de 24, enfoca de manera específica elementos y factores para el logro de la acreditación y mide más elementos con escalas en lugar de un solo ítem.²⁴24. Zapata MA, Saturno PJ. Encuesta para la evaluación de elementos y factores del contexto asociados a la mejora de la calidad y acreditación en hospitales [Internet]. Figshare, 2018. https://doi.org/10.6084/m9.figshare.6220373.v1
https://doi.org/10.6084/m9.figshare.6220... La decisión de utilizar un número mayor de escalas se tomó en el proceso de adaptación como vía para lograr mayor solidez y consistencia en los resultados de las respuestas al cuestionario, siguiendo un criterio similar de otros autores que han considerado que “es más útil preguntar por una serie de variables diseñadas para capturar la información del constructo de una característica de interés”.²⁵25. Rickards G, Magee C, Artino A. You can’t fix by analysis what you’ve spoiled by design: developing survey instruments and collecting validity evidence. J Grad Med Educ. 2012;4(4):407-10. https://doi.org/10.4300%2FJGME-D-12-00239.1
https://doi.org/10.4300%2FJGME-D-12-0023...

El cuadro I describe las dimensiones, elementos y número de ítems del instrumento original y las modificaciones introducidas en el proceso de adaptación.

Thumbnail

Cuadro I
Ajustes de contenido en la adaptación y validación del instrumento MUSIQ, para la evaluación del contexto de mejora de la calidad y acreditación en hospitales de mediana y alta complejidad. Colombia, 2016

Escala de valores para las respuestas

Con respecto a la medición de los ítems o variables utilizada en el instrumento adaptado, se diseña una escala de valoración de cinco opciones, más acorde con lo que es habitual en este entorno cultural en comparación con los siete del instrumento original, manteniendo el lineamiento para su construcción realizado por su autor Rensis Likert.²⁶26. Likert R. A Technique for the Measurement of Attitudes. Nueva York: Archives of Psichology, 1932. Con respecto a la redacción y presentación de alternativas de respuesta, el nuevo instrumento invierte el orden e inicia desde una respuesta negativa (totalmente en desacuerdo) a una respuesta positiva (totalmente de acuerdo) en busca de mejorar fiabilidad en las respuestas. En el caso de elementos medidos con varios ítems (escalas), al igual que para el instrumento original se considera como resultado el promedio del valor de los ítems evaluados que se incluyen en la escala.

Prueba piloto y de desempeño del Instrumento

Se realizó una prueba inicial en tres hospitales para evaluar el desempeño del instrumento y definir los ajustes finales en la estructura de su redacción y contenido. Se autodiligenciaron nueve encuestas por directivos y líderes de procesos y se obtuvo como resultado ajustes en la redacción de variables para mejorar la comprensión del instrumento y fiabilidad del mismo.

El instrumento se diseñó para ser diligenciado por los líderes representativos de cada una de las dimensiones del contexto que se miden (Ambiente, Macrosistema, Microsistema y Equipos de calidad). Así, se definió que el diligenciamiento en cada una de las dimensiones debe darse por:

Ambiente: Gerencia o Dirección General del hospital,
Organización-Macrosistema: Dirección Médica y Dirección de Calidad o quienes tengas estas funciones,
Microsistema (servicio de hospitalización mayor o predominante): líder médico o especialista jefe del servicio y enfermera jefe coordinadora del mismo servicio,
Equipo de Calidad del Hospital: dos profesionales que integren el equipo de calidad o participen de actividades de mejoramiento.

El instrumento adaptado fue finalmente aplicado en un estudio para evaluar avances en la implementación de procesos de acreditación en una muestra de 54 hospitales en Colombia; 36 hospitales (67%) eran de origen jurídico privado y 18 hospitales (13%) públicos-estatales; 17 hospitales (31%) del total de la muestra eran de mediana complejidad y 37(69%) de alta complejidad.

Fiabilidad del instrumento adaptado y validación de constructo

Dado que el instrumento propone cuatro dimensiones del contexto para ser evaluadas (Ambiente, Macrosistema, Microsistema y Equipos de calidad), se realizó la exploración de la fiabilidad de éstas comprobado la consistencia interna en cada una de ellas mediante la prueba alfa de Cronbach y a través de análisis factorial confirmatorio del constructo teórico propuesto en el modelo MUSIQ,⁸8. Kaplan HC, Provost LP, Froehle CM, Margolis PA. The Model for Understanding Success en quality (MUSIQ): building a theory of context in healthcare quality improvement. BMJ Qual Saf . 2012;21:13-20. https://doi.org/10.1136/bmjqs-2011-000010
https://doi.org/10.1136/bmjqs-2011-00001... para lo cual se confirmó la existencia de correlación e intercorrelación entre variables a través del test de Bartlett y su significancia estadística y el índice de Kaiser-Meyer-Olkim (KMO).

Resultados

La adaptación y ajuste técnico del instrumento del modelo MUSIQ⁸8. Kaplan HC, Provost LP, Froehle CM, Margolis PA. The Model for Understanding Success en quality (MUSIQ): building a theory of context in healthcare quality improvement. BMJ Qual Saf . 2012;21:13-20. https://doi.org/10.1136/bmjqs-2011-000010
https://doi.org/10.1136/bmjqs-2011-00001... ^,⁹9. Kaplan HC, Froehle CM, Cassedy A, Provost LP, Margolis P. An exploratory analysis of the Model for Understanding Success in Quality. Health Care Manage Rev. 2013;38(4):325-38. https://doi.org/10.1097/HMR.0b013e3182689772
https://doi.org/10.1097/HMR.0b013e318268... para la medición de las condiciones y estado del contexto que puede facilitar las iniciativas de mejora de la calidad y, en específico, los procesos de acreditación de hospitales, mide cuatro dimensiones que integran 23 elementos del contexto (cuadro II), que resumen 35 ítems; 18 elementos del contexto se abordan a través de variables únicas y cinco que se exploran a través de escalas compuestas de tres o cuatro ítems (figura 1, cuadro I).

Thumbnail

Cuadro II
Definición de factores del contexto para la evaluación de iniciativas de mejora de la calidad y acreditación en hospitales de mediana y alta complejidad. Colombia, 2016

Thumbnail

Figura 1
Esquema, representación de dimensiones y factores componentes para la evaluación de iniciativas de mejora de la calidad y acreditación en hospitales de mediana y alta complejidad. Colombia, 2016

La dimensión del contexto Ambiente se compone de cuatro elementos explorados por igual número de ítems que, en el instrumento adaptado, pueden mediar para el logro de la acreditación de hospitales; en ella se destacan la “decisión de la junta directiva o dueños” del hospital para impulsar los procesos de acreditación y lograr la acreditación; este nuevo y más amplio enfoque reemplaza el elemento “importancia estratégica de la implementación de un proyecto de calidad” del modelo original.⁸8. Kaplan HC, Provost LP, Froehle CM, Margolis PA. The Model for Understanding Success en quality (MUSIQ): building a theory of context in healthcare quality improvement. BMJ Qual Saf . 2012;21:13-20. https://doi.org/10.1136/bmjqs-2011-000010
https://doi.org/10.1136/bmjqs-2011-00001... Se conserva el elemento “motivación externa”, enfocando su importancia al mercado y a la posibilidad de que la acreditación pueda favorecer la competitividad de hospitales; se evalúa la “existencia de patrocinio o apoyo externo” para el desarrollo de procesos en busca de acreditación y se incluye un nuevo elemento en esta dimensión, la “búsqueda de prestigio institucional”.

La dimensión de contexto Macrosistema que corresponde a toda la organización hospitalaria se compone de ocho elementos del contexto, seis de ellos evaluados con variables individuales (liderazgo directivo, existencia de director o gerente de calidad, madurez organizacional, disponibilidad de recursos, sistemas de información y estabilidad laboral), y dos (cultura en la organización y prioridad para el desarrollo del talento humano), que se exploran a través de escalas validadas compuestas de cuatro variables cada una (cuadro I, figura 1). La mayor diferencia en esta dimensión con el modelo original tiene que ver con la inclusión de una escala validada para la medición de la cultura en la organización²¹21. Helfrich CD, Li YF, Mohr DC, Meterko M, Sales AE. Assessing an organizational culture instrument base on the Competing Values Framework: Exploratory and confirmatory factor analyses. Implement Sci. 2007;2:13. https://doi.org/10.1186/1748-5908-2-13
https://doi.org/10.1186/1748-5908-2-13... y la consideración conceptual como ajuste propuesto para el nuevo uso del modelo y que los elementos desarrollo del talento humano, disponibilidad de recursos y sistemas de información son soporte para el avance y logro de la acreditación de los hospitales.

La dimensión de contexto Microsistema se compone de cinco elementos, tres de ellos evaluados con variables individuales (motivación, capacidades en uso de herramientas e involucramiento de médicos para el mejoramiento de la calidad), y dos (liderazgo-cultura en el microsistema para el mejoramiento de la calidad)²¹21. Helfrich CD, Li YF, Mohr DC, Meterko M, Sales AE. Assessing an organizational culture instrument base on the Competing Values Framework: Exploratory and confirmatory factor analyses. Implement Sci. 2007;2:13. https://doi.org/10.1186/1748-5908-2-13
https://doi.org/10.1186/1748-5908-2-13... ^,²³23. Edmonson A. Psychological safety and learning behavior in work teams. Adm Sci Q. 1999; 44(2):350-83. https://doi.org/10.2307/2666999
https://doi.org/10.2307/2666999... que se exploran a través de escalas validadas compuestas de tres variables cada una (cuadro I, figura 1). La diferencia en esta dimensión con respecto al modelo original muestra la utilización de las escalas mencionadas en lugar de elementos de variables o ítems únicos; igualmente en esta dimensión del contexto se propone la inclusión y evaluación del elemento “involucramiento de los médicos” en todas aquellas actividades encaminadas para el mejoramiento de la calidad.

La dimensión del contexto Equipo de calidad, cuyos elementos se muestran transversales a toda la organización hospitalaria, incluidos sus Microsistemas (figura 1), está compuesta por seis elementos, cinco de ellos evaluados con variables individuales (liderazgo para gestionar la calidad, diversidad del equipo de calidad, experiencia y conocimiento específico, habilidades en técnicas y procedimientos para el mejoramiento de la calidad y estabilidad del equipo de calidad), y uno (“trabajo en equipo”)²²22. Strating M, Nieboer A. Norms for creativity and implementation in health care teams: testing the group innovation inventory. Qual Assur Health Care. 2010;22(4):275-82. https://doi.org/10.1093/intqhc/mzq027
https://doi.org/10.1093/intqhc/mzq027... que se explora a través de una escala compuesta de tres variables (cuadro I, figura 1). Esta dimensión se refiere a la existencia de las capacidades humanas, técnicas y de conocimiento de un equipo humano que lidere la calidad en salud en los hospitales y que puedan apoyar para su desarrollo los procesos de acreditación, y no únicamente la implementación de un proyecto específico que busque el mejoramiento de la calidad.

La validación del instrumento para el nuevo uso en la medición de avances en el logro de la acreditación en salud tuvo en cuenta la valoración de consistencia interna de las subescalas utilizadas a través de la prueba alfa de Cronbach, como una manera de aproximación a la validación de constructo del instrumento.²⁷27. Pérez-Gil JA, Chacón S, Moreno R. Validez de constructo: el uso de análisis factorial exploratorio-confirmatorio para obtener evidencias de validez científica. Pshicotema. 2000;12(2):442-46. Se tomó como referencia valores entre 0.70 y 0.90 como resultado de buena consistencia interna, valores que se alcanzaron en las cinco subescalas utilizadas en el instrumento adaptado (cuadro III). Para los 18 elementos restantes del contexto, su medición se realiza teniendo como base la resultante de la construcción de variables producto de la adaptación de las definiciones que surgen del panel de expertos, utilizada como estrategia original en el desarrollo del modelo MUSIQ⁸8. Kaplan HC, Provost LP, Froehle CM, Margolis PA. The Model for Understanding Success en quality (MUSIQ): building a theory of context in healthcare quality improvement. BMJ Qual Saf . 2012;21:13-20. https://doi.org/10.1136/bmjqs-2011-000010
https://doi.org/10.1136/bmjqs-2011-00001... (cuadro II).

Thumbnail

Cuadro III
Consistencia interna de escalas utilizadas para la evaluación del contexto de mejora de la calidad y acreditación en hospitales de mediana y alta complejidad. Colombia, 2016

Resultados del análisis factorial confirmatorio

Las pruebas estadísticas de Bartlett y Kaiser-Meyer-Olkin (KMO) fueron utilizadas para verificar la validez estructural de las dimensiones del contexto del instrumento propuesto y verificar correlación entre las variables que lo componen (cuadro IV). Los resultados del coeficiente KMO se aproximan en general a 1 (uno): Macrosistema (0.819), Microsistema (0.857), Equipos de Calidad (0.865) y el resultante en la dimensión Ambiente es el más bajo (0.645), pero valores por encima de 0.50 en este indicador sugieren adecuación del análisis factorial.²⁸28. Lloret S, Ferreres A, Hernández A, Tomás I. El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. An Psicol. 2014;30(3):1151-69. https://doi.org/10.6018/analesps.30.3.199361
https://doi.org/10.6018/analesps.30.3.19... Este resultado es consistente con el obtenido a través de prueba de esfericidad de Bartlett, el cual arroja significancia estadística para las cuatro dimensiones evaluadas (cuadro IV).

Thumbnail

Cuadro IV
Consistencia interna y validez estructural de las dimensiones del contexto para la evaluación de iniciativas de mejora de la calidad y acreditación en hospitales de mediana y alta complejidad. Colombia, 2016

Discusión

La adaptación del Instrumento del modelo MUSIQ se propuso en este estudio para seguimiento y evaluación del avance de las condiciones contextuales que tengan como meta la acreditación, de manera similar a su uso original que buscaba reconocer aquellos elementos del contexto que facilitan el éxito en un proyecto de mejoramiento de la calidad en hospitales. Esta adaptación del instrumento se realizó siguiendo una metodología que cuida de la validez facial y de contenido ya obtenidas, pero con adecuación del enfoque en la construcción de variables hacia el nuevo propósito específico de valorar el desarrollo de los elementos del contexto que pueden facilitar el logro de la acreditación.

Algunos ajustes realizados al instrumento se proponen como mejoras:

Se adoptó una escala de respuestas más corta como opciones de respuesta, en busca de tener un menor número de alternativas en sus extremos, lo cual facilita la definición de una posición de los encuestados con respecto al grado de acuerdo o desacuerdo con respecto a los elementos evaluados; acorde a Hartley²⁹29. Hartley J. Some thoughts on Likert-type scales. Int J Clin Health Psychol. 2013;13:83-6. https://doi.org/10.1016/S1697-2600(14)70040-7
https://doi.org/10.1016/S1697-2600(14)70... en su reporte Some thoughts on Likert-type scales, las escalas que utilizan cinco o siete puntos son comunes y la investigación existente sobre el tema no sugiere una razón para preferir una escala sobre la otras; otros autores³⁰30. Lozano LM, García-Cueto E, Muñiz J. Effect of the Number of Response Categories on the Reliability and Validity of Rating Scales. Methodology. 2008;4(2):73-9. https://doi.org/10.1027/1614-2241.4.2.73
https://doi.org/10.1027/1614-2241.4.2.73... proponen la utilización de escalas entre 4 y 7 alternativas, lo cual refuerza la modificación hecha al instrumento;
Se realizó ajuste de la posición de opciones de respuesta de la variable, definiendo el extremo desfavorable a la izquierda y la valoración positiva a la derecha, situación que está justificada en los hallazgos de investigación en los que se observan resultados ligeramente más altos cuando la pregunta es invertida, esto es, la escala comienza con el valor positivo más alto a la izquierda.²⁹29. Hartley J. Some thoughts on Likert-type scales. Int J Clin Health Psychol. 2013;13:83-6. https://doi.org/10.1016/S1697-2600(14)70040-7
https://doi.org/10.1016/S1697-2600(14)70...
Mención especial merece el tratamiento y análisis al punto medio en escalas tipo Likert y su interpretación en este instrumento. En términos generales, este punto puede ser interpretado como “indeciso”, “no sabe”, “neutral”, “sin opinión”, o aún eliminarse³¹31. Hernández A, Espejo B, González V, Gómez J. Escala de respuesta tipo Likert: ¿Es irrelevante la alternativa “indiferente”?. Metodología de Encuestas. 2001;3(2):135-50. [citado septiembre 2016]. Disponible en: http://casus.usal.es/pkp/index.php/MdE/article/viewFile/901/842
http://casus.usal.es/pkp/index.php/MdE/a... como opción de selección, pero en todo caso debe definirse su utilidad en la interpretación de los resultados. Para el caso particular de esta propuesta, las respuestas obtenidas y que se ubiquen en el punto central de la escala se interpretan como un punto intermedio de avance en el logro y desarrollo de los elementos del contexto para la acreditación en salud de hospitales, dado que la escala elaborada sólo etiquetó los extremos “totalmente en desacuerdo” y “totalmente de acuerdo”; así entonces, la selección de un punto superior al “total desacuerdo”, incluyendo el punto intermedio, se interpreta como el camino y un nivel de avance hacia niveles “de acuerdo” para lograr la implementación y desarrollo del elemento del contexto que se esté midiendo. Este ajuste e interpretación del instrumento puede convertirlo en herramienta para la monitorización del avance de componentes contextuales para el proceso de acreditación y puede facilitar la definición de acciones efectivas de intervención y mejora.

En síntesis, se obtiene un instrumento con cuatro dimensiones, que contienen 23 elementos del contexto que pueden favorecer iniciativas de mejora de calidad, en general, y el logro de la acreditación, en particular, y cuya medición se aborda a través de 35 ítems.²⁴24. Zapata MA, Saturno PJ. Encuesta para la evaluación de elementos y factores del contexto asociados a la mejora de la calidad y acreditación en hospitales [Internet]. Figshare, 2018. https://doi.org/10.6084/m9.figshare.6220373.v1
https://doi.org/10.6084/m9.figshare.6220... La adaptación del instrumento del modelo MUSIQ realizada a través de este estudio sigue el camino propuesto por sus autores⁸8. Kaplan HC, Provost LP, Froehle CM, Margolis PA. The Model for Understanding Success en quality (MUSIQ): building a theory of context in healthcare quality improvement. BMJ Qual Saf . 2012;21:13-20. https://doi.org/10.1136/bmjqs-2011-000010
https://doi.org/10.1136/bmjqs-2011-00001... ^,⁹9. Kaplan HC, Froehle CM, Cassedy A, Provost LP, Margolis P. An exploratory analysis of the Model for Understanding Success in Quality. Health Care Manage Rev. 2013;38(4):325-38. https://doi.org/10.1097/HMR.0b013e3182689772
https://doi.org/10.1097/HMR.0b013e318268... de avanzar en investigaciones que busquen su mejora y la aplicación práctica para la valoración de condiciones que favorezcan el mejoramiento de la calidad; debe ser probado en muestras más grandes de hospitales que permitan confirmar los resultados de validez psicométrica obtenidos en este estudio.

Referencias

¹
Palmer RH. Considerations in defining quality of health care. En: Palmer RH, Donabedian A, Povar GJ, (eds.). Striving for quality in health care: an inquiry into policy and practice. Ann Arbor: Health Administration Press, 1991;1-53.
²
Robledo H, Meljem J, Fajardo G, Olvera D. De la idea al concepto en la calidad en los servicios de salud. Rev Conamed. 2012;17(4):172-5.
³
Saturno-Hernández PJ. Capítulo 1. Marco conceptual para la gestión de la calidad. En: Saturno-Hernández PJ. Métodos y herramientas para la realización de ciclos de mejora de la calidad en servicios de salud. Cuernavaca, México: Instituto Nacional de Salud Pública, 2015;13-38.
⁴
Cortés-Martinez A. La economía de la salud en el hospital. Rev Gerenc Polit Salud. 2010;9(19):138-49.
⁵
Boaden R, Harvey G, Moxham C, Proudlove N. Quality Improvement: theory and practice in healthcare. Coventry, UK: NHS Institute for Innovation and Improvement, 2008.
⁶
Walshe K. Understanding what Works and why in quality improvement: the need for theory driven evaluation, Int J Qual Health Care. 2007;19(2):57-9. https://doi.org/10.1093/intqhc/mzm004
» https://doi.org/10.1093/intqhc/mzm004
⁷
Øvretveit J. Understanding the conditions for improvement: research to discover which context influences affect improvement success. BMJ Qual Saf. 2011;20(supl 1):i18-23. https://doi.org/10.1136/bmjqs.2010.045955
» https://doi.org/10.1136/bmjqs.2010.045955
⁸
Kaplan HC, Provost LP, Froehle CM, Margolis PA. The Model for Understanding Success en quality (MUSIQ): building a theory of context in healthcare quality improvement. BMJ Qual Saf . 2012;21:13-20. https://doi.org/10.1136/bmjqs-2011-000010
» https://doi.org/10.1136/bmjqs-2011-000010
⁹
Kaplan HC, Froehle CM, Cassedy A, Provost LP, Margolis P. An exploratory analysis of the Model for Understanding Success in Quality. Health Care Manage Rev. 2013;38(4):325-38. https://doi.org/10.1097/HMR.0b013e3182689772
» https://doi.org/10.1097/HMR.0b013e3182689772
¹⁰
Viswanathan HN, Salmon JW. Accrediting Organizations and Quality Improvement. Am J Manag Care. 2000;6(10):1117-29.
¹¹
Kirsten B, Vist G, Bukholm G, Barach P, Tjomsland O. A systematic review of hospital accreditation: the challenges of measuring complex intervention effects. BMC Health Services Research. 2015;15:280. https://doi.org/10.1186/s12913-015-0933-x
» https://doi.org/10.1186/s12913-015-0933-x
¹²
Van de Ven AH, Delbecq AL. The nominal group as a research instrument for exploratory health studies. Am J Public Health. 1972;62(3):337-42. https://doi.org/10.2105/AJPH.62.3.337
» https://doi.org/10.2105/AJPH.62.3.337
¹³
Callegaro J, Figueiredo B, Ruschel D. Cross-cultural adaptation and validation of psychological instruments: Some considerations. Paidéia. 2012;22:423-32. https://doi.org/10.1590/S0103-863X2012000300014
» https://doi.org/10.1590/S0103-863X2012000300014
¹⁴
Zapata-Vanegas MA. Factores predictivos del resultado para el mejoramiento de la calidad en salud (tesis). Murcia, España: Universidad de Murcia, 2016 [citado septiembre 2017]. Disponible en: http://hdl.handle.net/10803/396357
» http://hdl.handle.net/10803/396357
¹⁵
República de Colombia, Ministerio de Salud. Resolución 8430 de 1993, “Por la cual se establecen las normas científicas, técnicas y administrativas para la investigación en salud”. Bogotá: República de Colombia, Ministerio de Salud, 1993 [citado septiembre 2017]. Disponible en: https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/DE/DIJ/RESOLUCION-8430-DE-1993.PDF
» https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/DE/DIJ/RESOLUCION-8430-DE-1993.PDF
¹⁶
Escobar M. Adaptación transcultural de instrumentos de medida relacionados con la salud. Enferm Clin. 2004;14:102-6. https://doi.org/10.1016/S1130-8621(04)73863-2
» https://doi.org/10.1016/S1130-8621(04)73863-2
¹⁷
Scheneider A, Szecsenyi J, Barie S, Joest K, Rosemann T. Validation and cultural adaptation of a German version of Physician’ Reactions to Uncertainty scales. BMC Health Serv Res. 2007;7:81. https://doi.org/10.1186/1472-6963-7-81
» https://doi.org/10.1186/1472-6963-7-81
¹⁸
Shortell SM, Levin DZ, O`Brien JL, Hughes EF. Assessing the evidence on CQI: Is the glass half empty or half full? Hosp Health Serv Adm. 1995;40(1):4-24.
¹⁹
Lemieux-Charles L, Murray M, Bakeer GR, Barnsley J, Tasa K, Ibrahim SA. The effects of quality improvement practices on team effectiveness; A mediational model. J Organ Behav. 2002;23(5):533-53. https://doi.org/10.1002/job.154
» https://doi.org/10.1002/job.154
²⁰
RAND Corporation. Improving chronic illness care evaluation. Healthcare Organization survey for Quality Management Director, 1999 [citado septiembre 2016]. Disponible en: https://www.rand.org/content/dam/rand/www/external/health/projects/icice/pdfs/qmd.pdf
» https://www.rand.org/content/dam/rand/www/external/health/projects/icice/pdfs/qmd.pdf
²¹
Helfrich CD, Li YF, Mohr DC, Meterko M, Sales AE. Assessing an organizational culture instrument base on the Competing Values Framework: Exploratory and confirmatory factor analyses. Implement Sci. 2007;2:13. https://doi.org/10.1186/1748-5908-2-13
» https://doi.org/10.1186/1748-5908-2-13
²²
Strating M, Nieboer A. Norms for creativity and implementation in health care teams: testing the group innovation inventory. Qual Assur Health Care. 2010;22(4):275-82. https://doi.org/10.1093/intqhc/mzq027
» https://doi.org/10.1093/intqhc/mzq027
²³
Edmonson A. Psychological safety and learning behavior in work teams. Adm Sci Q. 1999; 44(2):350-83. https://doi.org/10.2307/2666999
» https://doi.org/10.2307/2666999
²⁴
Zapata MA, Saturno PJ. Encuesta para la evaluación de elementos y factores del contexto asociados a la mejora de la calidad y acreditación en hospitales [Internet]. Figshare, 2018. https://doi.org/10.6084/m9.figshare.6220373.v1
» https://doi.org/10.6084/m9.figshare.6220373.v1
²⁵
Rickards G, Magee C, Artino A. You can’t fix by analysis what you’ve spoiled by design: developing survey instruments and collecting validity evidence. J Grad Med Educ. 2012;4(4):407-10. https://doi.org/10.4300%2FJGME-D-12-00239.1
» https://doi.org/10.4300%2FJGME-D-12-00239.1
²⁶
Likert R. A Technique for the Measurement of Attitudes. Nueva York: Archives of Psichology, 1932.
²⁷
Pérez-Gil JA, Chacón S, Moreno R. Validez de constructo: el uso de análisis factorial exploratorio-confirmatorio para obtener evidencias de validez científica. Pshicotema. 2000;12(2):442-46.
²⁸
Lloret S, Ferreres A, Hernández A, Tomás I. El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. An Psicol. 2014;30(3):1151-69. https://doi.org/10.6018/analesps.30.3.199361
» https://doi.org/10.6018/analesps.30.3.199361
²⁹
Hartley J. Some thoughts on Likert-type scales. Int J Clin Health Psychol. 2013;13:83-6. https://doi.org/10.1016/S1697-2600(14)70040-7
» https://doi.org/10.1016/S1697-2600(14)70040-7
³⁰
Lozano LM, García-Cueto E, Muñiz J. Effect of the Number of Response Categories on the Reliability and Validity of Rating Scales. Methodology. 2008;4(2):73-9. https://doi.org/10.1027/1614-2241.4.2.73
» https://doi.org/10.1027/1614-2241.4.2.73
³¹
Hernández A, Espejo B, González V, Gómez J. Escala de respuesta tipo Likert: ¿Es irrelevante la alternativa “indiferente”?. Metodología de Encuestas. 2001;3(2):135-50. [citado septiembre 2016]. Disponible en: http://casus.usal.es/pkp/index.php/MdE/article/viewFile/901/842
» http://casus.usal.es/pkp/index.php/MdE/article/viewFile/901/842

Fechas de Publicación

Publicación en esta colección
10 Jun 2019
Fecha del número
Sep-Oct 2018

Histórico

Recibido
02 Oct 2017
Acepto
17 Mayo 2018

Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons

[1] ¹
Palmer RH. Considerations in defining quality of health care. En: Palmer RH, Donabedian A, Povar GJ, (eds.). Striving for quality in health care: an inquiry into policy and practice. Ann Arbor: Health Administration Press, 1991;1-53.

[2] ²
Robledo H, Meljem J, Fajardo G, Olvera D. De la idea al concepto en la calidad en los servicios de salud. Rev Conamed. 2012;17(4):172-5.

[3] ³
Saturno-Hernández PJ. Capítulo 1. Marco conceptual para la gestión de la calidad. En: Saturno-Hernández PJ. Métodos y herramientas para la realización de ciclos de mejora de la calidad en servicios de salud. Cuernavaca, México: Instituto Nacional de Salud Pública, 2015;13-38.

[4] ⁴
Cortés-Martinez A. La economía de la salud en el hospital. Rev Gerenc Polit Salud. 2010;9(19):138-49.

[5] ⁵
Boaden R, Harvey G, Moxham C, Proudlove N. Quality Improvement: theory and practice in healthcare. Coventry, UK: NHS Institute for Innovation and Improvement, 2008.

[6] ⁶
Walshe K. Understanding what Works and why in quality improvement: the need for theory driven evaluation, Int J Qual Health Care. 2007;19(2):57-9. https://doi.org/10.1093/intqhc/mzm004
» https://doi.org/10.1093/intqhc/mzm004

[7] ⁷
Øvretveit J. Understanding the conditions for improvement: research to discover which context influences affect improvement success. BMJ Qual Saf. 2011;20(supl 1):i18-23. https://doi.org/10.1136/bmjqs.2010.045955
» https://doi.org/10.1136/bmjqs.2010.045955

[8] ⁸
Kaplan HC, Provost LP, Froehle CM, Margolis PA. The Model for Understanding Success en quality (MUSIQ): building a theory of context in healthcare quality improvement. BMJ Qual Saf . 2012;21:13-20. https://doi.org/10.1136/bmjqs-2011-000010
» https://doi.org/10.1136/bmjqs-2011-000010

[9] ⁹
Kaplan HC, Froehle CM, Cassedy A, Provost LP, Margolis P. An exploratory analysis of the Model for Understanding Success in Quality. Health Care Manage Rev. 2013;38(4):325-38. https://doi.org/10.1097/HMR.0b013e3182689772
» https://doi.org/10.1097/HMR.0b013e3182689772

[10] ¹⁰
Viswanathan HN, Salmon JW. Accrediting Organizations and Quality Improvement. Am J Manag Care. 2000;6(10):1117-29.

[11] ¹¹
Kirsten B, Vist G, Bukholm G, Barach P, Tjomsland O. A systematic review of hospital accreditation: the challenges of measuring complex intervention effects. BMC Health Services Research. 2015;15:280. https://doi.org/10.1186/s12913-015-0933-x
» https://doi.org/10.1186/s12913-015-0933-x

[12] ¹²
Van de Ven AH, Delbecq AL. The nominal group as a research instrument for exploratory health studies. Am J Public Health. 1972;62(3):337-42. https://doi.org/10.2105/AJPH.62.3.337
» https://doi.org/10.2105/AJPH.62.3.337

[13] ¹³
Callegaro J, Figueiredo B, Ruschel D. Cross-cultural adaptation and validation of psychological instruments: Some considerations. Paidéia. 2012;22:423-32. https://doi.org/10.1590/S0103-863X2012000300014
» https://doi.org/10.1590/S0103-863X2012000300014

[14] ¹⁴
Zapata-Vanegas MA. Factores predictivos del resultado para el mejoramiento de la calidad en salud (tesis). Murcia, España: Universidad de Murcia, 2016 [citado septiembre 2017]. Disponible en: http://hdl.handle.net/10803/396357
» http://hdl.handle.net/10803/396357

[15] ¹⁵
República de Colombia, Ministerio de Salud. Resolución 8430 de 1993, “Por la cual se establecen las normas científicas, técnicas y administrativas para la investigación en salud”. Bogotá: República de Colombia, Ministerio de Salud, 1993 [citado septiembre 2017]. Disponible en: https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/DE/DIJ/RESOLUCION-8430-DE-1993.PDF
» https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/DE/DIJ/RESOLUCION-8430-DE-1993.PDF

[16] ¹⁶
Escobar M. Adaptación transcultural de instrumentos de medida relacionados con la salud. Enferm Clin. 2004;14:102-6. https://doi.org/10.1016/S1130-8621(04)73863-2
» https://doi.org/10.1016/S1130-8621(04)73863-2

[17] ¹⁷
Scheneider A, Szecsenyi J, Barie S, Joest K, Rosemann T. Validation and cultural adaptation of a German version of Physician’ Reactions to Uncertainty scales. BMC Health Serv Res. 2007;7:81. https://doi.org/10.1186/1472-6963-7-81
» https://doi.org/10.1186/1472-6963-7-81

[18] ¹⁸
Shortell SM, Levin DZ, O`Brien JL, Hughes EF. Assessing the evidence on CQI: Is the glass half empty or half full? Hosp Health Serv Adm. 1995;40(1):4-24.

[19] ¹⁹
Lemieux-Charles L, Murray M, Bakeer GR, Barnsley J, Tasa K, Ibrahim SA. The effects of quality improvement practices on team effectiveness; A mediational model. J Organ Behav. 2002;23(5):533-53. https://doi.org/10.1002/job.154
» https://doi.org/10.1002/job.154

[20] ²⁰
RAND Corporation. Improving chronic illness care evaluation. Healthcare Organization survey for Quality Management Director, 1999 [citado septiembre 2016]. Disponible en: https://www.rand.org/content/dam/rand/www/external/health/projects/icice/pdfs/qmd.pdf
» https://www.rand.org/content/dam/rand/www/external/health/projects/icice/pdfs/qmd.pdf

[21] ²¹
Helfrich CD, Li YF, Mohr DC, Meterko M, Sales AE. Assessing an organizational culture instrument base on the Competing Values Framework: Exploratory and confirmatory factor analyses. Implement Sci. 2007;2:13. https://doi.org/10.1186/1748-5908-2-13
» https://doi.org/10.1186/1748-5908-2-13

[22] ²²
Strating M, Nieboer A. Norms for creativity and implementation in health care teams: testing the group innovation inventory. Qual Assur Health Care. 2010;22(4):275-82. https://doi.org/10.1093/intqhc/mzq027
» https://doi.org/10.1093/intqhc/mzq027

[23] ²³
Edmonson A. Psychological safety and learning behavior in work teams. Adm Sci Q. 1999; 44(2):350-83. https://doi.org/10.2307/2666999
» https://doi.org/10.2307/2666999

[24] ²⁴
Zapata MA, Saturno PJ. Encuesta para la evaluación de elementos y factores del contexto asociados a la mejora de la calidad y acreditación en hospitales [Internet]. Figshare, 2018. https://doi.org/10.6084/m9.figshare.6220373.v1
» https://doi.org/10.6084/m9.figshare.6220373.v1

[25] ²⁵
Rickards G, Magee C, Artino A. You can’t fix by analysis what you’ve spoiled by design: developing survey instruments and collecting validity evidence. J Grad Med Educ. 2012;4(4):407-10. https://doi.org/10.4300%2FJGME-D-12-00239.1
» https://doi.org/10.4300%2FJGME-D-12-00239.1

[26] ²⁶
Likert R. A Technique for the Measurement of Attitudes. Nueva York: Archives of Psichology, 1932.

[27] ²⁷
Pérez-Gil JA, Chacón S, Moreno R. Validez de constructo: el uso de análisis factorial exploratorio-confirmatorio para obtener evidencias de validez científica. Pshicotema. 2000;12(2):442-46.

[28] ²⁸
Lloret S, Ferreres A, Hernández A, Tomás I. El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. An Psicol. 2014;30(3):1151-69. https://doi.org/10.6018/analesps.30.3.199361
» https://doi.org/10.6018/analesps.30.3.199361

[29] ²⁹
Hartley J. Some thoughts on Likert-type scales. Int J Clin Health Psychol. 2013;13:83-6. https://doi.org/10.1016/S1697-2600(14)70040-7
» https://doi.org/10.1016/S1697-2600(14)70040-7

[30] ³⁰
Lozano LM, García-Cueto E, Muñiz J. Effect of the Number of Response Categories on the Reliability and Validity of Rating Scales. Methodology. 2008;4(2):73-9. https://doi.org/10.1027/1614-2241.4.2.73
» https://doi.org/10.1027/1614-2241.4.2.73

[31] ³¹
Hernández A, Espejo B, González V, Gómez J. Escala de respuesta tipo Likert: ¿Es irrelevante la alternativa “indiferente”?. Metodología de Encuestas. 2001;3(2):135-50. [citado septiembre 2016]. Disponible en: http://casus.usal.es/pkp/index.php/MdE/article/viewFile/901/842
» http://casus.usal.es/pkp/index.php/MdE/article/viewFile/901/842

Número de ítem y elementos del contexto. Instrumento original	Elementos del contexto. Instrumento adaptado	Número de ítem instrumento adaptado	Observaciones de la adaptación

Ambiente
1. Motivaciones externas	Motivaciones externas-mercado	1	Énfasis en presiones del mercado para la competitividad
2. Tarea estratégica importante para la Organización	Decisión estratégica de la Junta o de sus dueños	2	Se modifica y da relevancia a decisión estratégica de los dueños de la organización para lograr la acreditación
3. Grupos externos patrocinan la implementación de un proyecto de MC	Patrocinio de instancias del Estado o sector privado, nacional o internacional para apoyar acreditación	3	Énfasis en apoyo recibido para avanzar en proyectos que tengan como meta el logro de la acreditación
-	Búsqueda de prestigio (nuevo elemento de contexto ambiente)	4	Se explora la búsqueda de prestigio como un fin de la acreditación

Macrosistema
4. Liderazgo organizacional para el mejoramiento de la calidad	Liderazgo del nivel directivo para el mejoramiento de la calidad	5	Explora el involucramiento y compromiso de altos directivos con la calidad
5. Existencia de un líder para la implementación del proyecto de calidad	Existencia de director o líder para gestión de calidad en el hospital	6	Pregunta por existencia permanente de área específica y un líder directivo que gerencia la calidad en la organización
6. Cultura organizacional para el mejoramiento de la calidad	Cultura organizacional para el mejoramiento de la calidad	7-10	Se incluye nueva escala validada de cuatro preguntas para abordar con mayor profundidad la fiabilidad en este22
7. Madurez organizacional	Madurez organizacional	11	Se amplía el alcance y definición de madurez considerándola en procesos, programas y proyectos del hospital
8-11. Prioridad en la fuerza de trabajo para el MC²¹21. Helfrich CD, Li YF, Mohr DC, Meterko M, Sales AE. Assessing an organizational culture instrument base on the Competing Values Framework: Exploratory and confirmatory factor analyses. Implement Sci. 2007;2:13. https://doi.org/10.1186/1748-5908-2-13 https://doi.org/10.1186/1748-5908-2-13...	Prioridad en el desarrollo del talento humano para el MC	12-15	Se adopta la escala de otro instrumento²¹21. Helfrich CD, Li YF, Mohr DC, Meterko M, Sales AE. Assessing an organizational culture instrument base on the Competing Values Framework: Exploratory and confirmatory factor analyses. Implement Sci. 2007;2:13. https://doi.org/10.1186/1748-5908-2-13 https://doi.org/10.1186/1748-5908-2-13...
12. Disponibilidad de recursos	Disponibilidad de recursos	16	Se amplía el alcance del concepto “disponibilidad de recursos” a aquéllos económicos, de personal y de soporte necesarios para el mejoramiento de la calidad
13. Infraestructura tecnológica (datos) para el mejoramiento de la calidad	Sistemas de información de apoyo para el mejoramiento de la calidad	17	Se explora la facilitación para el mejoramiento de la calidad con los sistemas de información administrativos y clínicos existentes en hospital
-	Estabilidad y condiciones laborales del talento humano en el hospital (nuevo elemento del contexto Macrosistema)	18	Tema no considerado en instrumento original. Se explora si las formas de contratación favorecen estabilidad y poca rotación del personal en hospital

Microsistema
14. Liderazgo en el Microsistema evaluado desde la facilitación para la implementación de un proyecto de calidad	Liderazgo en el Microsistema, evaluado desde el reconocimiento de la identidad de quien lidera un servicio, su involucramiento en la gestión de calidad y soporte para el trabajo en equipo	19, 20, 23	Se explora la consistencia interna de escala sobre liderazgo en Microsistema. En ella se evalúa si se reconoce dentro del equipo de trabajo quien ejerce liderazgo de un servicio en el hospital, si este liderazgo se hace tangible al involucrarse con el equipo para la gestión de calidad y si se convierte en soporte para el trabajo en equipo. Subescala que tiene origen en otro instrumento²⁴24. Zapata MA, Saturno PJ. Encuesta para la evaluación de elementos y factores del contexto asociados a la mejora de la calidad y acreditación en hospitales [Internet]. Figshare, 2018. https://doi.org/10.6084/m9.figshare.6220373.v1 https://doi.org/10.6084/m9.figshare.6220...
15. Motivación en el Microsistema evaluado desde perspectiva de compromiso por obtener resultados de mejoramiento esperados en implementación de proyecto de calidad	Motivación en el Microsistema evaluado desde perspectiva de compromiso de miembros de un servicio hospitalario para obtener resultados de mejoramiento en la calidad de atención y seguridad del paciente	21	La motivación se explora en logro de mejores resultados en calidad de atención y seguridad del paciente en un servicio hospitalario y no desde la perspectiva única de un proyecto
16. Capacidad en el Microsistema para implementar métodos y utilizar herramientas que busquen el mejoramiento de la calidad	Capacidad en el Microsistema definido como un servicio hospitalario específico, para implementar métodos y herramientas que busquen mejoramiento de la calidad	22	Se define un servicio de hospitalización para evaluar capacidad del equipo humano en utilización de métodos y herramientas para el mejoramiento de la calidad
17. Cultura en Microsistema, evaluada como el reconocimiento del valor del trabajo en equipo, de la comunicación y del compromiso con el mejoramiento de la calidad	Cultura evaluada en el Microsistema, incluyendo reconocimiento de objetivos y resultados, buen trato en el equipo, sentimiento de logro de resultados y calidad en procesos	23-25	Se introduce una escala validada de tres variables para esta exploración vs. pregunta única del instrumento original22
-	Involucramiento de los médicos en la gestión de calidad del Hospital (variable anidada en la dimensión Microsistema)	26	Se explora el involucramiento de médicos que prestan servicios en el Microsistema, con la gestión de la calidad

Equipo de calidad
18. Liderazgo e involucramiento del líder del proyecto de MC	Liderazgo e involucramiento del director área de calidad del hospital	27	Se identifica el liderazgo del director de calidad del hospital, más allá que como líder de proyecto de MC especifico
19. Diversidad profesional del equipo del proyecto de MC	Diversidad profesional del equipo del área o departamento de calidad del hospital	28	Se explora la diversidad de perfiles profesionales del equipo permanente para gestionar la calidad del hospital
20. Miembros del equipo del proyecto de MC tienen experiencia previa en implementación de proyectos similares	Experiencia especifica del equipo de calidad en temas de mejoramiento de la calidad en hospitales	29	Se hace énfasis en la experiencia especifica que los miembros del área o departamento de calidad del hospital tienen en el tema
21-26. Proceso de toma de decisiones y normas del equipo del proyecto de mejoramiento de la calidad¹⁹19. Lemieux-Charles L, Murray M, Bakeer GR, Barnsley J, Tasa K, Ibrahim SA. The effects of quality improvement practices on team effectiveness; A mediational model. J Organ Behav. 2002;23(5):533-53. https://doi.org/10.1002/job.154 https://doi.org/10.1002/job.154...	Trabajo en equipo para la innovación del equipo del área o departamento de calidad del hospital	30-33	Reemplaza la escala de toma de decisiones y se incluye una nueva de cuatro preguntas para abordar con énfasis en la facilitación para la innovación²³23. Edmonson A. Psychological safety and learning behavior in work teams. Adm Sci Q. 1999; 44(2):350-83. https://doi.org/10.2307/2666999 https://doi.org/10.2307/2666999...
27. Habilidades y capacidad técnica del Equipo del proyecto para el MC	Habilidades y capacidad técnica del equipo del área o departamento de calidad del hospital	34	Se hace igual énfasis en la capacidad de los integrantes del equipo para utilizar técnicas y tecnologías que apoyen la gestión para la calidad del hospital
28. Explora el conocimiento de trabajo conjunto del equipo del proyecto de MC en otros proyectos	Estabilidad del equipo que gestiona la calidad en el hospital	35	Su enfoque esta dado a la estabilidad y conocimiento de trabajo entre los miembros de la dependencia de calidad del hospital
29. Un miembro del equipo del proyecto de MC es un experto en el tema	-		No se considera en el nuevo instrumento, su enfoque original está dirigido específicamente a un proyecto
30-33. Normas del equipo de MC²⁰20. RAND Corporation. Improving chronic illness care evaluation. Healthcare Organization survey for Quality Management Director, 1999 [citado septiembre 2016]. Disponible en: https://www.rand.org/content/dam/rand/www/external/health/projects/icice/pdfs/qmd.pdf https://www.rand.org/content/dam/rand/ww...	-		No se considera en el nuevo instrumento, su evaluación se realizó en la variable trabajo en equipo y en la nueva escala de cultura
34. Participación activa de un médico en el equipo del proyecto de MC	-		No se considera en este nuevo instrumento, se considera ya abordado en variables que exploran diversidad de perfiles profesionales del equipo
35. Evento disparador que facilita el lanzamiento de este proyecto	-		No se considera en el nuevo instrumento dado que en el original se considera para un proyecto específico. En el caso del instrumento ajustado, su alcance se considera satisfecho en la variable decisión estratégica de junta o dueños

Número	Elementos del contexto	Definición

Ambiente
1	Motivaciones externas-mercado	Presiones del mercado e incentivos del entorno estimulan el hospital para el logro de la acreditación en salud
2	Decisión estratégica de junta o dueños	La junta directiva o dueños del hospital tienen y señalan como objetivo de desarrollo el logro de la acreditación en salud
3	Patrocinio externo para el desarrollo de proyectos de MC	Es tangible el apoyo de entidades gubernamentales o no gubernamentales en asesoría, dinero, entrenamiento u otros recursos, para avanzar en el logro de la acreditación en salud
4	Prestigio institucional	Búsqueda de reconocimiento y prestigio en el entorno del desempeño del hospital, como consecuencia de ser hospital acreditado

Organización (macrosistema)
5	Liderazgo directivo en el hospital para la calidad	Involucramiento y compromiso de altos directivos del hospital (gerente, subgerentes, directores) con el mejoramiento de la calidad en el hospital
6	Existencia de director o gerente para gestión de calidad	Un profesional designado y responsable de manera permanente para la gerencia de la calidad en toda la organización
7	Cultura para el MC en la organización	Un hospital dinámico, en donde todo su talento humano asume retos y riesgos para su desarrollo y con prácticas innovadoras que buscan diferenciarse para ser los mejores
8	Madurez organizacional para el MC	El mejoramiento de la calidad está integrado como foco primordial de atención en todos los procesos, programas y proyectos del hospital
9	Prioridad de desarrollo del talento humano para el MC	Desarrollo en el hospital del talento humano, a través del entrenamiento e involucramiento en actividades de mejoramiento de la calidad, acompañado de un sistema de estímulos e incentivos que valore sus esfuerzos y logros
10	Disponibilidad de recursos para el MC	Valoración y asignación de recursos económicos, humanos y de soporte necesarios para los programas de mejoramiento de la calidad en el hospital
11	Sistemas de Información de apoyo para el MC	Nivel en que los sistemas de información administrativos y clínicos existentes, facilitan la gestión y son soporte para el mejoramiento de la calidad en el hospital
12	Estabilidad laboral	Modalidades de contratación y sistema de pago que favorecen la estabilidad del talento humano en el hospital

Servicio hospitalario (microsistema)
13	Liderazgo en el microsistema para el MC	Se reconoce al líder en el servicio evaluado en el hospital, y éste guía y se involucra con el equipo humano para las actividades de gestión de calidad en el servicio
14	Motivación para el MC	Disposición y propósito en el personal de un servicio hospitalario para obtener mejores resultados en la calidad de atención y la atención segura de pacientes
15	Capacidades en uso de herramientas para el MC	Capacidad del equipo humano de un servicio hospitalario para la utilización de métodos y herramientas para el mejoramiento de la calidad
16	Cultura en el microsistema para el MC	Conjunto de características que facilitan el trabajo en equipo y el reconocimiento y sentimiento de logro de las metas alcanzadas con niveles de calidad en los procesos de un servicio hospitalario
17	Involucramiento de los médicos	Los médicos que se desempeñan en un servicio hospitalario (microsistema) se involucran y hacen parte de las actividades para el mejoramiento de la calidad

Área-equipo de calidad
18	Liderazgo para gestionar la calidad	Se identifica y reconoce al líder de calidad del hospital y éste se involucra en las actividades de mejoramiento de toda la organización
19	Diversidad del equipo de calidad	El equipo de trabajo para el mejoramiento de la calidad en el hospital está compuesto por diferentes profesiones y con experiencia diversa en el sector salud
20	Experiencia y conocimiento específico en MC	Los miembros del equipo de calidad han trabajado y tienen experiencia especifica en el tema de mejoramiento de la calidad de hospitales
21	Trabajo en equipo	El equipo de calidad complementa su trabajo compartiendo información y generando iniciativas propias que son tenidas en cuenta para su implementación y se toman decisiones en consenso para el mejoramiento de la calidad
22	Habilidades en técnicas y procedimientos para el MC	Capacidad de los integrantes del equipo de calidad para utilizar técnicas y métodos que apoyen la gestión para la calidad del hospital
23	Estabilidad del equipo de calidad	Estabilidad laboral y conocimiento del trabajo y de las habilidades individuales entre los miembros de la dependencia de calidad del hospital

Escala	Nombre variable-elemento del contexto	Alfa de Cronbach-Referencia	Alfa de Cronbach*

1 (nueva)	Cultura para MC en la organización²²22. Strating M, Nieboer A. Norms for creativity and implementation in health care teams: testing the group innovation inventory. Qual Assur Health Care. 2010;22(4):275-82. https://doi.org/10.1093/intqhc/mzq027 https://doi.org/10.1093/intqhc/mzq027...	0.85	0.77
2 (adaptada)	Prioridad desarrollo del talento humano²¹21. Helfrich CD, Li YF, Mohr DC, Meterko M, Sales AE. Assessing an organizational culture instrument base on the Competing Values Framework: Exploratory and confirmatory factor analyses. Implement Sci. 2007;2:13. https://doi.org/10.1186/1748-5908-2-13 https://doi.org/10.1186/1748-5908-2-13...	0.82	O.74
3 (nueva)	Liderazgo en microsistema para MC²⁴24. Zapata MA, Saturno PJ. Encuesta para la evaluación de elementos y factores del contexto asociados a la mejora de la calidad y acreditación en hospitales [Internet]. Figshare, 2018. https://doi.org/10.6084/m9.figshare.6220373.v1 https://doi.org/10.6084/m9.figshare.6220...	0.80	0.82
4 (nueva)	Cultura para el MC en microsistema²²22. Strating M, Nieboer A. Norms for creativity and implementation in health care teams: testing the group innovation inventory. Qual Assur Health Care. 2010;22(4):275-82. https://doi.org/10.1093/intqhc/mzq027 https://doi.org/10.1093/intqhc/mzq027...	0.80	0.82
5 (nueva)	Trabajo en equipo para la calidad e innovación²³23. Edmonson A. Psychological safety and learning behavior in work teams. Adm Sci Q. 1999; 44(2):350-83. https://doi.org/10.2307/2666999 https://doi.org/10.2307/2666999...	0.79	0.75

Dimensión (número de variables)	Alfa de Cronbach	Test esfericidad de Bartlett (chi-cuadrado; valor p)	Índice KMO*

1. Ambiente (4)	0.62	24 474 – 0.000	0.645
2. Macrosistema (14)	0.90	370 242 – 0.000	O.819
3. Microsistema (8)	0.90	263 955 – 0.000	0.857
4. Equipo calidad (9)	0.88	233 307 – 0.000	0.865

Saúde Pública

Saúde Pública

Validación psicométrica de instrumento para evaluar contexto de mejora de calidad y acreditación de hospitales

Psychometric validation of an instrument to evaluate the context of quality improvement and accreditation of hospitals

Resumen:

Objetivo:

Material y métodos:

Resultados:

Conclusión:

Abstract:

Objective:

Materials and methods:

Results:

Conclusion:

Introducción

Material y métodos

Adaptación cultural y validación del instrumento

Ajustes de contenido técnico de la encuesta

Escala de valores para las respuestas

Prueba piloto y de desempeño del Instrumento

Fiabilidad del instrumento adaptado y validación de constructo

Resultados

Resultados del análisis factorial confirmatorio

Discusión

Referencias

Fechas de Publicación

Histórico