RESUMEN

El objetivo del estudio fue determinar las propiedades psicométricas del cuestionario Dundee Ready Education Environment Measure (DREEM) en estudiantes de una facultad de Medicina peruana. Los participantes fueron los alumnos de primero a sexto año, invitados a participar mediante una plataforma web. En el análisis se utilizó el coeficiente alfa de Cronbach para evaluar consistencia interna. Además, se realizó un análisis factorial confirmatorio para evaluar la validez de constructo de las subescalas del DREEM. Los índices de bondad de ajuste utilizados fueron: error cuadrático medio de aproximación (RMSEA), el índice de ajuste comparativo (CFI), índice Tucker-Lewis (TLI) y el residuo estandarizado cuadrático medio (SRMR). Los resultados mostraron que la dimensión Autopercepción Social tuvo un alfa de Cronbach menor a 0,70. Además, los índices de bondad no apoyaron la estructura de cinco dimensiones del DREEM. Como conclusión, el cuestionario DREEM no tuvo un desempeño óptimo en esta muestra peruana.

Palabras Clave
Educación Médica; análisis factorial; pregrado

ABSTRACT

The objective of the study was to determine the psychometric properties of the Dundee Ready Education Environment Measure (DREEM) questionnaire in students of a Peruvian medical school. Participants were first-to-sixth-year students, invited to participate through a web platform. In the analysis the alpha coefficient of Cronbach was used to evaluate internal consistency. In addition, a confirmatory factorial analysis was performed to evaluate the construct validity of the subscales of the DREEM. The adjustment quality indexes used were: Root Mean Square Error Approximation (RMSEA), the Index of Benchmarking (CFI), Tucker-Lewis Index (TLI), and the Standardized Root Mean Residual (SRMR). The results showed that the social self-perception dimension had an alpha of Cronbach of less than 0.70. In addition, the quality indices did not support the five-dimensional structure of the DREEM. In conclusion, the DREEM questionnaire did not perform optimally in this Peruvian sample.

Key Words
Medical education; factorial analysis; undergraduate

INTRODUCCION

Existe evidencia que el ambiente educativo percibido por los estudiantes influye significativamente en la relación enseñanza-aprendizaje ¹1. Ortega BJ, Perez VC, Ortiz ML, Fasce HE, McColl CP, Torres AG, et al. An assessment of the Dundee Ready Education Environment Measure (DREEM) in Chilean university students. Rev. méd. Chile. 2015;143(5):651-7. y tiene un gran impacto en su bienestar y futuro éxito profesional ²2. Herrera C, Pacheco J, Rosso F, Cisterna C, Aichele D, Becker S, et al. Evaluación del ambiente educacional pre-clínico en seis Escuelas de Medicina en Chile. Rev. méd. Chile. 2010;138:677-84.^,33. Miles S, Swift L, Leinster S. The Dundee Ready Education Environment Measure (DREEM): a review of its adoption and use. Med Teach. 2012;39(9):620-34.. El ambiente educativo hace referencia a las diversas interacciones, formales e informales, que suceden entre personas con intereses en común (profesores, estudiantes, trabajadores), bajo una estructura organizacional ⁴4. Palmgren PJ, Laksov KB. Exploring chiropractic students' experiences of the educational environment in healthcare professional training : a qualitative study. BMC Med Educ. 2015;15(1):128.. Debido a su complejidad e importancia, la Federación Mundial de Educación Médica (WFME, en inglés) ha impulsado a las instituciones a evaluar su ambiente educativo periódicamente, con el fin de potenciar sus fortalezas y compensar sus debilidades ⁵5. Olave G, Perez C, Fasce E, Ortiz L, Bastias N, Marquez C, et al. Factores que afectan el ambiente educativo en la formación preclínica de medicina según sus docentes. Rev Med Chile. 2016;144:1343-50.. En respuesta, educadores e investigadores han generado diversos instrumentos para medir el ambiente educativo (6,7), siendo el Dundee Ready Education Environment Measure (DREEM), el más usado a nivel mundial ⁸8. Roff S. The Dundee Ready Educational Environment Measure (DREEM)-a generic instrument for measuring students' perceptions of undergraduate health professions curricula. Med Teach. 2005;27(4):322-5..

El diseño y validación inicial del DREEM se llevó a cabo mediante la metodología de teoría fundamentada (Grounded Theory) y un panel Delphi de alrededor de 100 educadores médicos, con una muestra de diversos países que incluyó México, Argentina y Chile ⁹9. Roff S, McAleer S, Harden RM, Al- Qahtani M, Ahmed AU, Deza H. Development and Validation of the Dundee Ready Education Environment Measurement (DREEM). Med Teach. 1997;19(4):295-9. El cuestionario DREEM brinda un puntaje o score global sobre el ambiente educativo percibido por los estudiantes y tiene 5 dominios o subescalas: percepción de aprendizaje, percepción de los profesores, autopercepción académica, autopercepción social y percepción de la atmósfera. Este cuestionario permite, principalmente: (i) generar un "perfil" de una institución, indicando sus fortalezas y debilidades; (ii) realizar análisis comparativos de la percepción de los estudiantes, tanto dentro como entre instituciones, y (iii) evaluar la correlación entre resultados académicos y el ambiente educativo ³3. Miles S, Swift L, Leinster S. The Dundee Ready Education Environment Measure (DREEM): a review of its adoption and use. Med Teach. 2012;39(9):620-34.^,88. Roff S. The Dundee Ready Educational Environment Measure (DREEM)-a generic instrument for measuring students' perceptions of undergraduate health professions curricula. Med Teach. 2005;27(4):322-5.^,1010. Pales J, Gual A, Escanero J, Tomas I, Rodriguez-de Castro F, Elorduy M, et al. Educational climate perception by preclinical and clinical medical students in five Spanish medical schools. Int J Med Educ. 2015;6:65-75..

El cuestionario DREEM fue diseñado para ser culturalmente no específico ⁸8. Roff S. The Dundee Ready Educational Environment Measure (DREEM)-a generic instrument for measuring students' perceptions of undergraduate health professions curricula. Med Teach. 2005;27(4):322-5., es decir, que su rendimiento no varíe de forma excesiva en distintos escenarios. Desde su validación en 1997, esta escala ha sido traducida a más de nueve idiomas, incluyendo la lengua española. Sin embargo, estudios recientes han cuestionado la validez del constructo interno del DREEM en poblaciones de Irlanda, Suecia y Chile ¹1. Ortega BJ, Perez VC, Ortiz ML, Fasce HE, McColl CP, Torres AG, et al. An assessment of the Dundee Ready Education Environment Measure (DREEM) in Chilean university students. Rev. méd. Chile. 2015;143(5):651-7.^,1111. Hammond SM, O'Rourke M, Kelly M, Bennett D, O'Flynn S. A psychometric appraisal of the DREEM. BMC Med Educ. 2012;12:2.. En Perú, el único estudio que ha utilizado el DREEM presentó los resultados de su institución sin profundizar sobre el rendimiento del cuestionario en esa muestra peruana ¹²12. Salcedo MD, Petkvoa-Guerguieva M, Sotomayor CJ, Delgadillo AJ, Pineda MM, Villavicencio GJ, et al. Percepción del clima educacional por estudiantes de odontología en etapa de transición curricular en una muestra peruana. Odontol. Sanmarquina. 2014;17(1):29-34.^).

En febrero de 2017, el Ministerio de Salud peruano presentó un informe sobre la situación de la educación médica, cuyos resultados exhortan la detención de la proliferación de facultades de medicina y resaltan la necesidad de mejorar sustancialmente la formación médica ¹³13. Ministerio de Salud. No más facultades de medicina y una mejor formación de profesionales. Lima: MINSA; 2017 [cited 2107 15 Marzo].. Teniendo en cuenta las recomendaciones de la WFME y el contexto peruano actual, es importante no solo evaluar periódicamente el ambiente educativo, sino también tener la certeza que el instrumento utilizado permita una válida y útil evaluación en nuestra población médica en formación. Por ello, al ser el cuestionario DREEM el instrumento más usado, nuestro objetivo fue explorar sus propiedades psicométricas en una facultad de medicina peruana, con el fin de justificar su uso e interpretación en posteriores estudios.

EL ESTUDIO

METODOLOGÍA

Estudio transversal realizado en la Facultad de Medicina Humana de la Universidad de San Martín de Porres. La población objetivo se conformó con los alumnos matriculados de primero a sexto año académico. Todos ellos fueron invitados a participar mediante el aula virtual de la facultad de medicina, el cual es revisado constantemente para la realización de tareas y exámenes. La recolección de datos fue realizada en el período de abril a octubre de 2015. Se consideró para el análisis solo los cuestionarios que fueron completamente respondidos.

CUESTIONARIO DREEM

El cuestionario DREEM consiste en una escala Likert de 50 ítems distribuidos en sus cinco dominios: percepción de aprendizaje (12 ítems); percepción de los profesores (11 ítems); autopercepción académica (8 ítems); percepción de la atmósfera (12 ítems), y autopercepción social (7 ítems). Las posibles respuestas de cada nunciado tienen un valor o puntaje mostrado: completamente de acuerdo (4 puntos); de acuerdo (3 puntos); no está seguro o no opina (2 puntos); en desacuerdo (1 puntos), y completamente en desacuerdo (0 puntos). Sin embargo, nueve ítems tienen un enunciado negativo, por lo cual el puntaje se contabiliza de forma inversa. El puntaje mínimo global es 0 y el máximo es 200 puntos.

Los resultados del DREEM pueden ser analizados en tres niveles: por ítems, por subescalas y por la escala global. Cada subescala y la escala global tienen 4 puntos de corte, con una interpretación sugerida (Tabla 1).

Para este estudio se utilizó la versión en español validada en Chile ¹⁴14. Riquelme A, Oporto M, Oporto J, Méndez J, Viviani P, Salech F, et al. Measuring Students' Perceptions of the Educational Climate of the New Curriculum at the Pontificia Universidad Catslica de Chile: Performance of the Spanish Translation of the Dundee Ready Education Environment Measure (DREEM). Educ Health. 2009;22(1):112.. Previo a la recolección de datos, se realizó un piloto con 15 estudiantes de Medicina para evaluar la adecuada comprensión de los enunciados. Este piloto fue conducido de forma virtual y se les pidió a estos estudiantes no participar en el estudio oficial. Se realizaron mínimas modificaciones a algunos enunciados para reforzar su comprensión en nuestro medio (Anexo 1).

ANÁLISIS PSICOMÉTRICO

Para medir la consistencia interna de la escala global y las subescalas, se calculó el coeficiente alfa de Cronbach considerando valores aceptables entre 0,70 a 0,95 ¹⁵15. Tavakol M, Dennick R. Making sense of Cronbach's alpha. Int J Med Educ. 2011;2:53-5.. A continuación, se realizó un análisis factorial confirmatorio (AFC) para evaluar la validez de constructo. Se calcularon los coeficientes y cuatro índices de bondad de ajuste: error cuadrático medio de aproximación (RMSEA); el índice de ajuste comparativo (CFI); el índice Tucker-Lewis (TLI) y el residuo estandarizado cuadrático medio (SRMR). Un índice SRMR menor a 0,05 indica un buen ajuste, y uno entre 0,05 y 0,08 se considera aceptable. Por otro lado, un RMSEA menor 0,07 indica un ajuste adecuado ¹⁶16. Hooper D, Coughlan J, Mullen M. Structural equation modelling : Guidelines for determining model fit. Electronic Journal of Business Research Methods. 2008;6(1):53-60.. Los valores CFI y TLI superiores a 0,90 se interpretan como un ajuste óptimo ¹⁷17. Fernandez-Villa T, Molina AJ, Garcia-Martin M, Llorca J, Delgado- Rodriguez M, Martin V. Validation and psychometric analysis of the Internet Addiction Test in Spanish among college students. BMC Public Health. 2015;15:953.. Finalmente, se generó una matriz de correlación del cuestionario para observar el grado de independencia entre las dimensiones. Todos los análisis fueron realizados en el programa estadístico STATA v.13 para Windows (StataCorp, College Station,TX, US)

Antes de la realización del estudio, el Comité Institucional de Ética e Investigación de la Universidad de San Martín de Porres aprobó la realización del estudio. La participación fue voluntaria, las respuestas fueron registradas y almacenadas anónimamente.

RESULTADOS

De un total de 2421 estudiantes matriculados de primero a sexto año de medicina, 911 (37,6%) empezaron el cuestionario, pero solo 828 (32,4%) lo llenaron completamente. La tasa de respuesta por año académico fue: primer año (31,2%), segundo año (41,7%), tercer año (24,1%), cuarto año (39,8%), quinto año (44,3%) y sexto año (29,8%). La edad promedio de los participantes fue 20,6 (DS 2,5) y 489 (59,1%) de los participantes fueron mujeres.

Respecto a las propiedades psicométricas básicas del cuestionario DREEM, las medias y las desviaciones estándar se mostraron dentro de rangos esperados de la escala (Tabla 1). De las cinco subescalas del cuestionario DREEM, una (autopercepción social) tuvo un coeficiente alfa de Cronbach menor a 0,70. El resto de subescalas y la escala total mostraron valores de alfa de Cronbach aceptables (Tabla 1).

Los coeficientes del AFC se muestran en la Tabla 2 y los índices de bondad de ajuste en la Tabla 3. De los cuatro índices, solo el SRMR alcanzó valores aceptables. CFI y TLI mostraron valores muy por debajo de lo requerido (>0,90). Adicionalmente, realizamos un AFC sin la escala autopercepción social y los resultados de los índices no variaron.

La matriz de correlación (Tabla 4) mostró que las subescalas tienen un grado de correlación de moderado a alto (rho >0,5), con todos los coeficientes de Pearson significativos (p<0,001).

DISCUSIÓN

En el análisis factorial confirmatorio del cuestionario DREEM se evidenció problemas en la validez de la construcción de las subescalas. Además, aunque la consistencia interna de toda la escala resultó óptima, en las subescalas los resultados fueron variados, con una subescala (autopercepción social) con una confiabilidad deficiente.

El coeficiente alfa de Cronbach se utiliza para confirmar si un grupo de ítems miden una dimensión particular, y tiende a ser menor cuando la dimensión tiene pocos ítems ¹⁵15. Tavakol M, Dennick R. Making sense of Cronbach's alpha. Int J Med Educ. 2011;2:53-5.. Por ello, se podría esperar un menor valor de Cronbach en la subescala con menos ítems (autopercepción social). Sin embargo, esto no parece ser la única razón, teniendo en cuenta que la dimensión autopercepción académica con solo un ítem más, alcanza un coeficiente aceptable. Además, esta limitación ha sido un hallazgo constante en los estudios que han utilizado el cuestionario DREEM ¹⁰10. Pales J, Gual A, Escanero J, Tomas I, Rodriguez-de Castro F, Elorduy M, et al. Educational climate perception by preclinical and clinical medical students in five Spanish medical schools. Int J Med Educ. 2015;6:65-75.^,1111. Hammond SM, O'Rourke M, Kelly M, Bennett D, O'Flynn S. A psychometric appraisal of the DREEM. BMC Med Educ. 2012;12:2.^,1818. Dimoliatis ID, Vasilaki E, Anastassopoulos P, Ioannidis JP, Roff S. Validation of the Greek translation of the Dundee Ready Education Environment Measure (DREEM). Educ Health. 2010;23(1):348.. Por lo tanto, los investigadores deben referirse a esta dimensión con mucha precaución.

Por otro lado, la construcción de las subescalas del cuestionario genera dudas. Aunque el índice SRMR presentó valores aceptables, se recomienda que los instrumentos presenten óptimos valores en más de un índice, porque estos representan diferentes aspectos del modelo ¹⁶16. Hooper D, Coughlan J, Mullen M. Structural equation modelling : Guidelines for determining model fit. Electronic Journal of Business Research Methods. 2008;6(1):53-60.. Además, la alta correlación entre las dimensiones resalta su interrelación y poca independencia. Sin embargo, cabe resaltar que la correlación entre los factores (subescalas) en nuestro estudio fue menor que en otro estudio realizado en una universidad de Irlanda, aunque con una menor muestra ¹¹11. Hammond SM, O'Rourke M, Kelly M, Bennett D, O'Flynn S. A psychometric appraisal of the DREEM. BMC Med Educ. 2012;12:2.. Nuestros hallazgos van acordes con estudios recientes que cuestionan la construcción de las subescalas del cuestionario DREEM, y que sugieren replantear o reducir las dimensiones del instrumento ¹1. Ortega BJ, Perez VC, Ortiz ML, Fasce HE, McColl CP, Torres AG, et al. An assessment of the Dundee Ready Education Environment Measure (DREEM) in Chilean university students. Rev. méd. Chile. 2015;143(5):651-7.^,1111. Hammond SM, O'Rourke M, Kelly M, Bennett D, O'Flynn S. A psychometric appraisal of the DREEM. BMC Med Educ. 2012;12:2.^,1919. Jakobsson U, Danielsen N, Edgren G. Psychometric evaluation of the Dundee Ready Educational Environment Measure: Swedish version. Med Teach. 2011;33(5):e267-74, lo cual parece necesario.

No creemos que nuestros resultados hayan sido influenciados por alguna adaptación del lenguaje debido a que se usó la versión validada al español, bastante extendida en Chile ²2. Herrera C, Pacheco J, Rosso F, Cisterna C, Aichele D, Becker S, et al. Evaluación del ambiente educacional pre-clínico en seis Escuelas de Medicina en Chile. Rev. méd. Chile. 2010;138:677-84., y además, porque en nuestro piloto mostró buen entendimiento por parte de los estudiantes.

Una solución simple a los inconvenientes presentados en la escala DREEM sería eliminar los ítems con menor confiabilidad. Sin embargo, creemos que un cambio de estructura, requiere una revisión y discusión teórica, como fue inicialmente diseñado el DREEM ⁹9. Roff S, McAleer S, Harden RM, Al- Qahtani M, Ahmed AU, Deza H. Development and Validation of the Dundee Ready Education Environment Measurement (DREEM). Med Teach. 1997;19(4):295-9. Además, para determinar una nueva estructura se debe realizar un análisis factorial exploratorio, con una muestra peruana más representativa, incluyendo estudiantes de Medicina de diferentes regiones.

Este estudio es importante porque permitirá a los educadores e investigadores una mejor comprensión de las propiedades, ventajas y desventajas de usar el instrumento DREEM en el Perú, lo cual, facilitará su correcto uso. Además, este estudio plantea la posibilidad de redefinir los dominios del DREEM en estudios posteriores, y alienta a los investigadores peruanos a analizar las propiedades psicométricas de los instrumentos tipo escala de Likert que se utilizan con frecuencia. Nuestro estudio tiene fortalezas y debilidades. Como fortaleza principal destaca el análisis detallado de las propiedades psicométricas del instrumento, el cual se limita, usualmente, a la presentación de los coeficientes alfa de Cronbach. Dentro de las limitaciones podemos mencionar la baja tasa de respuesta (<40%) de los estudiantes, que es una limitante común en estudios conducidos de forma virtual. Además, debido a que el DREEM consta de 50 preguntas, era esperable que un porcentaje no termine de llenarla.

Como conclusión, nuestros resultados muestran que la construcción de los dominios del DREEM presenta falencias, especialmente en la subescala de autopercepción social, y sugiere que el cuestionario DREEM requiere una revisión de su estructura factorial. Son necesarios estudios que evalúen el ambiente educativo, tomando en cuenta que la formación médica repercute directamente en el sistema de salud. Sin embargo, si investigadores o educadores deciden utilizar el DREEM en Perú, deben tener en cuenta sus limitaciones, mostrar las propiedades psicométricas encontradas en su muestra e interpretar cuidadosamente los resultados

REFERENCIAS BIBLIOGRÁFICAS

Anexo 1

Fechas de Publicación

Histórico