Para usar el coeficiente α se requiere el cumplimiento del modelo de medición tau-equivalente para los ítems y que no existan errores correlacionados (EC), porque de lo contrario podría sesgarse la estimación11. Dunn TJ, Baguley T, Brunsden V. From alpha to omega: A practical solution to the pervasive problema of internal consistency estimation. Br J Psychol 2014; 105(3): 399-412.. Ante ello, el coeficiente ω es considerado una alternativa interesante, ya que su uso no es tan restrictivo y es más adecuado para usarlo en modelos de ecuaciones estructurales11. Dunn TJ, Baguley T, Brunsden V. From alpha to omega: A practical solution to the pervasive problema of internal consistency estimation. Br J Psychol 2014; 105(3): 399-412..
El estudio Validación de la escala ehealth literacy (EHEALS) en población universitaria española de Paramio et al.22. Paramio-Pérez G, Almagro BJ, Hernando-Gómez A, Aguaded-Gómez JI. Validación de la escala eHealth Literacy (eHEALS) en población universitaria española. Rev Esp Salud Publica 2015; 89(3): 329-338. reporta el coeficiente α y concluye que ENT#091;...ENT#093; la versión española de la eHEALS es una escala válida y fiable para medir la competencia en eSalud en el alumnado universitario.
No obstante, dichas conclusiones podrían estar basadas en estimaciones sesgadas de fiabilidad a causa de EC modelados a partir de los índices de modificación (IM) con el objetivo de mejorar el ajuste del instrumento. Esta es una práctica común, pero no se considera el impacto de los EC sobre los índices de fiabilidad. Además, es evidente la ausencia del cumplimiento de la tau-equivalencia a juzgar por las magnitudes de sus cargas factoriales.
La figura 1 de Paramio et al.22. Paramio-Pérez G, Almagro BJ, Hernando-Gómez A, Aguaded-Gómez JI. Validación de la escala eHealth Literacy (eHEALS) en población universitaria española. Rev Esp Salud Publica 2015; 89(3): 329-338. brinda los datos necesarios para hacer el re-análisis del coeficiente ω, pero la presencia de EC afecta su estimación. Para hacer frente a ello, fue desarrollada una extensión de la fórmula para corregirlo33. Raykov T. Bias in coefficient alpha for fixed congeneric measures with correlated errors. Appl Psychol Meas 2001; 25(1): 69-76.:
Donde: λi se refiere a las cargas factoriales, δii a los errores y ϕij a la correlación entre errores. El coeficiente α reportado tiene una magnitud de 0,87 y el coeficiente ω re-calculado de 0,851. No obstante, tras aplicar la fórmula de corrección, el nuevo ω es 0,769. Si bien esta magnitud no deja de ser aceptable, la práctica de correlacionar errores con base en los IM puede llevar a sobredimensionar los hallazgos de la fiabilidad de los puntajes y, por tanto, a concluir de forma sesgada.
En tal sentido, se recomienda a los usuarios estimar el coeficiente ω cuando las condiciones para el uso de α no se cumplan, pero además de ello es necesario corregirlo por la presencia de EC, a fin de evitar sobreestimaciones11. Dunn TJ, Baguley T, Brunsden V. From alpha to omega: A practical solution to the pervasive problema of internal consistency estimation. Br J Psychol 2014; 105(3): 399-412.,33. Raykov T. Bias in coefficient alpha for fixed congeneric measures with correlated errors. Appl Psychol Meas 2001; 25(1): 69-76.,44. Yang Y, Green SB. A note on Structural Equation Modeling estimates of reliability. Structural Equation Modeling 2010; 17(1): 66-81..
Los hallazgos de este re-análisis llevarían a los autores del estudio a una re-interpretación de los indicadores hallados en su estudio, así como en encontrar y discutir una interpretación que permita explicar la presencia de EC, como por ejemplo la cercanía de los ítems55. Meyer JP. Reliability. New York: Oxford University Press; 2010. o el fraseo de los mismos4, de modo tal que para próximas investigaciones pueda lograrse una medición más precisa.
BIBLIOGRAFÍA
- 1Dunn TJ, Baguley T, Brunsden V. From alpha to omega: A practical solution to the pervasive problema of internal consistency estimation. Br J Psychol 2014; 105(3): 399-412.
- 2Paramio-Pérez G, Almagro BJ, Hernando-Gómez A, Aguaded-Gómez JI. Validación de la escala eHealth Literacy (eHEALS) en población universitaria española. Rev Esp Salud Publica 2015; 89(3): 329-338.
- 3Raykov T. Bias in coefficient alpha for fixed congeneric measures with correlated errors. Appl Psychol Meas 2001; 25(1): 69-76.
- 4Yang Y, Green SB. A note on Structural Equation Modeling estimates of reliability. Structural Equation Modeling 2010; 17(1): 66-81.
- 5Meyer JP. Reliability. New York: Oxford University Press; 2010.
Cita sugerida:
Dominguez-Lara SA. Errores correlacionados y estimación de la fiabilidad en estudios de validación: comentarios al trabajo validación de la escala ehealth literacy (eHEALS) en población universitaria española. Rev Esp Salud Pública. 2016; Vol. 90: 9 de junio e1-e2.
Fechas de Publicación
- Publicación en esta colección
20 Mar 2017
Histórico
- Recibido
17 Mar 2016 - Acepto
03 Jun 2016
RESPUESTA A LA CARTA A LA DIRECCIÓN
Errores correlacionados y estimación de la fiabilidad en estudios de validación: comentarios al trabajo validación de la escala ehealth literacy (eHEALS) en población universitaria española
Gema Paramio-Pérez Bartolomé Jesús Almagro Ángel Hernando Ignacio Aguaded Acerca de los autoresCorrespondencia: Gema Paramio Pérez. Departamento de Psicología Evolutiva y de la Educación Facultad de Ciencias de la Educación Universidad de Huelva Avenida Tres de Marzo, s/n. 21071 Huelva gema.paramio@dpsi.uhu.esAgradecemos el interés y comentarios sobre nuestro trabajo. Consideramos una aportación interesante la propuesta razonada del uso del coeficiente ω, así como de la fórmula para corregir ese valor por la presencia de errores correlacionados, que pueden provocar sobreestimaciones en la fiabilidad11. Dunn TJ, Baguley T, Brunsden V. From alpha to omega: A practical solution to the pervasive problema of internal consistency estimation. Br J Psychol 2014; 105(3):399-412..
La práctica de correlacionar errores con el objetivo de mejorar los índices de bondad de ajuste del modelo, es común en este tipo de estudios, siendo habitual no tener en cuenta el impacto de este procedimiento sobre la fiabilidad del instrumento. Debido a este hecho, consideramos oportuno tener presente este aspecto en futuros estudios o construcción de nuevas herramientas de medición. Sin embargo, a la luz de los resultados del coeficiente ω corregido (0,769) y el resto de datos recogidos en nuestro estudio22. Paramio-Pérez G, Almagro BJ, Hernando-Gómez Á, Aguaded-Gómez, JI. Validación de la escala eHealth Literacy Scale (eHEALS) en población universitaria española. Rev Esp Salud Pública 2015; 89(3): 329-338. seguimos afirmando que la versión española de la eHEALS es una escala válida y fiable para medir la competencia en eSalud en universitarios. En esta línea, otro posible índice de fiabilidad en los modelos de ecuaciones estructurales, como alternativa al alfa de Cronbach, es el cálculo de la fiabilidad compuesta del constructo33. Yang Y, Green SB. A note on Structural Equation Modeling estimates of reliability. Structural Equation Modeling 2010; 17(1): 66-81.,44. Lévy-Mangin J-P, Varela-Mallou J. Modelización con estructuras de covarianzas en Ciencias Sociales. Temas esenciales, avanzados y aportaciones especiales. A Coruña: Netbiblo; 2006. y los datos muestran que el valor de la fiabilidad compuesta (0,851) es aceptable.
Por otro lado, tal y como se muestra en nuestro estudio, para obtener unos índices de ajustes aceptables en el análisis factorial confirmatorio (en adelante AFC) se correlacionaron los errores de algunos ítems (4, 5, 6 y 7), lo cual fue considerado como una limitación. En este sentido, tal como planteamos, sería interesante comprobar si sigue persistiendo este problema en futuras investigaciones con la versión española del eHEALS22. Paramio-Pérez G, Almagro BJ, Hernando-Gómez Á, Aguaded-Gómez, JI. Validación de la escala eHealth Literacy Scale (eHEALS) en población universitaria española. Rev Esp Salud Pública 2015; 89(3): 329-338., ya que podría mostrar la necesidad de modificar algunos de los ítems, debido a diversas razones (cercanía de los ítems o al fraseo de los mismos, como nos han sugerido). Si bien es cierto, que la modificación del modelo (correlacionando errores) se ha basado en los resultados de una muestra concreta, por lo que sería necesario diagnosticar el modelo en una segunda muestra independiente55. Batista-Foguet JM, Coenders G, Alonso, J. Análisis factorial confirmatorio. Su utilidad en la validación de cuestionarios relacionados con la salud. Med Clin (Barc) 2004; 122(Suppl 1): 21-7, ya que la validación de un instrumento es un proceso que no se puede limitar a un solo estudio. De hecho, actualmente estamos trabajando en una nueva investigación en la que estamos empleando nuestra versión española del eHEALS y otra escala de nueva construcción que trata de medir la competencia en eSalud.
Consideramos imprescindible en el ámbito científico poder medir con la mayor precisión posible. Además, en el caso de las aptitudes, conocimientos, competencias o en otros atributos conductuales es un proceso complejo, en el que habitualmente es necesario realizar diferentes estudios donde se puedan comprobar la validez y fiabilidad de los instrumentos diseñados o adaptados de otros idiomas o culturas, empleando para ello diferentes muestras y análisis estadísticos. Está en la mano de los investigadores seguir trabajando, formándose y aprendiendo para realizar estudios con mediciones de calidad y que puedan ser fácilmente aplicables por otros profesionales.
En definitiva, es importante considerar la influencia que pueden tener los errores correlacionados en el AFC sobre la estimación de la fiabilidad de los instrumentos, así como la posibilidad de emplear el coeficiente ω o el coeficiente ω corregido (si fuese necesario) con el objetivo no sobreestimar la fiabilidad de la medición.
BIBLIOGRAFÍA
- 1Dunn TJ, Baguley T, Brunsden V. From alpha to omega: A practical solution to the pervasive problema of internal consistency estimation. Br J Psychol 2014; 105(3):399-412.
- 2Paramio-Pérez G, Almagro BJ, Hernando-Gómez Á, Aguaded-Gómez, JI. Validación de la escala eHealth Literacy Scale (eHEALS) en población universitaria española. Rev Esp Salud Pública 2015; 89(3): 329-338.
- 3Yang Y, Green SB. A note on Structural Equation Modeling estimates of reliability. Structural Equation Modeling 2010; 17(1): 66-81.
- 4Lévy-Mangin J-P, Varela-Mallou J. Modelización con estructuras de covarianzas en Ciencias Sociales. Temas esenciales, avanzados y aportaciones especiales. A Coruña: Netbiblo; 2006.
- 5Batista-Foguet JM, Coenders G, Alonso, J. Análisis factorial confirmatorio. Su utilidad en la validación de cuestionarios relacionados con la salud. Med Clin (Barc) 2004; 122(Suppl 1): 21-7
Cita sugerida:
Paramio-Pérez G, Jesús Almagro B, Hernando A, Aguaded I. Errores correlacionados y estimación de la fiabilidad en estudios de validación: comentarios al trabajo validación de la escala ehealth literacy (eHEALS) en población universitaria española. Rev Esp Salud Pública. 2016; Vol. 90: 9 de junio: e1-e2.
