Resúmenes

La formación, tanto académica, pre-laboral o laboral, es uno de los mecanismos clave para la inclusión social y laboral de los colectivos en riesgo de exclusión¹1 Jurado De Los Santos P, Olmos Rueda P, Romero Pérez A. Los jóvenes en situación de vulnerabilidad y los programas formativos de transición al mundo del trabajo. Educar. 2015; 51(1):211-24., un recurso para eliminar las diferencias²2 González Díaz FA, Rubio Bañón A. La garantía juvenil como solución a la exclusión social de los jóvenes. Rev Int Cienc Soc. 2017; (36):113-25. y un elemento motivador cuando se trata de evaluaciones positivas³3 Ryan RM, Deci EL. La teoría de la autodeterminación y la facilitación de la motivación intrínseca, el desarrollo social, y el bienestar. Am Psychol. 2000; 55(1):68-78. doi: https://doi.org/10.1037110003-066X.55.1.68..

La evaluación de un programa de formación nos permite determinar la congruencia de los objetivos, las competencias y su grado de cumplimiento⁴4 Perea-Arias ÓD. Guía de evaluación de programas y proyectos sociales. Madrid: Plataforma de ONG de Acción Social; 2017.. También es un elemento muy importante y que dará coherencia en el diseño, implementación, desarrollo y obtención de resultados⁵5 Madero Cañete L, Arenas Bernal L. Cómo medir y mejorar los niveles de inclusión de personas con TEA en el centro educativo. Siglo Cero (Madr). 2018; 49(3):39-54. doi: https://doi.org/10.14201/scero20184933954.
https://doi.org/10.14201/scero2018493395... , así como en el seguimiento del aprendizaje⁶6 Ruiz-Bueno C, García-Orriols J. ¿Qué nos aporta el modelo de patrones de aprendizaje para el diseño de acciones formativas? Rev Colomb Educ. 2019; 77:321-41. doi: https://doi.org/10.17227/rce.num77-9527.
https://doi.org/10.17227/rce.num77-9527... . Se debe adaptar a las necesidades de las personas que lo reciben y a la organización y/o servicio que implementa la formación⁷7 Tejada Fernández J, Fernández Lafuente E. La evaluación del impacto de la formación como estrategia de mejora en las organizaciones. Rev Electron Investig Educ. 2007; 9(2):1-15. doi: https://doi.org/10.1007/s10597-019-00391-y.
https://doi.org/10.1007/s10597-019-00391... .

Para evaluar un programa es necesario recopilar sistemáticamente información, a través del uso de metodologías formales para la obtención de datos, con el fin de emitir juicios y proporcionar evidencia empírica útil sobre la calidad del programa y sus resultados⁸8 Issel LM, Wells R, Williams M. Health program planning and evaluation. Massachusetts: Jones & Bartlett Learning; 2017.^,99 Mertens DM, Wilson AT. Program evaluation theory and practice: a comprehensive guide. 2nd ed. New York: Guilford Publications; 2018..

Cada programa, según sus características, requerirá diferentes procedimientos de evaluación. Es muy importante seleccionar adecuadamente estos procesos y su metodología para que la evaluación tenga rigor⁴4 Perea-Arias ÓD. Guía de evaluación de programas y proyectos sociales. Madrid: Plataforma de ONG de Acción Social; 2017.. Según su momento de aplicación, la evaluación de un programa puede ser¹⁰10 Castillo Arredondo S, Cabrerizo Diago J. Evaluación educativa de aprendizajes y competencias. Madrid: Pearson Educación; 2010.:

• Inicial: se realiza previamente o al comienzo de la implantación de un programa para conocer la situación de partida. Además, sirve como referente para valorar el final del proceso de formación.

• Continua: es la recogida sistemática de datos sobre el funcionamiento a lo largo del programa. Permite obtener información del proceso formativo de todas las personas participantes.

• Intermedia: prueba puntual durante la implementación del programa para medir la evolución de las personas participantes¹¹11 Ortegón E, Francisco Pacheco J, Prieto A. Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas. Santiago: Naciones Unidas/CEPAL; 2005. v. 42..

• Final: recogida de datos al finalizar el programa formativo.

• Posterior o ex post: se realiza un tiempo después de finalizar la formación para comprobar si se han alcanzado los objetivos propuestos, su consolidación en el tiempo y el impacto de la formación¹¹11 Ortegón E, Francisco Pacheco J, Prieto A. Metodología del marco lógico para la planificación, el seguimiento y la evaluación de proyectos y programas. Santiago: Naciones Unidas/CEPAL; 2005. v. 42.^,1212 Billorou N, Pacheco M, Vargas Zúñiga F. Guía para la evaluación de impacto de la formación. Montevideo: OIT/Cinterfor; 2011..

Asimismo, según su finalidad, diferenciamos dos tipos de evaluación¹³13 Dixson DD, Worrell FC. Formative and summative assessment in the classroom. Theory Pract. 2016; 55(2):153-9.^,1414 Ramos Martínez L, Rueda Beltrán M. Rasgos distintivos de las evaluaciones formativas para el desempeño docente. Perf Educ. 2020; 42(169):144-59. doi: https://doi.org/10.22201/iisue.24486167e.2020.169.59287.
https://doi.org/10.22201/iisue.24486167e... :

• Formativa: su objetivo es mejorar el aprendizaje diagnosticando las dificultades del proceso. Se lleva a cabo antes y durante la formación. Ejemplos de pruebas que se pueden realizar: observación, tarea, preguntas, autoevaluación o reflexión, entre otras.

• Sumativa: su finalidad es evaluar los resultados del aprendizaje. Se trata de un proceso acumulativo que se realiza al final de la formación. Algunas pruebas que se pueden efectuar son: proyectos, evaluación del desempeño, portfolio o examen.

En este estudio nos planteamos la siguiente pregunta: ¿lla evaluación de los programas de formación para personas con problemas de salud mental está en coherencia con las competencias esperadas en los distintos programas?

Para poder responder a esta pregunta, y dada la amplitud de programas de formación y sistemas de evaluación, desarrollamos un estudio de caso que nos permita acercarnos a la realidad concreta que se desarrolla en un tipo de programas: Programas de formación de pares para el apoyo entre iguales en salud mental.

El apoyo entre iguales en salud mental es una práctica con larga tradición en Estados Unidos, pioneros en esta iniciativa, que se define como la relación que se establece entre las personas que tienen o han tenido experiencias similares y se basa fundamentalmente en la empatía¹⁵15 Cárcamo Guzmán K, Cofré Lira I, Flores Oyarzo G, Lagos Arriagada D, Oñate Vidal N, Grandón Fernández P. Atención en salud mental de las personas con diagnóstico psiquiátrico grave y su recuperación. Psicoperspectivas. 2019; 18(2):59-69. doi: http://dx.doi.org/10.5027/psicoperspectivas-vol18-issue2-fulltext-1582.
https://doi.org/10.5027/psicoperspectiva... ^,1616 Munce SEP, Shepherd J, Perrier L, Allin S, Sweet SN, Tomasone JR, et al. Online peer support interventions for chronic conditions: a scoping review protocol. BMJ Open. 2017; 7(9):e017999.. Este apoyo puede tener un carácter formal o informal. Aunque reconocemos los valores que aportan ambas propuestas, en el presente artículo nos centramos en el primero, el apoyo entre iguales formal o intencionado.

Una de las características de este tipo de apoyo es que, para que sea efectiva la intervención, es importante el desarrollo de una formación previa de la persona que va a cumplir la función de asesoramiento (proveedor/a del apoyo). Encontramos experiencias internacionales que demuestran que el carácter formal otorga un valor añadido¹⁷17 Bono Del Trigo A, Navarro Martillas B, Mena Jiménez A. Evaluación del proyecto ayuda mutua entrenamiento y prácticas en los servicios de salud mental ANDALUCÍA. Andalucía: Escuela Andaluza de Salud Pública; 2011..

Actualmente existe un elevado interés en el apoyo entre iguales formal como área de investigación en salud mental debido a su creciente expansión en todo el mundo¹⁸18 Gidugu V, Rogers ES, Harrington S, Maru M, Johnson G, Cohee J, et al. Individual peer support: a qualitative study of mechanisms of its effectiveness. Community Ment Health J. 2015; 51(4):445-52. doi: https://doi.org/10.1007/s10597-014-9801-0.
https://doi.org/10.1007/s10597-014-9801-... y a los elevados beneficios que aporta a las personas con Trastorno Mental Severo (TMS)¹⁹19 Campos F, Sousa A, Rodrigues V, Marques A, Queirós C, Dores A. Directrices prácticas para programas de apoyo entre personas con enfermedad mental. Rev Psiquiatr Salud Ment. 2016; 9(2):97-110.^,2020 Stefancic A, House S, Bochicchio L, Harney-Delehanty B, Osterweil S, Cabassa L. “What We Have in Common”: a qualitative analysis of shared experience in peer-delivered services. Community Ment Health J. 2019; 55(6):907-15..

Diferentes estudios recogen los beneficios que los programas de formación para el apoyo entre iguales entre personas con TMS tienen para todas las partes implicadas¹⁹19 Campos F, Sousa A, Rodrigues V, Marques A, Queirós C, Dores A. Directrices prácticas para programas de apoyo entre personas con enfermedad mental. Rev Psiquiatr Salud Ment. 2016; 9(2):97-110.^,2121 Gillard S, Holley J. Peer workers in mental health services: literature overview. Adv Psychiatr Treat. 2014; 20(4):286-92.

22 Repper J, Aldridge B, Gilfoyle S, Gillard S, Perkins R, Rennison J. Peer support workers: theory and practice. London: Centre for Mental Health; 2013.

23 Socialstyrelsen. Forsøg med ansættelse af medarbejdere, brug af frivillige og brug af mentorer med brugerbaggrund i den regionale og kommunale indsats [Internet]. Odense: Socialstyrelsen; 2019 [citado 27 Sep 2019]. Disponible en: https://bit.ly/2Eca0DK
https://bit.ly/2Eca0DK... ^-2424 Watson E, Lambert M, Machin K. Peer support training: values, achievements and reflections. Ment Health Pract. 2016; 19(9):22. doi: https://doi.org/10.7748/mhp.19.9.22.s20.
https://doi.org/10.7748/mhp.19.9.22.s20... :

• Proveedores de apoyo: descubrimiento personal, desarrollo de habilidades, más control en su recuperación, aumento de la autoestima, más posibilidades de encontrar un empleo, seguridad económica. Es decir, reporta beneficios bidireccionales, a nivel personal en cuanto al avance en su proceso de recuperación y externamente a la persona que recibe el apoyo.

• Receptores del apoyo: agentes activos de su propia recuperación, más empoderamiento, reducción de la autoestigmatización, aumento de las habilidades en resolución de problemas, incremento de las habilidades sociales, apoyo social mejorado.

• Organizaciones o servicios que incluyen trabajadores pares: mejora de los servicios prestados, beneficios económicos, impulso de un enfoque centrado en la recuperación.

Además, estos programas de formación de pares tienen un elevado potencial para el empleo, siendo una forma positiva y segura de reingresar al colectivo en el mercado laboral²⁵25 Smith L, Bradstreet S. Experts by experience: guidelines to support the development of Peer Worker roles in the mental health sector. Glasgow: Scottish Recovery Network; 2011.. Por ello, es fundamental evaluar las competencias laborales de las personas participantes para poder determinar si están capacitadas para ejercer el rol²⁶26 Sala-Roca J, Jariot-García M, Arnau-Sabatés L, Doval E. Test situacional desarrollo de las competencias básicas de empleabilidad: validación de un instrumento psicoeducativo para la intervención socioeducativa. Pedagog Soc Rev Interuniversitaria. 2021; 4(37):39-53. doi: https://doi.org/10.7179/PSRI_2021.37.02.
https://doi.org/10.7179/PSRI_2021.37.02... ^,2727 Artaza O, Santacruz J, Girard J, Álvarez D, Barría S, Tetelboin C, et al. Formación de recursos humanos para la salud universal: acciones estratégicas desde las instituciones académicas. Rev Panam Salud Publica. 2020; 44:e83. doi: https://doi.org/10.26633/RPSP.2020.83.
https://doi.org/10.26633/RPSP.2020.83... . Asimismo, desempeñarán sus funciones apoyando a otras personas que están atravesando una situación vulnerable, por lo que la evaluación se convierte en un elemento imprescindible en el proceso de formación.

Pese a todo ello, para algunos autores²⁸28 Lloyd-Evans B, Mayo-Wilson E, Harrison B, Istead H, Brown E, Pilling S, et al. A systematic review and meta-analysis of randomised controlled trials of peer support for people with severe mental illness. BMC Psychiatry. 2014; 14(1):39. existe poca evidencia científica respecto a la efectividad del apoyo entre iguales para personas con problemas de salud mental, y las debilidades en el proceso de evaluación dificultan un estudio más riguroso de su efectividad. Además, para conseguir un mayor nivel de evidencia de estos programas es necesario una elevada especificidad, consistencia y seguimiento de los resultados²⁹29 Chinman M, McInnes DK, Eisen S, Ellison M, Farkas M, Armstrong M, et al. Establishing a research agenda for understanding the role and impact of mental health peer specialists. Psychiatr Serv. 2017; 68(9):955-7. doi: https://doi.org/10.1176/appi.ps.201700054.
https://doi.org/10.1176/appi.ps.20170005... .

Teniendo en cuenta la pregunta que nos guía en este estudio, planteada más arriba, nos proponemos como objetivo de este trabajo: identificar los métodos e instrumentos de evaluación empleados en los programas de formación de pares para personas con Trastorno Mental Severo y su coherencia con las competencias esperadas en los distintos programas.

Método

Para conocer la realidad de esta práctica, se ha realizado una revisión internacional de programas de formación de pares para personas con TMS.

Para la búsqueda y el análisis documental se siguieron los pasos descritos por Scott et al.³⁰30 Scott CE, McTigue EM, Miller DM, Washburn EK. The what, when, and how of preservice teachers and literacy across the disciplines: a systematic literature review of nearly 50 years of research. Teach Teach Educ. 2018; 73:1-13. doi: https://doi.org/10.1016/j.tate.2018.03.010.
https://doi.org/10.1016/j.tate.2018.03.0... : a) búsqueda/compilación de estudios, b) proceso de selección según los criterios de inclusión, c) análisis metodológico de los estudios seleccionados y d) síntesis cualitativa de los estudios seleccionados. Las búsquedas se realizaron a comienzos del 2020 a partir de investigaciones/documentos publicados hasta 2019. El proceso seguido, a partir de Winston et al.³¹31 Barbosa Chacón JW, Barbosa Herrera JC, Rodríguez Villabona M. Revisión y análisis documental para estado del arte: una propuesta metodológica desde el contexto de la sistematización de experiencias educativas. Investig Bibl Arch Bibliotecol Inf. 2013; 27(61):83-105. doi: https://doi.org/10.1016/S0187-358X(13)72555-3.
https://doi.org/10.1016/S0187-358X(13)72... , se muestra en el Cuadro 1.

A partir de los estudios seleccionados, según los criterios de inclusión y exclusión, se lleva a cabo un análisis descriptivo de los textos mediante el análisis de contenido en profundidad y la identificación de métodos e instrumentos de evaluación. Cuando las publicaciones científicas identificadas no proporcionaron suficiente información sobre los instrumentos de evaluación utilizados, se han revisado los sitios web de diferentes organismos estatales y países. En algunos casos, ha sido necesario ponerse en contacto, por correo electrónico y/o teléfono, con las organizaciones involucradas para obtener más información sobre los métodos e instrumentos de evaluación empleados.

Se han encontrado un total de 79 programas. De éstos, fueron rechazados:

• 2 porque la información proporcionada sobre las características del proceso de evaluación era insuficiente.

• 21 porque no se obtuvo información sobre el sistema de evaluación.

Por lo tanto, este estudio revisa los métodos e instrumentos de evaluación utilizados en 56 programas de formación para el apoyo de pares en salud mental. En la Figura 1, siguiendo a Moher et al.³²32 Moher D, Liberati A, Tetzlaff J, Altman DG. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. Int J Surg. 2010; 8(5):336-41., se recoge el diagrama de flujo de la revisión documental.

Resultados

43 de los 56 programas analizados se ubican en Estados Unidos. Asimismo, en Sudamérica, América Central y el Caribe encontramos escasas experiencias de esta práctica, como el Proyecto Suma en Argentina, Proyecto CTI-TS desarrollado por RedeAmericas o el programa It´s my life: Social Self-Directed Care, aunque en este análisis no se incluye ningún programa de esta área, por falta de información sobre la evaluación. El resto de programas seleccionados (12) pertenecen principalmente a Europa (Alemania, Dinamarca, España, Francia, entre otros), pero también se incluyen experiencias en Australia o Uganda. En el Cuadro 2 se recogen los 56 programas analizados, el país o estado donde se han desarrollado, los métodos e instrumentos empleados en la evaluación y el momento en el que se lleva a cabo.

Encontramos que se emplean una amplia gama de procedimientos para la evaluación de la formación desarrollada en los distintos países que lo implementan. Diferentes culturas en la atención a las patologías psiquiátricas, distintos modelos asistenciales, una gran diversidad en cuanto a la cantidad y calidad de los recursos implicados hace que nos encontremos con esta gran diversidad de estrategias que se resumen y ordenan, según el momento de la aplicación, en el Cuadro 3.

En relación con el momento que se realiza la evaluación, encontramos:

Evaluación inicial. Sólo 3 programas disponen de alguna prueba preliminar. En Alabama realiza un examen inicial³³33 Kaufman L, Kuhn WB, Manser SS. Peer specialist training and certification programs: national overview 2016. Austin: Texas Institute for Excellence in Mental Health; 2016.. En Australia se lleva a cabo una evaluación previa a través de una encuesta³⁴34 Association of Participating Service Users (APSU). Resources - the peer model manual [Internet]. Melbourne: APSU; 2019 [citado 15 Sep 2019]. Disponible en: http://bit.ly/2nVnRDE
http://bit.ly/2nVnRDE... . También, en Uganda dispone de unos cuestionarios previos³⁵35 Mental Health Innovations Network. HeartSounds peer support [Internet]. Geneva: Mental Health Innovations Network; 2019 [citado 22 Sep 2019]. Disponible en: http://bit.ly/2BoLUTf
http://bit.ly/2BoLUTf... , que sirven cómo evaluación previa y orientadora de la formación.

Evaluación continua. Nueve programas realizan un seguimiento de las personas participantes durante la formación, aunque no encontramos una uniformidad en las técnicas aplicadas. Tres de ellos (Distrito de Columbia y dos en Iowa, tienen en cuenta el trabajo realizado durante la formación y las actividades propuestas fuera de la formación³³33 Kaufman L, Kuhn WB, Manser SS. Peer specialist training and certification programs: national overview 2016. Austin: Texas Institute for Excellence in Mental Health; 2016..

Cinco programas emplean los métodos de la evaluación continua como medida para la puntuación final. Los dos programas implementados en Dinamarca utilizan la asistencia y la participación en la formación²³23 Socialstyrelsen. Forsøg med ansættelse af medarbejdere, brug af frivillige og brug af mentorer med brugerbaggrund i den regionale og kommunale indsats [Internet]. Odense: Socialstyrelsen; 2019 [citado 27 Sep 2019]. Disponible en: https://bit.ly/2Eca0DK
https://bit.ly/2Eca0DK... ^,3636 Peer-støtte i Region Hovedstaden. Om projekt ‘Peer-støtte i region Hovedstaden’ [Internet]. Copenhagen: Peer-støtte i Region Hovedstaden; 2019 [citado 29 Sep 2019]. Disponible en: https://bit.ly/3LN8szd
https://bit.ly/3LN8szd... . En Escocia evalúa las tareas realizadas durante el proceso y el portfolio como medida de evaluación final³⁷37 Scottish Qualifications Authority (SQA). Professional development awards (PDAs) [Internet]. Glasgow: SQA; 2019 [citado 23 Sep 2019]. Disponible en: https://bit.ly/2DBGO80
https://bit.ly/2DBGO80... .

Finalmente, en Europa también realiza una evaluación continua, en este caso se recoge la información a través de un portfolio elaborado durante el programa³⁸38 Christie L, Smith L, Bradstreet S. Peer2peer - curso de formación profesional. Glasgow: Scottish Recovery Network; 2015.. Esta es una estrategia especialmente indicada para la evaluación individualizada y de carácter continuo³⁹39 Bernhardt VL. The school portfolio toolkit: a planning, implementation, and evaluation guide for continuous school improvement. Londres: Routledge; 2013.. La evaluación en este programa se complementa con la redacción individual de la historia personal de cada participante³⁸38 Christie L, Smith L, Bradstreet S. Peer2peer - curso de formación profesional. Glasgow: Scottish Recovery Network; 2015..

Evaluación intermedia, es decir, prueba que se lleva a cabo durante el desarrollo de la formación, generalmente en la mitad del programa. Cuatro programas realizan pruebas de estas características, Minnesota y Pennsylvania la llevan a cabo a través de cuestionarios intermedios³³33 Kaufman L, Kuhn WB, Manser SS. Peer specialist training and certification programs: national overview 2016. Austin: Texas Institute for Excellence in Mental Health; 2016..

En Nebraska se realiza una evaluación después de cada sesión³³33 Kaufman L, Kuhn WB, Manser SS. Peer specialist training and certification programs: national overview 2016. Austin: Texas Institute for Excellence in Mental Health; 2016.. En Tennessee se realiza un examen escrito después de cada sección³³33 Kaufman L, Kuhn WB, Manser SS. Peer specialist training and certification programs: national overview 2016. Austin: Texas Institute for Excellence in Mental Health; 2016..

Evaluación final. 51 de los 56 programas analizados realizan alguna prueba en este momento, convirtiéndose en la evaluación por excelencia en este tipo de formación. En su mayoría se trata de un examen final escrito y presencial (32 programas). Encontramos poca información respecto a las características y contenidos de esta prueba. En algunos casos requieren información del tipo³³33 Kaufman L, Kuhn WB, Manser SS. Peer specialist training and certification programs: national overview 2016. Austin: Texas Institute for Excellence in Mental Health; 2016.:

• Preguntas cortas y de ensayo en Michigan.

• Estructura cerrada de opción múltiple en Texas.

• Preguntas de verdadero o falso, de opción múltiple y de ensayo en Oklahoma.

También algunos programas facilitan el examen escrito de forma online como en Iowa o en Mississippi. En Rhode Island el examen lo llevan a cabo de ambas formas: presencial y online³³33 Kaufman L, Kuhn WB, Manser SS. Peer specialist training and certification programs: national overview 2016. Austin: Texas Institute for Excellence in Mental Health; 2016..

Cinco de los programas combinan examen escrito y oral³³33 Kaufman L, Kuhn WB, Manser SS. Peer specialist training and certification programs: national overview 2016. Austin: Texas Institute for Excellence in Mental Health; 2016.: Carolina del Sur, Hawaii, Nebraska, Kentucky y Washington.

Otros programas combinan un examen escrito con otro tipo de pruebas para su evaluación final. Es el caso de Louisiana, Minnesota y en los dos programas existentes en Pennsylvania, que incluyen la realización de juegos de rol³³33 Kaufman L, Kuhn WB, Manser SS. Peer specialist training and certification programs: national overview 2016. Austin: Texas Institute for Excellence in Mental Health; 2016.. También en la región de Lombardía, Italia, la prueba final se compone de un cuestionario y una entrevista⁴⁰40 Duemilauno Agenzia Sociale. Peer support - Impazzire si Può 2014 [Internet]. Udine: Duemilauno Agenzia Sociale; 2014 [citado 23 Sep 2019]. Disponible en: https://bit.ly/2WJJnv3
https://bit.ly/2WJJnv3... .

Una puntuación mínima para la superación la prueba se exige en: Arizona o Idaho 80%; Mississippi o Nuevo México 75%; y Utah 70%. En Georgia los participantes, disponen de 3 intentos para superar el examen final³³33 Kaufman L, Kuhn WB, Manser SS. Peer specialist training and certification programs: national overview 2016. Austin: Texas Institute for Excellence in Mental Health; 2016..

La evaluación del programa en Uganda se realiza a través de cuestionarios posteriores a la formación³⁵35 Mental Health Innovations Network. HeartSounds peer support [Internet]. Geneva: Mental Health Innovations Network; 2019 [citado 22 Sep 2019]. Disponible en: http://bit.ly/2BoLUTf
http://bit.ly/2BoLUTf... .

Las pruebas de evaluación final para la formación en Australia y Nueva Zelanda comprenden: preguntas cortas, proyectos, casos, reportes de investigación, prácticas y libro de registro⁴¹41 Australian Government. National Mental Health Commission. Mental Health Peer Work Developing and Promotion. Certificate IV mental health peer work [Internet]. Sydney: Australian Government; 2019 [citado 13 Sep 2019]. Disponible en: http://bit.ly/2BVAeZ4
http://bit.ly/2BVAeZ4... .

En Okanagan, Canadá, se realiza una autoevaluación, un cuestionario de respuestas útiles y una evaluación del curso⁴²42 Canadian Mental Health Association. Peer support training manual [Internet]. Calgary: Canadian Mental Health Association; 2005 [citado 19 Sep 2019]. Disponible en: http://bit.ly/2Eh213J
http://bit.ly/2Eh213J... .

De los 51 programas que incluyen pruebas de evaluación final, solo dos no contienen un examen. Por un lado, el programa europeo (Peer2Peer) realiza un repaso del curso y una reflexión sobre lo aprendido³⁸38 Christie L, Smith L, Bradstreet S. Peer2peer - curso de formación profesional. Glasgow: Scottish Recovery Network; 2015.. Por otro lado, en Inglaterra pide una tarea reflexiva de 3000 palabras.

Evaluación posterior. Solo dos programas incluyen alguna prueba de seguimiento después de la formación. En Australia a través de una encuesta³⁴34 Association of Participating Service Users (APSU). Resources - the peer model manual [Internet]. Melbourne: APSU; 2019 [citado 15 Sep 2019]. Disponible en: http://bit.ly/2nVnRDE
http://bit.ly/2nVnRDE... y en Francia mediante entrevistas a todas las partes implicadas, grupos focales y visitas a los centros de trabajo⁴³43 Centre Collaborateur de l’Organisation Mondiale de la Santé pour la recherche et la formation en santé mentale. Programme “Mediateur de Sante Pair” [Internet]. Montreal: Centre Collaborateur de l’Organisation Mondiale de la Santé; 2019 [citado 27 Sep 2019]. Disponible en: https://bit.ly/2UH7J6Z
https://bit.ly/2UH7J6Z... .

Finalmente, cabe destacar el exhaustivo proceso de evaluación que se lleva en el programa de formación de pares de Francia que se estructura de la siguiente forma⁴³43 Centre Collaborateur de l’Organisation Mondiale de la Santé pour la recherche et la formation en santé mentale. Programme “Mediateur de Sante Pair” [Internet]. Montreal: Centre Collaborateur de l’Organisation Mondiale de la Santé; 2019 [citado 27 Sep 2019]. Disponible en: https://bit.ly/2UH7J6Z
https://bit.ly/2UH7J6Z... :

• Observación in situ. Se realiza durante el desarrollo del programa de formación⁴⁴44 Roelandt J-L, Staedel B, Rafael F, Marsili M, François G, Le Cardinal P, et al. Programme médiateurs de santé / pairs - rapport final de l’expérimentation 2010-2014. Lille: CCOMS; 2015..

• Evaluación continua. Después de cada semana de formación se cumplimenta un cuestionario de satisfacción⁴⁵45 Demailly L, Dembinski O, Cassan D, Soulé J, Bélart C. Le programme expérimental des médiateurs de santé pairs (en santé mentale) - recherche qualitative. Lille: CCOMS; 2013..

• Prueba final. Los participantes deben superar un examen escrito y la defensa de la tesis⁴³43 Centre Collaborateur de l’Organisation Mondiale de la Santé pour la recherche et la formation en santé mentale. Programme “Mediateur de Sante Pair” [Internet]. Montreal: Centre Collaborateur de l’Organisation Mondiale de la Santé; 2019 [citado 27 Sep 2019]. Disponible en: https://bit.ly/2UH7J6Z
  https://bit.ly/2UH7J6Z... .

• Evaluación del impacto (9 meses después). Por un lado, con métodos cualitativos a través de entrevistas con todas las partes implicadas (PSWs, equipos de salud, etc.), grupos focales y visitas exploratorias a los lugares de trabajo⁴⁴44 Roelandt J-L, Staedel B, Rafael F, Marsili M, François G, Le Cardinal P, et al. Programme médiateurs de santé / pairs - rapport final de l’expérimentation 2010-2014. Lille: CCOMS; 2015.^,4545 Demailly L, Dembinski O, Cassan D, Soulé J, Bélart C. Le programme expérimental des médiateurs de santé pairs (en santé mentale) - recherche qualitative. Lille: CCOMS; 2013.. Por otro lado, una evaluación cuantitativa según bases de datos sobre el impacto de los PSW en relación a la atención recibida⁴⁴44 Roelandt J-L, Staedel B, Rafael F, Marsili M, François G, Le Cardinal P, et al. Programme médiateurs de santé / pairs - rapport final de l’expérimentation 2010-2014. Lille: CCOMS; 2015.^,4545 Demailly L, Dembinski O, Cassan D, Soulé J, Bélart C. Le programme expérimental des médiateurs de santé pairs (en santé mentale) - recherche qualitative. Lille: CCOMS; 2013..

Investigación. Paralelamente al programa de formación, se lleva a cabo un proyecto de investigación con el objetivo de analizar, describir y contribuir al proceso de construcción y legitimación de esta nueva profesión, PSW, en salud mental valorando así, el conocimiento experiencial de las personas con TMS⁴³43 Centre Collaborateur de l’Organisation Mondiale de la Santé pour la recherche et la formation en santé mentale. Programme “Mediateur de Sante Pair” [Internet]. Montreal: Centre Collaborateur de l’Organisation Mondiale de la Santé; 2019 [citado 27 Sep 2019]. Disponible en: https://bit.ly/2UH7J6Z
https://bit.ly/2UH7J6Z... .

Solamente 12 programas llevan a cabo pruebas de evaluación en diferentes momentos, así podemos ver:

• Evaluación Inicial, final y posterior: en Australia.

• Evaluación inicial y final: en Alabama y en Okangan.

• Evaluación inicial y posterior: en Uganda.

• Evaluación continua e intermedia: en Dinamarca.

• Evaluación continua y final: en Distrito de Columbia y en Iowa.

• Evaluación Continua, final y posterior: en Francia.

• Evaluación intermedia y final: en Europa, Minnesota, Nebraska y en Pennsylvania.

• El resto, 44 programas, realizan la evaluación en un sólo momento del proceso.

• Evaluación final: la mayoría, 41 programas.

• Evaluación continua: en Escocia y en Dinamarca (Uddannelse af peer-medarbejdere)

• Evaluación intermedia: en Tennessee.

Discusión

Los programas de formación de pares en salud mental tienen sus inicios en EE. UU por lo que se encuentran diseminados en los sistemas de salud de la mayoría de estados⁴⁶46 Stastny P. Introducing peer support work in Latin American mental health services. Cad Saude Colet. 2012; 20(4):473-81. doi: https://doi.org/10.1590/S1414-462X2012000400011.
https://doi.org/10.1590/S1414-462X201200... . Pese a la rápida expansión de esta práctica en los últimos años aún no está generalizada en todo el mundo y no existen estándares reconocidos para la formación⁴⁷47 Brown C, Ehrlich-Jones L, Fisher E, Gabriele J, Hino S, Kowitt S, et al. Advocating and planning for a behavioral health peer support program. Chapel Hill: National Peer Support Collaborative Learning Network; 2014..

Las personas que reciben la formación de pares posteriormente van a desempeñar tareas con personas con enfermedad mental, por lo que se debe valorar si cumplen unos requisitos específicos¹⁹19 Campos F, Sousa A, Rodrigues V, Marques A, Queirós C, Dores A. Directrices prácticas para programas de apoyo entre personas con enfermedad mental. Rev Psiquiatr Salud Ment. 2016; 9(2):97-110.. La evaluación de las habilidades laborales es fundamental para determinar si la persona está preparada para ejercer el rol²⁶26 Sala-Roca J, Jariot-García M, Arnau-Sabatés L, Doval E. Test situacional desarrollo de las competencias básicas de empleabilidad: validación de un instrumento psicoeducativo para la intervención socioeducativa. Pedagog Soc Rev Interuniversitaria. 2021; 4(37):39-53. doi: https://doi.org/10.7179/PSRI_2021.37.02.
https://doi.org/10.7179/PSRI_2021.37.02... . Es decir, se deben evaluar las competencias de cada persona para su desempeño profesional.

La mayoría de programas analizados emplean para su evaluación un examen final escrito. Pero con este tipo de estrategias evaluadoras (pruebas de papel y lápiz) no se pueden captar con profundidad las competencias adquiridas por las personas participantes⁴⁸48 RI Consulting. Certified peer support specialist training [Internet]. Phoenix: RI Consulting; 2015 [citado 18 Sep 2019]. Disponible en: https://bit.ly/2quj1hD
https://bit.ly/2quj1hD... y solo permiten determinar la adquisición de conocimientos. Aún encontramos más dificultades para conocer la consecución de las competencias esperadas en aquellas iniciativas que resumen la evaluación en una prueba final on-line.

Todos los tipos de formación para personas con estas características, y con este alto impacto, deberían incluir una evaluación del proceso para, según Lloyd-Evans et al.²⁸28 Lloyd-Evans B, Mayo-Wilson E, Harrison B, Istead H, Brown E, Pilling S, et al. A systematic review and meta-analysis of randomised controlled trials of peer support for people with severe mental illness. BMC Psychiatry. 2014; 14(1):39., ayudar a entender si el programa de formación de pares fue implementado según lo previsto y los mecanismos por los cuales los efectos de esta intervención compleja se logran.

Campos et al.¹⁹19 Campos F, Sousa A, Rodrigues V, Marques A, Queirós C, Dores A. Directrices prácticas para programas de apoyo entre personas con enfermedad mental. Rev Psiquiatr Salud Ment. 2016; 9(2):97-110. señalan que se debe valorar su actuación mediante juegos de roles, entrevistas o pruebas escritas. El empleo de estrategias de simulación, como el role playing, fomenta el aprendizaje experimental⁴⁹49 Aguado D, Arranz V, Valera-Rubio A, Marín-Torres S. Evaluación de un programa blended-learning para el desarrollo de la competencia trabajar en equipo. Psicothema. 2011; 23(3):356-61.. Además, se deben incluir métodos específicos y feedback de evaluadores internos y externos¹⁹19 Campos F, Sousa A, Rodrigues V, Marques A, Queirós C, Dores A. Directrices prácticas para programas de apoyo entre personas con enfermedad mental. Rev Psiquiatr Salud Ment. 2016; 9(2):97-110..

Asimismo, recomiendan que se realicen supervisiones regulares durante el desempeño de las funciones, bien por un proveedor más veterano o un profesional de la salud mental¹⁹19 Campos F, Sousa A, Rodrigues V, Marques A, Queirós C, Dores A. Directrices prácticas para programas de apoyo entre personas con enfermedad mental. Rev Psiquiatr Salud Ment. 2016; 9(2):97-110.. De los programas revisados, sólo dos incluyen una evaluación después de la formación: uno de ellos en Francia⁴³43 Centre Collaborateur de l’Organisation Mondiale de la Santé pour la recherche et la formation en santé mentale. Programme “Mediateur de Sante Pair” [Internet]. Montreal: Centre Collaborateur de l’Organisation Mondiale de la Santé; 2019 [citado 27 Sep 2019]. Disponible en: https://bit.ly/2UH7J6Z
https://bit.ly/2UH7J6Z... , y el otro, el Peer Helper Training³⁴34 Association of Participating Service Users (APSU). Resources - the peer model manual [Internet]. Melbourne: APSU; 2019 [citado 15 Sep 2019]. Disponible en: http://bit.ly/2nVnRDE
http://bit.ly/2nVnRDE... en Australia.

Si el apoyo entre iguales favorece la recuperación de las personas con TMS, se necesita investigación para mostrar la efectividad de la formación recibida, es decir, con un mayor nivel de evidencia²⁹29 Chinman M, McInnes DK, Eisen S, Ellison M, Farkas M, Armstrong M, et al. Establishing a research agenda for understanding the role and impact of mental health peer specialists. Psychiatr Serv. 2017; 68(9):955-7. doi: https://doi.org/10.1176/appi.ps.201700054.
https://doi.org/10.1176/appi.ps.20170005... . La evaluación es un elemento fundamental en el proceso de formación.

Los trabajadores pares poseen un conocimiento útil y valioso que durante muchos años ha sido infravalorado. Incluir este rol en los equipos de salud mental pueden reportar beneficios en ambas direcciones, por un lado, dentro del equipo, aportando una visión que ningún otro integrante podría ofrecer y, por otro lado, contribuir a la seguridad económica del trabajador par al disponer de un sueldo que, además, le permite desempeñar un rol social valorado¹⁹19 Campos F, Sousa A, Rodrigues V, Marques A, Queirós C, Dores A. Directrices prácticas para programas de apoyo entre personas con enfermedad mental. Rev Psiquiatr Salud Ment. 2016; 9(2):97-110.^,2424 Watson E, Lambert M, Machin K. Peer support training: values, achievements and reflections. Ment Health Pract. 2016; 19(9):22. doi: https://doi.org/10.7748/mhp.19.9.22.s20.
https://doi.org/10.7748/mhp.19.9.22.s20... . Asimismo, debido a las posibilidades que abre este tipo de formación, el rol también puede ser aplicable en otros equipos de trabajo del ámbito comunitario de la salud mental.

Pese a ello, y específicamente en América, algunos estudios⁵⁰50 Guerrero Núñez J. Densidad de recurso humano y desigualdad en gastos en salud en países de las Américas. Rev Panam Salud Publica. 2020; 44:e133. doi: https://doi.org/10.26633/RPSP.2020.133.
https://doi.org/10.26633/RPSP.2020.133... indican el importante desequilibrio en la financiación de los servicios sanitario, obligando a los ciudadanos a realizar un mayor gasto del dinero personal cuando los estados no realizan el desembolso. La salud mental se presenta, en todos los casos, como una de las áreas con menor financiación, por lo que el apoyo entre iguales, que requiere de menores recursos económicos, puede aportar importantes beneficios a todas las partes implicadas. La integración social y laboral del colectivo requiere de cambios y transformaciones en la estructura del sistema y en las políticas públicas⁵¹51 Blanco S, Toassi RFC, Laurino CG, Abegg C. Abandono de la atención odontológica en programas sociales desde la perspectiva de participantes y operadores sociales: el caso Uruguay Trabaja. Interface (Botucatu). 2019; 23:e180482. doi: https://doi.org/10.1590/Interface.180482.
https://doi.org/10.1590/Interface.180482... .

Conclusiones

Retomando la pregunta planteada al inicio ¿lla evaluación de los programas de formación de pares para personas con problemas de salud mental está en coherencia con las competencias esperadas en los distintos programas? Podemos afirmar que los instrumentos y métodos de evaluación empleados, en la mayoría de los programas de pares en salud mental analizados en este estudio, evalúan conocimientos, pero no las competencias adquiridas durante el proceso formativo.

En base al objetivo planteado en el trabajo de identificar los métodos e instrumentos de evaluación empleados en los programas de formación de pares para personas con TMS y su coherencia con las competencias esperadas en los distintos programas, encontramos escasa información pública en la literatura científica respecto a la evaluación realizada por estos programas.

Las pruebas de evaluación de los programas analizados permiten, a lo sumo, valorar los conocimientos. Pero en pocos casos permiten medir las competencias adquiridas, lo cual es imprescindible para poder determinar si la persona está preparada para su desempeño.

El elevado esfuerzo realizado (por organizaciones, docentes y las personas participantes en la formación) para mejorar sus competencias y poder desarrollar sus actividades profesionales o de colaboración, no se corresponde con una propuesta evaluadora que responda a los objetivos finales.

La evaluación de las competencias adquiridas requiere del uso de estrategias diferentes. Algunas de ellas pueden ser: role playing, entrevistas, resolución de casos. Con ellas se podría poner en situación a la persona participante para que ponga en práctica sus habilidades.

Cualquier evaluación de calidad debe cubrir, al menos, dos de los momentos de evaluación indicados: inicial, continua, intermedia, final y posterior. Y, además, deberían incorporar diferentes estrategias de evaluación: pruebas escritas, role playing, estudios de caso... De no actuar de esta forma, es muy posible que las evaluaciones implementadas no recojan los resultados obtenidos por las personas participantes y su adecuación al posterior desempeño profesional, repercutiendo negativamente en su inserción laboral y, por ende, en su inclusión social.

Esta investigación nos permite reflexionar sobre los métodos e instrumentos que se emplean para la evaluación de competencias profesionales. Es necesario que todos los programas de formación para la inserción laboral de colectivos en riesgo de exclusión que ya están en marcha consideren la revisión de las pruebas de evaluación seleccionadas y determinen si están en consonancia con los objetivos y competencias. Del mismo modo, la recopilación de instrumentos, según diferentes momentos, recogida en este estudio puede ayudar en la selección de los métodos de evaluación en los programas de formación para el empleo.

Teniendo en cuenta que en algunos casos la formación es el trámite requerido para la inserción laboral, sería interesante estudiar el desempeño profesional de los pares en salud mental y conocer si se evalúa la puesta en práctica de las competencias adquiridas durante la formación.

El estudio no está exento de limitaciones. Es posible que programas de formación de pares para personas con TMS que no se hayan identificado, porque no han conllevado una investigación científica, los resultados están publicados en otras bases de datos o por estar divulgados en la literatura gris (páginas web, Facebook, YouTube...). Así mismo, se deberían revisar otros programas y colectivos para conocer si los sistemas de evaluación se encuentran en coherencia con los objetivos y las competencias de la formación implementada o, como en este caso, es difícil que los instrumentos empleados puedan determinar su alcance.

Referencias

Fechas de Publicación

Histórico