RESUMEN

Este artículo presenta los modelos evaluativos para intervenciones complejas en salud. Dichas intervenciones se caracterizan por ser dinámicas, altamente influenciadas por el contexto (político, social, económico y cultural), y cuentan con múltiples actores y multicomponentes. Las intervenciones complejas en salud se ejecutan simultáneamente con otras intervenciones de otros sectores; requieren tiempo para mostrar resultados y a veces es difícil estimar su contribución social e individual a la población blanco. Este artículo pretende identificar los modelos evaluativos propuestos para intervenciones complejas en salud con sus respectivas características, a fin de tener referentes teóricos para evaluaciones de programas de esta naturaleza. Por mucho tiempo las intervenciones en salud y su evaluación se entendieron de manera lineal; sin embargo, bajo la perspectiva teórica de la complejidad (en la que se integran múltiples dimensiones del fenómeno), el contexto tiene un papel central. Esto permite entender que las intervenciones no tienen el mismo resultado en diferentes espacios y que esta forma de evaluación permite dar cuenta de ello.

Palabras Clave:
Sistemas complejos; análisis de sistemas; complejidad; evaluación; metodología; intervenciones sociales (fuente: DeCS, BIREME)

ABSTRACT

This paper presents evaluative models for complex health interventions. The complex health interventions are characterized by being dynamic, highly influenced by the con-text (political, social, economic, and cultural), which have multiple actors, multicomponent. Furthermore, they are executed simultaneously with other interventions from other sectors, they require time to show results and sometimes it is difficult to estimate the contribution to the social and individual impact of the target population. This paper aims to identify the proposed evaluative models for complex health interventions with their respective characteristics, to have theoretical references for evaluations of pro-grams of this nature. For a long time, health interventions and their evaluation were understood in a linear manner, however, under the theoretical perspective of the complexity (in which multiple dimensions of the phenomenon are integrated), the context plays a central role, making it possible to understand that interventions do not have the same result in different spaces and that this form of evaluation allows to account for it.

Key Words:
Complex systems; systems analysis; complexity; evaluation; methodology; social interventions (source: MeSH, NLM)

Las tendencias actuales para evaluación de intervenciones de naturaleza compleja muestran la importancia identificar la relación entre el contexto, los mecanismos que se dan en las intervenciones y los resultados obtenidos como un conjunto articulado, pero no lineal. La revisión de la literatura en el tema de evaluación de intervenciones en salud conduce a la exploración de nuevos enfoques, como los propuestos por la teoría de la complejidad. Edgar Morín sostiene que la teoría de la complejidad es "la ciencia del siglo XXI" y defiende que "el mundo como un todo está cada vez más presente en cada una de sus partes". Este es el punto de vista central de la teoría de la complejidad, que descubre su infinita profundidad, la complejidad de lo real y que permite asociar en la unidad elementos antagónicos pero complementarios, reconocer la dualidad en el seno de la unidad y ver la cohabitación del orden y el desorden en todas las cosas ¹1. Almeida-Filho N. Complejidad y Transdisciplinariedad en el Campo de la Salud Colectiva: Evaluación de Conceptos y Aplicaciones. Salud Colect. 2006; 2(002):123-46..

En el campo científico crece cada vez más la conciencia de que la ciencia se configura como una práctica epistemológica de construcción de modelos, formulación y solución de problemas en un mundo en constante cambio y es bajo esta premisa que la visión antropocéntrica se ha ido desvirtuando, para fortalecer cada vez más la descentralización y el relativismo ²2. Godfrey S. Theory and reality. Sci Educ. 2004; 88(6):987-9. DOI:10.1002/sce.20034.
https://doi.org/10.1002/sce.20034... .

Las intervenciones complejas son ejecutadas ampliamente en los servicios de salud y en la práctica de la salud pública. No obstante, a la hora de ser evaluadas presentan varios problemas para los evaluadores, por las dificultades prácticas y metodológicas que representa la evaluación de una intervención con estas características. El contexto en el que se desarrollan los programas e intervenciones de la salud, los múltiples actores, las partes interesadas, los diferentes objetivos y estrategias llevan a que estas intervenciones deban entenderse y evaluarse de manera distinta a lo tradicional, debido a que la incertidumbre en los resultados contribuye a la complejidad de las intervenciones ³3. Jolley G. Evaluating complex community-based health promotion: Addressing the challenges. Eval Program Plann. 2014; 45:71-81. DOI:10.1016/j.evalprogplan.2014.03.006.
https://doi.org/10.1016/j.evalprogplan.2... .

Revisar la teoría de la complejidad y su aplicación en la evaluación de intervenciones en salud puede ayudar a abordar algunos desafíos de la evaluación. En la medida en que la evaluación se base en modelos que den cuenta de contextos cambiantes y resultados emergentes, proporcionarán información que faciliten la práctica reflexiva, permitiendo al evaluador obtener una mejor comprensión de la influencia del contexto y otros factores de implementación en un entorno complejo. El modelo seleccionado por el evaluador debe contribuir a la construcción de evidencia y conocimiento acumulativos para identificar los principios de efectividad de la intervención en salud que puedan ser transferibles a nuevas intervenciones ⁴4. Lawless A, Freeman T, Bentley M, Baum F, Jolley G. Developing a good practice model to evaluate the effectiveness of comprehensive primary health care in local communities. BMC Fam Pract. 2014; 15(1):1-9..

Desde el año 2000 se han publicado documentos orientados a fortalecer el desarrollo de evaluaciones de efectividad apoyado en la teoría de la complejidad, como el del Consejo de Investigación Médica Londinense (MRC), que publicó la guía deominada Developing and Evaluating Complex Interventions, la cual abarca los componentes de la evaluación para permitirles a los investigadores y financiadores de la investigación reconocer y adoptar métodos apropiados para evaluar intervenciones complejas. Esta guía fue complementada y ajustada en el año 2008 (5). La guía ajustada resalta la importancia de conocer teóricamente cómo la intervención genera cambios a fin de identificar los vínculos débiles en la cadena causal, para ser fortalecidos, planteando que "la mejor práctica es desarrollar intervenciones sistemáticamente, utilizando la mejor evidencia disponible y la teoría apropiada" ⁵5. Craig P. Desarrollando y evaluando intervenciones complejas: la nueva guía del Consejo de Investigación Médica. BMJ. 2008; 337-655..

La segunda guía propuesta, Process Evaluation of Complex Interventions, centra su atención en la evaluación del proceso y complementa teórica y técnicamente la primera Guía ⁵5. Craig P. Desarrollando y evaluando intervenciones complejas: la nueva guía del Consejo de Investigación Médica. BMJ. 2008; 337-655.^,66. Moore GF, Audrey S, Barker M, Bond L, Bonell C, Hardeman W, et al. Process evaluation of complex interventions: Medical Research Council guidance. BMJ. 2015;350:1-7.. El complemento se orienta al enfoque sistémico que involucra intervención, mecanismos y contexto, apoyándose en definiciones de la teoría de la intervención e identificando preguntas del proceso ⁷7. Moore G, Audrey S, Barker M, Bond L, Bonell C, Hardeman W, et al. Process evaluation of complex interventions [Internet]. UK Med Res Counc Guid. 2014; 64-75. https://bit.ly/3hxqA1Z.
https://bit.ly/3hxqA1Z... .

Los investigadores de intervenciones complejas están interesados en introducir cambios en sistemas complejos, pero las consecuencias de modificar el funcionamiento de estos sistemas suelen ser impredecibles. La propuesta para generar cambios en la salud de la población se centra en la necesidad de comprender cómo funciona un sistema en el que se planifica un cambio, antes de realizar intentos para cambiarlo ⁸8. Moore G, Audrey S, Barker M, Bond L, Bonell C, Cooper C, et al. Process evaluation in complex public health intervention studies: the need for guidance. J Epidemiol Community Health [Internet]. 2014; 68(2):101-2. DOI:10.1136/jech-2013-202869.
https://doi.org/10.1136/jech-2013-202869... .

En la actualidad, se reconoce la importancia de realizar la evaluación del diseño y de los procesos, para que, en la etapa de la evaluación de la efectividad, se genere mayor confianza en las conclusiones basadas en la calidad de la intervención y analizar la posibilidad de generalizar sus resultados teniendo en cuenta el contexto ⁷7. Moore G, Audrey S, Barker M, Bond L, Bonell C, Hardeman W, et al. Process evaluation of complex interventions [Internet]. UK Med Res Counc Guid. 2014; 64-75. https://bit.ly/3hxqA1Z.
https://bit.ly/3hxqA1Z... . Este artículo pretende identificar los modelos evaluativos propuestos para intervenciones complejas en salud con sus respectivas características.

METODOLOGÍA

Se realiza revisión de literatura en modelos evaluativos para intervenciones complejas. Se identificaron y seleccionaron los modelos evaluativos propuestos desde el año 2000, publicados en revistas indexadas, basados en la teoría de la complejidad que presentan y explican el modelo teórico.

RESULTADOS

Al revisar la literatura, los modelos teóricos propuestos para evaluar intervenciones complejas en salud están basados en los elementos clave para el desarrollo de una intervención y de su proceso evaluativo, propuesto por Craig en el año 2008, (Figura 1).

Esta guía propone cuatro elementos para el diseño e intervención de toda intervención compleja, a saber:

Desarrollo: Antes de realizar la evaluación se recomienda identificar evidencia de intervenciones similares y los métodos utilizados para evaluarlos; en segundo lugar, identificar y desarrollar la teoría que sustenta el desarrollo de la intervención buscando la comprensión teórica del posible proceso de cambio a partir de la evidencia y la teoría existentes; en tercer lugar, realizar el proceso de modelado y resultados que proporcionen información sobre el diseño tanto de la intervención como de la evaluación ⁵5. Craig P. Desarrollando y evaluando intervenciones complejas: la nueva guía del Consejo de Investigación Médica. BMJ. 2008; 337-655..

Viabilidad: Para evitar problemas de aceptación o dificultades en la evaluación total se sugiere realizar pruebas de viabilidad a la intervención, entre otras para comprender el contexto en el que se realizan las intervenciones. Se recomienda un estudio piloto a fin de examinar las incertidumbres clave que se han identificado durante el desarrollo de la intervención ⁵5. Craig P. Desarrollando y evaluando intervenciones complejas: la nueva guía del Consejo de Investigación Médica. BMJ. 2008; 337-655..

Implementación: La evaluación del proceso tiene como objetivo captar la fidelidad (si la intervención se realizó según lo previsto) y la dosis (la cantidad de intervención implementada). Las intervenciones complejas usualmente se someten a adaptaciones cuando se implementan en diferentes contextos. Capturar lo que se entrega en la práctica, con una referencia cercana a la teoría de la intervención, permite a los evaluadores distinguir entre las adaptaciones realizadas a la intervención para que se ajuste a diferentes contextos y los cambios que alteran la fidelidad de la intervención ⁷7. Moore G, Audrey S, Barker M, Bond L, Bonell C, Hardeman W, et al. Process evaluation of complex interventions [Internet]. UK Med Res Counc Guid. 2014; 64-75. https://bit.ly/3hxqA1Z.
https://bit.ly/3hxqA1Z... . Los alcances de esta etapa radican en conocer cómo se realizó la intervención y el alcance de las intervenciones, que representa cómo los beneficiarios entraron en contacto con la intervención ⁹9. Glasgow RE, Vogt TM, Boles SM. Evaluating the Public Health Impact of Health Promotion Interviews: The RE-AIM Framework. Am J Public Health. 1999; 89(9):1322-7. DOI:10.2105/ajph.89.9.1322.
https://doi.org/10.2105/ajph.89.9.1322... .

En el campo de la efectividad de intervenciones complejas en salud, la literatura aporta modelos para evaluar sistemas de salud basados en Atención Primaria en Salud (APS) como el de Lawless et ál., quienes, a través del modelo lógico del programa basado en la teoría, proporcionan un marco para la evaluación del progreso de resultados esperados y exploran aspectos particulares del contexto y los mecanismos que producen los resultados. Justifican su importancia debido a la ausencia de modelos que permitan realizar la evaluación de los servicios de APS en su totalidad ⁴4. Lawless A, Freeman T, Bentley M, Baum F, Jolley G. Developing a good practice model to evaluate the effectiveness of comprehensive primary health care in local communities. BMC Fam Pract. 2014; 15(1):1-9. (Figura 2).

Este modelo fue desarrollado para el contexto australiano. A través de un enfoque realista, propone explorar la relación entre contexto, los mecanismos y los resultados. Los mecanismos y el contexto del modelo se teorizan como la interacción entre los espacios para la acción que pueden habilitar o restringir las cualidades del servicio, que deben caracterizar un servicio del sistema de salud y que, con el tiempo, contribuyen a la salud individual y comunitaria y a los mejores resultados de equidad ⁴4. Lawless A, Freeman T, Bentley M, Baum F, Jolley G. Developing a good practice model to evaluate the effectiveness of comprehensive primary health care in local communities. BMC Fam Pract. 2014; 15(1):1-9.. El modelo se encuentra en proceso de implementación y validación.

Otro modelo es el propuesto por Friedrich et ál. ¹⁰10. Friedrich A, Jenny GJ, Bauer GF. The Context, Process, and Outcome Evaluation Model for Organisational Health Interventions. Biomed Res Int. 2015. DOI:10.1155/2015/414832.
https://doi.org/10.1155/2015/414832... , quienes integran los componentes teóricos del contexto, procesos y resultados para una intervención en salud ocupacional ¹⁰10. Friedrich A, Jenny GJ, Bauer GF. The Context, Process, and Outcome Evaluation Model for Organisational Health Interventions. Biomed Res Int. 2015. DOI:10.1155/2015/414832.
https://doi.org/10.1155/2015/414832... (Figura 3).

Este modelo busca integrar los diferentes elementos que constituyen una intervención, para que, de manera articulada, se pueda dar cuenta de su efectividad, comprendiendo cómo se desarrollaron cada una de sus 7 fases.

Fase 1. Identificación de actores

Propone reconocer los actores claves de la intervención, la intención es conocer las personas que idearon la intervención, personal operativo que intervino y usuarios propuestos desde el inicio y reales durante la intervención, con el propósito de contar con informantes clave para las otras etapas del proyecto de investigación.

Fase 2. Identificar o reconstruir el diseño de la intervención Es esta etapa los evaluadores revisarán actas, contratos y demás documentos que permitan conocer o reconstruir las bases teóricas de la intervención, el modelo teórico que sustentó la propuesta y un diseño de marco o modelo lógico en el que se identifiquen los componentes de la intervención, actividades, grupos objetivo y resultados esperados.

Fase 3. Describa el contexto

Se basa en el concepto de Friedrich (10) en el que contexto se define como el marco que influye y está influenciado por una intervención de salud. Por eso, se habla de los componentes políticos, económicos, sociales y normativos que enmarcaron el desarrollo de la intervención y que permiten reconocer las particularidades del fenómeno en las condiciones reales en que se implementó.

Fase 4. Reconstruir y evaluar el proceso de implementación Se propone reconstruir el plan de intervención o la arquitectura de la intervención. Da cuenta de la combinación y secuencia de las actividades específicas de la intervención realizados por cada uno de los actores. En esta etapa se identifican los grupos a quienes la intervención ha beneficiado, tipo de actividades realizadas, que incluyen talleres, encuestas, presentaciones y lecciones prácticas e implementadores involucrados.

Una herramienta que facilita esta aproximación es la propuesta por el Modelo REAIM (reach, effectiveness, adoption, implementation and maintenance), que establece cinco categorías de interés para el evaluador. De cada componente se genera la sigla en inglés Reach, effectiveness, adoption, implementation and maintenance) ¹¹11. Lee RE, Galavíz KI, Soltero EG, Rosales Chavez J, Jauregui E, Lévesque L, et al. Applying the RE-AIM conceptual framework for the promotion of physical activity in low- and middle-income countries. Rev Lat Am Enfermagem [Internet]. 2017; 25(0). https://bit.ly/2YMiWdA.
https://bit.ly/2YMiWdA...

12. Fink A. Evaluation fundamentals: Insights into program effectiveness, quality, and value [Internet]. Sage Publications; 2014 [cited 2021 Apr 4]. https://bit.ly/3kkhpUI.
https://bit.ly/3kkhpUI... ^-1313. Rodríguez-Villamizar LA, Ruiz-Rodríguez M, Acosta-Ramírez N. Evaluación de un modelo de atención primaria en salud en Santander, Colombia. Rev Fac Nac Salud Pública [Internet]. 2015; 34(1).https://bit.ly/2XjdxKw.
https://bit.ly/2XjdxKw... .

Fase 5. Procesos de Cambio

El proceso de cambio se define como las dinámicas individuales y colectivas previstas y no intencionadas activadas durante el proceso de implementación, lo que lleva a alteraciones en la intervención y sus miembros. Este análisis involucra los niveles del contexto de intervención desde el individuo a la institución (y sus entornos). Los procesos de cambio incluyen, aprendizaje individual y organizativo, procesos sociales, toma de control de las perspectivas de otros, realización de planes de acción desarrollados conjuntamente para mejorar el trabajo, la estructura organizativa y la estrategia ¹⁰10. Friedrich A, Jenny GJ, Bauer GF. The Context, Process, and Outcome Evaluation Model for Organisational Health Interventions. Biomed Res Int. 2015. DOI:10.1155/2015/414832.
https://doi.org/10.1155/2015/414832... .

Fase 6. Resultados

Esta es la etapa en la que se estudian y miden los cambios producidos como consecuencia directa o indirecta (atribuibles o no) a una intervención. Teniendo en cuenta la temporalidad, se dividen en individuales y colectivos. Los evaluadores deben definir en cuáles resultados centrarán su interés ¹⁴14. Lara TM, Fajardo OG. Guías Metodológicas. Guía para la Evaluación de Políticas Públicas. Bogotá: Departamento Nacional de Planeación; 2012 [cited 2021 Apr 3]. https://bit.ly/3nt9ztP.
https://bit.ly/3nt9ztP... .

Fase 7. Mecanismos de atribución

Las evaluaciones de intervenciones complejas se basan en la teoría de la evaluación realista, basada en la postura epistemológica del realismo crítico. Este enfoque tiene un carácter exploratorio que busca identificar los mecanismos de cambio que están relacionados con los razonamientos humanos, opciones de las personas y sus aptitudes. Si una intervención funciona es porque las personas así lo han decidido, por lo tanto, esta etapa busca conocer el mecanismo (M) accionado por la intervención para producir unos efectos (E) en un contexto determinado. Esto es lo que se denomina Contexto-Mecanismo-Resultado (CMR)" ¹⁵15. Pawson R, Tilley N. Realistic Evaluation [Internet]. Sage. 1997. DOI: 10.2172/258140.
https://doi.org/10.2172/258140... . Al respecto, se sugiere comparar la CMR con la teoría de la intervención o la lógica de la intervención que describe la cadena de resultados y la producción de los efectos ¹⁶16. Ridde VDC. Enfoques y prácticas en la evaluación de programas. Bogotá: Universidad Javeriana; 2017 [cited 2021 Apr 4]. https://bit.ly/3CaiiFb.
https://bit.ly/3CaiiFb... .

El último modelo es el propuesto por Jolley para la promoción de la salud. Incluye las etapas de planeación, implementación y evaluación y busca explorar las intervenciones a fondo, aplicándolo de manera retrospectiva ³3. Jolley G. Evaluating complex community-based health promotion: Addressing the challenges. Eval Program Plann. 2014; 45:71-81. DOI:10.1016/j.evalprogplan.2014.03.006.
https://doi.org/10.1016/j.evalprogplan.2... . El modelo hace énfasis en reconocer y responder a contextos cambiantes y resultados emergentes, proporcionando retroalimentación rápida y facilitando la práctica reflexiva. Esto le permite al evaluador obtener una mejor comprensión de la influencia del contexto y otros factores de implementación en un entorno complejo. El uso del modelo debe contribuir a la construcción de evidencia y conocimiento acumulativos para identificar los principios de efectividad de la promoción de la salud que pueden ser transferibles a nuevas situaciones ³3. Jolley G. Evaluating complex community-based health promotion: Addressing the challenges. Eval Program Plann. 2014; 45:71-81. DOI:10.1016/j.evalprogplan.2014.03.006.
https://doi.org/10.1016/j.evalprogplan.2... (Figura 4).

Los fundamentos teóricos de este modelo partieron del trabajo realizado con los stakeholders para identificar las teorías implícitas y la lógica de los programas, para ello utilizaron métodos interpretativos, a fin de validar los hallazgos de atribución y causalidad ³3. Jolley G. Evaluating complex community-based health promotion: Addressing the challenges. Eval Program Plann. 2014; 45:71-81. DOI:10.1016/j.evalprogplan.2014.03.006.
https://doi.org/10.1016/j.evalprogplan.2... .

En la fase de planeación se propone realizar una revisión de la literatura para consolidar la teoría macro del programa y el modelo lógico para producir la teoría del programa que permitirá identificar cómo funcionará y los resultados esperados de acuerdo con la revisión de literatura efectuada. Esta teoría del programa debe adaptarse a la situación local con base en el contexto, los recursos, la población objetivo, los factores sociales, políticos y económicos, entre otros ³3. Jolley G. Evaluating complex community-based health promotion: Addressing the challenges. Eval Program Plann. 2014; 45:71-81. DOI:10.1016/j.evalprogplan.2014.03.006.
https://doi.org/10.1016/j.evalprogplan.2... .

Desde esta etapa se identifican las preguntas de evaluación. Luego, dadas las condiciones cambiantes del contexto, se reconoce que las implementaciones de las intervenciones complejas no son lineales, debido a las adaptaciones que se dan por influencias de factores internos y externos. Por ello, el rol del evaluador es moni-torear estos cambios de manera permanente ³3. Jolley G. Evaluating complex community-based health promotion: Addressing the challenges. Eval Program Plann. 2014; 45:71-81. DOI:10.1016/j.evalprogplan.2014.03.006.
https://doi.org/10.1016/j.evalprogplan.2... .

En la fase de evaluación se debe dar cuenta del dinamismo del sistema, sus interacciones y hacer retro-alimentación permanente. Los hallazgos de la evaluación son contexto dependiente y están relacionadas con la teoría del programa identificada antes de la implementación. Por ello, la habilidad del evaluador para identificar aspectos que producen mayor efectividad en una intervención puede sumarse a este modelo evaluativo para lograr que otras intervenciones sean más efectivas ³3. Jolley G. Evaluating complex community-based health promotion: Addressing the challenges. Eval Program Plann. 2014; 45:71-81. DOI:10.1016/j.evalprogplan.2014.03.006.
https://doi.org/10.1016/j.evalprogplan.2... .

Entender las intervenciones en salud de manera integrada, con la posibilidad de develar la "caja negra" y de conocer a profundidad el contexto en el que se ejecutan han permitido que la evaluación incorpore elementos explicativos y de atribución a los resultados y de efectividad con mayores elementos de comprensión de cómo y porque una intervención funciona. Los modelos teóricos propuestos reconocen la dinámica cambiante del entorno y las adaptaciones de las estrategias como un factor común de las intervenciones.

Los autores plantean que cada modelo aplica a contextos específicos, lo que implica que no son universales y que, al ser altamente influenciados por el contexto, deben ajustarse a las realidades específicas de las intervenciones por evaluar.

Existen dos aspectos comunes a los modelos, su visión integral y la necesidad de articular el contexto con los mecanismos causales y los resultados a fin de dar cuenta de la intervención ♥

REFERENCIAS

Fechas de Publicación

Histórico