Resumen

Objetivo

Evaluar el impacto del Plan de Promoción de la Autonomía Personal y Prevención de la Dependencia de Andalucía (2016-2020) en 13 organismos públicos participantes tras su primer año, y analizar la usabilidad y la fiabilidad de la escala de evaluación del impacto que se ha empleado.

Método

El Plan aborda la promoción de la autonomía personal y la prevención de la discapacidad y la dependencia con un enfoque multisectorial. Se estructura en líneas, objetivos y actuaciones que han sido evaluadas mediante la escala Adoption Impact Ladder (AIL). El análisis de la validez simple, la viabilidad y la fiabilidad de la escala se ha realizado en 30 actuaciones evaluadas por 20 expertos de la Administración pública y un evaluador externo independiente.

Resultados

En 2017 se pusieron en marcha 176 actuaciones y programas del Plan. Se han implementado el 67,2% de las actuaciones propuestas y solo uno de los 16 objetivos no se ha asociado a actuaciones ejecutadas en el primer año. Siete de los 15 objetivos ejecutados fueron enteramente multisectoriales, involucrando a tres o más consejerías. La validez simple, la viabilidad y la fiabilidad interexaminadores de la escala AIL fueron buenas (κ: 0,72).

Conclusiones

El Plan ha proporcionado un marco novedoso para coordinar un amplio rango de políticas y actuaciones en la Administración pública de Andalucía. Por primera vez se presenta un análisis del impacto multisectorial que proporciona una guía efectiva para el seguimiento, la planificación y el establecimiento de prioridades públicas en salud, servicios sociales y atención a personas mayores y personas con discapacidad.

Palabras clave:
Evaluación; Análisis de impacto; Planificación; Políticas sociales; Políticas sanitarias; Autonomía personal; Prevención de la dependencia; Envejecimiento activo y saludable

Abstract

Objective

To evaluate the impact of the Plan for the promotion of personal autonomy and prevention of disability in Andalusia (2016-2020) in 13 public administrations during the first year of its implementation; and to analyse the usability and feasibility of the impact assessment ladder used.

Method

The Plan addresses the promotion of personal autonomy and the prevention of disabilities and dependencies through a multisectoral approach. It is structured in strands or lines of work, objectives and actions that have been assessed through the Adoption Impact Ladder (AIL). The analysis of the face validity, feasibility and inter-rater reliability of the impact assessment ladder was carried out in 30 actions of the Plan that were rated by 20 experts from the 13 ministries and public agencies involved in the Plan, and an external rater.

Results

176 actions and programmes were launched in 2017. Of these, 67.2% were implemented during the first year. Only one of the 16 objectives had no action initiated during the first year. Moreover, 7 out of 15 objectives implemented were fully multisectoral involving more than three Regional Ministries. The face validity, feasibility and inter-rater reliability of the AIL were good (κ: 0.72).

Conclusions

This Plan has provided a novel framework to coordinate a broad range of proposed policies and actions within the public administration of Andalusia. For the first time, a multisectoral impact analysis has been conducted providing an effective guide for monitoring, planning and setting public priorities in health, social services, ageing and disabilities.

Keywords:
Evaluation; Impact analysis; Planning; Social policies; Health policies; Personal autonomy; Prevention of dependence; Active and healthy ageing; Adoption Impact Ladder

Introducción

El Plan Andaluz para la Promoción de la Autonomía Personal y Prevención de la Dependencia (PAP&PD) (2016-2020)¹1. CISPS. Plan Andaluz de Promoción de la Autonomía Personal y Prevención de la Dependencia (2016-2020). Sevilla: Consejería de Igualdad, Salud y Políticas Sociales; 2015. (Consultado el 24/11/2018.) Disponible en: https://www.juntadeandalucia.es/export/drupaljda/publicacion/16/06/Plan%20Autonom%C3%ADa%20Personal Definitivo%20Maquetaci%C3%B3n%2030 0616.pdf
https://www.juntadeandalucia.es/export/d... tiene como finalidad la promoción de la autonomía personal, la prevención secundaria de la discapacidad y la prevención terciaria en personas ya dependientes. El PAP&PD se estructura en dos etapas bianuales y se dirige a toda la población andaluza de más de 6 años, con una especial atención a las personas mayores, con discapacidad, dependientes o con fragilidad, cuidadores y población con factores de riesgo como sedentarismo, tabaquismo, alcoholismo, consumo de drogas, juego o trastornos alimenticios.

El PAP&PD sigue las directrices trazadas por la Ley Nacional 39/2006 de promoción de la autonomía personal y atención a las personas en situación de dependencia²2. Jefatura de Estado. Ley de Promoción de la Autonomía Personal y Atención a las personas en situación de dependencia. L. N.º 39/2006 (14 diciembre 2006). BOE 299 de 15 de diciembre de 2006. (Consultado el 24/11/2018.) Disponible en: https://www.boe.es/buscar/act.php?id=BOE-A-2006-21990
https://www.boe.es/buscar/act.php?id=BOE... (en este contexto, «dependencia» se refiere a personas con discapacidad funcional grave), la Ley 9/2016 de Servicios Sociales de Andalucía³3. Junta de Andalucia. Ley de Servicios Sociales de Andalucía. L. N.º 9/2016 (27 diciembre 2016). BOJA 248 de 29 diciembre de 2016. (Consultado el 24/11/2018.) Disponible en: https://www.juntadeandalucia.es/boja/2016/248/1
https://www.juntadeandalucia.es/boja/201... y el Libro blanco del envejecimiento activo⁴4. CIBS. Libro blanco del envejecimiento activo en Andalucía. Sevilla: Consejería de Igualdad y Bienestar Social; 2011. (Consultado el 24/11/2018.) Disponible en: http://envejecimiento.csic.es/documentos/documentos/andalucia-libroblanco-01.pdf
http://envejecimiento.csic.es/documentos... . Su marco conceptual se basa también en el IV Plan Andaluz de Salud⁵5. CISPS. IV Plan Andaluz de Salud. Sevilla: Consejería de Igualdad, Salud y Políticas Sociales; 2013. (Consultado el 24/11/2018.) Disponible en: http://www.andaluciasana.es/PAS/links/IV PAS v9.pdf
http://www.andaluciasana.es/PAS/links/IV... , las recomendaciones de la Organización Mundial de la Salud (OMS) sobre envejecimiento y salud⁶6. WHO. WHA66/2013/REC/1. Sixty-sixth World Health Assembly: Resolutions and Decisions, Annexes. Geneva: WHO; 2013. (Consultado el 24/11/2018.) Disponible en: http://apps.who.int/gb/ebwha/pdf files/WHA66-REC1/A66 REC1-en.pdf
http://apps.who.int/gb/ebwha/pdf files/W... ^,77. WHO. WHO Global Disability Action Plan 2014-2021. Better people health with for disability all people with disability. Geneva: WHO; 2015. (Consultado el 24/11/2018.) Disponible en: http://www.who.int/disabilities/policies/actionplan/Disability action plan faq.pdf
http://www.who.int/disabilities/policies... , el Informe Mundial de Discapacidad⁸8. UN. Convention on the rights of persons with disabilities. New York: United Nations General Assembly. Resolution 61/106 (13 diciembre 2006). (Consultado el 24/11/2018.) Disponible en: http://www.un.org/en/development/desa/population/migration/generalassembly/docs/globalcompact/ARES61106.pdf
http://www.un.org/en/development/desa/po... y la coordinación con el Plan de Atención Integral a Menores de 6 años en situación de dependencia o en riesgo de desarrollarla de Andalucía⁹9. CIPS. I Plan andaluz de atención integral a personas menores de 6 años en situación de dependencia o en riesgo de desarrollarla (2017-2020). Sevilla: Consejería de Igualdad y Políticas Sociales; 2017. (Consultado el 24/11/2018.) Disponible en: https://www.juntadeandalucia.es/export/drupaljda/publicacion/17/04/planmenoresmayo2017.pdf
https://www.juntadeandalucia.es/export/d... .

El Plan integra programas de 13 organismos públicos de la Junta de Andalucía: Dirección General de Personas Mayores, Dirección General de Personas con Discapacidad, Secretaría General de Servicios Sociales y Agencia de Servicios Sociales y Dependencia (Consejería de Igualdad y Políticas Sociales), Consejería de Salud, Consejería de Educación, Servicio Andaluz de Empleo (Consejería de Empleo, Empresa y Comercio), Consejería de Fomento y Vivienda, Consejería de Cultura, Consejería de Turismo y Deporte, Instituto Andaluz de Administración Pública (Consejería de Hacienda y Administración Pública), Escuela de Seguridad Pública de Andalucía (Consejería de Justicia e Interior) y Fundación Pública Andaluza para la Integración Social de Personas con Enfermedad Mental.

Este Plan forma parte de las actuaciones de Andalucía en el consorcio europeo para la innovación en el envejecimiento activo y saludable (European Innovation Partnership on Active and Healthy Ageing - EIPonAHA), que ha identificado a esta comunidad autónoma como una de las 74 áreas de referencia¹⁰10. EIPonAHA. Reference sites. European Innovation Partnership on Active and Healthy Ageing. (Consultado el 24/11/2018.) Disponible en: https://ec.europa.eu/eip/ageing/reference-sites en
https://ec.europa.eu/eip/ageing/referenc... para el intercambio de conocimiento en Europa¹¹11. Bousquet J, Bewick M, Cano A, et al. Building bridges for innovation in ageing: synergies between action groups of the EIP on AHA. J Nutr Health Aging. 2017;21:92-104.. Estas áreas promocionan el envejecimiento activo y saludable con un modelo de «cuádruple hélice», en el que se implican los gobiernos, la ciudadanía, las universidades y las empresas¹²12. García-Sáez M, Carriazo AM, Alonso-Trujillo F, et al. Consorcio europeo para la innovación del envejecimiento activo y saludable - EIPonAHA - actuaciones en servicios sociales de Andalucía. Paraninfo Digit. 2017;26:1-11..

La coordinación de las políticas públicas del PAP&PD requiere un sistema de evaluación y seguimiento sencillo, comprensible y accesible para diferentes responsables técnicos y políticos de la Administración pública y partícipes de grupos de interés que proceden de ámbitos y disciplinas muy diversos. El análisis del impacto constituye uno de los mayores retos de la evaluación de estrategias transectoriales en el ámbito sociosanitario. La Comisión Europea¹³13. Rodert A. Dictamen del Comité Económico y Social Europeo sobre el tema «Medición del impacto social» INT/721. Bruselas: Comité Económico y Social Europeo; 2013. (Consultado el 24/11/2018.) Disponible en: https://eurlex.europa.eu/legal-content/ES/TXT/?uri=CELEX%3A52013IE6135 .
https://eurlex.europa.eu/legal-content/E... y la Guía práctica para la medición y la gestión del impacto de la European Venture Philanthropy Association (EVPA)¹⁴14. Hehenberger L, Harling A, Scholten PA. Practical guide to measuring and managing impact. Berlin: EVPA; 2013. p. 124. (Consultado el 24/11/2018.) Disponible en: http://www.oltreventure.com/wp-content/uploads/2015/05/EVPAAPracticalGuidetoMeasuringand-ManagingImpactfinal.pdf
http://www.oltreventure.com/wp-content/u... , editada y adaptada por la Asociación Española de Fundaciones¹⁵15. Hehenberger L, Harling A, Scholten PA. Guía práctica para la medición y la gestión del impacto. Madrid: Asociación Española de Fundaciones; 2015. p. 236. (Consultado el 24/11/2018.) Disponible en: http://www.fundaciones.org/EPORTALDOCS/GENERAL/AEF/DOC-cw5537916e2a002/GuIaimpacto-EVPA-AEF-2015.pdf
http://www.fundaciones.org/EPORTALDOCS/G... , señalan los cinco pasos básicos para evaluación de la calidad: 1) fijar objetivos; 2) analizar los agentes involucrados; 3) medir los resultados; 4) verificar y valorar el impacto; y 5) seguimiento y presentación de los resultados.

Las aproximaciones existentes para evaluar el impacto se basan fundamentalmente en técnicas narrativas¹⁶16. Greenhalgh T, Raftery J, Hanney S, et al. Research impact: a narrative review. BMC Med. 2016;14:78. o en valoraciones cuantitativas globales¹⁷17. Cohen G et al. Does health intervention research have real world policy and practice impacts: testing a new impact assessment tool. Heal Res Policy Syst. 2014; 13: 3. que no permiten una comparación efectiva de la implementación en organizaciones muy dispares, o se centran exclusivamente en la valoración del impacto en la práctica y, por tanto, no son idóneas para la evaluación del impacto de una política sobre programas de acción y sobre su traducción en acciones en el conjunto del sistema público. Además, los sistemas de evaluación del impacto existentes carecen de una taxonomía de base y de un marco conceptual que incluya tipos, jerarquías o definiciones y unidades de análisis comunes para facilitar comparaciones multisectoriales y entre diferentes territorios.

La evaluación del impacto del PAP&PD se ha basado en la «adopción» de la estrategia por otros organismos públicos de la misma región. La adopción se considera un dominio relevante del impacto¹⁷17. Cohen G et al. Does health intervention research have real world policy and practice impacts: testing a new impact assessment tool. Heal Res Policy Syst. 2014; 13: 3., junto con el compromiso (engagement)¹⁸18. Parks S, Ioppolo B, Stepanek M, et al. Guidance for standardising quantitative indicators of impact within REF case studies. Cambridge: RAND Corporation; 2018. (Consultado el 24/11/2018.) Disponible en: https://www.rand.org/pubs/research reports/RR2463.html
https://www.rand.org/pubs/research repor... y la difusión de una estrategia¹⁷17. Cohen G et al. Does health intervention research have real world policy and practice impacts: testing a new impact assessment tool. Heal Res Policy Syst. 2014; 13: 3.. Se define como adopción aquella parte del impacto que consiste en «tomar un conocimiento o tecnología como propio», y se refiere a «la proporción y la representatividad de las organizaciones y de los agentes de un entorno (profesionales, organizaciones o comunidades) que adoptan una política o un conocimiento determinado»¹⁹19. Glasgow RE, Klesges LM, Dzewaltowski DA, et al. Evaluating the impact of health promotion programs: using the RE-AIM framework to form summary measures for decision making involving complex issues. Health Educ Res. 2006;21:688-94..

Este estudio tiene dos objetivos: 1) evaluar el impacto del PAP&PD en la política transversal e intersectorial de la Junta de Andalucía en sus primeros 12 meses de implementación a través de la escala Adoption Impact Ladder (AIL); y 2) analizar la usabilidad de la escala AIL en España mediante el estudio de su validez simple, usabilidad y fiabilidad.

Métodos

Evaluación del PAP&PD

El PAP&PD fue elaborado por 167 expertos/as durante un periodo de 8 meses en 2014-2015 siguiendo una metodología cualitativa con nueve grupos focales²⁰20. Hamui-Sutton A, Varela-Ruiz M. La técnica de grupos focales. Investig Educ Médica. 2013;2:55-60. (véase Fig. I en el Apéndiceonline). Para su gestión se nombró un director del Plan²¹21. Junta de Andalucia. Nombramiento director del Plan Andaluz de Promoción de la Autonomía Personal y Prevención de la Dependencia (2016-2020). Orden de 19 de octubre de 2016. BOJA 205 de 25 de octubre de 2016. (Consultado el 24/11/2018.) Disponible en: https://www.juntadeandalucia.es/boja/2016/205/BOJA16-205-00225.pdf
https://www.juntadeandalucia.es/boja/201... y se crearon una Comisión Permanente, una Comisión Técnica Interadministrativa y ocho Comisiones Técnicas de Ámbito Provincial²²22. Alonso-Trujillo F, García-Sáez M, Jiménez González S, et al. Metodología para la redacción del Plan andaluz de promoción de la autonomía personal y prevención de la dependencia (2016-2020) y previsión de resultados. Paraninfo Digit. 2017:26..

El PAP&PD definió seis líneas prioritarias para las que se establecieron 16 objetivos (véase Tabla I en el Apéndiceonline) que debían implementarse mediante 110 «actuaciones propuestas» por los grupos focales que redactaron el Plan. Las actuaciones propuestas se dividieron en programas, actividades y acciones. Las «actuaciones en ejecución» corresponden a actividades que ya se han puesto en marcha. Para su ejecución se contó con 13 coordinadores/as, uno/a por cada entidad pública participante y con una serie de servicios de referencia en diferentes organismos públicos²³23. CIPS. Listados de centros de personas con discapacidad. Consejería de Igualdad y Políticas Sociales. (Consultado el 24/11/2018.) Disponible en: https://www.juntadeandalucia.es/organismos/igualdadypoliticassociales/areas/entidades-centros/personas-discapacidad.html
https://www.juntadeandalucia.es/organism... ^,2424. Ramírez Navarro J, Jimenez González S, Alonso-Trujillo F. The digital map of social services in Andalusia: an innovative tool for the region. WORKSHOP 3. 26. En: ESN. Libro de ponencias de la 26th European Conference of Social Services - European Social Network - ESN Invest, innovate and transform - Empowering people and Communities; 28 de mayo de 2018; Sevilla, España. European Social Network; p. 2..

La valoración del impacto se efectuó mediante la escala AIL para la evaluación de los resultados de la investigación en política y práctica. Este instrumento se ha utilizado previamente en Australia para la evaluación del impacto de un programa de política estatal en la práctica (programa EdLINQ en Queensland)²⁵25. Mendoza J, Wands M, Salvador-Carulla L, et al. Evaluation of the Ed-LinQ Initiative for the Queensland Mental Health Commission. October 2014. Brisbane: ConNetica; (Consultado el 24/11/2018.) Disponible en: https://www.qmhc.qld.gov.au/sites/default/files/wp-content/uploads/2014/11/Final-Complete-Ed-LinQ-Report.pdf
https://www.qmhc.qld.gov.au/sites/defaul... y del impacto de la diseminación internacional de una clasificación de la gestión de casos en discapacidad y dependencia²⁶26. Lukersmith S. A taxonomy of case management: development, dissemination and impact. 2017. [Tesis doctoral]. Sydney: University of Sydney; 2017. (Consultado el 24/11/2018.) Disponible en: https://ses.library.usyd.edu.au/bitstream/2123/17000/1/LukersmithPhDthesis1172017.pdf
https://ses.library.usyd.edu.au/bitstrea... ^,2727. Lukersmith S, Millington M, Salvador-Carulla L. What is case management? A scoping and mapping review. Int J Integr Care. 2016;16:2.. La AIL es una escala ordinal con siete categorías: 1) sin impacto; 2) información/concienciación; 3) asimilación; 4) traslación; 5) asignación; 6) provisión; y 7) monitorización. La Tabla 1 muestra la definición de cada categoría.

La información necesaria para la evaluación se recogió mediante una ficha básica estandarizada (véase Tabla II en el Apéndiceonline). La evaluación la realizaron 24 técnicos/as de las entidades participantes siguiendo las instrucciones de la IAL. Esta primera evaluación fue posteriormente verificada por el director del Plan, dando lugar a una evaluación final de cada actuación.

La valoración del impacto se representó visualmente mediante diagramas de araña cuya escala eran los siete niveles de impacto y los vértices eran las diferentes actuaciones. Los diagramas de araña permitieron representar tanto los resultados de las actuaciones de cada línea y objetivo del Plan como las valoraciones de cada entidad participante.

Análisis de la usabilidad y la fiabilidad de la escala AIL

El procedimiento de evaluación del impacto del PAP&PD incluyó también el análisis de la usabilidad y la fiabilidad de la AIL (véase Fig. II en el Apéndiceonline).

La usabilidad o utilidad general de un instrumento para su uso en la práctica es una de las dimensiones de calidad de los instrumentos de evaluación de salud²⁸28. Salvador-Carulla L, González-Caballero JL. Assessment instruments in mental health: description and metric properties. En: Thornicroft G, Tansella M, editores. Mental health outcome measures. 3 rd ed. London: RCPsych Publications; 2010. p. 28-62.. La evaluación de la usabilidad de la AIL para la evaluación del impacto del PAP&PD se basó en un inventario que recogió diferentes dimensiones: relevancia, utilidad, eficiencia, efectividad, novedad y potencial (véase Inventario en el Apéndiceonline). La validez simple de la escala fue analizada mediante la primera dimensión, mientras que su viabilidad lo fue a través del resto de dimensiones. El inventario fue cumplimentado por 20 de los 24 técnicos/as de las diferentes consejerías que participaron en la evaluación del Plan. Todas las agencias y las consejerías estuvieron representadas en el estudio de usabilidad. La usabilidad se midió con una escala cualitativa de cinco niveles de «bajo» a «alto», y con otra escala cuantitativa de 0 a 10.

El estudio de fiabilidad interexaminadores se basó en una muestra aleatoria estratificada por las 13 entidades participantes que incluyó 30 de las actuaciones en ejecución. Una evaluadora externa (MR) efectuó una evaluación independiente con los datos disponibles en la ficha técnica. Dado que este instrumento utiliza una escala Likert ordinal con siete valores, se utilizó el coeficiente kappa ponderado²⁹29. Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull. 1979;86:420-8. por pesos cuadráticos. Fleiss y Cohen³⁰30. Fleiss JL, Cohen J. The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability. Educ Psychol Meas. 1973;33: 613-9. han mostrado que este valor de kappa es equivalente al coeficiente de correlación intraclases²⁹29. Shrout PE, Fleiss JL. Intraclass correlations: uses in assessing rater reliability. Psychol Bull. 1979;86:420-8..

Resultados

Evaluación del PAP&PD

Durante el primer año se han ejecutado actuaciones en las seis líneas prioritarias del Plan y en 15 de sus 16 objetivos. El único objetivo que no se ha asociado a ninguna actuación en 2017 ha sido el 6.2 de investigación e innovación. Siete de los 15 objetivos han implicado a tres o más consejerías, lo que indica la alta multisectorialidad del Plan. Los objetivos que han aglutinado un mayor número de organismos públicos son los destinados a promover una efectiva autonomía personal (21 actuaciones en ejecución), fomentar la accesibilidad universal (24 actuaciones) y facilitar el trabajo intersectorial entre los organismos públicos, y la promoción de las tecnologías de la información y la comunicación y de la investigación (30 actuaciones). Por el contrario, los objetivos que están por debajo del número de actuaciones propuestas en el Plan son los dirigidos a fomentar la autonomía personal y la participación activa de las mujeres con discapacidad o dependencia, así como de las personas que cuidan, a promover la formación de todas las personas trabajadoras y de los agentes implicados con la finalidad de desarrollar las competencias necesarias, y a la investigación e innovación. Ninguna entidad ha propuesto actuaciones para el impulso de productos, servicios y contenidos tecnológicos de prevención de la dependencia.

De las 110 actuaciones iniciales propuestas en el Plan, 36 no se han ejecutado en el primer año (32% del total) y podrían implementarse en 2018 o en el bienio 2019-2020. Sin embargo, durante el primer periodo se han puesto en marcha 66 actuaciones más de las previstas, agrupadas según la entidad coordinadora principal³¹31. Alonso-Trujillo F, Gálvez P, Velasco A, et al. Informe de progreso y gestión año 2017. I Plan Andaluz de Promoción de la Autonomía Personal y Prevención de la Dependencia (2016-2020). Sevilla: Secretaría General de Servicios Sociales; 2017. Consejería de Igualdad y Políticas Sociales de la Junta de Andalucía. (Consultado el 24/11/2018.) Disponible en: https://www.juntadeandalucia.es/export/drupaljda/publicacion/16/06/PAP PD INFORME 2017.pdf
https://www.juntadeandalucia.es/export/d... . El incremento hasta el total de 176 actuaciones ejecutadas se debe a actuaciones por parte de los diferentes organismos de la Administración pública que no figuraban en el Plan original. Por otro lado, ocho actuaciones se han duplicado en diferentes consejerías y ha sido necesario armonizarlas por parte de la entidad coordinadora del Plan, asignándolas a la Consejería que tenía un papel más relevante en dicha actuación previo consenso del resto. En la Tabla 2 se muestra el número de actuaciones propuestas y en ejecución por objetivos para cada consejería y ente público, junto a las no acometidas en 2017.

La Consejería de Igualdad y Políticas Sociales y la Consejería de Salud son las que han puesto en marcha más actuaciones (54 y 50, respectivamente). Estas actuaciones desarrollan actividades de terapia ocupacional, estimulación cognitiva, rehabilitación, prevención de la fragilidad y otros apoyos, programas de educación para la salud en centros sanitarios, sociales y educativos, medidas de incorporación o permanencia en el mercado laboral, impulso a la participación ciudadana a través de colectivos y asociaciones, medidas de control de la seguridad, formación y recualificación de profesionales, y actuaciones de investigación e innovación.

La evaluación del impacto de la adopción de las actuaciones del Plan figura en la Tabla 3. El 49,4% de las actuaciones en ejecución fueron valoradas con el máximo nivel de impacto, 7 (monitorización). Los niveles 6 (provisión) y 4 (traslación) fueron identificados en el 18,8% y el 15,9% de las actuaciones, respectivamente. La adopción del 9,7% de las actuaciones alcanzo un nivel 3 (asimilación). Finalmente, el 4% de ellas tenían un impacto de nivel 2 (información/concienciación) y el 2,3% un impacto de nivel 5 (asignación de recursos). Cabe destacar que las actuaciones que habían tenido repercusión presupuestaria, y por tanto fueron evaluadas en los niveles 5, 6 y 7, son el 70,5% de las actuaciones en ejecución.

Las entidades participantes con un porcentaje de más del 75% de las actuaciones en ejecución valoradas con el máximo nivel de impacto fueron las consejerías competentes en servicios sociales, fomento y vivienda, y cultura, junto con las entidades públicas destinadas a la Administración pública y la integración de las personas con enfermedad mental. Por el contrario, las consejerías competentes en salud y justicia, e interior, todavía tenían el 50% de sus actuaciones sin asignación económica o de recursos en el primer año.

La Figura 1 muestra los diagramas de araña que permiten ver el progreso de la implementación del Plan anualmente por línea prioritaria y por objetivo estratégico, y en la Figura 2 se muestra este progreso por entidad participante.

Análisis de la usabilidad y la fiabilidad de la escala AIL

La usabilidad de la AIL para la evaluación de la adopción del Plan ha sido muy favorable. La validez simple o de criterio fue alta, ya que los participantes puntuaron la relevancia con una media de 7,7/10 y la valoraron mayoritariamente como «media-alta» (55%) o «alta» (25%). Por otro lado, la viabilidad de la AIL para el objetivo propuesto también ha sido buena. Los participantes valoraron mayoritariamente como «media-alta» todas las dimensiones del inventario de viabilidad, alcanzando porcentajes entre el 50% y el 65%. Entre el 20% y el 35% dieron una valoración máxima («alta») a los diferentes dominios. La valoración «media-baja» en alguno de los ítems osciló entre el 5% y el 10%, excepto para la novedad, que no recibió esta valoración. Por su parte, las puntuaciones numéricas medias fueron superiores a 7/10 en todas las dimensiones, alcanzando 8/10 en las de novedad y potencialidad. La novedad fue la dimensión con una media de puntuación más alta (8,4/10), mientras que la eficiencia y la efectividad obtuvieron la media menor (7,4/10). Finalmente, la fiabilidad interexaminadores de la AIL fue buena (κ=0,721; IC95%: 0,51-0,94) (véase Tabla III en el Apéndiceonline).

Discusión

El PAP&PD ha requerido la cooperación y la coordinación de 13 organismos públicos y de un amplio espectro de representantes de los diferentes grupos de interés y partícipes sociales. Para ello, se adoptó una estrategia de escalabilidad y despliegue de las actuaciones tradicionales junto con otras prácticas innovadoras, lo que ayudó a reforzar los servicios de prevención y promoción de la autonomía personal de la Junta de Andalucía. No obstante, la complejidad del Plan y de sus intervenciones no ha podido evitar algunas duplicidades y ha dificultado su seguimiento al no haber sido consensuados previamente los indicadores de seguimiento entre todas las entidades. Asimismo, los objetivos del Plan son muy ambiciosos en términos temporales y económicos.

El número de actuaciones en ejecución en su primer año de funcionamiento, junto con los resultados obtenidos en la evaluación de su impacto a través de las 176 fichas de seguimiento, avalan el desarrollo y la implementación del Plan. El método adoptado ha permitido cuantificar el paso del nivel estratégico al operativo durante la primera etapa de implantación. En 2018 se están finalizando las actuaciones comprometidas para el primer bienio, y en 2019 se procederá a una evaluación global y a la difusión de los resultados.

La evaluación del PAP&PD ha tenido una especial utilidad para monitorizar y visualizar la progresión en las diversas políticas públicas y en el fomento de la participación social de las personas mayores y de las personas con discapacidad, lo que tiene una gran importancia para el desarrollo de estrategias de atención integral centradas en la persona, como la propuesta en la estrategia de la OMS³²32. UN. Framework on integrated people-centred health services. New York: United Nations General Assembly. A69/39. (15 de abril de 2016). (Consultado el 24/11/2018.) Disponible en: http://apps.who.int/gb/ebwha/pdffiles/WHA69/A69 39-en.pdf?ua=1 .
http://apps.who.int/gb/ebwha/pdffiles/WH... y sus directrices para la Atención Integral de las Personas Mayores³³33. WHO. Integrated care for older people: guidelines on community-level interventions to manage declines in intrinsic capacity. Geneva: World Health Organization; 2017. (Consultado el 24/11/2018.) Disponible en: http://apps.who.int/iris/bitstream/10665/258981/1/9789241550109-eng.pdf?ua=1.
http://apps.who.int/iris/bitstream/10665... . La evaluación de planes que promueven la participación activa de las personas mayores y de las personas con discapacidad, como el PAP&PD, permite visualizar y difundir a la sociedad los valores que suponen una convivencia activa, integradora, intergeneracional y participativa.

Dado el número de actuaciones puestas en marcha en 2017, su alta transversalidad y el nivel de ejecución alcanzado, el PAP&PD constituye una herramienta de especial interés para las estrategias regionales de envejecimiento activo y saludable, de servicios sociales y de programas europeos como el EIPonAHA. Esta experiencia puede permitir su aplicación en otras estrategias multisectoriales y multidimensionales en el ámbito de la salud y de la atención social.

Este estudio muestra que es posible utilizar la AIL y su representación gráfica para la evaluación del impacto de planes institucionales complejos, multidimensionales y multisectoriales en los que participan un gran número de agentes sociales. La metodología AIL ha permitido evaluar la implementación y el desarrollo del Plan de una forma coordinada, visualmente amigable y ordenada. También ha posibilitado el seguimiento de los objetivos con independencia de la fase en que se encuentre el Plan y el trabajo avanzado por cada entidad participante.

La evaluación de la fiabilidad interexaminadores de la escala apunta a que el mayor número de no coincidencias se produce en los niveles de evaluación 3 y 4 (asimilación-traslación) y en la puntuación 6 y 7 (provisión-monitorización), por lo que podría plantearse una mejora en la definición o una simplificación de esos niveles. Por su parte, la valoración de la viabilidad de su uso fue mayoritariamente favorable, sobre todo en los dominios de novedad y potencialidad.

Como principal limitación del estudio cabe señalar que es la primera vez que se utiliza la escala AIL del impacto de la adopción en nuestro país. Esta situación ha podido dificultar su utilización por parte de los expertos de la Administración pública y podría haber lastrado los resultados de fiabilidad interexaminadores. Por otra parte, las fichas de seguimiento de las actuaciones del Plan han sido cumplimentadas por expertos de cada agencia, lo que podría introducir un sesgo de la valoración hacia posiciones más positivas. No obstante, la revisión del director del Plan y del evaluador externo posiblemente redujo los posibles sesgos.

En conclusión, el carácter multisectorial del PAP&PD es una fortaleza, pero al mismo tiempo dificulta su seguimiento y evaluación al implicar a agentes con objetivos y funcionamientos muy diferentes. La evaluación del impacto de la adopción del Plan mediante la escala AIL descrita en este estudio ha permitido conocer de una forma efectiva y fácilmente comprensible para los decisores el estado de las actuaciones propuestas por el Plan en su primer año de implementación. Este conocimiento permitirá identificar y gestionar las actuaciones que no han sido desarrolladas de la forma prevista y mejorar la planificación de otras actuaciones durante el marco temporal del Plan. Por último, este estudio también ha constatado que la escala AIL presenta una alta usabilidad y una buena fiabilidad para la evaluación del impacto de la adopción de políticas y planes sociosanitarios de alta complejidad, como son los multisectoriales.

Agradecimientos

Deseamos expresar nuestro agradecimiento por su colaboración en la coordinación interinstitucional a A. Pérez-Lucena, P. Parrado, F.J. Martín (D.G. Personas Mayores, Consejería de Igualdad y Políticas Sociales), M. Presencio, C. Vélez, G. Rivas (D.G. Personas con Discapacidad, Consejería de Igualdad y Políticas Sociales), A. Velasco, M. Serradilla, M. Robert, M. García-Sáez, E. Aguilar (Agencia de Servicios Sociales y Dependencia de Andalucía), A.M. Vázquez, M.D. Cardero (Consejería de Empleo, Empresa y Comercio), M.M. Uña, J.L. Romero, J.M. García (Consejería de Cultura), J.M. Espinosa Almendros (Consejería de Salud), M.D. Gallardo, L.F. Anguas, D. Pérez (Consejería de Justicia e Interior), M. Vázquez-Uceda, I. Prieto (D.G. Participación y Equidad, Consejería de Educación), M.L. Martínez, C. Gómez, F.J. Morales (Instituto Andaluz de Administración Pública), M.I. Adán (Consejería de Fomento y Vivienda), R. García-Soto, M. Nogales (Consejería de Turismo y Deporte), A. López-Pardo y S. González (Fundación Pública Andaluza para la Integración Social de las Personas con Enfermedad Mental).

Apéndice   Material adicional

Se puede consultar material adicional a este artículo en su versión electrónica disponible en doi: 10.1016/j.gaceta.2019.01.001

Bibliografía

Fechas de Publicación

Histórico