RESUMEN

Desde sus inicios en el año 2008, las evaluaciones de diseño y ejecución presupuestal (EDEP), uno de los instrumentos desarrollados por el Ministerio de Economía y Finanzas (MEF) en el marco de la implementación del presupuesto por resultados (PpR), buscan proporcionar información confiable acerca de la consistencia en el diseño y los avances en la implementación de las intervenciones públicas, con el fin de mejorar su gestión y tomar decisiones presupuestales informadas. Adicionalmente, las recomendaciones de las EDEP se traducen en una matriz de compromisos de mejora de desempeño, la cual constituye el medio a través del cual se materializan e incorporan las mejoras identificadas a la operación de las intervenciones evaluadas, con miras a optimizar sus resultados. El MEF realiza el seguimiento a la atención de estos compromisos y condiciona la revisión de solicitudes de recursos presupuestales de las entidades públicas al cumplimiento de estos compromisos. A casi 10 años de su implementación, se han realizado 57 EDEP de diferentes sectores, de las cuales siete están relacionadas a intervenciones en salud, entre las que se incluyen: el Sistema Integral de Salud, el servicio de vacunación, atención a partos normales, atención de infecciones respiratorias agudas y enfermedades diarreicas agudas. Más allá de las discrepancias en torno a la aplicación de este instrumento, las EDEP y sus matrices de compromisos han permitido la utilización de los resultados de las evaluaciones y se han convertido en un mecanismo para generar información válida que permita mejorar los servicios públicos en favor de la población.

Palabras clave:
Presupuesto por resultados; Evaluación de programas y proyectos de salud; Planes y programas de salud salud

ABSTRACT

Since 2008, the evaluation of budget design and execution (EDEP for its acronym in Spanish) - one of the evaluations tools developed by the Peruvian Ministry of Economy and Finance (MEF) as part of the implementation of Performance Budgeting- seek to provide reliable information about design coherence and progress in the implementation of public interventions, in order to improve their management and make informed budget decisions. The EDEP methodology includes preparing an evaluation report and defining a matrix of commitments to improve performance. Commitments are defined based on the recommendation of the EDEP. The EDEP seeks to correct exiting problems in public programs and optimize their results. MEF tracks the fulfillment of these commitments and links together the analysis of public budget requests and the progress of these commitments. Now, almost 10 years after its implementation, 57 EDEP have been carried out in different sectors and 07 of them are related to health interventions such as: the comprehensive health system, vaccination service, normal births, acute respiratory infections and acute diarrheal diseases, among others. Beyond the discrepancies in the application of this tool, the EDEP and its matrix of commitments have allowed the use of the results of the evaluations and have become a mechanism to generate useful information to improve the public services.

Key words:
Performance budgeting; Program evaluation, Health programs and plans

ANTECEDENTES

La evaluación de políticas, programas y proyectos ha sido un componente central de la agenda de modernización de la gestión pública orientada a resultados en América Latina, y por supuesto, en el Perú ¹1. Perú, Presidencia del Consejo de Ministros. Aprueba la Política Nacional de Modernización de la Gestión Pública. Decreto Supremo 004-2013-PCM. Diario oficial El Peruano 12320; 09 de enero de 2013.. En los años noventa surgieron, en diferentes países de Latinoamérica, iniciativas con el propósito de mejorar los servicios públicos a partir de generación de información, útil y confiable, que permita identificar acciones de mejora en la gestión de las intervenciones ²2. Jaramillo Baanante, M. y Gracia, O. (2015) Evaluación del proceso de evaluación de las intervenciones públicas a través del instrumento EDEP en el marco del presupuesto por resultados, pp. 52-57.

La experiencia chilena se inició en el año 1993 y fue liderada por el Ministerio de Hacienda; se desarrolló un proceso de planificación estratégica en cinco servicios públicos, lo que contribuyó a implementar sistemas de información para la medición de indicadores de desempeño, enriqueciendo así el análisis y discusión del presupuesto en el Parlamento chileno. Posteriormente, se implementaron otros instrumentos de evaluación y seguimiento, tales como la evaluación de programas gubernamentales, balance de gestión integral, etc. creándose a partir del año 2000, el sistema de evaluación y control de gestión como parte de la Dirección de Presupuesto del Ministerio de Hacienda.

En Colombia, la Constitución de 1991 buscó implementar en el Estado un sistema de evaluación que midiera los resultados de sus políticas y proyectos. Por ello creó el sistema nacional de evaluación de gestión y resultados. Este sistema, a cargo del Departamento Nacional de Planeación -dependencia directa de la Presidencia de la República-, gestiona el manejo de la información relacionada con la agenda de evaluación, el seguimiento al Plan nacional de desarrollo y el afianzamiento de la cultura de gestión pública por resultados.

En México, uno de los primeros esfuerzos en la administración pública federal para medir los resultados de sus intervenciones fue la evaluación externa del programa de inclusión social Progresa (ahora Prospera), entre 1998 y 2000. En el año 2006 se introdujo el nuevo sistema de presupuestación y gestión basado en desempeño. En el 2005 se creó el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) como instancia independiente responsable de evaluar la política de desarrollo social. En tanto, en el 2007, se introdujo el sistema de evaluación del desempeño a cargo de la Secretaría de Hacienda y Crédito Público para medir los programas presupuestarios del Gobierno Federal. Ambas instancias establecen conjuntamente el Programa anual de evaluación.

En el Perú, la experiencia fue tardía. Comenzó en el año 2007, cuando se estableció en la Ley de Presupuesto del Sector Público la implementación del presupuesto por resultados (PpR) a través de cuatro instrumentos: programas presupuestales, el seguimiento a través de indicadores de desempeño, las evaluaciones independientes y los incentivos a la gestión. Las evaluaciones independientes buscan generar información útil para la toma de decisiones en materia presupuestal y de gestión ³3. Acuña, R., Huaita, F., & Mesinas, J. En camino de un presupuesto por resultados (PpR): una nota sobre los avances recientes en la programación presupuestaria (DGP-02/2012) [Internet]. Lima, Peru: Ministerio de Economía y Finanzas: 2012 [citado el 15 de enero 2017]. Disponible en: https://www.mef.gob.pe/contenidos/ presu_publ/estudios/En_camino_de_ un_PpR.pdf
https://www.mef.gob.pe/contenidos/ presu... para el logro de resultados a favor de la población. Anualmente, la ley de presupuesto establece la lista de evaluaciones independientes a realizar ⁴4. Perú, Congreso de la República. Ley General del Sistema Nacional de Presupuesto. Ley 28411. Diario oficial El Peruano 8938; 08 de diciembre de 2004.. Las evaluaciones del PpR implementadas actualmente son las evaluaciones de diseño y ejecución presupuestal (EDEP) y las evaluaciones de impacto (EI). (Tabla 1)

Este artículo introduce a las EDEP como instrumento del PpR y presenta su metodología, operación y resultados, a partir de algunas experiencias aplicadas en salud.

LAS EDEP COMO INSTRUMENTO DEL PRESUPUESTO POR RESULTADOS

Las EDEP ponen énfasis en analizar la lógica del diseño de un programa o intervención, así como los aspectos vinculados con su implementación y desempeño (eficacia, eficiencia, calidad) en la entrega de bienes o provisión de servicios a la población. A partir de las recomendaciones de las evaluaciones, se generan compromisos de mejoras de desempeño, que son formalizados con la firma de una matriz entre las entidades evaluadas y el MEF ⁵5. Perú, Ministerio de Economía y Finanzas (MEF). Directiva para las evaluaciones independientes en el sistema nacional de presupuesto público en el marco del presupuesto por resultados. (Directiva 009-2008-EF/76.01 modificada por la Resolución Directoral 023-2012- EF/50.01) [Internet]. Lima, Perú: MEF; 2008 [citado el 15 de enero 2017]. Disponible en: https://www. mef.gob.pe/es/normatividad-sp-9867/ por-instrumento/directivas/9245- directiva-para-las-evaluacionesindependientes- modificada-por-r-d-n- 023-2012-ef-50-01/file.

Las EDEP responden a criterios de independencia, calidad técnica, participación de las entidades evaluadas y transparencia. Por tanto, son realizadas por expertos no vinculados a la intervención evaluada. Asimismo, con miras a la apropiación de sus resultados y posterior incorporación de sus recomendaciones, todo el proceso de evaluación es compartido y discutido con las entidades involucradas. Los resultados de las evaluaciones se publican en la página del MEF, por lo que la ciudadanía puede conocer cómo se desempeñan las intervenciones públicas así como el uso de los recursos del Estado.

FASES DE LAS EDEP

El proceso completo de la EDEP involucra actividades que se agrupan en cuatro fases ⁶6. Gracia O. Las Evaluaciones de diseño y ejecución presupuestal para la mejora del gasto público [Internet]. Lima, Perú: MEF; 2016. Disponible en: https://www. mef.gob.pe/contenidos/presu_publ/ppr/ eval_indep/ publicacion_EDEP2016.pdf (Figura 1).

ENFOQUES, MÉTODOS Y HERRAMIENTAS DE EVALUACIÓN

Dependiendo del énfasis de la evaluación, se pueden plantear diferentes enfoques, métodos y herramientas de evaluación ⁷7. Monje C. Metodología de la investigación cuantitativa y cualitativa: guía didáctica. Neiva, Colombia: Universidad Surcolombiana; 2011., los cuales se complementan para poder contestar las preguntas de evaluación.

Enfoque

Considerando que las EDEP abordan la evaluación desde un enfoque comprensivo que integra tanto el análisis del diseño, implementación y resultados de un programa o intervención, se han definido dos objetivos concretos, a saber: a) evaluar si el diseño actual de la intervención pública evaluada es el adecuado para la obtención de os resultados esperados, a partir de la identificación de evidencia y de buenas prácticas públicas a nivel nacional e internacional; y b) evaluar la implementación de la intervención y proponer mejoras en los procesos para que las unidades involucradas con la ejecución entreguen servicios o bienes de manera eficaz y eficiente. Para alcanzar estos fines, se determinó que el enfoque de la cadena de valor constituye el puente entre el diseño del programa y la ejecución de actividades para la obtención de sus productos y resultados. Bajo este contexto tanto los modelos causales que respaldan los diseños de los programas como el análisis de procesos se basan en la cadena de valor.

Método

Para alcanzar los objetivos de la evaluación, las EDEP trabajan con dos alternativas metodológicas complementarias: cuantitativa y cualitativa, las cuales analizan tanto información secundaria como primaria. Para comprobar la concordancia de los datos recogidos con cada una de ellas, se realiza la triangulación ⁸8. Carter N, Bryant-Lukosius D, DiCenso A, Blythe J, Neville AJ. The use of triangulation in qualitative research. Oncol Nurs Forum. 2014 Sep;41(5):545- 7. doi: 10.1188/14.ONF.545-547
https://doi.org/10.1188/14.ONF.545-547... de las fuentes (primarias y secundarias) con el fin de poder elaborar análisis (congruencias, semejanzas e incoherencias en la evaluación) e interpretaciones sustentadas.

Desde una perspectiva cuantitativa, se analiza información secundaria, la cual puede provenir, por un lado, de la revisión literaria y el análisis de bases de datos de censos o encuestas realizados por el Instituto Nacional de Estadística e Informática como la Encuesta Nacional de Hogares (ENAHO) o la Encuesta Nacional de Programas Estratégicos (ENAPRES); así como de aquella generada por los programas e intervenciones a través de sus registros administrativos y/o sus sistemas de seguimiento y evaluación.

Los métodos cualitativos están vinculados a levantar información primaria a partir de la aplicación de encuestas, entrevistas, grupos focales entre otros, y más estrechamente al desarrollo del trabajo de campo. Las regiones, actores y técnicas de evaluación a aplicar se definen como parte de las actividades de la evaluación, pero en ningún caso se espera que el trabajo de campo provea información que sea estadísticamente representativa.

HERRAMIENTAS DE EVALUACIÓN

Según el propósito definido, las EDEP aplican diferentes herramientas metodológicas. En primer lugar, para determinar si el diseño de la intervención pública evaluada tiene o no relación con el resultado esperado, se utiliza la herramienta del marco lógico ²2. Jaramillo Baanante, M. y Gracia, O. (2015) Evaluación del proceso de evaluación de las intervenciones públicas a través del instrumento EDEP en el marco del presupuesto por resultados, pp. 52-57. A partir de la revisión de estudios e investigaciones o de evidencia empírica sobre el problema, sus causas y efectos, se analizan las relaciones de causalidad, tanto de la lógica vertical como horizontal de la intervención y se valida la cadena de resultados.

Seguidamente, para evaluar la eficiencia en la entrega de los bienes y servicios del programa o intervención, se aplica un análisis de procesos, donde se realiza un mapeo de los distintos subprocesos que participan en la entrega del producto y ejecución de actividades. En base a ello, se identifican los principales cuellos de botella que impiden la adecuada y oportuna provisión de los bienes/servicios.

Finalmente, para la revisión de la programación y ejecución presupuestal así como de sus resultados, se analiza la consistencia de los indicadores de desempeño y logro de metas (la verificación de los valores obtenidos versus valores esperados), la revisión de los insumos disponibles para lograr las metas planteadas así como la sostenibilidad de la intervención en términos financieros y de cierre de brechas. Para ello, se utiliza los sistemas de información y seguimiento tales como el sistema integrado de administración financiera, sistema integrado de gestión administrativa, el aplicativo de indicadores de desempeño de los programas presupuestales y otros sectoriales tales como sistema del plan operativo institucional del ministerio de educación, sistema integrado de suministros de medicamentos e insumos médicos quirúrgicos del Ministerio de Salud (MINSA), entre otros.

MATRIZ DE COMPROMISOS DE MEJORA DEL DESEMPEÑO

La matriz de compromiso es el mecanismo mediante el cual se busca traducir las recomendaciones de la evaluación en acciones de mejora concretas en la operatividad de la intervención evaluada. El cumplimiento de estos compromisos busca que la gestión de los recursos vinculados con la intervención evaluada, sea más eficiente en la entrega de bienes y servicios a la población. Para motivar su cumplimiento, se vinculó la evaluación de recursos presupuestales durante la fase de formulación presupuestal, así como la solicitud de recursos adicionales presentadas por los pliegos ejecutores al avance en el cumplimiento de los compromisos suscritos en las matrices.

Através de las evaluaciones independientes y sus matrices de compromisos, los tomadores de decisiones cuentan con un mecanismo de apoyo a sus decisiones, así como la posibilidad de tomar acciones correctivas y mejorar la calidad del uso de los recursos públicos.

RESULTADOS DE LAS EDEP APLICADAS A ALGUNOS CASOS DE SALUD

De las 57 EDEP realizadas entre 2008-2017, siete corresponden a temas de salud⁹9. Asante A, Price J, Hayen A, Jan S, Wiseman V. Equity in health care financing in lowand middle-income countries: a systematic review of evidence from studies using benefit and financing incidence analyses. PLoS One. 2016;11(4):e0152866. doi: 10.1371/journal.pone.0152866
https://doi.org/10.1371/journal.pone.015...

10. Velásquez A, Suarez D, Nepo-Linares E. Reforma del sector salud en el Perú: Derecho, gobernanza, cobertura universal y respuesta contra riesgos sanitarios. Rev Peru Med Exp Salud Publica. 2016;33(3):546-55. doi: 10.17843/rpmesp.2016.333.2338.
https://doi.org/10.17843/rpmesp.2016.333...

11. Bernal N, Carpio MA, Klein TJ. The effects of access to health insurance: evidence from a regression discontinuity design in Peru. J Public Econ. Próximo 2017. 10.1016/j.jpubeco.2017.08.008
https://doi.org/10.1016/j.jpubeco.2017.0...

12. Raoot A, Dewan DK, Dubey AP, Seth S. Introduction of new vaccines in state immunization schedule - Delhi's experience. Indian Pediatr. 2017;54(4):271-4.

13. D'Ardenne KK, Darrow J, Furniss A, Chavez C, Hernandez H, Berman S, et al. Use of rapid needs assessment as a tool to identify vaccination delays in Guatemala and Peru. Vaccine. 2016;34(14):1719-25. doi: 10.1016/j.vaccine.2016.01.060
https://doi.org/10.1016/j.vaccine.2016.0...

14. Sanchez JF, Halsey ES, Bayer AM, Beltran M, Razuri HR, Velasquez DE, et al. Needs, acceptability, and value of humanitarian medical assistance in remote Peruvian Amazon riverine communities. Am J Trop Med Hyg. 2015;92(6):1090-9. doi: 10.4269/ajtmh.14-0329
https://doi.org/10.4269/ajtmh.14-0329...

15. Campbell OM, Calvert C, Testa A, Strehlow M, Benova L, Keyes E, et al. The scale, scope, coverage, and capability of childbirth care. Lancet. 2016;388(10056):2193-2208. doi: 10.1016/S0140-6736(16)31528-8
https://doi.org/10.1016/S0140-6736(16)31...

16. Samuel J. The role of civil society in strengthening intercultural maternal health care in local health facilities: Puno, Peru. Glob Health Action. 2016;9(1):33355. doi: 10.3402/gha.v9.33355
https://doi.org/10.3402/gha.v9.33355...

17. Horton S, Levin C. Cost-effectiveness of interventions for reproductive, maternal, neonatal, and child health. En: Black RE, Laxminarayan R, Temmerman M, Walker N, editores. Reproductive, maternal, newborn, and child health. 3ra edición (volumen 2). Washington, DC: World Bank; 2016. Capítulo 17.

18. Ibrahim MK, Zambruni M, Melby CL, Melby PC. Impact of childhood malnutrition on host defense and infection. Clin Microbiol Rev. 2017;30(4):919-71. doi: 10.1128/CMR.00119-16
https://doi.org/10.1128/CMR.00119-16...

19. Hartinger SM, Lanata CF, Hattendorf J, Verastegui H, Gil AI, Wolf J, et al. Improving household air, drinking water and hygiene in rural Peru: a communityrandomized- controlled trial of an integrated environmental home-based intervention package to improve child health. Int J Epidemiol. 2016;45(6):2089- 99. doi: 10.1093/ije/dyw242
https://doi.org/10.1093/ije/dyw242...

20. Gammoh NZ, Rink L. Zinc in infection and inflammation. Nutrients. 2017;9(6). pii: E624. doi: 10.3390/nu9060624
https://doi.org/10.3390/nu9060624...

21. Seguin M, Niño Zarazúa M. Nonclinical interventions for acute respiratory infections and diarrhoeal diseases among young children in developing countries. Trop Med Int Health. 2015;20(2):146- 69. doi: 10.1111/tmi.12423.
https://doi.org/10.1111/tmi.12423...

22. Guimarães MG1, Braña AM1, Oliart- Guzmán H1, Branco FL1, Delfino BM1, Pereira TM1, Mantovani SA1, Martins AC1, Santos AP1, Filgueira- Júnior JA1, Ramalho AA1, Guimarães-Ada S1, Oliveira CS1, de Araújo TS1, Estrada CH2, Arróspide N3, da Silva-Nunes M1. Child health in the Peruvian Amazon: prevalence and factors associated with referred morbidity and health care access in the city of Iñapari. J Trop Med. 2015;2015:157430. doi: 10.1155/2015/157430
https://doi.org/10.1155/2015/157430...

23. Ferris DG, Shapiro J, Fowler C, Cutler C, Waller J, Guevara Condorhuaman WS. The impact of accessible cervical cancer screening in Peru - The día del mercado project. J Low Genit Tract Dis. 2015;19(3):229-33. doi: 10.1097/LGT.0000000000000112
https://doi.org/10.1097/LGT.000000000000...

24. Ruiz R, Taxa L, Ruiz EF, Mantilla R, Casanova L, Montenegro P. Cáncer colorrectal en los jóvenes: factores pronósticos y características clínico patológicas en un instituto del cáncer de Perú. Rev Gastroenterol Peru. 2016;36(1):35-42.

25. Knaul F, Horton S, Yerramilli P, Gelband H, Atun R. Financing cancer care in lowresource settings. En: Gelband h, Jha P, Sankaranarayanan R, Horton S, editores. Cancer: disease control priorities, 3ra edición (volumen 3). Washington, DC: World Bank; 2016. Capítulo 17.

26. Zelle SG, Vidaurre T, Abugattas JE, Manrique JE, Sarria G, Jeronimo J, et al. Cost-effectiveness analysis of breast cancer control interventions in Peru. PLoS One. 2013;8(12):e82575. doi: 10.1371/journal.pone.0082575
https://doi.org/10.1371/journal.pone.008...

27. Gonzales-Achuy E, Huamán-Espino L, Aparco JP, Pillaca J, Gutiérrez C. Factores asociados al cumplimiento del control de crecimiento y desarrollo del niño menor de un año en establecimientos de salud de Amazonas, Loreto y Pasco. Rev Peru Med Exp Salud Publica. 2016;33(2):224-32. doi: 10.17843/rpmesp.2016.332.2187
https://doi.org/10.17843/rpmesp.2016.332...

28. Wingfield T, Tovar MA, Huff D, Boccia D, Montoya R, Ramos E, et al: The economic effects of supporting tuberculosis-affected households in Peru. Eur Respir J. 2016;48(5):1396- 410. doi: 10.1183/13993003.00066- 2016
https://doi.org/10.1183/13993003.00066-...

29. Contreras CC, Millones AK, Santa Cruz J, Aguilar M, Clendenes M, Toranzo M, et al. Addressing tuberculosis patients' medical and socio-economic needs: a comprehensive programmatic approach. Trop Med Int Health. 2017;22(4):505- 11. doi: 10.1111/tmi.12844
https://doi.org/10.1111/tmi.12844... ^-3030. Wingfield T, Tovar MA, Huff D, Boccia D, Montoya R, Ramos E, et al. A randomized controlled study of socioeconomic support to enhance tuberculosis prevention and treatment, Peru. Bull World Health Organ. 2017;95(4):270-80. doi: 10.2471/BLT.16.170167
https://doi.org/10.2471/BLT.16.170167... (Tabla 2). A continuación, invitamos a reflexionar acerca de evaluaciones de intervenciones en salud vinculados a acceso a servicios de salud a través del SIS, intervenciones preventivas para reducir desnutrición (inmunización, control de crecimiento y desarrollo, atención de infecciones respiratorias y diarreicas), intervención efectiva para reducir mortalidad materno-neonatal (atención de parto institucional), así como la reducción de la morbimortalidad del cáncer y tuberculosis en el país.

REFLEXIONES FINALES

A 10 años de la implementación del PpR y de las EDEP como uno de sus instrumentos, se puede decir que su balance es positivo ²2. Jaramillo Baanante, M. y Gracia, O. (2015) Evaluación del proceso de evaluación de las intervenciones públicas a través del instrumento EDEP en el marco del presupuesto por resultados, pp. 52-57, aunque existe un largo camino de desafíos y retos pendientes.

Se observa un marcado progreso no solo en términos metodológicos y de organización para su implementación, sino también en el uso de sus resultados (esto último a un ritmo más lento, pero se va ganando espacio en la toma de decisiones informadas a partir de los resultados de las evaluaciones). Las matrices de compromiso son el instrumento que impulsan la implementación de las recomendaciones y áreas de mejoras identificadas en las EDEP. Su cumplimiento permite introducir mejoras en el desempeño de los programas e intervenciones, y por tanto, optimizar los servicios públicos provistos a la población.

Avanzar en la difusión y comunicación de los resultados de las EDEP y sus matrices es aún un reto pendiente del MEF, por lo que aprovechar espacios de intercambio, publicaciones, presentaciones académicas, entre otros constituye una oportunidad para generar una cultura de evaluación y rendición de cuentas en la administración pública de nuestro país.

Referencias Bibliográficas

Fechas de Publicación

Histórico