- Desde 2011, el CONEVAL realiza un diagnóstico para conocer cómo avanzan las entidades federativas en la normatividad e implementación de elementos de monitoreo y evaluación. Para este análisis, se estudia tanto el aspecto normativo, el cual busca conocer el desarrollo de la normativa que regula los instrumentos de monitoreo y evaluación, como la implementación de estos instrumentos. Estos dos aspectos se analizan en 9 temáticas diferentes y se sintetizan en un Índice que permite medir el avance.
- En 2021, 15 entidades federativas obtuvieron un puntaje mayor a 90.0% en el Índice del Avance en Monitoreo y Evaluación, lo que da cuenta del avance en la publicación de la información sobre programas sociales, así como de indicadores, evaluaciones y esquemas de seguimiento a resultados que son base para la construcción de un sistema de monitoreo y evaluación. En contraste, Coahuila, Sinaloa, Michoacán, Chiapas y Baja California Sur fueron los estados que en 2021 obtuvieron los menores puntajes en este índice.
- Entre 2011 y 2021, las entidades federativas, con sus distintas trayectorias, incrementaron y fortalecieron la normativa y los instrumentos con los que monitorean y evalúan sus intervenciones de desarrollo social.
- En 2011, las entidades contaron, en promedio, con 42.9% del componente normativo y 45.9% del práctico. Para 2019, el promedio del componente normativo subió a 86.0% y el del componente práctico a 79.7%; mientras que en 2021 su promedio fue 89.8% en el normativo y 88.2% en el práctico.
- Entre 2019 y 2021, 20 entidades incrementaron su puntaje en el componente normativo. El incremento se explica por la emisión y la mejora en la normativa sobre los criterios para crear programas de desarrollo social estatales. Mientras que 26 entidades incrementaron su puntaje en el componente práctico. Dicho incremento se explica, principalmente, por la elaboración y publicación de estudios, diagnósticos e investigaciones en materia de desarrollo social.
- Entre 2019 y 2021, los nueve temas o elementos que analiza el Diagnóstico avanzaron y alcanzaron una puntuación mayor al 80%. Los elementos con mayor avance fueron el de transparencia presupuestaria y el de criterios para la creación de programas, los cuales aumentaron 10.9 y 10.2 puntos, respectivamente.
- En 10 años, el CONEVAL documentó que las entidades federativas han avanzado en la elaboración de las herramientas de monitoreo y evaluación necesarias. El siguiente reto para las entidades federativas es transitar hacia el fortalecimiento de un sistema de monitoreo y evaluación de calidad institucionalizado para la mejora de la política de desarrollo social.
El Diagnóstico del avance en monitoreo y evaluación en las entidades federativas 2021 del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) muestra que en los últimos 10 años (2011-2021), en las 32 entidades federativas, se incrementó el número de herramientas de monitoreo y evaluación de los programas y políticas sociales.
La sexta edición de este Diagnóstico, que publica el Consejo desde 2011 con la colaboración de las entidades federativas, tiene como objetivo conocer, a través del Índice del Avance en Monitoreo y Evaluación, el progreso de los estados en la emisión de normativa y la implementación de elementos de monitoreo y evaluación en su política y programas de desarrollo social. El Diagnóstico aporta referencias ordenadas a los gobiernos estatales sobre sus áreas de oportunidad en materia de monitoreo y evaluación para su mejora continua, sin representar una evaluación de la efectividad de las políticas y programas estatales.
Resultados del Índice del avance en monitoreo y evaluación 2021
En el Diagnóstico del avance en monitoreo y evaluación en las entidades federativas 2021, el CONEVAL analiza los marcos normativos emitidos por las entidades para regular sus elementos de monitoreo y evaluación, así como su implementación. En el marco de estos dos componentes, el normativo y el práctico, se analizan nueve temáticas: padrón de beneficiarios, área responsable de realizar o coordinar la evaluación, transparencia en el presupuesto, elementos de monitoreo y evaluación, criterios para la creación de programas nuevos, indicadores de resultados y de gestión, reglas de operación o equivalente, difusión de información de los programas de desarrollo social y Ley de Desarrollo Social o equivalente. En conjunto, estos nueve elementos permiten asignar un puntaje a cada entidad federativa en un Índice que puede ir del 0 al 100.
En 2021, el promedio nacional se ubicó en 89.0 puntos del Índice. Un total de 15 entidades federativas obtuvieron un puntaje mayor a 90.0. En contraste, el promedio nacional en 2019 fue de 83.0, siendo un total de 11 entidades federativas las que alcanzaron un puntaje superior a 90.0. Lo anterior demuestra que las entidades han generado y publicado la información de programas sociales, así como de indicadores, evaluaciones y esquemas de seguimiento a resultados que son la base para la construcción de un sistema de monitoreo y evaluación. Los estados que destacan son Jalisco y Oaxaca, con un puntaje de 99.1 puntos en 2021; le siguen Hidalgo con 98.1 puntos, así como Estado de México y Guanajuato con 97.2, mientras que Coahuila, Sinaloa, Michoacán, Chiapas y Baja California Sur son los estados que registraron los menores puntajes en 2021, con 84.3, 79.6, 68.5, 63.0 y 59.3 puntos, respectivamente.
Evolución del Índice del avance en monitoreo y evaluación por componente, 2011-2021
En la última década, las entidades federativas incrementaron sus elementos de monitoreo y evaluación, tanto en lo normativo como en lo práctico. En 2011, las entidades contaron, en promedio, con 42.9% del componente normativo y 45.9% del práctico. Para 2019, el promedio del componente normativo subió a 86.0% y el del componente práctico a 79.7%; mientras que en 2021 su promedio fue de 89.8% en el normativo y 88.2% en el práctico.
Componente normativo
Entre 2019 y 2021, 20 entidades incrementaron su puntaje en el componente normativo. El incremento se explica por la emisión y la mejora en la normativa; por ejemplo, se emitieron o ampliaron los criterios para la creación de programas sociales, los mecanismos para el seguimiento de los resultados de las evaluaciones, y la especificidad sobre las atribuciones de las áreas responsables del monitoreo y la evaluación.
Los mayores aumentos se dieron en Nayarit (12.0 puntos), Sinaloa (9.3 puntos) y Guerrero (7.4 puntos). Por otro lado, solo Querétaro presentó una disminución en el componente (3.7 puntos), ya que en 2021 no se identificó un documento normativo publicado y accesible para cualquier persona, que determine los elementos que se deben tomar en cuenta al elaborar indicadores de resultados o de gestión. Los estados que presentan la puntuación máxima del componente normativo son el Estado de México, Morelos y Oaxaca. Por otro lado, Baja California Sur, Sinaloa y Chiapas tienen los puntajes más bajos. Estas últimas tres entidades cuentan con normativa general sobre los criterios para crear programas, pero carecen de elementos específicos que otras entidades federativas sí contemplan.
Componente práctico
Entre 2019 y 2021, 26 entidades incrementaron su puntaje en el componente práctico. Este incremento se explica, principalmente, por la publicación de padrones de beneficiarios de los programas, la elaboración de programas anuales de evaluación y el seguimiento a los resultados de las evaluaciones.
Los mayores aumentos se dieron en Guerrero (19.4 puntos), Sinaloa (14.8 puntos) y Coahuila (12.0 puntos). Por otro lado, solo Baja California Sur presentó una disminución en el componente (5.6 puntos), mientras que las entidades federativas que obtuvieron la puntuación máxima en este componente fueron Guanajuato, Jalisco y Nuevo León.
Los puntajes más bajos se registraron en Baja California Sur, Michoacán y Chiapas. Estas entidades federativas comparten tres áreas de oportunidad: 1) realizar y publicar sus evaluaciones, 2) dar seguimiento a sus resultados y 3) elaborar estudios, investigaciones y diagnósticos que permitan identificar problemáticas de desarrollo social en el estado.
Evolución del Índice del avance en monitoreo y evaluación por elemento de análisis, 2011-2021
En 2011, solo ocho estados[2] contaban con algunos lineamientos, reglamentos o ley que especificaran criterios mínimos a considerar para la creación de programas nuevos. Para 2021, 31 entidades definieron los aspectos indispensables a considerar por parte de las dependencias estatales para la creación de programas de desarrollo social. Otro de los elementos que este Diagnóstico identifica con el mayor cambio son las herramientas de monitoreo y evaluación, las cuales consideran aspectos que van desde la planeación, ejercicios de evaluación y el seguimiento a sus resultados: entre 2011 y 2021, este elemento cambió de 25.7 a 87.7 puntos porcentuales.
El elemento con la menor variación fue la difusión de la información de los programas sociales, ya que desde 2011 presenta uno de los mayores avances. En 2011, todas las entidades federativas contaban con normativa sobre la difusión de sus programas, además de ser una práctica común. Si bien la normativa se fortaleció, mediante la creación y actualización de diversas leyes de transparencia locales, en la práctica se han presentado altibajos en la difusión de esta información.
Entre 2019 y 2021, los nueve elementos analizados en el diagnóstico avanzaron y alcanzaron una puntuación mayor al 80%. Los elementos con mayor avance fueron el de transparencia presupuestaria y el de criterios para la creación de programas, los cuales aumentaron 10.9 y 10.2 puntos, respectivamente. En contraste, el elemento de padrón de beneficiarios prácticamente no registró avances (aumentó 0.8 puntos porcentuales).
El camino recorrido en los 10 años del Diagnóstico del avance en monitoreo y evaluación en las entidades federativas pone en evidencia los importantes avances que han tenido los gobiernos estatales en la creación e implementación de estos instrumentos.
Durante el periodo examinado, todas las entidades federativas incrementaron y fortalecieron la normativa y los instrumentos con los que monitorean y evalúan las intervenciones de desarrollo social. No obstante, un sistema de monitoreo y evaluación que se mantiene en el tiempo, en el que hay interacción entre los diferentes actores que lo conforman y cuya información es efectivamente usada, requiere de la conjunción de esfuerzos para abordar los retos pendientes: a) mejorar la calidad de las normas e instrumentos, b) garantizar la homogeneidad y articulación en los mismos, c) procurar la sostenibilidad de los avances alcanzados en el sistema, en especial en momentos de cambio político, y d) promover el uso de la información generada por el sistema para la mejora de la política de desarrollo social.
Principales retos
- El elemento de análisis con mayor área de mejora es el del padrón de beneficiarios. Aunque todas las entidades cuentan con normativa sobre la elaboración de padrones, todavía hay entidades que no publican sus padrones de beneficiarios, o la información publicada está incompleta o desactualizada.
- La utilización de herramientas con formatos diferentes en cada una de las dependencias, es decir, la ausencia de un modelo homogéneo dificulta integrar o comparar los resultados de una con otra. Adicionalmente, se encontró que hay información grabada en archivos escaneados o en formatos PDF, no en formatos de datos abiertos, lo dificulta que los usuarios puedan acceder a la información.
- En ocasiones los sistemas digitales de información están organizados por dependencia, con información sobre el monitoreo de los indicadores y los procesos de evaluación y seguimiento de resultados separados. Esto limita la retroalimentación y complementariedad entre estos dos instrumentos. En estos casos es importante la comunicación entre los entes que generan información al interior del estado, mediante la generación de sistemas informáticos que permitan contar con información de calidad, homologada, oportuna y actualizada para retroalimentar las otras etapas del proceso de políticas públicas.
- Un reto importante que enfrentan los sistemas de evaluación locales es la perdurabilidad de estas prácticas, aspecto que se pone en riesgo durante los cambios de las administraciones públicas locales, debido a que el cambio no necesariamente garantiza la continuidad de los esfuerzos y herramientas que se han desarrollado en monitoreo y evaluación por parte de la administración saliente.
- Otro desafío en común es el del uso efectivo de la información generada por el monitoreo y la evaluación. Esta información debe ser utilizada por los actores relevantes de los poderes ejecutivos y legislativos estatales para una toma de decisiones orientada a resultados.
- Se requiere también involucrar a los gobiernos municipales en las tareas de monitoreo y evaluación, a partir de sus atribuciones y las capacidades heterogéneas con las que cuentan, para lograr mejores resultados en el contexto estatal.
- En resumen, es necesario implementar esfuerzos adicionales para contar no solo con los instrumentos de monitoreo y evaluación esenciales, sino para lograr un sistema de calidad, articulado y perdurable, que utilice la información que genera para la mejora de la política de desarrollo social.
Consulta el Diagnóstico del avance en monitoreo y evaluación en las entidades federativas 2021 en: https://bit.ly/3r8yjZC y las fichas de cada uno de los estados en la página web del Consejo.
