Las fórmulas que más convencen a la hora de evaluar los programas estatales

El estallido social, la crisis de las instituciones, la pandemia, el debate del Presupuesto. Estos y otros “contextos” ponen una y otra vez sobre la mesa la discusión sobre cómo mejorar el gasto público y, para eso, cómo evaluar y mejorar los programas del Estado.

En Chile, la Dirección de Presupuestos (Dipres) dio a conocer en septiembre los resultados de un inédito proceso de evaluación y monitoreo de casi 700 programas: de ellos, un 25% tuvo un foco “inadecuado”. Y ahora último, la discusión del Presupuesto 2021 volvió a poner el tema sobre la mesa.

Si bien hay lineamientos respecto de buenas prácticas, los expertos coinciden en que no existe una receta mágica ni un modelo perfecto para evaluar los programas del Estado.

En general resaltan fortalezas del modelo liderado por Dipres, pero también hay preocupación por la falta de impacto de las evaluaciones en la toma de decisiones sobre el presupuesto o en el rediseño de programas (ver recuadro 1).

También la teoría concuerda en que los sistemas de evaluación contemplan tres elementos: 1.- marco institucional, 2.- implementación y 3.- uso.

Que un modelo tenga éxito, depende de que todos los componentes funcionen.

Marco: el dilema de la autonomía

El primer punto es la legislación. Si un país es un buen ejemplo en evaluación, normalmente no depende del marco, porque es “relativamente fácil redactar una ley y proporcionar a algunas instituciones reglas claras”, dice Axel Mathot, analista senior de la División de Gestión Pública y Presupuesto de la OCDE.

Pero la evaluación “se puede beneficiar de un liderazgo del gobierno central fuerte”, indica, y en Chile, si bien la Dipres es vista como una institución “fuerte”, durante los últimos 20 años las administraciones han prometido crear una entidad evaluadora independiente.

En los países OCDE no hay evidencia de que un modelo de gobernanza sea mejor, pero los expertos locales respaldan, en general, la independencia.

David Bravo, académico de la Universidad Católica, la defiende. A su juicio, la institucionalidad de México con el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval) se puede mirar con atención.

La agencia es liderada por un consejo de seis académicos electos democráticamente, en lo que no influye la autoridad de turno.

Bravo valora que para este equipo la evaluación es “su único norte”, y en 15 años han implementado más de 8 mil mejoras directas.

En Chile prácticamente no se aplican evaluaciones de impacto, las que según explica el economista, evidencian si una iniciativa tiene o no efecto en las personas.

El informe OCDE suma que un obstáculo para que las evaluaciones tengan impacto presupuestario es la estructura del erario, que no es programática.

Estados Unidos es líder mundial en la materia. Tienen evaluaciones de impacto hace más de 40 años, lo que ha permitido durante décadas identificar la efectividad de los programas y corregir con datos.

Las solicitudes de evaluación de impacto suelen surgir de entidades federales, pero al no ser un país centralista, recurrir a agencias externas es una práctica frecuente.

Fundaciones privadas financian muchas de estas evaluaciones, y gran parte son elaboradas por universidades de alto prestigio, claves en el proceso. Las mismas instituciones externas difunden estudios para que la información esté disponible para la sociedad civil.

Aplicación: el peso del contexto

Las recomendaciones de la OCDE para Chile proponen mayor incidencia de los ministerios sectoriales en la evaluación ex-post, y realizar evaluaciones propias -siguiendo una guía central-, lo que podría mejorar la cobertura.

Holanda tiene un buen modelo. En su sistema -que explícitamente evalúa al gobierno central desde los 90- cada cartera juega un rol clave.

Los ministerios tienen una dirección que coordina las evaluaciones, por lo que hay un puente directo entre ellos y la entidad central. El modelo busca soluciones prácticas entre los diferentes departamentos, apoyados por los órganos centrales -el Ministerio de Finanzas- que supervisan el desarrollo de la evaluación.

Uso: el Congreso y la sociedad civil

Lo más desafiante es el uso, cuando actores externos -parlamentos o sociedad civil- entran en la evaluación. El informe de la OCDE indica que en Chile el rol del Congreso en la selección de temas y escrutinio de evaluación “debe ser mejorado”.

Reino Unido es un buen ejemplo en el rol del Parlamento, con su comité de Cuentas Públicas, fundado en 1862 para supervisar gastos del gobierno y garantizar que sean efectivos.

Los congresistas interrogan activamente a los ministros sobre sus políticas basadas en evaluación, lo que implica que el trabajo “no se queda guardado en un escritorio”: recibe sugerencias, y según expertos, funciona.

La Unidad de Escrutinio -expertos financieros que evalúan ex-ante programas del gobierno- y la Comisión para el Impacto de Ayuda -independientes que revisan el gasto y producen evaluaciones de impacto ex-post- son otros órganos que trabajan junto al Parlamento en evaluación.

Además, la Oficina Nacional de Auditoría juega un rol clave: examina financieramente y el desempeño de todos los organismos que gastan dinero público y envía informes al comité de Cuentas Públicas, que puede encargarle estudios.

La oficina no produce ni encarga evaluaciones de impacto, pero lleva a cabo estudios de implementación. Esto ha tenido éxito en Holanda y México, y a Chile se le recomienda que la Contraloría audite el desempeño, respondiendo a solicitudes del Congreso.

Revisión periódica

En Holanda, las políticas deben ser evaluadas máximo cada siete años, pero en el período de revisión se implementan pequeños exámenes y modificaciones, lo que debe ser sintetizado y reportado al final del ciclo.

La subsecretaria de Evaluación Social, Alejandra Candia, cuenta que en Chile todos los programas públicos pasan cada año por monitoreo (ex-dure), y algunos sociales y no sociales son evaluados ex-ante, con foco en los nuevos y reformulados significativamente.

Por ahora, un tercio de la oferta pública cuenta con una evaluación de diseño, pero la subsecretaría y la Dipres buscan que el total cuente con al menos una evaluación de ese tipo, indica la autoridad.

Los países con buen desempeño también se reinventan regularmente. Holanda, por ejemplo, se repiensa estructuralmente cada diez años. Así, desde el 2000 han evaluado su sistema en profundidad tres veces, la última en curso.

Incipiente experimentación 

Cerrar un programa siempre es una decisión política difícil. Una de las formas de adelantarse a este escenario y evitar los problemas ha sido usar técnicas experimentales a pequeña escala, para luego evaluarlas y cuando parezca que tienen el impacto deseado, se aplican al total de beneficiarios.

Camila Vammalle, analista senior de la División de Gestión Pública y Presupuesto de la OCDE, advierte que esto funciona en culturas que permiten el “fracaso”: puede ser que la experimentación funcione y sea escalable, pero también puede no pasar, y los funcionarios responsables “no deberían ser castigados” por ello, dice. Por lo mismo, se plantea definir desde el comienzo “cláusulas de suspensión” para estos programas. Canadá, Reino Unido y Holanda han logrado implementar esto con éxito.

Uno de los desafíos en que está trabajando Dipres es justamente este, el uso de técnicas experimentales para evaluar programas nuevos para demostrar resultados antes de escalar, comenta Slaven Razmilic, jefe de la División Control de Gestión Pública de la entidad.

Fortalezas y pendientes de la medición en Chile

La OCDE planteó en un informe que el proceso liderado por la Dirección de Presupuestos (Dipres) en Chile "representa un ejemplo de buenas prácticas internacionales en el diseño y ejecución de evaluaciones ex-ante y ex-post".
Y el jefe de la División Control de Gestión Pública de la Dipres, Slaven Razmilic, dice que se han tomado sugerencias del reporte publicado en marzo, como el trabajo coordinado con la Subsecretaría de Evaluación Social, que apunta a un sistema integral de monitoreo.
Como aconsejaron la OCDE y el FMI, la Dipres amplió los instrumentos de evaluación para incluir herramientas de revisión de gasto, metodología que fue clave para la racionalización de los mismo en los distintos ministerios, dice Razmilic.
Eso sí, el informe alerta que tras 20 años de implementación, hay "una decepción generalizada por el impacto limitado que ha tenido en asignaciones presupuestarias, rediseño o cierre de programas con bajo desempeño", y puntualiza en que anualmente se evalúa ex-post menos del 5% del Presupuesto total.

México: un ejemplo para los países en desarrollo

Con el fin de medir la pobreza y evaluar las políticas y programas sociales, en 2005 nació en México el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval), cuyos tres pilares -monitoreo, evaluación y seguimiento- se ponen en marcha cuando surge una nueva iniciativa.
Una fortaleza es su institucionalidad autónoma definida en la Constitución. Tiene un consejo de seis académicos electos en una convocatoria pública nacional, quienes son "el cerebro de esta institución", dice Édgar Martínez, director general adjunto de Coordinación.
La entidad se encarga de lo social, pero la evaluación y coordinación de políticas no sociales depende de Hacienda, que usa las prácticas y metodologías del Coneval. Los evaluadores sugieren, pero las decisiones recaen en las autoridades políticas.
Esto no es problemático, según Martínez, quien dice que la investigación es valorada como guía para definir las acciones. El Coneval ha generado un "gran cúmulo de información", publicado y a disposición de la ciudadanía, políticos y Congreso.
La subsecretaria de Evaluación Social, Alejandra Candia, destaca que Chile mira al Coneval, porque logra "generar información objetiva sobre la situación de la política social y la medición de la pobreza en México", con el fin de mejorar la toma de decisiones.
El Congreso y los ministerios sectoriales tienen un rol en la evaluación, y la auditoría es clave, ya que mientras el Coneval evalúa, ella fiscaliza la implementación de los cambios mandatados.
En 15 años de historia se han cerrado programas, pero salir mal evaluado no implica necesariamente una reducción de presupuesto. Significa tener que realizar mejoras, y a la fecha se identifican perfeccionamientos en más de ocho mil casos. "Seguimos viendo programas que requieren mejoras, pero llegamos hasta un mecanismo que está mostrando bondades en su funcionamiento", señala Martínez.