Desafíos para la Toma de Decisiones Basadas en la Evidencia

Desafíos para la Toma de Decisiones Basadas en la Evidencia La Experiencia Chilena

Principales Características del Diseño, Implementación y Uso de la Información del Sistema de M&E

PRODEV- BID

Bogotá, Noviembre 2009

Principales Características del Sistema de M&E

Mecanismos y Definiciones Adoptadas para Disponer de Información de Desempeño de Programas e Instituciones Públicas

Principales Mecanismos y Definiciones Adoptadas para

Disponer de Información de Desempeño de Programas e

Instituciones Públicas

Chile no ha sido una excepción en su preocupaciones por mejorar

la calidad del gasto público

• Desde inicios de los años 90 surgieron en el Ministerio de

Hacienda las primeras iniciativas

• A partir del año 2000 se ha denominado Sistema de Control de

Gestión y Presupuestos por Resultados

Principales Mecanismos y Definiciones Adoptadas

• Existencia de diferentes instrumentos

de recolección de

información de desempeño. La experiencia ha mostrado que

sólo uno

es insuficiente para obtener la necesaria información

que permita conocer el funcionamiento y resultados de muchas

de las acciones públicas.

• Combinación de instrumentos

. Los instrumentos se basan en

metodologías y formatos de diferentes grados de complejidad y

alcance temático, lo que genera diferentes

 tipos de información

 costos de generarla

 tiempos para obtenerla y

Principales Mecanismos y Definiciones Adoptadas

• La construcción del sistema ha utilizado el

proceso

presupuestario

, en consideración a la oportunidad que ofrece

 El proceso presupuestario es una de las rutinas fundamentales de las organizaciones públicas. Incluye

ciclo anual

estructurado en torno a etapas bien definidas

desarrollo de cada etapa fuertemente normado

 Las rutinas son también fuente de aprendizaje

 Cambios en procesos del ciclo presupuestario pueden producir cambios importantes en el comportamiento de los agentes públicos

Principales Mecanismos y Definiciones Adoptadas

•Modalidad de uso no mecánica ni directa de la información de desempeño en las decisiones presupuestarias

El uso de la información considera también otras categorías de información, tales como las prioridades político - programáticas y las restricciones que

impone la política fiscal

La información de desempeño es integrada a un proceso de toma decisiones que es técnico –político

•. No obstante que las iniciativas surgieron desde niveles técnicos del Ministerio de Hacienda y no desde órganos centrales como la Presidencia o el Congreso ha existido voluntad política en las instituciones que lideran el proceso

• Información pública a través del envío de reportes con información al Congreso y su exposición en el sitio web de la Dirección de Presupuestos (www.dipres.cl)

Principales Mecanismos y Definiciones Adoptadas

•Desarrollo gradual. Desde el año 1993.

 instrumentos, procesos y efectos en la primera etapa experimentaron una lenta evolución, y en algunos aspectos incluso retrocesos

la gradual incorporación de instrumentos permitió aprender, corregir, perfeccionar, socializar y generar una masa crítica base para una mayor sostenibilidad del sistema

•Diseño de institucionalidad y conducción desde el Ministerio de Hacienda. El sistema cuenta con una identificación de actores institucionales, funciones y atribuciones

instituciones o Servicios Públicos cubiertos por los instrumentos

comités interministeriales conformados para la aplicación del sistema,

donde el Ministerio de Hacienda a través de la Dirección de Presupuestos tiene el rol de dirección y coordinación

Instrumentos del Sistema de M&E

M&E

• Requisitos: Pertinencia, veracidad, oportunidad,

legitimidad, eficiencia

• No se conoce ningún instrumento que

por sí sólo

cumpla

con todos los requisitos que exige

• Por esta razón cuando se habla de

sistemas

de monitoreo y

evaluación, se entiende que éstos involucran la

combinación de instrumentos y procedimientos

• Los instrumentos básicos son los indicadores y las

evaluaciones

M&E

• los indicadores corresponden a algoritmos matemáticos o

formulas de medición que entregan una

valoración

cuantitativa del desempeño, pero que por si solos no lo

explican

• las Evaluaciones corresponden a estudios, exámenes o

revisiones técnicas, que haciendo uso de un conjunto de

información según un marco metodológico, tienen por

finalidad

construir valoraciones y encontrar factores

explicativos

a estas valoraciones o juicios evaluativos respecto

de:

o programa

o conjunto de programas

M&E

• Las evaluaciones se diferencian de los procesos de monitoreo,

los que suelen ser:

 parte de procesos internos de gestión programática

 más regulares

 y que utilizan mediciones a través de indicadores, principalmente de procesos y productos

• Monitoreo y evaluación son complementarios e indispensables

para mejorar la calidad de las instituciones y de los programas

que éstas ejecutan

Evaluación

Instrumento Central del Sistema del Sistema M&E y de Presupuestos por Resultados en Chile

• Ha pasado a ser una de las piezas más importantes del sistema

 dado el tipo de información que produce ha permitido un uso más intensivo en los procesos de toma de decisiones

 ha facilitado el proceso de informar a actores externos

 ha entregado una base para efectuar seguimiento a los cambios que los programas han necesitado introducir, de acuerdo a los hallazgos y

recomendaciones

ha sido un espacio de aprendizaje para las unidades organizacionales evaluadas, y también ha contribuido al desarrollo de competencias de los equipos de trabajo

•Tan importante ha sido el rol de la evaluación en el caso chileno que no es posible concebir un modelo de presupuesto por resultados que carezca de esta herramienta

Oferta de Evaluaciones Metodologías

Evaluaciones de escritorio basadas en la Matriz de Marco

Lógico (MML)

•Se inició en el año 1997

• MML es una herramienta que permite el análisis del ordenamiento, consistencia y cumplimiento de los objetivos (fin, propósito, componente y actividades) del programa

•El análisis de la MML se complementa con la revisión de un conjunto de

tópicos

• Se desarrolla usando documentación existente y observaciones puntuales en terreno

MATRIZ DE MARCO LÓGICO

OBJETIVOS PROPÓSITO COMPONENTES ACTIVIDADES FIN INDICADORES /METAS MEDIOS DE VERIFICACIÓN SUPUESTOS ( O FACTORES EXTERNOS)

Evaluaciones de escritorio basadas en la MML

Temas Específicos, complementarios

•Justificación/ continuidad del problema (diagnóstico inicial/actual)

• Diseño. Consiste en el ordenamiento y consistencia del programa considerando sus definiciones de fin y propósito (objetivos), y componentes y actividades. Lo anterior considera la justificación inicial del programa y evolución del diagnóstico.

• Aspectos de gestión tales como :

 modalidad de selección de beneficiarios

 sistemas de seguimiento y monitoreo

 coordinación intra e interinstitucional

 modalidades de delegación o desconcentración

 administración de compras

 administración financiera

 administración de reclamos y entrega de información

 rendición de cuentas

Evaluaciones de escritorio basadas en la MML

Temas Específicos, complementarios

•Resultados. La evaluación de resultados o desempeño se centra fundamentalmente en la evaluación de la eficacia, eficiencia y economía del programa, observando sus procesos, productos y resultados intermedios y finales (considerando la información disponible) .

•Aspectos de sostenibilidad institucional tales como:

apoyo político- institucional

 disponibilidad de recursos institucionales para la operación (humanos, financieros, tecnológicos, etc)

liderazgo, legitimidad, credibilidad

motivación del (o de los) equipo(s) ejecutor.

.

Evaluación de Impacto

•Se inició en el año 2001

•Mide los resultados finales o efectos netos de un programa en los beneficiarios •Estima/calcula diferencias respecto de líneas bases (diagnóstico inicial)

•Compara estas diferencias respecto de grupos de control para aislar efectos externos

•Utiliza además otras técnicas cuantitativas para tratar la información y obtener precisión en las mediciones. Requiere de trabajo en terreno

Evaluación Comprehensiva del Gasto (ECG)

• Se inició el año 2002

• Corresponde a una evaluación de la

totalidad de una organización

o agencia

• Utiliza principalmente

información disponible

, datos o

antecedentes existentes posible de sistematizar en el período de

duración de la evaluación, entrevistas a actores claves y la

aplicación de estudios cualitativos simples

• tiene por

objeto evaluar el conjunto de programas y

procedimientos que administra

, ordenados en los siguientes

tópicos o categorías de información

Evaluación Comprehensiva del Gasto

• Diseño institucional

 consistencia entre las prioridades gubernamentales, la misión, los objetivos estratégicos, los productos estratégicos y sus beneficiarios (matriz de

definiciones estratégicas, MDE)

 la racionalidad de la estructura institucional y la distribución de funciones entre las unidades de trabajo que componen el organismo o agencia

• Gestión institucional

 capacidad institucional (profesional, tecnológica, organizacional, etc.) y

 mecanismos o procedimientos de gestión aplicables y relevantes a la organización en áreas tales como:

 coordinación y asignación de responsabilidades

 asignación, transferencias de recursos y modalidades de pago

 auditoría, rendición de cuentas y transparencia en el uso de recursos;

 instrumentos de monitoreo y evaluación, y

 criterios de focalización y/o selección de beneficiarios

Evaluación Comprehensiva del Gasto

•

Resultados y uso de recursos

. Consiste en la evaluación de los

resultados de productos y subproductos estratégicos, vinculando

estos resultados con los recursos asignados para la provisión de

estos beneficios (costo–efectividad)

_.

Diseño Evaluación de Nuevos Programas

• Se introdujo en el año 2009

• Desarrolla el diseño de la evaluación de nuevos programas

públicos en su momento

inicial o ex – ante

• El objeto es disponer desde el inicio de los elementos e

información básica que permitan medir los efectos finales o

impacto en los beneficiarios, una vez que el programa se

encuentre en ejecución

• El diseño considera:

 la identificación de la línea base respecto de las variables que se pretende afectar con la intervención

 la construcción del grupo de control

.

Diseño Evaluación de Nuevos Program

as

• El desarrollo de esta línea de evaluación ha considerado disponer

del apoyo técnico de un Panel Asesor Internacional

• Lo conforman prestigiosos académicos y de gran experiencia en el

área de las evaluaciones de impacto.

.

Evaluación

Número de Programas o Instituciones 1997-2009

Rápida o de escritorio _{217 +20 = 237}

Impacto _{59 +8 = 67}

Metodología

Programas Existentes 304

Comprehensiva del gasto _{32 +6 = 38}

Instituciones

Diseño de Evaluación de Impacto

5 Programas nuevos

EVALUACIÓN (existentes) – PROCESO

Evaluación. • Resultados

• Recomendaciones

Compromisos Institución / Ministerio de Hacienda • Acciones Específicas • Plazos Seguimiento • Selección de Programas/Instituciones • Selección de Evaluadores • Preparación de Antecedentes

• Capacitación y Preparación Marcos Lógicos Preliminares

EVALUACIÓN

Rol de las Instituciones Evaluadas

•

Recolectar la información del programa para su entrega al equipo evaluador

•Participar en actividades de entrenamiento respecto de los principales aspectos de la metodológica a utilizar y respecto del rol de las evaluaciones en la gestión y presupuestos por resultados

•Preparar la MML del programa y MDF de la organización para su entrega al panel evaluador como información base

•Participar en todas aquellas reuniones que soliciten los evaluadores y la

Dirección de Presupuestos, para analizar aspectos técnicos del funcionamiento del programa

EVALUACIÓN

Rol de las Instituciones Evaluadas

• Analizar y emitir comentarios a los informes intermedios y finales

• Elaborar una respuesta respecto de los resultados de la evaluación, en forma adicional a las observaciones efectuadas a lo largo de su proceso

• Participar en el proceso de fijación de compromisos institucionales de

mejoramiento de los programas o instituciones evaluadas, sobre la base de las recomendaciones de la evaluación, fijando

 acciones concretas, y

 plazos para su realización.

• Informar semestralmente del cumplimiento de los compromisos de

mejoramiento de los programas, y entregar toda la información necesaria para verificar el cumplimiento

Uso y Aplicaciones PRODEV- BID

Bogotá, Noviembre 2009

Marcela Guzmán 2009

Independientemente de la metodología, las evaluaciones deben presentar

conclusiones y recomendaciones, identificando:

 las debilidades e insuficiencias que afectan los resultados del programa y, consistentemente

 sugerencias de acciones para mejorar su desempeño en aspectos institucionales-organizacionales

 programáticos

Formas de uso de la información

Integración de la información al ciclo presupuestario

• Revisión de los resultados de las evaluaciones en la Dirección de Presupuestos del Ministerio de Hacienda. Efectos:

 orientaciones para establecer compromisos de mejoramiento de los programas o instituciones evaluadas

 efectos presupuestarios derivados de

ajustes a componentes si corresponde a los hallazgos de la evaluación, o

 ampliaciones si estos hallazgos así lo validan y se dispone de los recursos financieros (nuevos o reasiganciones)

• Incorporación de los antecedentes de las evaluaciones en las reuniones de

Comisiones Técnicas durante el proceso de formulación de presupuestos, para analizar y fundamentar decisiones en el trabajo Dirección de Presupuestos -ministerios

Formas de uso de la información

Integración de la información al ciclo presupuestario

• Presentación de la información de las evaluaciones al Congreso junto con el proyecto de ley de presupuestos, y en el Informe Anual de Finanzas Públicas • Presentación de la información en la Evaluación de la Ejecución

Presupuestaria en la Dirección de Presupuestos, para su análisis en conjunto con antecedentes de desempeño financiero, previo al inicio de la formulación de presupuestos

• Incorporación de información resumida en la publicación anual de la Evaluación de la Gestión Financiera

Formas de uso de la información

Compromisos de Mejoramiento de los Programas e Instituciones Evaluadas

• Se efectúan sobre la base del análisis de los hallazgos de las evaluaciones • Apuntan a mejoramientos del diseño y de gestión y son usos adicionales a

aquellos relacionados directamente con el proceso presupuestario • Se establecen las acciones que se realizarán en los semestres siguientes • Son formalizados por parte de la Dirección de Presupuestos

• Se les efectúa un seguimiento para conocer de su cumplimiento y aspectos específicos de los cambios introducidos

INCORPORACION AL CICLO

PRESUPUESTARIO

Información de Desempeño Evaluación Ejecución FORMULACIÓN PROCESO PRESUPUESTARIO Ley de Presupuestos Presentación Proyecto Aprobación Ley EJECUCIÓN SEGUIMIENTO

Efectos o Implicancias PRODEV- BID

Bogotá, Noviembre 2009

Marcela Guzmán 2009

(2000 - 2008)

EFECTOS % DE PROG.

1. AJUSTES MENORES

2. MODIFICACIONES EN EL DISEÑO DE COMPONENTES Y/O PROCESOS DE GESTIÓN INTERNA

3.REDISEÑO SUSTANTIVO DEL PROGRAMA

5. FINALIZACIÓN o REEPLAZO INTEGRO

23%

37%

27%

7%

TOTAL PROGRAMAS (174) 100%

EVALUACIÓN DE PROGRAMAS (EPG - IMPACTO)

Cumplimiento de Compromisos

Programas/Instituciones Evaluadas. Años 1999-2008 Porcentaje de Cumplimiento de Compromisos Calificación N° Total de Compromisos al 30/12/2008 * Ministerios Cumplido Parcialmente No

Cumplido Cumplido

Total General 82% 11% 6% 3.604 Total Programas 177

Total programas

egresados 97

* Considera la totalidad de los compromisos establecidos con plazos de

Lecciones y Recomendaciones

•Definiciones ¿Qué y como evaluar?

Objeto : programa, conjunto de programas, organización

 Metodología

Cobertura temática

•Gradualidad. Tipos de metodología y cobertura •Disponibilidad de Información

es central a los procesos de evaluación. Las insuficiencias afectarán la aplicación de las metodologías

El alcance de la evaluación en términos de la aplicación de elementos metodológicos esta determinada, además del tiempo asignado para el proceso de evaluación y competencias técnicas de los evaluadores y contraparte, por la información disponible

La información debiese ser producida como parte de una práctica de trabajo regular, no obstante esta situación no es la más frecuente

Disponibilidad de Información

En tal situación una Evaluación de Escritorio o Evaluación Rápida no podrá elaborar conclusiones fundadas o sólidas respecto del desempeño de un programa

Probablemente podrá evaluar otros aspectos tales como aspectos de diseño del programa, sus procesos de gestión, diferentes aspecto de la dimensión de eficacia respecto de la producción y/o provisión de bienes y servicios

Lo recién señalado es una razón para incorporar en las evaluaciones que se basan en la matriz del marco lógico, la revisión de otros tópicos complementarios

Disponibilidad de Información

No obstante, las limitaciones de información en una primera etapa servirá para identificar con precisión los requerimientos para el seguimiento y monitoreo del desempeño de las asignaciones presupuestales

Sobre la base de estos antecedentes se podrá priorizar el mejoramiento de procesos de recolección y de procesamiento de datos

 Este es un elemento básico para la instalación de practicas orientadas a los resultados.

Lecciones y Recomendaciones

• Trabajo técnico con los conocedores de las diferentes áreas objeto de evaluación

• Adecuada identificación de la duración necesaria para una evaluación de acuerdo a la metodología utilizada garantizará una adecuada gestión de sus etapas que garantice calidad y oportunidad

• La evaluación como un procesos de aprendizaje debilita la percepción de amenaza, la que puede generar resistencias y/o dificultades:

 a su proceso

 a la comprensión de sus resultados o conclusiones, y

 a la implementación de mejoras

Lecciones y Recomendaciones

•Diseño de Institucionalidad. Actores y Funciones

Institución responsable de la conducción

Organismos responsables de la ejecución de las políticas

FIN