EVALUACIÓN DE PROGRAMAS E INDICADORES DE DESEMPEÑO

GOBIERNO DE CHLE

MINISTERIO DE HACIENDA Dirección de Presupuestos

E

VALUACIÓN DE

P

ROGRAMAS E

I

NDICADORES DE

D

ESEMPEÑO

TRANSPARENCIA Y MEJORAMIENTO DE LOS PROCEDIMIENTOS PARA

DISCUSIÓN

PRESUPUESTARIA

Santiago, Noviembre 2001 CHILE

E

P

I

D

T

M

P

LA

E

D

P

Í

I. INTRODUCCIÓN...1

II. INDICADORES DE DESEMPEÑO 1. PUESTA EN MARCHA Y DESARROLLO DE LOS INDICADORES DE DESEMPEÑO...4

1.1 OBJETIVOS Y REQUISITOS...4

1.2 FOCOS DE LOS INDICADORES DE DESEMPEÑO Y ELEMENTOS METODOLÓGICOS...5

1.2.1 DIMENSIONES O FOCOS DEL DESEMPEÑO...5

1.2.2 CONSIDERACIONES METODOLÓGICAS PARA LA ELABORACIÓN DE INDICADORES...6

1.2.3 PRESENTACIÓN DE INDICADORES EN EL PRESUPUESTO...7

1.3 MARCO INSTITUCIONAL Y ACTORES INVOLUCRADOS...8

1.4 SEGUIMIENTO...9

1.5 INTEGRACIÓN AL CICLO PRESUPUESTARIO...9

1.6 DISEÑO OPERATIVO...11

2. BALANCE DE LA EXPERIENCIA. PRINCIPALES AVANCES...11

2.1 SISTEMATICIDAD DE LA EXPERIENCIA...11 2.2 EFECTIVIDAD...12 2.3 DESARROLLO INSTITUCIONAL...13 2.4 CALIDAD...13 2.4.1 CONSOLIDACIÓN METODOLÓGICA...13 2.4.2 GENERACIÓN DE COMPETENCIAS...13

2.5 RETROALIMENTACIÓN EN LA TOMA DE DECISIONES...14

2.5.1 CALIDAD DE LOS INDICADORES...14

2.5.2 INTEGRACIÓN AL CICLO PRESUPUESTARIO...15

2.5.3 SEGUIMIENTO...15

3. ASPECTOS PENDIENTES Y SOLUCIONES...16

3.1 FORMULACIÓN, DSPONIBILIDAD DE INFORMACIÓN E INTERNALIZACIÓN EN LA S INSTITUCIONES.. ...16

3.2 SEGUIMIENTO...17

3.3 INTEGRACIÓN AL CICLO PRESUPUESTARIO...17

III. EVALUACIÓN DE PROGRAMAS GUBERNAMENTALES 1.PUESTA EN MARCHA Y DESARROLLO DEL PROGRAMA...18

1.1 OBJETIVOS Y REQUISITOS...18

1.2 FOCOS DE LA EVALUACIÓN Y ELEMENTOS METODOLÓGICOS...19

1.3 MARCO INSTITUCIONAL Y ACTORES INVOLUCRADOS...20

1.4 RECOMENDACIONES Y SEGUIMIENTO...21

1.5 DISEÑO OPERATIVO...23

1.6 INTEGRACIÓN AL CICLO PRESUPUESTARIO...24

2. BALANCE DE LA EXPERIENCIA. PRINCIPALES AVANCES...26

2.1 SISTEMATICIDAD DE LA EXPERIENCIA...26

2.2 EFECTIVIDAD...26

2.4.2 GENERACIÓN DE COMPETENCIAS EN EVALUACIÓN...28

2.5 RETROALIMENTACIÓN A LA TOMA DE DECISIONES...28

2.5.1 CALIDAD DE LAS RECOMENDACIONES...28

2.5.2 OPORTUNIDAD DE LA INFORMACIÓN E INTEGRACIÓN AL CICLO PRESUPUESTARIO...30

2.5.3 INCORPORACIÓN DE UN PROCESO REGULAR DE DEFINICIÓN DE COMPROMISOS Y SEGUIMIENTO...30

2.5.4 DISEÑO DE PROGRAMAS Y DISPONIBILIDAD DE INFORMACIÓN PARA LA EVALUACIÓN..30

3. ASPECTOS PENDIENTES Y SOLUCIONES...31

3.1 DISEÑO DE PROGRAMAS Y DISPONIBILIDAD DE INFORMACIÓN PARA LA EVALUACIÓN...31

3.2 MEDICIONES DE INDICADORES DE DESEMPEÑO...31

3.3 INTEGRACIÓN A LA DISCUSIÓN LEGISLATIVA...31

IV. EVALUACIONES EN PROFUNDIDAD 1. PUESTA EN MARCHA Y DESARROLLO DE LAS EVALUACIONES...32

2. AVANCES...32

V. FONDO CENTRAL DE RECURSOS PARA PRIORIDADES GUBERNAMENTALES. PRESENTACIÓN DE PROGRAMAS NUEVOS Y/O AMPLIACIONES O REFORMULACIONES SUSTANTIVAS 1. PUESTA EN MARCHA Y DESARROLLO...33

1.1 OBJETIVOS Y REQUISITOS...33

1.2 FOCOS Y ELEMENTOS METODOLÓGICOS...33

1.3 MARCO INSTITUCIONAL Y ACTORES INVOLUCRADOS...34

1.4 SEGUIMIENTO...34

1.5 DISEÑO OPERATIVO...34

1.6 INTEGRACIÓN AL CICLO PRESUPUESTARIO...35

2. BALANCE DE LA EXPERIENCIA. PRINCIPALES AVANCES Y RESULTADOS...36

2.1 SISTEMATCIDAD DE LA EXPERIENCIA...36

2.2 EFECTIVIDAD...36

2.3 DESARROLLO INSTITUCIONAL...36

2.4 CALIDAD...37

2.4.1 CONSOLIDACIÓN METODOLÓGICA...37

2.4.2 GENERACIÓN DE COMPETENCIAS EN DISEÑO Y MONITOREO DE PROGRAMAS...38

2.5 INTEGRACIÓN AL CICLO PRESUPUESTARIO...38

3. ASPECTOS PENDIENTES Y SOLUCIONES...38

Í

F

FIGURA N° 1: INSTRUMENTOS DE EVALUACIÓN E INTEGRACIÓN AL CICLO PRESUPUESTARIO...2

FIGURA N° 2: INTEGRACIÓN AL CICLO PRESUPUESTARIO...10

FIGURA N° 3: INTEGRACIÓN AL CICLO PRESUPUESTARIO...25

FIGURA N° 4: INTEGRACIÓN AL CICLO PRESUPUESTARIO – PRIMERA ETAPA...35

Í

R

RECUADRO N° 2: INDICADORES DE DESEMPEÑO...8

RECUADRO N° 3: BALANCE DE GESTIÓN INTEGRAL...9

RECUADRO N° 4: PROCESO PRESUPUESTARIO. ETAPA DE EVALUACIÓN INTERNA...10

RECUADRO N° 5: PROGRAMA DE MEJORAMIENTO DE LA GESTIÓN...14

RECUADRO N° 6: EJEMPLOS DE INDICADORES DE DESEMPEÑO POR RESULTADO...15

RECUADRO N° 7: PROGRAMA DE MEJORAMIENTO DE LA GESTIÓN (PMG), SISTEMA DE PLANIFICACIÓN / CONTROL DE GESTIÓN...17

RECUADRO N° 8: MATRIZ DE MARCO LÓGICO...19

RECUADRO N° 9: DISEÑO OPERATIVO ...23

RECUADRO N° 10: PROGRAMAS EVALUADOS AÑO 2001. RECOMENDACONES - IMPLICANCIAS...29

RECUADRO N° 11: INCORPORACIÓN DEL ENFOQUE O PERSPECTIVA DE GÉNERO EN LAS PRESENTACIONES DE PROGRAMAS AL FONDO CONCURSABLE...37

Í

C

CUADRO N° 2: INDICADORES DE DESEMPEÑO AÑO 2002 ...13

CUADRO N° 3: CALIDAD DE INDICADORES...14

Evaluación de Programas e Indicadores de Desempeño

Transparencia y Mejoramiento de los Procedimientos para la Discusión Presupuestaria*

Marcela Guzmán S.**

I. Introducción

Los interrogantes que surgen frente al desafío de evaluar el desempeño de las instituciones públicas y sus acciones se pueden sintetizar en dos preguntas fundamentales ¿a través de qué instrumentos es posible efectuar esta función? y ¿cómo incorporamos los juicios evaluativos que surjan de tales evaluaciones en acciones que mejoren la situación?. Las respuestas a estas preguntas no son fáciles. En efecto, como está ya ampliamente documentado1_{, la evaluación de las acciones de dichas} instituciones enfrenta las siguientes características del sector público.

- La amplitud y ambigüedad en la definición de sus objetivos, debido en muchos casos a la larga data de las instituciones y/o a la lógica del proceso político, derivando en una alta heterogeneidad de productos y beneficiarios asociados.

- La vinculación compleja entre productos y resultados, estos últimos en muchos casos diversos, con dimensiones cualitativas difíciles de objetivar, con efectos no siempre observables en períodos de tiempo compatibles con los tiempos que imponen los procesos administrativos o las agendas políticas, y en otros casos con efectos finales no completamente controlables producto de variables externas.

- La ausencia de una relación transaccional con el beneficiario, debido a que muchos de los productos o servicios se proveen gratuitamente o con significativos subsidios que impiden una adecuada expresión de la valoración de los productos o servicios por parte de los usuarios, lo que también dificulta disponer de un indicador de resultados de gestión agregado. Contrariamente a lo que ocurre con el sector privado donde las ventas son un indicador claro de aceptación y el balance un indicador agregado de resultados.

Los problemas recién mencionados se traducen en serias dificultades para los tomadores de decisiones de asignación de los recursos públicos, en un escenario de exigencias cada vez mayores de disciplina fiscal y de responsabilidad por la calidad del gasto frente a la ciudadanía. Esto ha traído como consecuencia, en los últimos años, un gran auge de los desarrollos teóricos y prácticos en relación a la evaluación y seguimiento del desempeño de la gestión presupuestaria o presupuesto por resultados2_.

* El presente documento sistematiza la experiencia de diferentes iniciativas desarrolladas en la División de Control de Gestión de la Dirección de Presupuesto del Ministerio de Hacienda. Deseo agradecer el aporte de los profesiona les Heidi Berner, María Teresa Hamuy y Luna Israel.

**Economista, Jefa de la División de Control de Gestión de la Dirección de Presupuestos del Ministerio de Hacienda.

1 _{Para mayores antecedentes ver Marcel (1999) y Mayne, J. y Zapico-Goñi (2000).} 2

Para mayores antecedentes ver OECD (2001a), OECD (2001b), Banco Mundial (1998), World Bank y Mayne, J. y Zapico-Goñi (2000).

Chile no escapa de los problemas recién señalados ni de la necesidad de mejorar su desempeño. Por esto durante los últimos años, como parte de un conjunto más amplio de iniciativas de mejoramiento de la gestión pública, el Ministerio de Hacienda ha desarrollado e introducido en el proceso presupuestario diferentes instrumentos con el objeto de hacer más transparente y mejorar el análisis y formulación del pres upuesto público, y por tanto de las decisiones en materia de asignación de recursos a los diferentes programas, proyectos e instituciones (ver figura N°1). Dichos instrumentos se han perfeccionado en el tiempo, incorporando además nuevos elementos innovadores. Todos ellos enfatizan la búsqueda de resultados, compromisos y transparencia en la gestión, y forman parte de un proceso gradual de cambio de práctica de la gestión pública.

A partir de la elaboración del presupuesto 2001 se ha contado con información evaluativa de un conjunto de programas, se incorporaron indicadores de desempeño de los Servicios Públicos y se creó un Fondo Central de Recursos para Prioridades Gubernamentales (Fondo Concursable), al cual postulan en un formato estandarizado las iniciativas nuevas, y las ampliaciones o reformulaciones sustantivas de programas existentes. Adicionalmente, en esta misma línea a partir del año 2001 se incorporó el desarrollo de evaluaciones en profundidad, las que serán utilizadas en la elaboración del próximo presupuesto.

Por otra parte, se dio un nuevo impulso a la elaboración de balances institucionales a través de los Balances de Gestión Integral (BGI) creados el año 1997, y se estableció una nueva instancia de evaluación de la ejecución presup uestaria que precede a la presentación del Proyecto de Ley de Presupuestos en el Congreso Nacional.

Figura N° 1

Instrumentos de Evaluación e Integración al Ciclo Presupuestario

PROCESO PRESUPUESTARIO MINISTERIO DE HACIENDA

EVALUACIÓN DE PROGRAMAS INDICADORES DE DESEMPEÑO

MEJORAMIENTO DE GESTIÓN FONDO

CONCURSABLE

En este documento se describen los instrume ntos Indicadores de Desempeño, Programa de Evaluación, que incluye Evaluación de Programas Gubernamentales (EPG) y Evaluaciones en Profundidad, y la Presentación de Iniciativas al Fondo Concursable. Se presentan los principales elementos que han caracterizado sus desarrollos, se destacan los elementos conceptuales y metodológicos centrales, su vinculación con el ciclo presupuestario y los principales avances, aprendizajes y resultados de este proceso iniciado hace ya siete años.

II. Indicadores de Desempeño

1. Puesta en Marcha y Desarrollo de los Indicadores de Desempeño

1.1 Objetivos y Requisitos

La incorporación de indicadores y metas de desempeño al proceso presupuestario se inició en el año 19943_{, con el objeto de disponer de información del desempeño de las instituciones y enriquecer el} análisis en la formulación del presupuesto y su discusión en el Congreso Nacional. Si bien esta línea se discontinuó entre los años presupuestarios 1999-20004_{, hasta el año 1998 se vio incrementado el} número de instituciones integradas a este trabajo. A partir del proceso de formulación del proyecto de presupuestos 2001 los indicadores de desempeño fueron reincorporados a dicho proceso, reafirmando su objetivo original5_.

Los indicadores de desempeño son una herramienta que entrega información cuantitativa respecto al logro o resultado en la entrega de los productos (bienes o servicios) generados por la institución, pudiendo cubrir aspectos cuantitativos o cualitativos de este logro. Es una expresión que establece una relación entre dos o más variables, la que comparada con períodos anteriores, productos similares o una meta o compromiso, permite evaluar desempeño.

Los indicadores de desempeño incorporados en el presupuesto incluyen una meta o compromiso, así el resultado de los indicadores permite inferir una medida del logro de las metas propuestas. Estas metas pueden estar directamente relacionadas con alguno de los productos (bienes o servicios) que ofrece la institución, o tener un carácter más amplio, que englobe todo su quehacer.

Los indicadores de desempeño deben cumplir algunos requisitos básicos para una correcta definición, entre los cuales destacan la pertinencia, la independencia de factores externos, la comparabilidad, requerir de información a costos razonables, ser confiables, simples y comprensivos y constituir información de carácter pública.

Los indicadores deben cubrir los aspectos más significativos de la gestión, privilegiando los principales objetivos de la organización, pero su número no puede exceder la capacidad de análisis de quienes los van a usar.

3 _{La iniciativa de incorporar indicadores de desempeño en el presupuesto tiene su base en el Plan Piloto de}

Modernización de la Gestión en Servicios Públicos llevado a cabo por la Dirección de Presupuestos del Ministerio de Hacienda en el año 1993, y en el que participaron cinco instituciones. El producto final de este plan era obtener indicadores de gestión y la construcción de un siste ma de control de gestión en cada institución.

4

En el año 1998 se inició la aplicación de los Programas de Mejoramiento de la Gestión (Ley N° 19.553). Dichos programas incorporaron indicadores y metas asociando su cumplimiento a un incentivo monetario para los funcionarios. La exigencia de los indicadores propuestos fue baja y de difícil verificación. Los programas, que cubren a la mayoría de las instituciones públicas, fueron reformulados en el año 2000 (ver recuadro N°5) .

5

Se exceptúan algunos Servicios en los que, debido a que su misión no comprende la ejecución directa o a través de terceros de productos o servicios a usuarios resulta más difícil evaluar su desempeño a través de indicadores.

La continuidad de esta línea de trabajo, entendiéndola como un proceso, permitirá en los próximos años contar con más y mejores indicadores, lo que crecientemente enriquecerá el compromiso y evaluación de desempeño de las instituciones, contribuyendo a la transparencia y a una mejor calidad del gasto.

1.2 Focos de los Indicadores de Desempeño y Elementos Metodológicos 1.2.1 Dimensiones o Focos del desempeño

Las dimensiones o focos de la gestión de una institución que son factibles y relevantes de medir a través de un indicador son su eficacia, eficiencia, economía y calidad del servicio . A continuación se describen cada uno de estos conceptos:

a) Eficacia. Se refiere al grado de cump limiento de los objetivos planteados, es decir, en qué medida el área, o la institución como un todo, está cumpliendo con sus objetivos, sin considerar necesariamente los recursos asignados para ello. Es posible obtener medidas de eficacia, en tanto exista la claridad respecto de los objetivos de la institución.

b) Eficiencia. Describe la relación entre dos magnitudes: la producción física de un producto (bien o servicio) y los insumos o recursos que se utilizaron para alcanzar ese nivel de producto. En otros términos, se refiere a la ejecución de las acciones, beneficios o prestaciones del servicio utilizando el mínimo de recursos posibles.

En el ámbito de los servicios públicos existen muchas aproximaciones a este concepto. En general, se pueden obtener mediciones de productividad física relacionando el nivel de actividad, expresado como número o cantidad de acciones, beneficios o prestaciones otorgadas, con el nivel de recursos utilizados (gasto en bienes y servicios, dotación de personal, etc.).

Otro tipo de indicadores de eficiencia es el que relaciona volúmenes de bienes y servicios o recursos involucrados en su producción, con los gastos administrativos incurridos por la institución.

c) Economía. Este concepto se relaciona con la capacidad de una institución para generar y movilizar adecuadamente los recursos financieros en pos de su misión institucional.

En el marco de la misión institucional, la administración de recursos exige siempre el máximo de disciplina y cuidado en el manejo de la caja, del presupuesto, de la preservación del patrimonio y de la capacidad de generar ingresos.

Algunos indicadores de economía de una institución pueden ser su capacidad de autofinanciamiento, la eficacia en la ejecución de su presupuesto o su nivel de recuperación de préstamos.

d) Calidad del Servicio. La calidad del servicio es una dimensión específica del concepto de eficacia que se refiere a la capacidad de la institución para responder en forma rápida y directa a las necesidades de sus clientes, usuarios o beneficiarios. Son atributos de los productos (bienes o servicios) entregados, tales como: oportunidad, accesibilidad, precisión y continuidad en la entrega del servicio, comodidad y cortesía en la atención.

Algunas relaciones que reflejan este concepto son, por ejemplo, número de reclamos sobre el total de casos atendidos, tiempo de tramitación de beneficios, tiempo de espera en oficinas de atención de público o velocidad de respuesta ante cartas, llamadas o reclamos por parte de los usuarios.

Ejemplos de indicadores para cada dimensión descrita se presentan en el siguiente recuadro.

Recuadro N° 1

Ejemplos de Indicadores de Desempeño por Dimensión

A. EFICACIA

1. Porcentaje de cambio en la calidad de vida de los Agricultores (Instituto de Desarrollo Agropecuario, INDAP)

2. Porcentaje de niños obesos menores de 6 años bajo control (Subsecretaria de Salud) B. EFICIENCIA

1. Promedio de Fiscalizaciones por Fiscalizador (Superintendencia de Instituciones de Salud Previsional)

2. Promedio mensual de reclamos resueltos por funcionario (Superintendencia de Electricidad y Combustibles, SEC)

C. ECONOMÍA

1. Porcentaje de recursos aportados por terceros (Comisión Nacional del Medio Ambiente, CONAMA) 2. Porcentaje de Cobranza (Comisión Chilena de Energía Nuclear, CCHEN)

D. CALIDAD

1. Tie mpo promedio de entrega de viviendas (Servicio de Vivienda y Urbanización, SERVIU) 2. Tiempo promedio de solicitudes de Bonificación (Corporación Nacional Forestal, CONAF)

1.2.2 Consideraciones Metodológicas para la Elaboración de Indicadores

En el marco de los requisitos definidos para la elaboración de indicadores de desempeño y con el objeto de optimizar dicho proceso y orientar las acciones necesarias para avanzar en las mediciones, la identificación y elaboración de indicadores considera los aspectos y elementos que se señalan a continuación:

(i) Temporalidad. La identificación de los indicadores de desempeño deben considerar el momento en que los diferentes resultados deberían ocurrir, dependiendo de la naturaleza de los objetivos (procesos / productos / resultados), y por tanto comenzar a medirse.

Esto es particularmente importante en el caso de productos (bienes o servicios) cuyos resultados son de mediano y largo plazo en relación a los años de su implementación, y por tanto, si bien es posible

identificar indicadores éstos no podrán ser medidos en lo inmediato. No obstante, su identificación orientará la definición de los procesos y desarrollos necesarios para obtener la información para las mediciones, cuando sea técnicamente recomendable realizarlas.

(ii) Fuentes de información. Una vez identificado el ámbito en el que se debe elaborar indicadores es necesario también tener presente cual debería ser la forma de obtención de la información para efectuar las mediciones. En muchas oportunidades la información requerida para las mediciones constituye información que, razonablemente, debe formar parte de los procesos regulares de gestión de los programas o iniciativas, y por tanto obtenerse a través de instrumentos de recolección de información que formen parte de las actividades del programa, ya sea a nivel censal o muestral, recogidos como estadísticas del programa, a través de encuestas, pautas de observación, etc., dependiendo del aspecto a medir. En estos casos las fuentes de obtención de información son identificables, aunque no estén disponibles, y por tanto deben ser diseñadas o rediseñadas con el objeto de obtener las mediciones. La periodicidad de las mediciones en estos casos pueden tener una mayor frecuencia (anual, semestral, trimestral, etc.).

En otras oportunidades el ámbito de la medición es más complejo, requiriéndose por lo tanto de procesos también complejos y costosos de recolección y procesamiento de la información a través de la aplicación de metodologías específicas, para lo cual deben efectuarse estudios o evaluaciones. Si este es el caso quizás las mediciones no podrán obtenerse a través de procesos regulares de obtención de información, afectando también la periodicidad de medición de los indicadores. En estos casos es altamente recomendable identificar el o los momentos más oportunos para efectuar las mediciones, atendiendo a lo señalado anteriormente en el punto de temporalidad.

Finalmente, en situaciones quizás excepcionales, pudiera ocurrir que no exista una metodología que mida razonablemente los efectos de un programa o componente, o bien ésta sea lo suficientemente costosa de manera que no sea recomendable su utilización en comparación con el monto del programa y/o los vacíos de información que pretende llenar (los beneficios de obtenerla).

Teniendo en consideración los elementos anteriores, una propuesta de elaboración de indicadores debe permitir disponer de indicadores factibles de medir, en momentos adecuados al desarrollo del programa y por tanto, de lo s beneficios esperados de él, y con una periodicidad que equilibre adecuadamente las necesidades de información con los recursos (técnicos y financieros).

1.2.3 Presentación de Indicadores en el Presupuesto

La presentación de los indicadores y sus metas anuales se efectúa identificando, para cada indicador, el producto institucional (bienes o servicios), la fórmula de cálculo, el valor efectivo del indicador en años recién pasados, la asignación o asignaciones presupuestarias6 _{con que se vincula y los} medios de verificación como se muestra en el siguiente recuadro.

6

El indicador se puede asociar directamente a una asignación o varias asignaciones, un ítem o varios itemes, un subtítulo o varios subtítulos, y un programa o un conjunto de programas.

Recuadro N° 2 Indicadores de Desempeño

MINISTERIO PARTIDA

SERVICIO CAPTULO

PROGRAMA PROGRAMA

Información Histórica Estimación Meta Programa/ Subtítulo/ ítem/ asignación

Medios de verificación Producto relevante

(bien y/o servicio) al que se vincula Indicador de Desempeño Fórmula de cálculo 1998 1999 2000 2001 2002 Eficacia Eficiencia Calidad Economía

La primera columna de información permite analizar consistencia con definiciones estratégicas de las instituciones7. _{La fórmula de cálculo del indicador es la expresión matemática que permite} cuantificar el nivel o magnitud que alcanza el indicador en un cierto período de tiempo (anual, semestral, etc.), de acuerdo a los valores de las variables correspondientes. La información histórica consiste en el valor efectivo del indicador y permite analizar la consistencia de la meta comprometida con la trayectoria del indicador y los recursos que se asignen en el presupuesto, de modo que el compromiso que se asuma sea exigente. Por su parte, la identificación de asignaciones presupuestarias8 _{tiene por objeto facilitar el análisis de la relación resultados-recursos, además de} permitir aproximarse a dimensionar aquella parte del presupuesto que esta dando cuenta de su desempeño a través de este instrumento.

1.3 Marco Institucional y Actores Involucrados

La elaboración de indicadores y metas de desempeño constituye parte de los anexos con información que acompaña a la presentación del Proyecto de Ley de Presupuestos al Congreso Nacional. La institución responsable de tal presentación es la Dirección de Presupuestos del Ministerio de Hacienda, como institución responsable de dicha iniciativa legislativa.

Las instituciones participan del proceso de formulación de indicadores y metas de desempeño directamente, puesto que la presentación de estos debe ser efectuada conjuntamente con la presentación de su propuesta presupuestaria. Dicha presentación es analizada en el Ministerio de Hacienda considerando dos aspectos fundamentales: las exigencias y requisitos técnicos de la formulación de indicadores, y la consistencia de las metas comprometidas y los recursos asignados. Las observaciones efectuadas son trabajadas con las instituciones para su incorporación.

7 _{Las definiciones estratégicas son presentadas conjuntamente con la propuesta de presupuesto de cada Servicio,}

pudiendo provenir de procesos de planificación estratégica formulados con anterioridad por la institución o bien de otros procesos de planificación, análisis o documentos elaborados por el Servicio.

8

1.4 Seguimiento

En el período 1994-1997 el cumplimiento de las metas de desempeño comprometidas en los indicadores fue informado al Ministerio de Hacienda por cada uno de los servicios en el período de formulación del presupuesto del año siguiente, efectuándose un análisis de los resultados. Los informes de cumplimiento en cada año fueron enviados al Congresos Nacional.

A partir de los compromisos o metas fijadas para el año 2001, el cumplimiento se informará en el Balance de Gestión Integral (ver recuadro N° 3) del año correspondiente, durante el primer trimestre del siguiente año, efectuándose a continuación las reuniones técnicas que corresponda para analizar los resultados. Los medios de verificación definidos son la base de información en esta etapa. El informe completo de cumplimento se presentará al Congreso junto con el Proyecto de Ley de Presupuestos.

Recuadro N° 3

Balance de Gestión Integral (BGI)

1.5 Integración al Ciclo Presupuestario

La etapa de análisis y formulación de indicadores y metas es realizada considerando las asignaciones de recursos que contempla el Proyecto de Ley de Presupuestos en cada caso. Por otra parte, los resultados de los indicadores y por tanto el cumplimiento de las metas constituye información para el próximo período presupuestario. Al igual que en la experiencia de la etapa 1994-1998 esta información es analizada en el Ministerio de Hacienda. A partir del año 2002, el cumplimiento de las metas de los indicadores correspondiente al año anterior se analizará en la

Desde el año 1997 la Ley de Presupuestos ha establecido que los órganos y s ervicios públicos regidos por el Título II de la Ley 18.575 (Gobierno Central), tendrán la obligación de proporcionar información acerca de sus objetivos, metas y resultados de su gestión. Con este fin el decreto del Ministerio de Hacienda N° 47 (1999) y sus modificaciones creó los Balances de Gestión Integral (BGI) a través de los cuales se informa de dichos resultados como cuenta pública al Congreso Nacional.

Los Balances son elaborados por los propios Servicios Públicos en el marco de las instrucciones que para estos efectos define el Ministerio de Hacienda, a través de la Dirección de Presupuestos. Es esta última institución la responsable de las definiciones generales para este proceso y de su envío al Congreso Nacional.

En la elaboración de los BGI correspondiente al año 2000 se introdujeron una serie de modificaciones orientadas a perfeccionar el diseño y contenidos del instrumento, de modo de garantizar una mejor información de los resultados globales de gestión de las instituciones públicas.

Los principales aspectos que comprende este balance institucional son: i) Presentación de las definiciones estratégicas y de los resultados más relevantes de la institución, ii) Identificación de la institución en aspectos tales como; estructura organizacional, dotación, principales productos, iii) Resultados de la gestión incluyendo informe de desempeño, de gestión financiera, de recursos humanos, entre otros aspectos.

Los BGI son enviados al Congreso Nacional a más tardar el 30 de Abril de cada año. Además , a partir del año 2001 la información que estos contienen es utilizada en el proceso de evaluación interna que realiza la Dirección de Presupuestos, previo al proceso de formulación presupuestaria.

etapa de evaluación interna que comprende el proceso presupuestario de esta institución (ver recuadro N° 4).

Recuadro N° 4

Proceso Presupuestario. Etapa de Evaluación Interna

Como se señalara, las metas y grado de cumplimiento de los indicadores se envían al Congreso Nacional como parte de la información que acompaña la presentación del Proyecto de Ley de Presupuestos, con el objeto de que los integrantes de las Comisiones Legislativas cuenten con estos antecedentes en la tramitación de dicho proyecto (ver figura N° 2).

Figura N° 2

Integración al Ciclo Presupuestario

En relación a los resultados de los indicadores cabe tener presente que el objetivo de los indicadores de desempeño en relación con la asignación de recursos no necesariamente implica una relación mecánica, inmediata y directa de más o menos recursos dependiendo del cumplimiento de su meta. En algunos casos de programas, productos (bienes o servicios) con resultados insuficientes, con el

A partir del año 2000, el proceso presupuestario en el Ministerio de Hacienda consolidó una etapa inicial de evaluación interna de cada Servicio y Ministerio. En ella se analizan todos los antecedentes disponibles en relación a la gestión financiera y de desempeño de las instituciones, análisis que sirve de base para las definiciones de presupuestos exploratorios y marcos presupuestarios para la siguiente etapa de Formulación del Proyecto de Ley de Presupuestos. Presentación Formato Estándar. Fondo Concursable Balance Gestión Integral Evaluación de Programas Indicadores EVALUACIÓN INTERNA FORMULACIÓN

PROCESO PRESUPUESTARIO - MINISTERIO DE HACIENDA Ley de Presupuestos Presentación Proyecto Aprobación Ley EJECUCIÓN Seguimiento

fin de no perjudicar a los beneficiarios con reducciones significativas del presupuesto, puede ser más recomendable fijar condiciones que propicien o exijan un mejor desempeño, condiciones que pueden ser establecidas en la propia Ley de Presupuestos o procesos vinculados a su preparación. De este modo, con posterioridad, se podrá revisar la decisión en base al desempeño que muestren el o los indicadores, según corresponda. En otros casos, áreas con buen desempeño pueden no requerir de recursos adicionales si su oferta cubre adecuadamente las necesidades.

Atendiendo a las razones descritas, los indicadores y sus resultados son utilizados con prudencia, ya sea que estos constituyan fundamento o condicionantes de decisiones financieras. Adicionalmente, los indicadores no siempre podrán dar cuenta en forma integral del desempeño institucional, requiriéndose de otros antecedentes complementarios para esto, lo que refuerza un uso prudente.

1.6. Diseño Operativo

A partir del año 2001, el proceso de trabajo se inicia con una propuesta de indicadores de desempeño para un conjunto de instituciones por parte del Ministerio de Hacienda9_{. Esta propuesta} recopila y selecciona indicadores de desempeño provenientes de diferentes fuentes de información disponibles, tales como indicadores incorporados en el presupuesto del año anterior, indicadores que provienen de los programas evaluados en el EPG (ver punto III) e informes de desempeño del Balance de Gestión Integral.

La propuesta se incorpora en los formularios para la preparación del Proyecto de Ley de Presupuestos con el objeto que esta sea perfeccionada y ampliada por cada institución, y presentada junto con su propuesta de presupuesto.

Una vez presentada al Ministerio de Hacienda esta es revisada y, en un trabajo conjunto con la institución, se define la presentación que se incorpora en la información que acompaña al Proyecto de Ley de Presupuestos. Esta etapa final incluye el análisis de consistencia entre la meta comprometida y el presupuesto asignado.

Finalmente, la etapa de seguimiento, como se señalara, se efectúa sobre la base de lo informado en el Balance de Gestión Integral correspondiente.

2. Balance de la Experiencia. Principales Avances 2.1 Sistematicidad de la Experiencia

En la experiencia correspondiente a la formulación del presupuesto 2001, no obstante que los indicadores de desempeño no eran un concepto nuevo, las presentaciones iniciales fueron insuficientes, concentrándose en indicadores de productos y procesos más que de resultados. Esto requirió de su rigurosa revisión por parte del Ministerio de Hacienda, con el objeto de corregir

9

En los años anteriores el proceso se inicio con las propuestas de las Instituciones. Para el proceso de formulación del Presupuesto 2002 se envió una propuesta de indicadores al 64% de las instituciones.

aspectos de formulación y de definición de metas en un trabajo conjunto con las instituciones, de modo de cumplir con los requisitos técnicos de estas mediciones.

Por su parte, la experiencia en la formulación del presupuesto 2002 mostró significativos mejoramientos. Si bien aún no se dispone de un conjunto de indicadores para la totalidad de los productos y servicios claves de las instituciones, se ha avanzado en comprometer mediciones y metas en importantes aspectos del desempeño, contando con un número mayor de indicadores y de mejor calidad.

2.2 Efectividad

El presupuesto correspondiente al año 2001 incorporó indicadores de desempeño para un total de 72 servicios públicos presentando 275 indicadores. Estos indicadores cubren principalmente las funciones sociales y económicas y mayoritariamente miden el ámbito de eficacia de productos o servicios institucionales como muestra el cuadro N° 1. Su cumplimiento será evaluado una vez finalizado el año 2001.

Cuadro N° 1

Indicadores de Desempeño Año 2001

Funciones Eficacia Eficiencia Economía Total Porcentaje (%)

A Funciones Generales B Funciones Sociales C Funciones Económicas 42 72 86 2 14 8 9 27 15 53 113 109 21,4 41,0 39,6 TOTAL 200 24 51 275 100

Nota: Clasificación de acuerdo a la Clasificación Funcional del Gasto, Estadísticas de las Finanzas Públicas, Dirección de Presupuestos, Ministerio de Hacienda.

El presupuesto correspondiente al año 2002 incorpora 537 indicadores para 109 servicios públicos, número significativamente mayor que en el año anterior. Un 56% de los indicadores presentados corresponden al ámbito de la eficacia como se observa en cuadro N° 2. En este último año los indicadores se vinculan con un 33% de los productos (bienes o servicios) provistos por las instituciones10_.

10

Uno o más indicadores por producto estratégico definido. Para estos efectos se entiende por productos (bienes o servicios), aquellos que materializan la razón de ser de la misión institucional. Estos pueden corresponder a una definición agregada de las prestaciones o programas que el servicio ofrece como respuestas para atender a las necesidades de sus clientes, beneficiarios o usuarios. Los productos se deben generar bajo la responsabilidad de la institución, ya sea por producción directa o por subcontratación.

Cuadro N° 2

Indicadores de Desempeño Año 2002. Ambitos o focos de Evaluación

Notas:

Clasificación de acuerdo a la Clasificación Funcional del Gasto, Estadísticas de las Finanzas Públicas, Dirección de Presupuestos, Ministerio de Hacienda.

En el proceso de formulación de in dicadores 2002 se incluye indicadores de la dimensión de calidad.

2.3 Desarrollo Institucional

La experiencia de estos dos últimos años ha creado espacios de trabajo con los profesionales de las instituciones, lo que junto con los indicadores ya definidos constituyen elementos básicos para trabajos futuros. De igual modo, el proceso en las instituciones ha generado articulaciones entre las unidades de gestión y de finanzas en un número importante de ellas, práctica que también es un requisito necesario para mejorar la gestión interna y fortalecer sus procesos de análisis y elaboración de propuestas presupuestarias.

2.4 Calidad

2.4.1 Consolidación Metodológica

En estos dos últimos años se ha perfeccionado los formatos de presentación de indic adores y los documentos técnicos que orientan su elaboración, lo que ha permitido ir consolidando la metodología. Cabe señalar que con el objeto de homologar criterios técnicos básicos, ésta ha pasado a formar parte de la Evaluación de Programas Gubernamentales (ver punto III), ha sido incorporada en el formato estándar de presentación de iniciativas al Fondo Concursable (ver punto V), y forman parte también de los antecedentes técnicos para el desarrollo del sistema de Planificación y Control de Gestión de los Programas de Mejoramiento de Gestión (ver recuadro N° 5) que dirige el Ministerio de Hacienda.

2.4.2 Generación de Competencias

La elaboración de indicadores para su incorporación en el presupuesto así como en los otros instrumentos recién señalados ha permitido avanzar en al generación de competencias al interior de las instituciones. Además, la relación de trabajo más directa con los profesionales encargados ha permitido un análisis más detallado de los aspectos técnicos, facilitando además la comprensión del objetivo de las mediciones. Todo lo anterior debería ir generando una mayor sinergia para su elaboración y uso como herramienta de gestión.

Funciones Eficacia Eficiencia Economía Calidad Total Porcentaje

( % ) A Funciones Generales B Funciones Sociales C Funciones Económicas 51 133 115 7 33 13 8 38 21 16 62 40 82 266 189 15,3 49,5 35,2 TOTAL 299 53 67 118 537 100

Recuadro N° 5

Programa de Mejoramiento de Gestión (PMG)11

2.5 Retroalimentación en la Toma de Decisiones 2.5.1 Calidad de los Indicadores

El disponer de un número mayor de indicadores y de mejor calidad, en particular más pertinentes a los ámbitos institucionales y niveles de objetivos, es un claro avance para su uso en la toma de decisiones. En el proceso para el año 2002 un 46% de los indicadores miden resultados intermedios o finales, como se observa en cuadro N°3 y se ejemplifica en el recuadro N° 6.

Cuadro N° 3

Indicadores de Desempeño Año 2002, Ambitos de Control

Nota: Clasificación de acuerdo a la Clasificación Funcional del Gasto, Estadísticas de las Finanzas Públicas, Dirección de Presupuestos, Ministerio de Hacienda.

11

Ver documento “Programa de Mejoramiento de la Gestión (PMG)”, Ministerio de Hacienda, DIPRES disponible en página web http://www.dipres.cl en la sección Control de Gestión, Publicaciones.

Funciones Proceso Producto Resultado Total

Intermedio Final Total

A Funciones Generales B Funciones Sociales C Funciones Económicas 12 44 22 34 68 72 30 88 72 6 66 23 36 154 95 82 266 189 Total 78 174 190 95 285 537

En el año 1998, con la implementación de la Ley 19.553, se inició el desarrollo de los Programas de Mejoramiento de la Gestión (PMG) en los Servicios Públicos, asociando el cumplimiento de objetivos de gestión a un incentivo de carácter monetario para todos los funcionarios que se desempeñan en ellos.

En al año 2000 se consideró necesario perfeccionar la elaboración y aplicación de este instrumento con el objeto de contribuir, a partir del año 2001, al desarrollo de áreas estratégicas para la gestión pública. A partir de ese año la elaboración de los PMG por parte de los servicios se enmarca en un conjunto de áreas de mejoramiento de la gestión comunes para la mayoría de las instituciones del Sector Público, las que constituyen el Programa Marco.

El Programa Marco de los PMG 2001 comprende etapas de desarrollo o estados de avance posibles de los sis temas de gestión vinculados a las áreas de mejoramiento. Cada etapa de desarrollo es definida especificando claramente sus contenidos y exigencias, constituyendo un objetivo de gestión posible de comprometer en un programa anual. De este modo, con el cumplimiento de la etapa final el sistema debe alcanzar su completo desarrollo según características y requisitos básicos.

Las áreas de gestión establecidas son: Recursos Humanos, Atención de Usuarios, Planificación / Control de Gestión, Auditoria Interna, Desconcentración, Administración Financiera. Asociado a estas áreas se definen 11 sistemas de gestión. El Programa Marco de los PMG 2002 incorpora además el área Enfoque de Genero.

Recuadro N° 6.

Ejemplos de Indicadores de Desempeño por Resultado

A. EFICACIA

a. Porcentaje de egreso favorable de niños y niñas egresados de programas proteccionales (Servicio Nacional de Menores, SENAME)

b. Tasa anual de variación de reclusos con contrato de trabajo (Gendarmería de Chile) B. EFICIENCIA

a. Promedio de controvers ias resueltas por abogado (Superintendencia de ISAPRES)

b. Promedio de Inspecciones a faenas mineras por fiscalizador (Servicio Nacional de Geología y Minería, SERNAGEOMIN)

C. ECONOMÍA

a. Porcentaje de créditos de corto plazo recuperados (Instituto de Desarrollo A gropecuario, INDAP) b. Porcentaje de cuentas por cobrar con relación a ventas (Central de Abastecimientos, CENABAST) D. CALIDAD

a. Porcentaje de declaraciones y pagos vía Internet y planilla electrónica (Instituto de Normalización Previsional, INP)

b. Tasa de Cesáre a con herida operatoria infectada (Servicios de Salud)

2.5.2 Integración al Ciclo Presupuestario

En el presupuesto del año 2001, a pesar de la discontinuidad de esta línea de trabajo, el número de instituciones que participaron en la elaboración de indicadores fue mayor que en todos los años anteriores, permitiendo disponer de un conjunto significativo de metas de desempeño compatibles con los recursos asignados. La información del cumplimiento de dichas metas comenzará a ser utilizada en el próximo ciclo presupuestario.

Adicionalmente, como se señalara, para facilitar su utilización a partir de la preparación del presupuesto del año 2002, se ha incorporado en su formato metodológico la identificación de la asignación presupuestaria correspondiente al producto (bien y/o servicio) cuyo desempeño esta siendo medido.

2.5.3 Seguimiento

La experiencia del período 1994-1998 se basó en la autoexigencia y honestidad de los servicios públicos, quedando márgenes para la manipulación de la información o explicaciones del no cumplimiento aduciendo a elementos técnicos de difícil verificación. No obstante esto, un número significativos de servicios informaron de metas no cumplidas.

Para el proceso de seguimiento de los indicadores 2001 y 2002 se han identificado los medios de verificación con que se constatará el grado de cumplimiento de las metas comprometidas, avanzando hacia un proceso de seguimiento más riguroso.

3. Aspectos Pendientes y Soluciones

La experiencia de estos años muestra que aún subsisten problemas de implantación y utilización de la información no resueltos completamente. Con el objeto de superar estas dificultades, se continuará reforzando actividades y procedimientos ya iniciados con este fin, pero que debido a su aún corto período de implementación no alcanzan su total consolidación y efectos esperados.

3.1. Formulación, Disponibilidad de Información e Internalización en las Instituciones

No obstante el aumento del número de indicadores presentados en el Proyecto de Ley de Presupuestos correspondientes al año 2002, aún se requiere un esfuerzo por medir mejor los resultados de los productos y servicios centrales o claves para el cumplimiento de los respectivos objetivos estratégicos. Lo anterior requiere superar problemas relativos a la formulación de indicadores, disponibilidad de información para su medición e internalización en las instituciones. En relación a la formulación y medición es necesario seguir avanzando en la generación de registros de información adecuados y práctica en la elaboración de indicadores. Por otra parte, aún cuando se ha iniciado la socialización e internalización de los indicadores de desempeño como instrumento de gestión al interior de las instituciones, en muchos casos estos son elaborados por un grupo reducido de profesionales, no socializándose debidamente en todos aquellos funcionarios de los cuales depende su resultado ni utilizándose en el análisis, evaluación institucional y toma de decisiones.

Para avanzar en la solución de estas insuficiencias es primordial la estabilidad de esta línea de trabajo, dándole continuidad y reforzando la consolidación de sus procesos. Al respecto, el método de trabajo instalado, más cercano con cada institución, se debe continuar profundizando a través de las siguientes dos líneas de acción:

- Planificación y Control de Gestión. El desarrollo del sistema de Planificación y Control de Gestión que contempla el instrumento Programas de Mejoramiento de la Gestión que cubre a las instituciones públicas (ver recuadros N° 5 y 7). Este sistema incluye la identificación y elaboración de indicadores asociados a los principales productos (bienes o servicios) y los desarrollos de adecuados sistemas de recolección y sistematización de información.

- Asistencia Técnica. La asistencia técnica que en materia de elaboración de indicadores se efectúa con motivo de las presentaciones en el proceso presupuestario de la Evaluación de Programas Gubernamentales y del Fondo Concursable, por parte de la Dirección de Presupuestos del Ministerio de Hacienda y del Ministerio de Planificación y Cooperación (ver punto IV).

Recuadro N° 7

Programa de Mejoramiento de Gestión (PMG), Sistema de Planificación / Control de Gestión12

3.2. Seguimiento

Considerando la crucial importancia del seguimiento, además de la identificación de los medios de verificación y de establecer el procedimiento a través del cual se debe presentar el cumplimiento de las metas comprometidas, se está estudiando delegar la realización de auditorias a las bases de datos, al menos de un modo aleatorio, en las auditorias interna de los Servicios en el marco de las actividades del Consejo de Auditoria Interna General de Gobierno13_.

3.3 Integración al Ciclo Presupuestario

Habiéndose retomado la incorporación de indicadores y metas de desempeño en el presupuesto, el cumplimiento de las metas comprometidas constituirá información a ser utilizada en las diferentes etapas del ciclo presupuestario. En efecto, como se mencionara, dicho ciclo cuenta con una etapa interna de evaluación de cada Servicio donde se analizan todos los antecedentes disponibles en relación a la gestión financiera y de desempeño de cada uno de ellos. A partir del año 2002 se incorporarán los resultados de los indicadores correspondientes, en este caso del año 2001.

12 _{Ver “Programa de Mejoramiento de la Gestión, Año 2001”. Documento Técnico en página web http://www.dipres.cl}

en la sección Control de Gestión, Publicaciones.

13

El Consejo de Auditoria Interna General de Gobierno está radicado en el Ministerio Secretaría General de la Presidencia.

El sistema de Planificación y Control de Gestión incorporado en el Programa Marco del Programa de Mejoramiento de la Gestión, tiene por objeto que los servicios diseñen e implementen un Sistema de Información para la Gestión (SIG) que permita la construcción de indicadores de desempeño para apoyar la toma de decisiones.

El sistema se desarrolla en etapas, la primera establece las definiciones estratégicas, esto es; misión, objetivos estratégicos, productos, clientes. La segunda, diseña el sistema de información para la gestión, el que incluye entre otros, centros de responsabilidad e indicadores de desempeño por producto. La tercera, coloca en funcionamiento el SIG y en la cuarta etapa, el servicio presenta los indicadores de desempeño de sus principales productos en la formulación del Presupuesto.

III. Evaluación de Programas Gubernamentales

1. Puesta en Marcha y Desarrollo del Programa

1.1. Objetivos y Requisitos

Con el objeto de disponer de información que apoye la gestión de los programas públicos y el análisis de resultados en el proceso de asignación de recursos públicos, a partir del año 1997, el Gobierno de Chile incorporó la evaluación ex - post de programas públicos a través de la Evaluación de Programas Gubernamentales (EPG). La creación de la iniciativa formó parte de un Protocolo de Acuerdo firmado entre el Congreso Nacional y el Ministerio de Hacienda con motivo de la aprobación de la Ley de Presupuestos de ese año, dejándose la responsabilidad por su ejecución en esta última institución. Desde entonces se han evaluado 120 programas públicos. El diseño del programa fue definido sobre la base de seis requisitos o principios que deben cumplir las evaluaciones: que sean independientes, públicas, confiables, pertinentes, oportunas, y eficientes. Para responder al carácter de independiente se ha optado por una modalidad de ejecución de las evaluaciones externa al sector público, a través de paneles de expertos, con una administración del proceso también externa a la institución responsable del programa.

El carácter público de la información se concreta, formalmente, a través del envío de los informes finales de cada evaluación al Congreso Nacional y a las instituciones públicas con responsabilidades sobre la toma de decisiones que afectan al programa respectivo, estando dichos informes siempre disponibles a quien lo solicite.

Las evaluaciones realizadas por paneles de expertos no sólo buscan independencia en los juicios evaluativos, sino también que sus resultados sean técnicamente confiables. Para esto último, la conformación de los paneles se efectúa a través de un proceso de concurso público que garantiza la selección de los mejores profesionales.

La pertinencia de las evaluaciones se aborda en la definición de los ámbitos de evaluación incorporados en un diseño metodológico y en la exigencia de que, considerando los resultados de dichas evaluaciones, se formulen recomendaciones para mejorar el desempeño.

El requisito de oportunidad se relaciona con la necesidad de que los resultados de las evaluaciones constituyan, efectivamente, información para el proceso de asignación de recursos.

Finalmente, el requisito de eficiencia dice relación con la necesidad de que las evaluaciones se realicen a costos posibles de solventar, lo que unido a los requisitos anteriores busca que, en plazos y costos razonables, se obtengan juicios evaluativos de los principales aspectos del desempeño de los programas.

1.2. Focos de la Evaluación y Elementos Metodológicos.

La evaluación se distingue del monitoreo por ser un proceso analítico más global e integrado. Teniendo en consideración lo anterior y los objetivos y requisitos de las evaluaciones, éstas se han basado en la metodología de marco lógico utilizada por organismos multilaterales de desarrollo, como el Banco Mundial y el BID. Dicha metodología se centra en identificar los objetivos de los programas y luego determinar la consistencia de su diseño y resultados con esos objetivos. La metodología utilizada permite que, sobre la base de los antecedentes e información existente14_{, se} concluya, en un plazo razonable, en juicios evaluativos de los principales aspectos del desempeño de los programas.

La evaluación se inicia con la elaboración de la matriz de marco lógico, que comprende los diferentes niveles de objetivos del programa a través de la identificación de su fin y propósito (objetivo general), los objetivos específicos de cada uno de sus componentes, sus principales actividades y sus correspondientes indicadores de desempeño y supuestos tal como se presenta a continuación .

Recuadro N° 8 Matriz de Marco Lógico

Teniendo como base estos antecedentes se desarrolla la evaluación considerando los focos o ámbitos que a continuación se señalan:

(i) Justificación. La justificación es la etapa en que se analiza el diagnóstico o problema que dio origen al programa y que éste espera resolver (o contribuir a solucionar).

(ii) Diseño. La evaluación del diseño consiste en el análisis del ordenamiento y consistencia del programa considerando sus definiciones de fin y propósito (objetivos), y componentes y actividades para responder a ellos. Lo anterior considera la justificación inicial del programa y como estos elementos de diagnóstico han evolucionado.

14

En algunos casos, en que se ha considerado necesario y compatible con los plazos, se han efectuado estudios complementarios principalmente orientados a recoger nueva información o sistematizar la existente.

MATRIZ DE MARCO LÓGICO Programa:

Servicio: 1

Enunciado Del Objetivo 2 Indicadores / Información 3 Medios de Verificación 4 Supuestos FIN: PROPÓSITO: COMPONENTES: ACTIVIDADES:

(iii) Organización y Gestión. La evaluación de la organización y gestión es el análisis de los principales aspectos institucionales dentro de los cuales opera el programa, y de los principales procesos, instancias de coordinación e instrumentos de que éste dispone para desarrollar sus actividades y cumplir su propósito.

(iv) Resultados. La evaluación de resultados o desempeño se centra fundamentalmente en la evaluación de la eficacia, eficiencia y economía del programa.

El concepto de eficacia comprende el grado de cumplimiento de los objetivos planteados, tanto en términos de producción de bienes y servicios como de los resultados en la población objetivo. Se incluye en este concepto la dimensión de calidad de los bienes o servicios o atributos de éstos, medidos a través de factores tales como oportunidad y accesibilidad, y la sustentabilidad de los resultados. Incluye, por lo tanto, indicadores a nivel de producto, resultados intermedios y finales. El concepto de eficiencia comprende la relación entre recursos y productos, centrándose en los costos unitarios de producción, uso de insumos y niveles de actividad, y gas tos de administración. Incluye también la identificación de actividades prescindibles o posibles de externalizar y el grado de competencia de estos procesos, entre otros aspectos.

Por su parte, el concepto de economía se refiere a la capacidad del programa para generar y movilizar adecuadamente sus recursos financieros, observándose aspectos tales como la capacidad de ejecución presupuestaria, la capacidad de recuperación de prestamos y la capacidad de generar ingresos cuando estos no interfieren con el objetivo del programa.

Sobre la base del análisis del diseño, organización y gestión, y resultados o desempeño del programa, la evaluación también incorpora un juicio respecto de la sostenibilidad del programa en términos de capacidades institucionales, la continuidad del programa considerando la evolución del diagnóstico inicial, y un conjunto de recomendaciones para corregir problemas detectados y/o mejorar sus resultados.

1.3. Marco Institucional y Actores Involucrados

Desde la creación de la iniciativa ésta forma parte de un Protocolo de Acuerdo firmado entre el Congreso Nacional y el Ministerio de Hacienda con motivo de la aprobación de la Ley de Presupuestos de cada año.

La Evaluación de Programas Gubernamentales (EPG) cuenta con un Comité Interministerial, el que tiene por objeto asegurar que el desarrollo de las evaluaciones sea consistente con las políticas gubernamentales, que las conclusiones que surjan de este proceso sean conocidas por las instituciones que conforman el comité y que se disponga de los apoyos técnicos y coordinaciones necesarias para el buen desarrollo del mismo. Este Comité está conformado por un representante del Ministerio Secretaría General de la Presidencia, del Ministerio de Planificación y Cooperación (MIDEPLAN) y del Ministerio de Hacienda, a través de la Dirección de Presupuestos, siendo presidido por esta última cartera.

La Dirección de Presupuestos del Ministerio de Hacienda tiene la responsabilidad de la ejecución y funcionamiento de la EPG. Corresponde a esta institución definir el diseño metodológico y operativo del programa, la provisión de recursos para su funcionamiento, la administración de su operación, la recepción y envío de los informes de evaluación a las instancias respectivas (Ejecutivo y Congreso Nacional) y su integración al ciclo presupuestario.

Los paneles evaluadores, constituidos por tres profesionales seleccionados por concurso público, tienen la responsabilidad de efectuar las evaluaciones técnicas de acuerdo a los procedimientos definidos por el Ministerio de Hacienda.

Las instituciones responsables de los programas evaluados se incorporan al proceso a través de las siguientes actividades:

(i) Proveer de un conjunto de información del programa para su entrega al panel evaluador, al inicio del proceso, y de cualquier otra información disponible y necesaria durante la evaluación.

(ii) Elaborar la matriz de marco lógico preliminar, para su entrega al panel evaluador como insumo base.

(iii) Participar en todas aquellas reuniones que solicite el panel evaluador y el Ministerio de Hacienda para analizar aspectos específicos del proceso de evaluación.

(iv) Analizar y emitir comentarios a los resultados intermedios y finales de la evaluación, los que son entregados al panel de evaluación a través del Ministerio de Hacienda.

(v) Analizar y emitir comentarios a las recomendaciones y, a partir del año 2000, participar en el proceso de fijación de compromisos en torno al mejoramiento de los programas, proceso que se describe más adelante.

(vi) Informar del cumplimiento de los compromisos institucionales.

1.4. Recomendaciones y Seguimiento

Como ya se señalara, la evaluación de cada programa incorpora como etapa final la presentación de recomendaciones como respuesta a las debilidades o insuficiencias identificadas en el proceso de evaluación.

Estas recomendaciones pueden tomar las siguientes formas.

(i) Eliminar el programa porque ya no se justifica o justificándose sus componentes no contribuyen al logro del propósito y por tanto del fin.

(ii) Eliminar componentes porque ya no se justifican o justificándose no contribuyen al logro del propósito y por tanto del fin.

(iii) Modificar significativamente componentes para adecuarse a cambios en el diagnóstico (justificación inicial) o para cump lir de un mejor modo el logro del propósito y fin.

(iv) Modificaciones menores de los componentes (modificación de actividades) para adecuarse a cambios en el diagnóstico (justificación inicial) o para un mejor cumplimiento del logro del propósito y fin.

(v) Agregar componentes nuevos para sustituir componentes eliminados o por incorporación de un nuevo objetivo específico (objetivo del componente) que permita de mejor forma el cumplimiento del propósito y fin.

(vi) Independiente o complementariamente con lo anterior, introducir modificaciones en aspectos de gestión u organización con el objeto de mejorar el logro del propósito y fin.

En la práctica, desde el punto de vista de los recursos, las recomendaciones pueden ser incorporadas en el marco de los recursos disponibles en el programa, en algunos casos sustituyendo componentes y/o actividades, en otros con ahorros derivados de ganancia de eficiencia en la ejecución de algunos de ellos. En este caso se busca mejorar el desempeño de los recursos ya asignados al programa. Si las situaciones señaladas no son posibles considerando el funcionamiento del programa y el carácter de las recomendaciones, entonces su incorporación estará supeditada a la disponibilidad de recursos adicionales.

No obstante lo anterior, es necesario tener en cuenta que las recomendaciones también pueden ser incorporadas con recursos asignados a la institución o Ministerio, más allá de los recursos asignados directamente al programa. En estos casos se requiere de una revisión más amplia de disponibilidades financieras y uso de recursos, análisis que está fuera de las posibilidades de un panel evaluador de un programa. Así, lo que señale la evaluación en ésta materia no es conclusivo sino una propuesta inicial para su análisis.

A partir del año 2000, las recomendaciones formuladas por los evaluadores son analizadas en el Ministerio de Hacienda en conjunto con la institución responsable del programa, con el objeto de precisar como serán incorporadas y su oportunidad, identificar los espacios institucionales involucrados (institución, ministerio, otras instituciones públicas), y posibles restricciones legales y de recursos15_{. El producto final es el establecer, formalmente, compromisos institucionales de} incorporación de recomendacio nes en cada uno de los programas de evaluación. Dichos compromisos constituyen la base del seguimiento del desempeño de los programas.

El seguimiento es una etapa que busca recoger información de cómo las recomendaciones han sido efectivamente incorporadas y como ha evolucionado el desempeño del programa, antecedentes que deben enriquecer el análisis de asignación de recursos públicos.

Atendiendo a lo anterior, el programa se ha propuesto que el seguimiento no sea una actividad burocrático-administrativa, sino que un espacio de reflexión y análisis en torno a la relación resultados-recursos. Para estos efectos se han definido dos momentos de seguimiento, oportunos al

15

El proceso de análisis de recomendaciones con las instituciones se inició en el año 1999, no obstante este fue parcial y no estableció compromisos formales con las instituciones.

ciclo presupuestario. El primero que comprende hasta el 31 de diciembre de cada año, cuyos antecedentes son incorporados por la institución en el BGI, y el segundo junto con la presentación de la propuesta de presupuesto por parte de cada Servicio, lo que ocurre en el mes de julio.

Paralelamente, desde el año 2001, se está avanzando en perfeccionar los indicadores de desempeño de los programas evaluados, con el objeto de analizar su evolución a través de un seguimiento más permanente e incorporación de dichos indicadores en la preparación y discusión del Proyecto de Ley de Presupuestos.

1.5. Diseño Operativo

El diseño operativo comprende ocho etapas las que se presentan en el Recuadro N° 9 y se describen a continuación. Recuadro N° 9 Diseño Operativo 1. Selección de Programas 2. Selección de Consultores 3. Preparación de Antecedentes

4. Capacitación y Preparación de Marcos Lógicos Preliminares

5. Evaluación - Resultados

- Recomendaciones

6. Envío al Congreso

7. Compromisos Institución / Ministerio de Hacienda - Acciones Específicas

- Plazos

8. Seguimiento

(i) Selección de Programas. El proceso de evaluación se inicia con la selección de los programas. Esta se efectúa con la participación del Congreso Nacional sobre la base de una propuesta presentada por el Ministerio de Hacienda. A su vez esta propuesta tiene como base diferentes fuentes de información respecto de las necesidades de evaluación de programas, provenientes del propio Ministerio u otras Instituciones Públicas.

(ii) Selección de Consultores. Una vez efectuada la selección de los programas se realiza la selecció n de consultores, a través de un concurso público, y se conforman los paneles evaluadores. (iii) Comunicación a las Instituciones Responsables de los Programas Evaluados. Paralelamente a la selección de los evaluadores se informa del inicio del proceso de evaluación a los Ministerios e instituciones responsables de los programas seleccionados, y se les solicita la preparación de los antecedentes del programa, información base para efectuar la evaluación.

(iv) Preparación para las Evaluaciones. Previo al inicio de las evaluaciones se capacita en la metodología de evaluación a los evaluadores que conforman el panel y a los profesionales que se desempeñan en las unidades responsables de los programas. Con estos últimos se inicia la preparación preliminar de los marcos lógicos de cada uno de los programas.

(v) Ejecución de la Evaluación. Se inicia la evaluación teniendo como base de información los antecedentes del programa y los marcos lógicos preliminares. La etapa de ejecución de la evaluación contempla la entrega de un informe de avance e informe final, los que son comentados por la institución responsable del programa evaluado y el Ministerio de Hacienda.

(vi) Envío al Congreso. Se envía oficialmente al Congreso Nacional el informe final de las evaluaciones efectuadas por los paneles, informe ejecutivo preparado por el Ministerio de Hacienda en base al informe final, y los comentarios finales a la evaluación por parte de la institución responsable del programa evaluado.

(vii) Formalización de Compromisos. Sobre la base de las recomendaciones efectuadas por los paneles evaluadores se definen compromisos entre la institución responsable del programa y la Dirección de Presupuestos del Ministerio de Hacienda.

(viii) Seguimiento. El seguimiento de los compromisos institucionales en relación con las recomendaciones se efectúa al 31 de diciembre y al 30 de junio de cada año.

1.6. Integración al Ciclo Presupuestario

El objetivo del programa con relación a la asignación de recursos no necesariamente implica una relación mecánica e inmediata de más o menos recursos dependiendo de los resultados de la evaluación en el período. En algunos casos de programas con resultados insuficientes, con el fin de no perjudicar a los beneficiarios con reducciones significat ivas del presupuesto, es más recomendable fijar condiciones que propicien o exijan un mejor desempeño, condiciones que pueden ser establecidas en la propia Ley de Presupuestos o en el proceso de definición de compromisos institucionales de mejoramiento ya descrito. De este modo, con posterioridad se podrá revisar la decisión en base al desempeño que presente el programa con las modificaciones introducidas. En otros casos, programas bien evaluados pueden no requerir de recursos adicionales si su oferta cubre adecuadamente las necesidades. Por estas razones los resultados deben ser utilizados con prudencia, ya sea que estos constituyan fundamento o condicionantes de decisiones financieras.

La integración al ciclo presupuestario, como se presenta en la figura N° 3, se concreta principalmente a través de los procesos de análisis de los resultados en el proceso de formulación del presupuesto; presentación de los resultados a las comisiones de Hacienda y subcomisiones de Presupuestos del Congreso; e incorporación de la información de seguimiento de las recomendaciones en la etapa de evaluación interna del proceso presupuestario de la Dirección de Presupuestos del Ministerio de Hacienda.

Figura N° 3

Integración al Ciclo Presupuestario

En relación al primer proceso, a partir del año 2000 los resultados finales de las evaluaciones son analizados en reuniones con el Director de Presupuestos del Ministerio de Hacienda, en las que participan los analistas correspondientes de la División de Control de Gestión y de los Sectores Presupuestarios de la Dirección. Tales antecedentes sirven de base para las definiciones de los marcos presupuestarios y la formulación del presupuesto, en algunos casos afectando directamente estas asignaciones o dando lugar a condiciones para la ejecución del gasto (glosas presupuestarias). Además, los informes finales de las evaluaciones son enviados al Congreso Nacional en forma previa al envió del Proyecto de Ley de Presupuestos de cada año, acompañados de los comentarios a los resultados de la evaluación por parte de las instituciones responsables de los programas. Este último documento cumple con permitir que la institución exprese, formalmente, sus acuerdos o discrepancias con los juicios evaluativos finales que emite el panel evaluador, en su carácter de instancia de evaluación externa.

Evaluación de Programas

Indicadores

EVALUACIÓN

INTERNA FORMULACIÓN

PROCESO PRESUPUESTARIO – MINISTERIO DE HACIENDA Ley de Presupuestos Presentación Proyecto Aprobación Ley EJECUCIÓN BASE MARCO LÓGICO

(Evaluación de Programas Gubernamentales) SEGUIMIENTO