Este trabajo representa un intento de actualizar e integrar en un solo documento los conceptos y metodologías aplicadas en la evaluación ex post de programas e instituciones públicas desarrolladas por la División de Control de Gestión de la Dirección de Presupuesto. Por lo tanto, este documento metodológico tiene como objetivo presentar las herramientas de evaluación con que cuenta la Dirección de Presupuesto en el contexto del sistema de evaluación y control de la gestión y el presupuesto por resultados, siendo al mismo tiempo una referencia para los diferentes actores que participan en la implementación. de ello respecto de las metodologías utilizadas para tal fin.
INTRODUCCIÓN
Rol del Estado
Esto se basa en la necesidad de "garantizar la calidad de un gasto que se realiza con recursos públicos y que, por tanto, concierne a todos los habitantes del país". Para tal efecto, la Dirección de Presupuesto (en adelante DIPRES) tiene la misión de asegurar la distribución y uso eficiente de los recursos públicos dentro de la política fiscal5.
Ciclo Presupuestario y Rol de las Evaluaciones
Su desarrollo y mejoramiento se ha realizado paulatinamente, dando forma al “Sistema de Evaluación y Control de Gestión” de la DIPRES. Posteriormente se ha avanzado hacia modelos de evaluación ex post y modelos de evaluación ex ante más completos y complejos, cuyo objetivo es contar con programas bien diseñados, tanto a nivel conceptual como en su diseño operativo.
Sistema de Evaluación Ex Post en Dipres
Entre los principales resultados se encuentran su contribución a la toma de decisiones presupuestarias, mejorando la gobernanza y la rendición de cuentas; contribuyendo de esta manera a mejorar la eficiencia y eficacia del gasto público. Asimismo, el programa de evaluación ha permitido la formación de una creciente cultura de evaluación en el sector público y ha contribuido a la transparencia de la gestión pública.
DEFINICIÓN DE PROGRAMA Y RELACIONES DE CAUSALIDAD
Definición de Programa
Relaciones de Causalidad
Definición de Población Potencial, Objetivo y Beneficiarios Efectivos
- Focalización
El análisis de la población potencial u objetivo es importante en la medida que permite dimensionar el tamaño y duración del programa. En cuanto a la aplicación, se debe identificar si las herramientas y procedimientos funcionan según lo diseñado.
ÁMBITOS DE LA EVALUACIÓN EX - POST DE PROGRAMAS E INSTITUCIONES
- Organización y Gestión
- Dimensiones o Foco del Desempeño
- Sostenibilidad
- Enfoque de Género
Corresponde a los mecanismos de operación y producción de los bienes y servicios que brinda el programa o institución, y cómo se implementan dentro de la organización. Se intenta responder a la pregunta: ¿Los bienes y servicios proporcionados por el programa contribuyen a lograr los efectos esperados en la población beneficiaria?
METODOLOGÍAS E INSTRUMENTOS
Metodología de Marco Lógico
- Objetivos
- Indicadores
- Medios de Verificación
- Supuestos
- Lógica Vertical y Horizontal
Es importante que la matriz refleje cuál es el programa hoy. Propósito: se debe responder la siguiente pregunta: ¿Por qué es necesario el programa para los beneficiarios?
Metodologías de Evaluación de Impacto
- Estimación del Impacto de una Intervención
- Efectos Heterogéneos
- Población Objetivo y Marco Muestral
Entonces el efecto de la intervención es la simple diferencia entre los resultados: YiT− YiNT. Sin embargo, la literatura ha avanzado en el perfeccionamiento del método de emparejamiento modificando estas alternativas y realizando combinaciones entre ellas. La esencia de este tipo de estimación reside en la "explotación" de las variaciones políticas en el tiempo y el espacio, asimilándola a un experimento natural.
La existencia de discontinuidad en el punto de corte (tanto en la probabilidad de recibir el tratamiento como en la variable de resultado). En el caso de que la función de conteo sea una variable continua, el CQF está representado por la función inversa de la función acumulativa de la variable resultado (Y), en el cuantil λ, condicionada a las variables observables (X), (28) 39 . 37 El propósito de la prueba es analizar si existe discontinuidad en la densidad de la variable de asignación.
Por su parte, el marco muestral es el registro de miembros de la población objetivo que tienen la oportunidad de ser seleccionados en la muestra. El diseño de muestreo, que puede ser probabilístico o no, influirá en la forma y método de selección de las unidades a investigar.
Metodología Evaluación del Gasto Institucional (EGI)
La medida tradicional es la estimación del error cuadrático medio (MSE), que tiene en cuenta los efectos de cada uno de los componentes del error total. Ver Anexo III para un resumen de los elementos clave a considerar en el diseño muestral de un instrumento estandarizado con representatividad estadística de una población. 42 entre los objetivos declarados, los bienes y servicios que proporciona, y si los bienes y servicios proporcionados por la institución tienen costos razonables.
Metodología Evaluación de Programas Nuevos
Instrumentos de Recolección de Información
43 que le permite centrarse en los temas relevantes para el tema de estudio, y formular y organizar las preguntas de manera coherente. Grupo focal: Corresponde a una técnica de investigación cualitativa43 que, si bien tiene su origen en el contexto de los estudios de mercado, actualmente se utiliza en diversas áreas de la investigación social. Uno de los puntos importantes a considerar en las encuestas es el diseño y método de recolección44 para que sea de fácil comprensión por parte del entrevistado; que su funcionamiento se pruebe previamente mediante una prueba previa, y que al realizar la encuesta se realicen todas las actividades pertinentes para evitar errores de medición45, que la encuesta refleje correctamente a la población46 y que se puedan realizar análisis estadísticos.
Existen diversos factores que distinguen este tipo de instrumentos y enfatizan su representatividad, ya que habitualmente47 no se utilizan grupos focales y entrevistas semiestructuradas de manera que permitan implementar análisis estadísticamente representativos de la población; su uso, donde se utilizan principalmente grupos focales y entrevistas semiestructuradas para orientar las preguntas de evaluación, proporcionar información cualitativa relacionada con la evaluación y complementar el análisis cuantitativo realizado en la misma. Por otro lado, las encuestas, como instrumentos que permiten la adquisición de datos cuantitativos, se utilizan principalmente para obtener información estadísticamente representativa de una población específica, y si bien permiten recolectar información cualitativa, presentan limitaciones en términos de amplitud y profundidad debido a su naturaleza estructurada. información que se puede abordar en este ámbito. Las limitaciones son menores cuando se recopilan datos cuantitativos, aunque la naturaleza del programa, la población y las limitaciones cognitivas de quienes responden a estos instrumentos también limitan la calidad de la información que recopilan.
Rol del Estado y Fallas de Mercado
Lo anterior no siempre es cierto y por lo tanto surgen oportunidades de comportamiento estratégico por parte de los agentes que tienen más información. Las soluciones o posibles intervenciones del estado dependerán del tipo de asimetría de información, por lo que en algunos casos este tipo de problemas pueden resolverse entre los propios agentes (por ejemplo generando contratos eficientes), o mediante la acción estatal (por ejemplo haciendo es transparente y proporciona más información a los agentes). Generalmente, la economía experimenta altibajos, que se reflejan en variaciones en el producto y en los precios de los bienes y servicios comercializados.
En cierto modo, estos desequilibrios pueden interpretarse como evidencia de la existencia de fallas del mercado. Teniendo en cuenta lo anterior, se justifica la intervención del Estado en un papel estabilizador que permita mitigar los efectos negativos de estas perturbaciones en la economía. Pero incluso si la economía fuera eficiente, hay otros argumentos que justifican la intervención estatal.
Definición de Conceptos para el Análisis de Uso de Recursos
También es posible considerar la subcontratación de estudios y asesoramiento especiales como parte de los servicios de apoyo de un programa. Con base en lo anterior, los costos de administración se pueden definir como todos aquellos desembolsos financieros relacionados con la generación de servicios de apoyo a la producción de los componentes del programa. En general, dentro de un programa es más fácil identificar y calcular los costos directamente relacionados con la generación de componentes.
Es p.e. es común que parte de los gastos administrativos se imputen a clasificaciones presupuestarias más amplias y diferentes a las de educación. También es habitual que una parte importante de los costes administrativos se transfiera a organismos locales y/o regionales, según la forma de ejecución. Este último se refiere a los mecanismos a través de los cuales se cubren total o parcialmente los gastos que genera el Estado para la producción de los bienes y servicios proporcionados por el programa.
Diseño Muestral
Como ejemplo, supongamos que queremos estudiar el porcentaje de la población de la región del Maule que lleva una dieta saludable (N=1.000.000). A continuación se deberá encuestar a 800 personas de la región del Maule para lograr representatividad de la población objetivo. 53 De ese intervalo, se selecciona aleatoriamente un número para representar la primera unidad de muestra, luego el número del intervalo se suma a ese número para obtener el siguiente elemento de muestra, y así sucesivamente.
El propósito de este diseño es garantizar la representatividad de los subgrupos (estratos) dentro de la muestra poblacional. En general, se elige la estratificación proporcional, lo que significa que el tamaño de la muestra en los estratos es proporcional al tamaño de la población en el estrato. La siguiente tabla indica las fórmulas relacionadas con el cálculo del tamaño de la muestra bajo MAE.
Diseños de Regresión Discontinua
Análisis de Género en la Formulación de Programas
57 Diagnóstico: El análisis de género en esta etapa de la planificación debe centrarse en determinar cómo el problema identificado afecta de manera diferente a hombres y mujeres y qué características específicas se necesitan en cada caso. Beneficiarios: El análisis de género debe caracterizar a los beneficiarios respondiendo las siguientes preguntas: ¿Quiénes son? Los que participan. Componentes (bienes y/o servicios): El análisis de género a nivel de componente debe identificar con precisión las diferencias que es necesario tener en cuenta en la definición del componente específico, dependiendo de si los beneficiarios son hombres, mujeres o ambos, de manera que Se logra efectivamente el objetivo del programa.
Indicadores: Durante la implementación del análisis de género, los indicadores deben medir los efectos que las intervenciones realizadas han tenido sobre la situación de hombres y mujeres y sobre las relaciones que se establecen entre ellos. Uso de funciones de variables de emparejamiento, instrumentales y de control para estimar modelos de elección económica. "Revisión de economía y estadística. Modelos de variables instrumentales locales y variables latentes para identificar y limitar los efectos del tratamiento". Procedimientos de la Academia Nacional de Ciencias.
