Evaluación de contexto

En esta etapa, se pretende evaluar la calidad del contenido de la política, e identificar los aspectos críticos dentro de la formulación de la PGCBDC.

Para esta evaluación conceptual, se adaptó la metodología propuesta por Márquez & Osuna (2000) para la Evaluación de políticas públicas del Instituto de Desarrollo Regional de Andalucía – España, quienes consideran que la planificación y evaluación son procesos relacionados que caminan a la par y no integrada esta última en una fase final.

La metodología se orienta bajo el enfoque de la Metodología de Marco Lógico y fue adaptada por Márquez & Osuna (2000) de la propuesta de la Comisión de la Unión

Europea para la evaluación de programas financiados con Fondos estructurales del año 1995.

Se plantea sobre un esquema tecnocrático, con una perspectiva holística que considera

como supuesto la elaboración de estudios de necesidades, objetivos y estrategias en el diseño de la política (Etapa 1 y 2 del ciclo de las PPPP). La base para esta metodología es la transformación de la “imagen en negativo” a “imagen en positivo”; permite responder a la pregunta ¿Existe Racionalidad y Coherencia en el diseño de la política?, considerando Racionalidad y Coherencia como dos aspectos relacionados e interdependientes (Márquez & Osuna, 2000).

El análisis de la política realizado se orienta en cuatro aspectos: La relevancia, Pertinencia, Coherencia interna y Evaluación de proyectos a partir del Enfoque de Marco lógico. Para cada uno de ellos, se establecieron una serie de criterios adaptados y adoptados de la propuesta del Gobierno de Navarra en su “Protocolo de evaluabilidad de las políticas Públicas en la Comunidad Foral de Navarra” (Gobierno de Navarra, 2013b), evaluando a partir de una calificación con valores numéricos los elementos que se consideran se debían tener en cuenta en la formulación de la política.

Los criterios en cada aspecto tienen una calificación de 1 a 10, en donde:

Escala Característica de cumplimiento de criterio

1 No existe cumplimiento

5 Se cumple, pero es mejorable 7,5 Se cumple, pero es parcialmente mejorable

10 Se cumple muy satisfactoriamente

A continuación se describen detalladamente cada uno de los aspectos evaluados, y las herramientas que se utilizaron en la consecución de estos:

5.1.2.1. Relevancia.

El diseño de las políticas públicas requiere de la elaboración de diagnósticos acertados y contenidos creíbles (Ortegón, 2008), que sea de utilidad como insumo básico para la formulación de la política en la correcta identificación de problemas.

De acuerdo a la propuesta de Márquez & Osuna (2000), se requiere analizar la calidad y veracidad del diagnóstico.

Para ello, se realizó la evaluación del diagnóstico en dos aspectos: Identificación de problemas (Numerales A, B, C y D) análisis de involucrados (Numerales E y F). Como resultado de cada nivel de evaluación se genera un valor promedio dentro de las matrices de valoración que son finalmente los que indicaran el estado de la formulación o diseño de la política y serán el objetivo de análisis en la sección de discusión y resultados.

A. Identificación de problemas.

Este proceso debe definir y articular los problemas y necesidades sobre los que se pretende actuar; determinando el tamaño, distribución y densidad de los problemas que afectan al ámbito de actuación de la política. Por lo tanto, se realizó una lectura minuciosa del documento que contiene el diagnóstico para la elaboración de la PGCBDC y se elaboraron arboles de problemáticas que permitieran tener una visión de la realidad que permitiera explicitar, contrastar y concatenar, siguiendo razonamientos lógicos, la presencia de múltiples factores causantes, múltiples problemas a los que hacer frente, e incluso múltiples consecuencias que pudieran derivarse de los mismos (Suárez & Osuna, 2013).

B. Calidad y veracidad de los problemas.

A continuación se procedió a determinar la calidad y veracidad de los problemas a través de su correcta identificación, considerando los criterios que encuentran en el Anexo 18. Guía metodológica para la evaluación de políticas públicas de la Guía Metodológica para la evaluación de políticas públicas propuesta por los autores (Apartado II, sección i, ítem B).

Para la presentación de los resultados, se obtiene una matriz de calificación con el listado de cada uno de las problemáticas identificadas en el diagnóstico de la política, que se puede revisar en el mismo anexo.

C. Análisis de problemas.

El análisis de problemas tiene como insumo el promedio obtenido en el procedimiento de evaluación de calidad y veracidad de problemas, debido a que dicho análisis se realiza de manera independiente (Por cada problema) se considera dentro del análisis de problemas, que evalúa en qué medida se ha identificado adecuadamente el alcance del problema y sus características principales (Osuna & Marquez, 2000). Los criterios considerados para este nivel se observan en el Anexo 18. Guía metodológica para la evaluación de políticas

públicas de la Guía Metodológica para la evaluación de políticas públicas propuesta por los autores (Apartado II, sección i, ítem C).

D. Análisis de causas y efectos.

El análisis de causas y efectos resalta la importancia de realizar una interpretación gráfica las relaciones causa-efecto de los problemas para clarificar su interpretación y evaluación (Osuna & Marquez, 2000). Los criterios considerados para este nivel son los descritos en el Anexo 18. Guía metodológica para la evaluación de políticas públicas de la Guía Metodológica para la evaluación de políticas públicas propuesta por los autores (Apartado II, sección i, ítem D).

Para la presentación de los resultados, se obtiene una matriz de calificación con el listado de cada uno de las problemáticas identificadas en el diagnóstico de la política, presentado en el mismo apartado de la guía metodológica.

E. Identificación de la población objetivo.

La evaluación de la PGCBDC exige frente a la población afectada, sus características, intereses y expectativas en torno a la intervención. (Osuna & Marquez, 2000). Por lo tanto se consideran los criterios de evaluación frente a delimitación de la población objetivo, actores directamente involucrados en la ejecución de la intervención pública, detallados en el Anexo 18. Guía metodológica para la evaluación de políticas públicas de la Guía Metodológica para la evaluación de políticas públicas propuesta por los autores (Apartado II, sección i, ítem E).

F. Contexto socioeconómico externo.

En sintonía con el apartado anterior esta evaluación frente a la población involucrada, el contextos externo u operativo permite determinar los elementos del entorno que influyen de forma directa e indirecta la ejecución de la política y que necesariamente hay que sopesar para garantizar su éxito (Osuna & Marquez, 2000). Por lo tanto se consideran los criterios de evaluación frente al contexto externo considerado en el diagnóstico, detallados en el Anexo 18. Guía metodológica para la evaluación de políticas públicas de la Guía Metodológica para la evaluación de políticas públicas propuesta por los autores (Apartado II, sección i, ítem F).

5.1.2.2. Pertinencia.

La evaluación de la pertinencia consiste en el análisis de la calidad en la formulación de los objetivos de la política, los cuales permiten lograr una eficacia y eficiencia de la intervención. Por tanto, la premisa fundamental para asegurar, al menos a priori, el éxito de una intervención es que se hayan definido los objetivos de forma clara y medible (Osuna et al., 2000). Los objetivos permitirán describir la situación futura a la que se desea llegar una vez que se hayan resuelto los problemas (Gobierno de Navarra, 2013a).

En ese sentido, se realiza la evaluación de la pertinencia frente a los objetivos específicos de la política, teniendo en cuenta los criterios descritos en el Anexo 18. Guía metodológica para la evaluación de políticas públicas de la Guía Metodológica para la evaluación de políticas públicas propuesta por los autores (Apartado II, sección ii).

Para la presentación de los resultados, se obtiene una matriz de calificación con el listado de cada uno de los objetivos específicos de la política, que se puede consultar en el mismo apartado y sección mencionados con anterioridad.

5.1.2.3. Coherencia interna.

La coherencia interna identifica la correspondencia que debe darse en los distintos niveles de la planeación (objetivo general, específicos, estrategias, proyectos), de forma que no existan incongruencias y que cada objetivo tenga su reflejo en un problema o potencialidad no adecuadamente explotada; lo cual aseguraría que los objetivos perseguidos con la intervención se derivan del diagnóstico realizado y que, por tanto, la política está bien orientada(Osuna et al., 2000).

Los criterios evaluados en la coherencia interna se pueden consultar en el Apartado II, sección iii del Anexo 18. Guía metodológica para la evaluación de políticas públicas de la Guía Metodológica para la evaluación de políticas públicas propuesta por los autores.

 Jerarquización de objetivos: Identifica las relaciones entre los distintos niveles de

objetivos en la política. (Remitirse al Anexo 18. Guía metodológica para la evaluación de políticas públicas de la Guía Metodológica para la evaluación de políticas públicas propuesta por los autores; Apartado II, sección iii, ítem A)

 Correspondencia entre problemas y objetivos: Permite evaluar si lo propuesto en la

Anexo 18. Guía metodológica para la evaluación de políticas públicas de la Guía Metodológica para la evaluación de políticas públicas propuesta por los autores; Apartado II, sección iii, ítem A)

Para la presentación de los resultados, se obtiene una matriz de calificación como se presenta al final de la sección iii del Apartado II del Anexo 18. Guía metodológica para la evaluación de políticas públicas de la Guía Metodológica para la evaluación de políticas públicas propuesta por los autores.

5.1.2.4. Evaluación de proyectos a partir de EML.

De acuerdo al enfoque del marco lógico se realizó la evaluación de las primeras tres columnas de la matriz (MML), con el fin de determinar la lógica vertical de cada uno de los proyectos del plan de acción y los elementos de la lógica horizontal a partir de los cuales se pueden aclarar las relaciones de causalidad e incertidumbres importantes que involucra la gestión de la intervención pública a nivel de proyecto (Gobierno de Navarra, 2013b).

De esta manera, se determinaron los criterios necesarios para realizar una evaluación completa frente a los requerimientos del EML en la evaluación de proyectos, considerando de forma independiente las tres primeras columnas de la matriz de marco lógico: Lógica de la intervención (vertical), Indicadores y Fuentes de verificación (Ver Anexo 18. Guía metodológica para la evaluación de políticas públicas de la Guía Metodológica para la evaluación de políticas públicas propuesta por los autores, Apartado II, Sección iv)

Finalmente, los resultados obtenidos de evaluar los criterios de cada nivel considerado, se consignaron en una matriz que relaciona los 28 criterios propuestos (Ver Anexo 17. Matriz de evaluación del plan de acción), clasificados por nivel, y los 27 proyectos que conforman el plan de acción de la política. Al final de cada sección o nivel se genera un subtotal que indica la valoración promedio obtenida, a partir de allí se realizaron análisis y discusiones respecto a los valores obtenidos frente a cada criterio y su contribución sobre el nivel de análisis correspondiente. En la última fila de la matriz se encuentra el promedio de los subtotales obtenidos por cada nivel, valoración que indica en conjunto la formulación de cada uno de los proyectos.