Administración Pública
SED Desempeño
C. Programa Especial de Mejora de la Gestión en la Administración Pública Federal 2008-
III. Evaluabilidad de una política pública
La evaluabilidad se define como la medida en la que un programa puede ser evaluado, es decir, hasta qué punto se puede obtener información sobre su contenido y objetivos y verificar sus resultados esperados. No se debe confundir con la evaluación de una política que es “el esfuerzo para juntar y analizar información sobre aspectos esenciales de las políticas, con el objetivo de medir si la política ha alcanzado los objetivos plantea- dos.”17 La evaluabilidad, como se aprecia en la definición, tiene dos partes o componentes:
16 J. Mejía Lira, p. 3.
17 J. Bertok (ed.), Public Sector Integrity: A Framework for Assessment. Paris, OECD,
1. La primera parte hace referencia a la formulación de la políti-
ca pública: la claridad de los objetivos y metas, la presencia de
indicadores para medir si se han alcanzado o no, la forma de utilizarlos y su pertinencia para saber si la política fue exitosa. 2. La segunda tiene que ver con la ejecución y los resultados de la
política: si existe información al respecto, si se puede obtener, o
si es relevante y pertinente.
De la combinación de estos dos aspectos se deduce que a mayor claridad sobre la formulación y datos sobre la ejecución y resultados, la política será más evaluable; si los objetivos son oscuros y no se puede comprobar cómo se ha ejecutado el programa o cuáles son los resultados, será me- nos evaluable (véase la Figura 1 más adelante).
Vuelvo a la diferencia entre evaluabilidad y evaluación. Generalmente, se considera a la primera como una etapa previa a la segunda, porque es un análisis cualitativo —o, si se requiere un alto nivel de tecnicismos, también cuantitativo– sobre la posibilidad de la evaluación de un progra- ma. También se puede decir que las conclusiones de un análisis sobre la factibilidad de la evaluación permiten decir si una evaluación se justifica, si es posible y si dará información útil. Una evaluación, en cambio, es una medida sobre los resultados e impactos de un programa.
Para diseñar un análisis de evaluabilidad, en tanto que paso previo a la evaluación, se tiene que tomar en cuenta cuál de los dos esquemas ana- líticos necesarios para la evaluación de políticas públicas se aplicará:18
1.- Evaluación de las metas: Esta evaluación tiene que ver con el cambio institucional del sector público que es un proceso de lar- go impulso a través del tiempo. En el proceso se pueden distin- guir diferentes fases, desde la formulación hasta la implemen- tación de las reformas. Estas fases en la práctica no son tan claras, sino que tienden a traslaparse unas con otras.
2.- Evaluación de los resultados: En esta evaluación, el cambio ins- titucional es una variable dependiente que debe ser explicada. Por lo tanto, los resultados de las reformas administrativas son variables independientes; mientras que los cambios y metas de
18 H. Wollmann, “Public Sector Reforms and Evaluation: Trajectories and Trends. An In-
ternational Overview”, Núm. especial de la Revista Internacional de Estudios Políticos, Septiembre de 2001, pp. 16 y 17.
las nuevas políticas son las variables dependientes (mejora en la eficiencia, aumento de los outputs, mejor desempeño, etc.). Aunque no es una de las herramientas más utilizadas para pre-evalua- ción, utilizaré la Matriz de Marco Lógico19, pues permite identificar y ligar a los actores involucrados en el problema, y definir cuál es la solución más adecuada para resolverlo por medio del análisis de objetivos y alternati- vas. La matriz de marco lógico se utiliza para analizar la lógica vertical y horizontal del proyecto por medio de sus objetivos, variables, indicadores e información disponible. En otras palabras, sirve para reflejar la situación presente del programa, de lo que se desprende la medida en la que puede ser evaluado.20
Los pasos del marco lógico son: 1) análisis de involucrados, 2) análisis de problemas, 3) análisis de objetivos, 4) análisis de alternativas y 5) matriz de Marco Lógico.
Matriz de Marco Lógico Indicadores Fuentes y Jerarquía de objetivos Resumen
de medios de Riesgos y narrativo desempeño verificación condiciones
1. Fin (impacto) 2. Propósito (Resultados) 3. Componente (Productos y Servicios) 4. Actividad (Acciones y Procesos)
Fuente: elaboración propia a partir de Camacho, et.al. El enfoque del marco lógico: 10 casos prácticos. Madrid, Fundación CIDEAL, 2004.
El fin (impacto) es el objetivo de nivel superior al que se quiere contribuir con la política, el programa o el proyecto; el propósito (resultados) es la
19 Camacho H., et.al. El enfoque del marco lógico: 10 casos prácticos. Madrid, Fundación
CIDEAL, 2004.
20 Muchos programas y políticas públicas, en particular de combate a la corrupción, no
han sido diseñados tomando en cuenta el método del marco lógico. Cuando se hace un análisis de su evaluabilidad, utilizando la matriz del marco lógico, es necesario realizar un ejercicio de reconstrucción de los distintos niveles de objetivos del programa y de los indicadores de sus resultados que permitan medir el nivel de logro alcanzado.
contribución específica a la solución del problema diagnosticado o los ob- jetivos concretos de la política; los componentes (productos y servicios) son los bienes o servicios que produce o entrega el programa para cumplir su propósito; y las actividades son las tareas que se debe cumplir para lograr los componentes. Los factores externos pueden ser tanto suposicio- nes como riesgos en el diseño e implementación del proyecto.
Aquí se utilizará la matriz para analizar la evaluabilidad de la formulación o diseño de las políticas y los programas públicos, pues esto permite apro- vechar su doble lógica. En primer lugar, verticalmente la Matriz explica cómo están concatenados los objetivos de distinto nivel; leer la matriz de abajo para arriba significa que hay que realizar las actividades inferiores para alcanzar niveles superiores (resultados, propósitos y fines). En se- gundo lugar, en el eje horizontal: muestra que no basta con que se siga la cadena de actividades-objetivos, sino que deben existir las condiciones necesarias (supuestos) y las formas de medición que permitan determinar si se ha cumplido con cada uno de los niveles.
Por lo anterior, la Matriz de Marco Lógico permite identificar problemas en las políticas o los programas –por ejemplo, si tienen objetivos múltiples que no están claramente relacionados con las actividades del proyecto, o si se incluyeron indicadores que permitan saber si se ejecutan o no exito- samente– y saber qué outputs debe producir el programa para saber si ha tenido éxito, lo que da a los evaluadores una base objetiva para comparar la implementación con la planeación.
Para analizar la evaluabilidad de la ejecución y los resultados, ahora se examina la información disponible sobre estas dos etapas de la vida de la política o el programa. La obtención de los datos requeridos puede ser a partir de fuentes primarias (mediciones que haga el interesado en obtener la información) o secundarias (consultar mediciones y estudios ya reali- zados). Dado que las fuentes de información secundarias son las menos costosas, son la que se prefieren; si no se encuentran, habrá que trabajar con fuentes primarias para recolectar y generar los datos (proceso que, además de aumentar el costo, requiere más tiempo). Además de la exis- tencia de los datos, se debe considerar su certeza y posibilidad de com- probarlos (fiabilidad).
El análisis de la factibilidad de la evaluación también debe tomar en cuen- ta quién solicita la evaluación; qué tipo de ejercicio evaluatorio se hará (costo-beneficio, costo-eficiencia, multicriterio, de desempeño de los fun- cionarios o de la organización); para qué se va a utilizar (es decir, si los elementos que la evaluación aporte serán tomados en cuenta en el pro-
ceso de toma de decisiones o serán ignorados); y qué obstáculos pueden aparecer durante la evaluación (que puede ser desde la reticencia de los funcionarios para ser entrevistados y brindar información, hasta la inviabi- lidad política para institucionalizar un sistema de evaluación sistemático al nivel de la política o del programa en cuestión).
Ambos aspectos de un análisis de evaluabilidad –lo referente a la for- mulación, por una parte, y a la ejecución y los resultados, por la otra– se resumen en la siguiente gráfica:
Figura 1. Evaluabilidad de una política pública
Evidencias sobre ejecución y resultados Claridad en la formulación Menos evaluable Más evaluable
Fuente: Elaboración propia a partir de M. S. Trevisan y Y. M. Huang, “Evaluability assessment: a primer”, Practical Assessment, Research & Evaluation, 8(2003), Núm. 20. Disponible en http://PAREonline.net/ getvn.asp?v=8&n=20.
Para tener más claro cómo este esquema apoya la realización de los aná- lisis de factibilidad de la evaluación de los programas anti-corrupción, se consideran a continuación cinco tareas fundamentales, de acuerdo con la literatura vigente:21
1. Estudiar la historia, diseño y operación de la política o programa. 2. Observar a la política o programa en acción.
21 Evaluability Assessment: Examining the Readiness of a Program for Evaluation.
Washington, D.C., Juvenile Justice Evaluation Center-Office of Juvenile Justice and Delinquency Prevention. Disponible en http://www.jrsa.org/jjec/about/briefing_eva- luability-assessment.html
3. Determinar la capacidad para recolectar, administrar y analizar información sobre la política o el programa.
4. Analizar la probabilidad de que la política o el programa alcan- cen sus objetivos y metas.
5. Mostrar por qué una evaluación podrá o no ayudar a la política, al programa o a sus principales promotores o beneficiarios (stake- holders, siguiendo lo planteado por la literatura anglosajona).