La metaevaluación de las evaluaciones de diseño de los programas sociales sujetos a reglas de operación en México

Texto completo

(1)INSTITUTO TECNOLÓGICO Y DE ESTUDIOS SUPERIORES DE MONTERREY. ESCUELA DE GOBIERNO Y TRANSFORMACIÓN PÚBLICA. “LA METAEVALUACIÓN DE LAS EVALUACIONES DE DISEÑO DE LOS PROGRAMAS SOCIALES SUJETOS A REGLAS DE OPERACIÓN EN MÉXICO” TESINA PRESENTADA COMO REQUISITO PARA OBTENER EL GRADO ACADÉMICO DE: MAESTRA EN ADMINISTRACIÓN PÚBLICA Y POLÍTICA PÚBLICA. POR: INGRID VALERIA GALICIA GONZÁLEZ. MONTERREY, N.L. DICIEMBRE 2017.

(2) INSTITUTO TECNOLÓGICO Y DE ESTUDIOS SUPERIORES DE MONTERREY ESCUELA DE GOBIERNO Y TRANSFORMACIÓN PÚBLICA. Los miembros del comité de tesina recomendamos que el presente proyecto de tesina presentado por la Licenciada Ingrid Valeria Galicia González sea aceptado como requisito parcial para obtener el grado académico de:. Maestra en Administración Pública y Política Pública. Comité de Tesina:. Dr. Héctor Rodríguez Ramírez Asesor. Dr. José de Jesús Salazar Cantú Sinodal. Dra. Raquel A. Ramírez Ortiz Sinodal. 2.

(3) ÍNDICE. AGRADECIMIENTOS ................................................................................................................ 5 INTRODUCCIÓN ........................................................................................................................ 6 CAPÍTULO 1: ANTECEDENTES DEL SISTEMA DE EVALUACIÓN EN MÉXICO .... 13 1.1 Surgimiento de la evaluación de la política pública en México ............................................. 13 1.2 Sistema de monitoreo y evaluación en México ...................................................................... 18. CAPÍTULO 2: CONCEPTOS, DEFINICIONES Y EXPERIENCIAS DE LA METAEVALUACIÓN ............................................................................................................... 23 2.1 La metaevaluación ............................................................................................................... 24 2.2 Evaluación de políticas públicas ........................................................................................... 31 2.3 Ciclo de vida de las políticas públicas ................................................................................... 33 2.4 Tipos de evaluación .............................................................................................................. 35 2.5 Experiencias de la metaevaluación en México ...................................................................... 38 2.5.1 Schwentesius et al. (2007): La metaevaluación de las evaluaciones de PROCAMPO ......... 39 2.5.2 Cardozo (2006): La metaevaluación de las evaluaciones de los programas de desarrollo social....................................................................................................................................... 41 2.5.3 Rosas y Sánchez (2016): La metaevaluación de las políticas públicas de Jalisco ................ 43. CAPÍTULO 3: PROPUESTA METODOLÓGICA DE METAEVALUACIÓN.................. 48 3.1 Metodología de Marco Lógico y la Matriz de Indicadores para Resultados.......................... 52 3.1.1 La Metodología de Marco Lógico..................................................................................... 53 3.1.2 El problema público......................................................................................................... 54 3.1.3 Árbol de Problemas y Árbol de objetivos ........................................................................... 58 3.1.4 Población potencial y objetivo .......................................................................................... 60 3.1.5 Matriz de Indicadores para Resultados ............................................................................. 62 3.2 Modelo de Términos de Referencia de las Evaluaciones de Diseño ....................................... 64 3.3 Propuesta metodológica de la metaevaluación de las evaluaciones de diseño ........................ 70. CAPÍTULO 4: LA METAEVALUACIÓN DE LOS PROGRAMAS SOCIALES EN MÉXICO: 2013-2016 .................................................................................................................. 74 4.1 Los Programas Sujetos a Reglas de Operación..................................................................... 75 4.2 Las evaluaciones de diseño de los programas sociales sujetos a reglas de operación ............. 78 4.3 La metaevaluación de los programas sociales sujetos a reglas de operación ......................... 84 4.3.1 Justificación de la creación y del diseño del programa (Preguntas 1, 2 y 3) ....................... 85 4.3.2 Población potencial, objetivo y mecanismos de elegibilidad (Preguntas 7 y 8) .................... 95 4.3.3 Matriz de Indicadores para Resultados (Preguntas 16, 17, 18 y 19) ................................. 102 4.4 Análisis de resultados de la metaevaluación ....................................................................... 118. CONCLUSIONES..................................................................................................................... 126 BIBLIOGRAFÍA....................................................................................................................... 131 SIGLAS Y ACRÓNIMOS........................................................................................................ 136 ANEXO 1 ................................................................................................................................... 138 ANEXO 2 ................................................................................................................................... 141. 3.

(4) ÍNDICE DE FIGURAS Figura 1.1………………………………………………………………………………...……21 Figura 2.1………………………………………………………………………………...……24 Figura 2.2………………………………………………………………………………...……29 Figura 2.3………………………………………………………………………………...……33 Figura 2.4………………………………………………………………………………...……35 Figura 3.1………………………………………………………………………………...……51 Figura 3.2………………………………………………………………………………...……59 Figura 3.3………………………………………………………………………………...……60 Figura 3.4………………………………………………………………………………...……61 Figura 3.5………………………………………………………………………………...……62 Figura 3.6………………………………………………………………………………...……63 Figura 3.7………………………………………………………………………………...……66 Figura 3.8………………………………………………………………………………...……68 Figura 3.9………………………………………………………………………………...……68 Figura 3.10………………………………………………………………………………...…..72 Figura 4.1………………………………………………………………………………...……78 Figura 4.2………………………………………………………………………………...……79 Figura 4.3………………………………………………………………………………...……79 Figura 4.4………………………………………………………………………………...……80 Figura 4.5………………………………………………………………………………...……81 Figura 4.6………………………………………………………………………………...……82 Figura 4.7………………………………………………………………………………...……83 Figura 4.8…………………………………………………………………………………….118 Figura 4.9…………………………………………………………………………………….119 Figura 4.10…………………………………………………………………………………...120 Figura 4.11…………………………………………………………………………………...122 Figura 4.12…………………………………………………………………………………...125. 4.

(5) AGRADECIMIENTOS. Agradezco a Dios por permitirme terminar una etapa más de mi vida. A mi padre Miguel G. Galicia Valdez, por darme las alas para alcanzar mis sueños, por guiarme, impulsarme y por enseñarme a nunca rendirme y seguir siempre adelante. A mi madre Lucía González Mata, por ser mi ejemplo a seguir, por siempre procurar que nunca me falte nada, por los sacrificios que ha hecho por mí y por sus lecciones de vida. A toda mi familia por apoyarme y creer en mí desde el principio. A mis amigos, por darme ánimos cuando más lo necesito. A mi novio Sergio A. Flores Flores, por siempre apoyarme, creer en mí cuando yo no lo hago y recordarme que sí se puede. A mis sinodales, el Dr. Héctor Rodríguez, Dr. José Salazar y Dra. Raquel Ramírez, por sus conocimientos, su disposición y su tiempo. Y a todos mis maestros y compañeros que fueron parte de esta etapa. ¡Muchas gracias!. 5.

(6) INTRODUCCIÓN La promulgación de la Constitución Política de los Estados Unidos Mexicanos de 1917 marcó el comienzo de una nueva etapa en el país al reconocerse por primera vez los derechos sociales (derecho a la educación, salud, vivienda, seguridad pública, entre otros) de los ciudadanos, con lo que dio inicio una legislación diferente en materia de salubridad y beneficencia pública. Es por eso que durante la segunda mitad del siglo XX surgieron varios programas sociales con el fin de romper el ciclo intergeneracional de pobreza, otorgando acceso a salud, educación, medicación y ayuda monetaria o en especie. Posteriormente, se exigió control social y rendición de cuentas, por lo que se aplicaron mecanismos de seguimiento y monitoreo sobre el desempeño estatal, lo cual posteriormente derivó en la creación del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) en el 2006, el cual es un organismo público descentralizado con la capacidad técnica para generar información objetiva sobre la situación de la política social, sobre la medición de la pobreza y la evaluación de los programas y acciones de desarrollo social.. Toda acción pública parte de un problema público de carácter social que no termina de ser resuelto por la sociedad y que, por lo tanto, requiere de la intervención y participación de los poderes públicos. De acuerdo a Gary Becker (1995), una situación es reconocida como problema público cuando: i) existe una muestra de carencias objetivas en la sociedad y ii) cuando los actores con poder califican cierta situación como problema público. Las carencias en la población se refieren a una situación que afecta negativamente el bienestar, las posibilidades de desarrollo, la convivencia social, el medioambiente o la existencia de una comunidad. Estas carencias objetivas de la población se elevarán a la categoría de problema público cuando actores de poder – dentro y fuera del Estado – las identifiquen como tal a esa situación de carencias (Olavarría, 2007). De tal manera, a través de la acción de los actores de poder, la situación es denominada como problema público y es instalado en la agenda pública. Sin embargo, es importante mencionar que la inclus ió n de un problema en la agenda gubernamental es una condición necesaria, pero no suficiente, para que éste dé lugar a una política pública que intente darle solución, ya que, en primer lugar, se debe contar con una definición precisa del problema público, pues, sin esto, no se puede hablar estrictamente de política pública.. 6.

(7) Los problemas públicos, por su naturaleza, no son sencillos de resolver, ya sea por la escasez de recursos que implica para el gobierno, por la multicausalidad del mismo o por lo polémico que puede resultar para la opinión pública (Montecinos, 2007). Por esto mismo, la definición de un problema público presenta un doble desafío, pues por un lado se encuentra el construir y estructurar una definición aceptable y por otro, dicha definición debe ser operativa, de tal manera que tenga como consecuencia una intervención pública viable con los instrumentos y recursos a disposició n del gobierno. No obstante, si este se encuentra mal definido, mal planteado y mal estructurado, las soluciones o medidas correctivas que se adopten podrían resultar en una situación igual o peor que la inicial. Por ello los problemas públicos deben ser definidos, planteados y estructurados de manera que sean social y gubernamentalmente abordables, de acuerdo con los recursos intelectuales, legales, fiscales, políticos y administrativos disponibles (Aguilar, 1993 citado en Montecinos, 2007).. A partir de la identificación del problema público, se puede entonces pasar a diseñar una intervención pública por parte del Estado, en donde se busque combatir o erradicar dicha situación. Para lograr dicho propósito, el Estado utiliza políticas públicas, herramientas cuyo objetivo final es el logro del bienestar social, a través de la aplicación de estrategias y programas de redistribución de la riqueza y del ingreso que provoquen un mejoramiento continuo de las condiciones de vida de la población (Cardozo, 2009a). En este proceso “se encuentran en juego bienes y recursos que pueden afectar o beneficiar a determinados individuos y grupos” (Fuentes, 2009: 3). El desarrollo teórico de las políticas públicas “ha generado un número por demás considerable de conceptos o definiciones, todas con un elemento que las unifica: la idea de una actuación del gobierno para solucionar problemas públicos específicos ” (Franco, 2013: 85).. En años recientes se ha incrementado el interés por la valoración de las acciones y actuaciones de los gobiernos, lo cual se traduce en una necesidad de llevar a cabo evaluaciones constantes de los programas que integran la política pública con el objetivo de seleccionar los más eficientes y eliminar o modificar aquellos que resulten improductivos. En México, las preocupaciones en torno a la evaluación se intensifican a finales de los setenta (Cardozo, 2006); sin embargo, “el proceso de evaluación de programas gubernamentales comenzó a instrumentarse de manera sistemática a partir de 1997 con la creación del Programa de Educación, Salud y Alimentación (PROGRESA). 7.

(8) y se generalizó en forma obligatoria para todos los programas gubernamentales sujetos a reglas de operación, con base en la decisión incluida en el Presupuesto de Egresos de la Federación, aprobado por la Cámara de Diputados en el año 2000” (Cardozo, 2006: 13). De esta manera, a partir del año 2000, empezó a realizarse la evaluación externa de programas sujetos a reglas de operación de manera sistemática y generalizada “por lo que nos encontramos en una situación en la que un Poder (el Legislativo, como representante de los ciudadanos o de la Nación) exige a otro (el Ejecutivo) que le rinda cuentas acerca de la forma en que ejerció el presupuesto federal asignado, los beneficios que logró en la población objetivo y el impacto que alcanzó en las condiciones que el programa pretende superar con su intervención” (Conde, 2007: 2). El Artículo 18 de la Ley General de Desarrollo Social (LGDS) establece que “los programas, fondos y recursos destinados al desarrollo social son prioritarios y de interés público, por lo que serán objeto de seguimiento. y evaluación,” por lo que, en teoría, todos los programas. presupuestarios deberían contar con todos los tipos de evaluaciones. Para este trabajo de investigación se analizarán de manera específica aquellos programas que tengan modalidad “S” (Sujetos a Reglas de Operación) y que sean ejecutados por la Secretaría de Desarrollo Social (SEDESOL). Dicha decisión se debe, principalmente, a que los programas con modalidad “S” están obligados a tener Reglas de Operación1 (RO), por lo que, en teoría, deberían ser los programas que tengan claramente establecidos su problema público, su población objetivo y su estrategia de cobertura. Por otra parte, la razón por la que se escogió analizar de manera particular a los programas sociales sujetos a RO a cargo de la SEDESOL es porque forman parte de los programas con mayor trayectoria en el país, siendo creados en los años sesenta, por lo que los instrumentos de política pública del desarrollo social han sido unos de los más consistentes desde hace más de veinticinco años y se puede pensar que han tenido la oportunidad de rediseñarse y mejorar. Asimismo, los programas sociales sujetos a RO de SEDESOL son los que reciben el mayor porcentaje del Presupuesto de Egresos de la Federación (PEF) con 35%2 del total.. 1. Definidas como un conjunto de disposiciones que precisan la forma de operar un programa, con el propósito de lograr los niveles esperadas de eficacia, eficiencia, equidad y transferencia. (Secretaría de la Función Pública) 2 Dato para el año 2017. 8.

(9) Sin embargo, a pesar de los avances que se han tenido en el país en materia de política social, existe evidencia de que, durante décadas, el gasto social del gobierno mexicano no ha sido suficiente para reducir de manera considerable la pobreza y la extrema pobreza. Prueba de ello es que, de acuerdo al CONEVAL y sus estimaciones de población en pobreza en materia de ingresos, el porcentaje de población con ingreso inferior a la línea de bienestar en el 2000 fue de 53.6%, 49% en el 2008 y 53.2% en el 2014. De manera similar, el porcentaje de la población con ingreso interior a la línea de bienestar mínimo fue de 24.1% en el 2000, 16.8% en el 2008, y 20.6% en el 2014. En contraste, de acuerdo al PEF, el cambio real del presupuesto destinado a los programas sociales sujetos a reglas de operación coordinados por la SEDESOL, del 2008 al 2014, fue de 73%, mientras que del 2008 al 2017 el cambio fue de 45%.. A partir de lo anterior, se puede ver que, a pesar del aumento real en el presupuesto destinado a los programas sociales, los niveles de pobreza se han mantenido prácticamente iguales a los de aproximadamente hace quince años. Es por esto que la motivación de este trabajo parte de la siguiente pregunta: ¿por qué después de veinte años de política social no ha habido un cambio significativo en los niveles de pobreza? Para contestar dicha pregunta, se parte de la siguie nte hipótesis: los programas sociales sujetos a reglas de operación carecen de los elementos básicos que debe de tener una política pública en su diseño ya que las evaluaciones de diseño realizadas no son confiables ni de calidad.. A partir de lo anterior, se plantea la siguiente pregunta central de investigación para este trabajo: ¿Son las evaluaciones de diseño confiables y de calidad?, entendiéndose por “confiables y de calidad” como aquellas evaluaciones que identifican todas las carencias y deficiencias del diseño del programa y que otorgan un nivel de valoración o calificación acorde a la informac ió n presentada por el programa al momento de su evaluación. Con el fin de contestar dicha pregunta, se pretende realizar una metaevaluación de las evaluaciones de diseño de los programas de desarrollo social sujetos a reglas de operación que operan a nivel nacional desde el año de su creación hasta la actualidad.. La metaevaluación es definida como la evaluación de la evaluación y tiene como objetivo enjuic iar la calidad y el mérito de lo que hacen los evaluadores profesionales, perseguir el perfeccionamie nto. 9.

(10) de sus trabajos y promover una mejor comprensión de los mismos (Cardozo, 2006). Las razones por las que se decidió trabajar este tema fueron que: i) de acuerdo a Dópico (2003), la metaevaluación es necesaria porque el proceso evaluativo no está exento de insuficiencias y subjetividad de las partes implicadas, ya sea de los evaluadores o de los evaluados, ii) el ejercicio de metaevaluación no solamente enjuicia el valor y mérito de los evaluadores profesionales, sino también de todo el sistema en que se organiza y desarrolla y iii) es un tema de interés personal al ser muy poco desarrollado en México.. Por otra parte, el motivo por el cual se decidió analizar de manera específica a las evaluaciones de diseño es porque: i) con base en la experiencia académica previa al desarrollo de este trabajo, la evaluación de diseño fue el tipo de evaluación que se analizó y profundizó más, ii) debido a la limitación en el tiempo de elaboración de este trabajo, la metaevaluación de las evaluaciones de diseño se consideró la más viable ya que los insumos (el informe de evaluación y el documento de diagnóstico del programa) se encuentran disponibles y públicos en la página de internet del CONEVAL, mientras que si se analizaran otro tipo de evaluaciones, se necesitaría solicitar al programa información adicional, iii) la evaluación de diseño es la base para la realización de otro tipo de evaluaciones posteriores y iv) la evaluación de diseño es la que determina si el programa cuenta con lógica vertical a través del uso de la Matriz de Indicadores para Resultados (MIR), la cual es importante para determinar si las actividades llevadas a cabo por el programa realmente contribuirán a la solución del problema público que atienden. Es importante mencionar que, a pesar de que existe una evaluación de consistencia y resultados y que esta incluye una sección de preguntas referentes al diseño del programa (siendo estas similares a las contenidas en la Evaluación de Diseño), ésta solo determina la existencia o no de una MIR y no examina con profundidad el contenido de la misma forma que lo hace una evaluación de diseño.. A partir de la pregunta central de investigación, surgen las siguientes preguntas secundarias que contribuirán a desarrollar este trabajo y a dar respuesta a la pregunta anterior:. 1. ¿Cuántos programas sociales sujetos a reglas de operación dicen contar con una evaluació n de diseño altamente valorada (calificación mayor a 3)?. 10.

(11) 2. ¿Cuántos programas sociales sujetos a reglas de operación se encuentran deficientes en su diseño y sus evaluaciones de diseño?. Con el fin de contestar dichas preguntas, el objetivo principal de este trabajo de investigación es realizar una propuesta metodológica de metaevaluación basado en el análisis comparativo del discurso entre el contenido del programa y el informe de evaluación e identificar si existe correspondencia entre la información presentada por el programa al momento de su evaluación y las observaciones y valoraciones hechas por el equipo evaluador. A través de esto, se identificará n cuántos y cuáles programas sociales no cuentan con una evaluación “completa”, es decir, evaluaciones que hayan identificado todas las deficiencias del programa y que lo hayan valorado correctamente. Lo anterior permitirá conocer qué porcentaje de valoraciones hechas por el equipo evaluador fueron consideradas como “completas”, el cual, al mismo tiempo, puede servir como medida del nivel de confiabilidad y calidad de las evaluaciones de diseño de los programas sociales, pues entre más alto el porcentaje, mayor confianza o calidad tendrán las evaluaciones.. Es importante mencionar que un programa bien diseñado y evaluado no es una condición suficie nte para que exista un alto impacto en el cumplimiento de sus objetivos y, consecuentemente, en la disminución de la pobreza; sin embargo, se considera que un buen diseño y evaluación de un programa son condiciones necesarias para que un programa pueda ser eficaz en el cumplimie nto de sus objetivos.. El trabajo que se presenta a continuación pone a disposición de los lectores un primer capítulo en donde se hace una revisión de los antecedentes de la evaluación de políticas públicas. Se comenzará por analizar las razones por las que, posterior a la Segunda Guerra Mundial, la evaluación de políticas públicas se fue constituyendo e institucionalizando en nuestro país. El objetivo de este capítulo es dar a conocer la manera en que se encuentra organizado el sistema de evaluación en México. En el capítulo 2 se retoman los conceptos relacionados con el diseño de la política pública y las evaluaciones sociales con el propósito de mejorar el entendimiento del concepto de metaevaluación. Los conceptos son definidos de acuerdo con la literatura disponible con el fin de ofrecer una conceptualización adecuada de los términos que se utilizarán a lo largo de esta investigación y las definiciones básicas que contribuirán a dar un mejor entendimiento de. 11.

(12) la metodología. Asimismo, se presentan trabajos de metaevaluación realizados en diferentes contextos nacionales, esto con el fin de no solo analizar los resultados y las conclusiones de cada trabajo, sino también hacer un análisis de la metodología utilizada en cada uno de ellos.. A partir de la revisión de conceptos teóricos y de la metodología utilizada en otros trabajos de metaevaluación vistos en el capítulo 2, en el capítulo 3 se pretende realizar una propuesta de metodológica del proceso de metaevaluación de las evaluaciones de diseño basado en el anális is del discurso comparativo entre el contenido del programa y el informe de evaluación, con el propósito de aportar una metodología que estudie de manera profunda y específica el contenido de las evaluaciones de diseño, y que pueda ser implementada a las evaluaciones de diseño de programas pertenecientes a otro sector público.. Posteriormente se pasará al capítulo 4 en donde se realiza el trabajo de metaevaluación. En este apartado se descubrirá si efectivamente i) todos los programas presupuestarios con modalidad “S” cuentan con todas las evaluaciones establecidas en los Lineamientos Generales para la Evaluac ió n de los Programas Federales de la Administración Federal (LGEPF), ii) si los programas que cuentan con evaluación de diseño tienen correctamente identificados el problema público y la población objetivo y la MIR y iii) si los evaluadores valoraron correctamente dichos apartados. Finalmente, se hace una revisión y análisis con los principales resultados encontrados y se realizan conclusiones y recomendaciones de política pública.. Debido a que el tema de la metaevaluación ha sido muy poco estudiado en México, se espera haber contribuido con una propuesta de metodología con el fin de que, en un futuro, pueda ser implementado o incluso perfeccionado, a otras áreas de la política social. Como lo menciona Fuentes (2009), pocos son los estudios que evalúan el diseño de las reglas de operación, pues la gran mayoría de los análisis centran sus esfuerzos en revisar los resultados de la implementac ió n de los programas; lo cual añade valor al presente trabajo de investigación.. 12.

(13) CAPÍTULO 1: ANTECEDENTES DEL SISTEMA DE EVALUACIÓN EN MÉXICO De acuerdo a Myriam Cardozo, el proceso de evaluación consiste en la realización de una investigación, de tendencia interdisciplinaria, cuyo objetivo es conocer, explicar y valorar, mediante la aplicación de un método sistemático, el nivel de logros alcanzado (resultados e impactos) por las políticas y programas públicos, así como aportar elementos al proceso de toma de decisiones para mejorar los efectos de la actividad evaluada. En la actualidad, ante la persistencia del problema de la pobreza, se ha impulsado la evaluación de las políticas y programas sociales.. En este capítulo se pretende hacer una revisión sobre los orígenes y antecedentes históricos de la evaluación a programas y políticas de desarrollo social en México con el fin de entender la manera en que se constituye el sistema de evaluación actual. Para esto, se comenzará por analizar la manera en que se fueron incorporando las actividades de evaluación de política pública en el contexto internacional a partir de la Segunda Guerra Mundial, y en América Latina, a partir de la crisis del modelo de Estado de Bienestar. En el caso mexicano, los antecedentes de la evaluación sistemática de los programas de desarrollo se remontan hasta la década de 1970, por lo que el propósito de este capítulo es mostrar que, a pesar de que la política social en México se remonta a princip ios del siglo XX, las preocupaciones en torno a la evaluación y la institucionalización de la misma, no surgieron sino hasta principios del siglo XXI, por lo que podría considerarse a la evaluación como una herramienta de reciente creación. Asimismo, se espera que al final de este capítulo, se tenga un mejor entendimiento de la institucionalización de la evaluación.. 1.1 Surgimiento de la evaluación de la política pública en México Aunque los antecedentes de la evaluación pública se remontan hasta el siglo XVII (Rossi et al., 2004), la práctica sistemática de investigación evaluativa es un tema relativamente moderno que surge formalmente a partir del siglo XX (Rossi et al., 2004). A pesar de que la evaluació n sistemática de los programas sociales se hizo común inicialmente en los sectores de educación y salud pública, para la década de 1930, “los científicos sociales usaban métodos de investigac ió n 13.

(14) rigurosos para evaluar los programas sociales en una variedad de áreas” (Freeman, 1997 citado en Rossi et al., 2004: 8). De acuerdo con Rossi et al. (2004: 8), “la aplicación de métodos de investigación social a la evaluación de programas coincide con el crecimiento y el refinamiento de los propios métodos de investigación, así como con los cambios ideológicos, políticos y demográficos.” Es por esto que, en Estados Unidos, la práctica de evaluación de políticas se intensificó después de la Segunda Guerra Mundial, pues se lanzaron numerosos programas financiados con fondos federales y privados para proporcionar desarrollo urbano, educación, capacitación laboral y actividades preventivas de salud.. De acuerdo a Solarte (2002), la evolución de la teoría y práctica evaluativa a partir de la post guerra ha ido de la mano con el avance del Estado de bienestar liberal, en Europa y los Estados Unidos como herramienta para el diseño de las reformas sociales. En este período, los principa les demandantes de procesos evaluativos eran los gobiernos, mientras que la sociedad era el objeto de estudio a reformar. Sin embargo, en Europa y Estados Unidos, a partir de los años ochenta y principios de los noventa, los aparatos administrativos y el personal fueron reduciéndose en tamaño y surge la llamada New Public Management o Nueva Gestión Pública, la cual hace referencia a la reducción del “tamaño del Estado, desmantelamiento del intervencionismo estatal, aplicación de políticas de descentralización, de privatización de empresas públicas, y empleo del mecanismo de mercado como nueva centralidad” (Cardozo, 2009a: 177). Esta idea trata de expulsar la irresponsabilidad burocrática y sustituirla por la obligación de rendir cuentas, proponiendo medidas como la división de roles, la gerencialización, mayor autonomía de los funcionarios, orientación a resultados, rendición de cuentas y la evaluación (Cardozo, 2009b).. Es por esto que las políticas sociales de la década de 1990 se caracterizaron por ser una moderación de las políticas de mercado abierto, en donde se mezcla el asistencialismo con políticas sociales selectivas y programas focalizados, por lo que, desde ese momento, se realizaron nuevas propuestas de combinaciones de lo público y lo privado en la provisión de servicios sociales.. 14.

(15) A partir de este giro hacia la reducción del tamaño del Estado, la orientación hacia el mercado y el auge de las escuelas gerencialistas de la administración pública, “la evaluación deja de concentrarse en la reforma de la sociedad, y se convierte en un mecanismo de reforma del Estado, buscando aumentar su eficacia.” (Solarte, 2002: 2). Esta nueva forma de pensar y actuar para administrar los sectores públicos busca mejores resultados y lleva a cabo acciones que generen valor agregado, por lo cual la administración deja de preocuparse por las necesidades que surgen dentro de ella y se preocupa más por satisfacer las demandas del ciudadano. Como consecuencia de lo anterior, “se han ido conformando diversas corrientes teóricas que, tanto en Europa como en los Estados Unidos, orientan la evaluación hacia diversos usos tales como la decisión pública, el aprendizaje social, el fomento a la democracia, el mejoramiento de la gestión, entre otros. ” (Solarte, 2002: 2).. Por otra parte, en América Latina, este proceso tomó más tiempo, pues durante el período de reformas sociales de carácter populista en los años cincuenta y sesenta su aplicación fue mínima. No fue sino hasta los años setenta cuando se incrementó el uso de la evaluación de manera puntual, “orientada básicamente hacia la evaluación de programas de desarrollo, las cuales fueron básicamente promovidas por los organismos multilaterales y organismos no gubernamenta les internacionales que desarrollaban programas de asistencia ” (Solarte, 2002: 2).. Por otro lado, se intentó desarrollar sistemas nacionales de planificación y evaluación, algunos con mayor éxito y continuidad que otros, en diversos países como Chile (Banco Integrado de Programas Sociales –BIPS), Colombia (Sistema Nacional de Evaluación de Gestión y Resultados –SINERGIA), Bolivia (Sistema Nacional de Planificación –SISPLAN) y México (Sistema de Evaluación de Desempeño –SED). Estos sistemas cuentan con diversas orientaciones, ya que algunos se centran en los programas sociales, algunos en el desempeño de las agencias estatales y otros en el presupuesto del gobierno.. En el caso mexicano, cabe destacar que la política social tuvo su origen formalmente a partir de la promulgación de la Constitución de 1917, dando inicio al llamado constitucionalismo social, que se define como la ideología por la cual el Estado no se limita a establecer las bases de la organización política de los estados, sino que también reconoce y defiende los derechos sociales. 15.

(16) al establecer políticas sociales que garanticen el bienestar de sus ciudadanos. Posteriormente, al finalizar la Segunda Guerra Mundial, “las políticas públicas fueron impulsadas en el marco de los Estados de Bienestar3 europeos, y en menor medida por los latinoamericanos, y tendieron a ampliar los derechos sociales y procurar condiciones aceptables de vida para el conjunto de la sociedad” (Cardozo, 2009: 177). A partir de esto, México desarrolló múltiples programas sociales a cargo de diversas organizaciones: Secretaría de Salud, Secretaría de Desarrollo Social, Secretaría de Educación Pública, Instituto Mexicano del Seguro Social, Instituto de Seguridad y Servicios Sociales para los Trabajadores el Estado, Instituto Nacional del Fondo de la Vivienda de los Trabajadores, Instituto Nacional Indigenista, entre otras.. Sin embargo, a partir de la crisis del modelo de Estado de Bienestar en México en la década de 1980 a causa de los insuficientes ingresos para solventar los gastos sociales, se introdujero n reformas de primera generación, las cuales se refieren al desmantelamiento del intervencionis mo estatal, la aplicación de políticas de descentralización y de privatización de empresas públicas, la reducción del tamaño del Estado y el empleo del mecanismo de mercado como nueva centralidad . Posteriormente se introdujeron reformas de segunda generación, centradas en la eficiencia de la provisión de servicios, la efectividad para mejorar su cobertura y calidad, así como el reforzamiento de las condiciones para el desarrollo de la actividad privada (Cardozo, 2009a). A partir de esto, surgió la búsqueda de alternativas que permitieran un uso eficiente del gasto y una mayor transparencia en la gestión pública, de manera que se reinstaurara la confianza de los ciudadanos en las instituciones. Es así como el gobierno federal mexicano, en los últimos veinte años, comenzó a promover “una serie de reformas institucionales en materia hacendaria, destinadas a sujetar los resultados a una medición puntual, independiente, apegada a monitoreo y evaluación independiente del desempeño, con la finalidad de rendir cuentas a los ciudadanos y mejorar la actuación gubernamental.” (Ramos et al., 2011: 45).. Entre los antecedentes institucionales en México se encuentra la Secretaría de la Contraloría General de la Federación (SECOGEF), la cual fue creada durante el sexenio de Miguel de la Madrid (1982-1988) como una herramienta de control del gasto e intervención en la economía del. 3. El Estado de Bienestar es un modelo de desarrollo estatal originado después de la Segunda Guerra Mundial, en donde el Estado debe ser el responsable de proveer los servicios sociales básicos para los ciudadanos. 16.

(17) gobierno federal. La creación de la SECOGEF “es considerada como el primero de los desarrollos institucionales para generar una política de control y seguimiento del trabajo gubernamenta l. ” (González y Hernández, 2010). Posteriormente, durante el sexenio de Carlos Salinas de Gortari (1988-1994) y Ernesto Zedillo (1994-2000), “el tema de la evaluación mantuvo un lugar importante dentro de las medidas de reforma del sector público, pero prácticamente solo a un nivel discursivo.” (González y Hernández, 2010). Durante este periodo, se llevaron a cabo evaluacio nes externas a ciertos programas considerados importantes durante la administración, como lo fue PROGRESA, sin embargo, no se logró instaurar una estrategia global de evaluación y se mantuvo el énfasis en el control desde la ahora llamada Secretaría de la Contraloría y Desarrollo Administrativo (SECODAM).. No fue sino hasta el sexenio de Vicente Fox (2000-2006) que se introdujo en México la filoso fía de la Nueva Gestión Pública y que el tema de la evaluación adquirió una implicación más abierta y menos centrada. Un ejemplo de ello fue la implementación de la Agenda de Buen Gobierno del presidente Fox, la cual fue una estrategia de modernización administrativa que se centraba en alcanzar metas relacionadas con la transparencia, calidad, regulación y optimizació n de recursos. Asimismo, se creó el Sistema de Metas Presidenciales (SIMEP), “el cual consistía en la concertación de metas y objetivos de cada dependencia de la Administración Pública Federal (APF) directamente con el presidente”, las cuales serían evaluadas en el mediano plazo con base en indicadores de desempeño.. Posteriormente, en el 2003, la SECODAM se convirtió en la Secretaría de la Función Pública (SFP) y entre sus funciones se encontraba evaluar el desempeño de cada órgano gubernamental “a partir de indicadores de desempeño creados en materias como la reducción de la corrupción, el desempeño operativo de los órganos internos de control y los resultados estratégicos de cada dependencia y entidad” (González y Hernández, 2010). Asimismo, durante este periodo, el poder legislativo federal emprendió medidas para fortalecer la estrategia de evaluación gubernamenta l, por lo que se reposicionó estratégicamente la Auditoria Superior de la Federación (ASF), quien, además de los instrumentos tradicionales de vigilancia y revisión, ahora realiza auditorías de desempeño con un enfoque más estratégico y cualitativo.. 17.

(18) Otra iniciativa impulsada desde el Congreso fue la obligatoriedad de las evaluaciones externas a todos los programas sociales sujetos a reglas de operación, la cual se reforzó en 2005 con la promulgación de la LGDS, en la cual quedaron enmarcados los principios básicos de la política de desarrollo social y que se convirtió en un instrumento de coordinación, ordenamiento y regulació n de la política social. Como se puede ver, a pesar de que existieron antecedentes de evaluación y rendición de cuentas por parte del gobierno federal desde principios de los años ochenta, la formalización del sistema de evaluación mexicano tuvo lugar hasta el año 2005 con la promulgación de la LGDS. A continuación, se hará una revisión de la manera en que, a partir de esta ley, se comenzó a formar el sistema de evaluación nacional como se conoce en la actualidad.. 1.2 Sistema de monitoreo y evaluación en México En la primera década del siglo XXI, el tema del monitoreo y la evaluación adquirieron estatus legal con prácticas de rendición de cuentas y rutinas generalizadas en el gobierno federal, “lo cual ha logrado caracterizar a México como pionero en la región en el uso de metodologías sistemáticas para evaluar los resultados y el desempeño” (Sanabria, 2015: 15). A partir de la promulgación de la LGDS, se creó el CONEVAL como un organismo público con autonomía técnica y de gestión. El CONEVAL se instaló e inició sus funciones en 2006 para cumplir con dos atribucio nes centrales: i) normar y coordinar la evaluación de las políticas y programas de desarrollo social y ii) establecer los lineamientos y criterios para la definición, identificación y medición de la pobreza, desde una perspectiva multidimensional, con información generada por el Instituto Nacional de Estadística y Geografía (INEGI), “con una periodicidad mínima de cada dos años para cada entidad federativa y con información desagregada a nivel municipal cada cinco años, a fin de posibilitar el monitoreo periódico de los cambios en los niveles de pobreza que padece la población en las distintas entidades federativas y municipios, y así identificar los avances y retos en las dimensiones económica y social, y las prioridades de atención de acuerdo con grupos de población y regiones geográficas.” (CONEVAL, 2010). Es así como, bajo la LGDS, la medición de la pobreza inició una etapa de institucionalización al convertirse en una medición oficial, la cual permite evaluar y tener un diagnóstico periódico y territorial de las distintas dimensiones que afectan las condiciones de vida de la población.. 18.

(19) Asimismo, en el 2006, entró en vigor la Ley Federal de Presupuesto y Responsabilidad Hacendaria, que indicaba que la Secretaría de Hacienda y Crédito Público (SHCP) y la SFP debían consolidar un sistema de evaluación del desempeño, definido como el conjunto de elementos metodológicos que permiten realizar una valoración objetiva del desempeño de los programas. Fue así como, a partir del 2007, la SCHP impulsó el Sistema de Evaluación del Desempeño (SED), “el cual, es un modelo de gestión que establece las directrices para que el gobierno federal evalúe sus programas, políticas y el desempeño de las instituciones y que, además, define a las estructuras de gobierno que llevarán a cabo este proceso modernizador.” (Ramos et al., 2011: 78). De esta forma, “el SED busca vincular, a partir de un esquema de evaluación basado en la Metodología de Marco Lógico (MML), la planeación gubernamental, el diseño y la implementació n de los programas públicos con el proceso presupuestario.” (González y Hernández, 2010).. Posteriormente, la estrategia de evaluación se extendió al ámbito presupuestal bajo el modelo de Presupuesto basado en Resultados (PbR), focalizando el seguimiento de indicadores de programas presupuestales y extendiendo metodologías de evaluación a programas públicos no sociales. El PbR es una metodología que permite mejorar la calidad del gasto público y promover una adecuada rendición de cuentas a través de la asignación prioritaria de recursos públicos a aquellos programas que generen más beneficios a la población y que corrijan fallas en su diseño. De esta manera, junto con el CONEVAL, se ha podido avanzar en la construcción de un sistema de evaluación de la política social y, a su vez, ejercer influencia importante sobre el desarrollo de la gestión basada en resultados en el gobierno federal.. En 2007, se especificaron las directrices para el nuevo modelo de gestión pública en el Presupuesto de Egresos de la Federación (PEF), así como la disposición de evaluar los programas sujetos a reglas de operación. “Estos programas deberían contener indicadores de desempeño para el seguimiento de sus objetivos y, por lo tanto, elaborar los indicadores de resultados, servicios y gestión a partir de una matriz de indicadores que describiera su finalidad, propósito, componentes y actividades, así como las metas, medios de verificación y supuestos para cada uno de los niveles de objetivos; asimismo, debían incluir la MIR en las respectivas reglas de operación en los términos de las disposiciones aplicables” (CONEVAL, 2014). En ese mismo año surge el Programa Anual de Evaluación (PAE) como una respuesta a la necesidad de planear y controlar el. 19.

(20) proceso de evaluación, asegurando que los programas a evaluar se seleccionen estratégicame nte. El PAE contiene las evaluaciones que se llevarán a cabo y las que iniciarán con cada ejercicio fiscal e indica a qué programas federales de la Administración Pública Federal se aplicarán.. En 2007 se expidieron los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Federal “con el propósito de que la evaluación y el monitoreo de los programas federales que se prevean en el Presupuesto de Egresos de la federación de cada ejercicio, contribuyan a impulsar una gestión basada en resultados y a consolidar el SED.” (PérezJácome, 2012: 8). Los lineamientos regulan la evaluación de los programas federales, la elaboración de la MIR y los sistemas de monitoreo, así como la elaboración de los objetivos estratégicos de las dependencias de la APF. Asimismo, los lineamientos determinan que las MIR “son una herramienta para mejorar la eficiencia, economía, eficacia y calidad en la APF y el impacto social del ejercicio del gasto público.” (CONEVAL, 2014). Con el fin de facilitar el análisis de la información presentada hasta ahora, se realizó un diagrama (Véase “Figura 1.1”) en donde se resumen el marco normativo e institucional del sistema de evaluación y monitoreo en México.. Por otra parte, con el fin de establecer el procedimiento general para atender los resultados de las evaluaciones externas de los programas federales y con ello mejorar la política y programas sociales, el CONEVAL, en conjunto con la SCHP y la SFP, emiten el Mecanismo para el Seguimiento a los Aspectos Susceptibles de Mejora derivados de los informes y evaluacio nes externas a programas federales. De acuerdo a la Secretaria de Desarrollo Social (SEDESOL), los Aspectos Susceptibles de Mejora (ASM) son los hallazgos, debilidades, oportunidades y amenazas identificadas en la evaluación externa, las cuales pueden ser atendidas para la mejora de los programas con base en las recomendaciones y sugerencias señaladas por el evaluador externo a fin de contribuir a la mejora de los programas presupuestarios. Con el objetivo de establecer un proceso para dar seguimiento a los ASM y articular los resultados de las evaluaciones externas y/o informes a los programas presupuestarios en el marco del SED, la SHCP, la SFP y el CONEVAL emitieron en octubre de 2008 la primera versión del “Mecanismo para el seguimiento a los aspectos susceptibles de mejora derivados de los informes y evaluaciones externas a programas federales 2008”, el cual se ha actualizado en dos ocasiones, emitiéndose en marzo de 2011 el “Mecanismo. 20.

(21) para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal”, el cual sigue vigente hasta el día de hoy. (SHCP, 2015). Figura 1.1: Marco normativo e institucional del sistema de evaluación y monitoreo de México. Fuente: Elaboración propia.. La importancia de incluir la evaluación dentro de la política pública reside en que esta sirve como herramienta para conocer la eficacia y efectividad de la gestión y las políticas implementadas, con el propósito final de conocer si se están cumpliendo los objetivos de política pública y si las acciones que se están realizando efectivamente contribuyen a que se alcancen dichos objetivos. Además, la evaluación fundamentada con un enfoque estratégico permite la transparencia, monitorea los rendimientos organizacionales y sobre todo permite evitar y reducir la corrupción dentro de la gestión pública. “Para países como México, poco acostumbrados a las evaluacio nes, es una prioridad porque permite monitorear los avances, problemas y desafíos de la gestión y las políticas públicas.” (Ramos et al., 2011: 75).. 21.

(22) Sin embargo, a pesar de las justificaciones sobre la importancia de la evaluación, en la práctica es muy común que esta acción no se realice debido a razones como la falta de recursos, falta de tiempo, falta de consenso sobre el método, falta de utilidad o simplemente falta de interés. Asimismo, otras de las problemáticas entorno a la evaluació n es que i) sus resultados son poco difundidos y poco utilizados en la toma de decisiones y ii) los procesos de evaluación no se han institucionalizado en los municipios mexicanos. No obstante, “es importante contar con esquemas articulados e institucionalizados de monitoreo y evaluación para promover el aprendizaje organizacional de las dependencias e instituciones públicas, ya que, esto a su vez, facilita el diálogo entre los actores políticos y establece rutinas y parámetros de comparación que permitan la confrontación de ideas.” (Sanabria, 2015: 20). El objetivo último de la evaluación es proporcionar las herramientas necesarias para continuar el camino hacia una gestión más eficaz y eficiente con el fin de contribuir a la transparencia en la gestión de los recursos públicos. De esta manera, al contar con una evaluación integral que permita analizar y comprender los resultados e impactos, se permitiría a los gobiernos dirigir y ajustar estratégicamente las políticas y programas hacia el logro de sus objetivos y metas. Es por esto que la evaluación debería ser vista como un paso indispensable para procurar el éxito y mejoramiento continuo de la gestión pública, por lo que debería considerarse como algo más que una técnica o requisito legal.. En este capítulo se pudo ver que la evaluación como herramienta para la gestión pública es relativamente joven en nuestro país. A lo largo de estos diez años de política de evaluación de programas presupuestarios ha habido varios logros como la normalización y legalización del proceso de evaluación de todos los programas federales y la constitución de una metodología para cada tipo de evaluación. Como menciona Cardozo (2015: 159) México es “un país que inició un poco tarde sus procesos de evaluación, pero ha crecido aceleradamente después de la creación de CONEVAL”. Sin embargo, como se verá más adelante, existen deficiencias en el cumplimie nto de las leyes y en el establecimiento de una MIR con lógica vertical y horizontal, la cual, como se vio en este capítulo, constituye una pieza clave en el monitoreo y evaluación de los programas.. 22.

(23) CAPÍTULO 2: CONCEPTOS, DEFINICIONES Y EXPERIENCIAS DE LA METAEVALUACIÓN Es muy común que existan políticas públicas fallidas en donde no se cumplan con los objetivos finales que se habían propuesto desde el principio. Analizar la razón por la cual las políticas públicas fallan es un estudio que nos podría brindar mucha información acerca de lo que se está haciendo mal y que, por lo tanto, se pueda cambiar y mejorar para que en un futuro los resultados sean mejores. Las razones por las cuales las políticas públicas son inefectivas pueden ser de diferente naturaleza. Puede ser que la falla se encuentre en la etapa inicial (en su diseño), puede ser que se encuentre en la etapa intermedia (en su implementación) o que se encuentre al final, es decir, que su impacto sobre el problema público sea poco o nulo. Para poder identificar el lugar en donde se encuentra dicha falla, es necesario hacer primeramente un análisis a dicha política o programa público a lo largo de sus diferentes etapas de desarrollo. Dicho análisis es conocido como las evaluaciones de política pública, las cuales pueden ser una herramienta muy útil para identificar fallas o áreas de oportunidad de las políticas públicas.. Sin embargo, incluso y cuando un programa cuenta con todas las evaluaciones correspondientes a cada etapa de su ciclo, cabe la posibilidad de que el contenido de dichas evaluaciones no refleje por completo el verdadero estado del programa. Es decir, puede ser que la falla del programa público no sólo sea a causa de una falla en alguna de sus etapas de desarrollo, sino que además dicha falla no esté correctamente identificada por parte del equipo evaluador del programa, impidiendo que se realice alguna medida que repare el problema. Por otra parte, como se verá más adelante, se ha decidido que, a partir del ciclo de las políticas públicas, la evaluación de diseño es la considerada la base para que se lleven a cabo el resto de las evaluaciones, por lo que se ha decidido entonces realizar una metaevaluación enfocada sólo las evaluaciones de diseño de los programas sociales. Adicionalmente, es importante mencionar que, a partir de la experiencia académica en evaluaciones de diseño previa a la realizació n de este trabajo y al límite del tiempo disponible, se ha decidido enfocar el estudio en las evaluaciones de diseño solamente.. Por otra parte, antes de proseguir con la investigación, primeramente, se debe hacer una revisión teórica de la definición de metaevaluación y de otros conceptos que contribuirán a su mejor. 23.

(24) entendimiento. Para esto, a lo largo de este capítulo se seguirá la línea de análisis concept ual mostrada en la “Figura 2.1”, en donde se comenzará por el primer punto que es definir el concepto de metaevaluación de acuerdo con diferentes autores, así como la importancia de su incorporació n en el proceso de evaluación de políticas públicas del país. Debido a que la metaevaluación es la evaluación de la evaluación, se proseguirá al segundo punto, que es definir el concepto de evaluación y su diferenciación de la auditoría o fiscalización. Como se explicará más adelante, existen diferentes etapas de la política pública y a cada una le corresponde un tipo de evaluació n diferente, por lo que el tercer y cuarto punto se encuentran muy relacionados entre sí.. Finalmente, después de analizar las características de cada tipo de evaluación que actualmente se llevan a cabo en México, en el capítulo 3, se pasará a analizar de manera específica a la evaluació n de diseño, pues el trabajo de investigación de metaevaluación se enfocará principalmente a las evaluaciones de diseño de los programas sociales sujetos a reglas de operación.. Figura 2.1: Línea de análisis conceptual. Fuente: Elaboración propia.. 2.1 La metaevaluación La metaevaluación está definida como la evaluación de la evaluación (e indirectamente, la evaluación de los evaluadores) y es un concepto desarrollado por primera vez por Michael Scriven en 1969. De acuerdo con Myriam Cardozo (2006: 15), su objetivo es “enjuiciar la calidad y el mérito de lo que hacen los evaluadores profesionales, que persigue el perfeccionamiento de sus trabajos y promueve una mejor comprensión de los mismos. Esto implica que la metaevaluac ió n toma como objeto de análisis al proceso de evaluación aplicado a los programas sociales: sus. 24.

(25) insumos, procedimientos, métodos, resultados e impactos.”. De esta forma, la evaluación se. convierte en el objeto de estudio del metaevaluador. Por otra parte, Díaz (2001: 174) menciona que la metaevaluación “se define como la actividad o conjunto de actividades que consisten en la elaboración de listas de comprobación y en la aplicación directa de estas listas a un caso específico para, con base en ellas, construir un juicio sobre la evaluación como resultado.” Por su parte, Stufflebeam argumenta que la metaevaluación es una herramienta útil ya que existen evaluacio nes mal hechas que presentan diferentes tipos de problemas como: “la parcialidad, el error técnico, dificultades administrativas o el mal uso de la misma” (Dópico, 2003: 6). Si se dejaran pasar por alto estos problemas dentro de las evaluaciones, se podría dar por cierta una informac ión inválida y se seguiría fomentando un sistema de evaluación débil, lo cual contribuiría a una mayor ineficiencia en la resolución de los problemas públicos. De esta manera, la importancia de las metaevaluaciones radica en que son necesarias para perfeccionar o mejorar las actividades evaluativas con el fin de validar que resultados de la evaluación sean confiables y de calidad.. De acuerdo a Bustelo (2002: 6), existen cuatro tipos de metaevaluaciones:. 1. De acuerdo con su papel: Las metaevaluaciones pueden ser sumativas, es decir, su funció n es recapitular el proceso completo de la evaluación y con el fin de que la audiencia tenga acceso a los logros y debilidades de las evaluaciones; o pueden ser formativas, pues tienen por objetivo proporcionar información para mejorar el diseño e implementación de la evaluación que como propósito apoyar a los evaluadores a planear, conducir, poner en marcha y analizar los reportes de sus evaluaciones. Asimismo, Scriven (1991) distingue estas dos categorías de metaevaluación y argumenta que, incluso si la metaevaluac ió n sumativa no es exigida por el cliente, debe ser considerada por el evaluador principal como servicio adicional al cliente, ya que esto mejora la calidad de la evaluación.. 2.. De acuerdo con el momento: La metaevaluación puede ser ex-ante (antes de que se implemente el proceso de evaluación) o ex-post-facto (durante el proceso de evaluación o cuando ya se ha finalizado).. 25.

(26) 3. De acuerdo con el agente: La metaevaluación puede ser realizada de manera interna, es decir, que son llevadas a cabo por las mismas personas que realizaron la evaluación; o puede ser de manera externa, es decir, realizada por alguien que no esté involucrado en el proceso de evaluación. Desde el punto de vista de la autora, las metaevaluaciones externas pueden ofrecer mayor credibilidad al proceso de evaluación.. 4. De acuerdo con el contenido: La autora clasifica tres tipos de metaevaluación desde esta perspectiva: i) diseño, la cual implica la evaluación del plan y diseño de la evaluación, sus propósitos, coherencia interna y estrategias de implementación. También debe analizar el costo beneficio del proceso, las expectativas, la utilidad, la rendición de cuentas, calendario realista de ejecución; ii) proceso, la cual analiza la implementación de la evaluación y analiza las dificultades en la implementación del proceso de evaluación y iii) resultados, la cual analiza los resultados y efectos de la evaluación, siendo los resultados los hallazgos, las interpretaciones, los juicios y las recomendaciones de los evaluadores; mientras que los efectos son el aprendizaje y el mejor entendimiento. del programa evaluado, la. implementaciones de las recomendaciones dadas por la evaluación y el mejoramiento del programa.. A partir de esta diferenciación entre los tipos de metaevaluaciones, se podría decir que la metaevaluación que se llevará a cabo a lo largo de este trabajo de investigación es una del tipo i) sumativa, ii) ex-post, iii) externa y iv) de resultados. La presente metaevaluación es considerada como sumativa, pues se espera que, a partir de esta metaevaluación, se haga en principio una revisión general de la manera en que se implementó la evaluación (si las fechas fueron las correctas, si se siguieron los lineamientos y términos de referencia y si la presentación es entendible). Así mismo, la metaevaluación es ex-post, pues se analizarán las evaluaciones de diseño que ya se han realizado al programa y se harán de manera externa, pues no se cuenta con ninguna relación de ningún tipo con los evaluadores de los programas. Y, por último, la metaevaluación será sobre los resultados obtenidos de las evaluaciones de diseño, en donde se analizará de manera particular, la interpretación de los resultados y la implementación o no de las recomendaciones de la evaluación.. 26.

(27) Es importante mencionar que, aunque la metaevaluación y la evaluación sean conceptos muy relacionados entre sí, cuentan con definiciones y objetivos diferentes, por lo que no se debe considerar a la metaevaluación como una alternativa de la evaluación, sino como dos conceptos independientes. Mientras que la evaluación tiene como objeto de evaluación a un programa o política pública, el objeto de estudio de la metaevaluación es la evaluación realizada a dicho programa. Asimismo, es importante distinguir le término de metaevaluación del de una “síntes is evaluativa”, la cual sirve para resumir los resultados de evaluación de programas o políticas similares entre sí, por lo que la atención se enfoca en los resultados. Asimismo, su principa l objetivo no es evaluar los procesos de evaluación, sino tener una base las conclusiones generales de los programas o políticas evaluados. Un tipo especial de síntesis evaluativa es el “meta anális is ”, el cual consiste en un procedimiento estadístico para comparar y combinar conclusiones de diferentes estudios científicos. “La metaevaluación, a diferencia de otros conceptos como metaanálisis, va más allá del estudio de los resultados y mide el mérito o valor de una evaluación dada”. (Rosas y Sánchez, 2016: 203).. Por otra parte, de acuerdo con García (2009), el principal problema con el que se enfrenta un metaevaluador es el de los criterios que se utilizarán para evaluar las evaluaciones. Es por eso que, una de las preguntas más importantes sobre el tema de metaevaluación es ¿cómo se realiza una metaevaluación? ¿cuál es la metodología a usar? ¿qué pasos se deben seguir? “Dado que una metaevaluación implica la determinación del mérito o calidad de la evaluación, entonces se requiere establecer los criterios por medio de los cuales se estimarán estos elementos. ” (Rosas y Sánchez, 2016: 204). La forma más común de resolver dichas preguntas es a través de un “checklist”, la cual es una lista con aquellos puntos que se deben considerar al momento de realizar una metaevaluación. Es importante destacar que la checklist “no debe ser considerada como una lista de desiderata, sino más bien como un catálogo de cuestiones a las que habría que prestar atención en un proceso metaevaluativo” (García, 2009: 3). Diversos autores han dado sus opiniones acerca de qué cuestiones se deben de tomar en cuenta durante la realización de una metaevaluación (ver resumen en “Figura 2.2”).. De acuerdo con Scriven (1991), el metaevaluador puede servirse tanto de las listas estándares elaboradas para la metaevaluación, como de las listas elaboradas para la realización de. 27.