Cardozo (2006): La metaevaluación de las evaluaciones de los programas de desarrollo

Myriam Cardozo procede a evaluar transversalmente 31 evaluaciones realizadas a los programas de SEDESOL en el ejercicio fiscal 2002. Para este trabajo se empleó información documental, fundamentalmente los informes de evaluación de cada programa, que se complementó con entrevistas semiestructuradas a los diversos actores claves vinculados al proceso. En cuanto a la metodología aplicada, la autora indica que se privilegia la descripción y el anális is metodológico general por encima del estudio detallado y en profundidad de cada evaluación aplicada, con la finalidad de conocer el nivel de cumplimiento del conjunto de indicadores temáticos diseñados para la revisión de sus métodos, procesos y resultados. A lo largo de la metaevaluación, se analizaron trece puntos para cada una de las evaluaciones: i) fuentes de información y análisis de datos, ii) pertinencia y diseño del programa, iii) recursos utilizados, iv) análisis de procesos, v) medición de cobertura, vi) resultados alcanzados, vii) impactos provocados, viii) participación y satisfacción social, ix) escenarios prospectivos, x) valoración global del programa, xi) utilizac ió n de resultados y recomendaciones de evaluaciones previas, xii) informes finales, xiii) costo/calidad de los resultados de las evaluaciones externas. Por otra parte, Cardozo incluye al final la valoración de los informes de evaluación de acuerdo a las normas para la evaluación de programas del Joint Committee on Standards for Educational Evaluation (JCSEE), y de la Key Evaluation Checklist desarrollada por Scriven (1991). A diferencia de Schwentesius et al. (2007), Cardozo hace uso de tablas que sirven como herramientas de apoyo visual y analítico. Dichas tablas contienen en la primera columna el nombre del programa que fue evaluado y en las siguientes columnas, las características que se metaevalúan, de tal manera que se van palomeando aquellas características con las que cuente la evaluación de los programas de acuerdo con el aspecto que se esté analiza ndo

particularmente. Así, Cardozo logra obtener el número y porcentaje de evaluaciones de los programas sociales que cuentan o no con las características seleccionadas.

Por otra parte, Cardozo hace una aportación importante en su estudio, ya que realiza un análisis de costo-calidad de las evaluaciones, es decir, clasifica el conjunto de las evaluaciones con base en el presupuesto destinado al programa y la calidad del mismo. Para la medición de calidad, la autora tomó en cuenta el método de medición de calidad sugerido por Abate (2000) y lo adaptó al contexto mexicano, por lo que los cuatro elementos de calidad que la autora considera relevantes son: i) haber sido realizada por un equipo interdisciplinario, pertinente al tema del programa evaluado, ii) contar con un diseño, recolección y tratamiento de datos rigurosos, iii) cumplir con los requerimientos especificados en los Términos de Referencia y iv) concluir con la explicitación de un juicio valorativo fundamentado sobre el programa. De esta manera, se pudieron clasificar los programas en cuatro grupos: calidad baja, calidad media, calidad alta y calidad muy alta. Cardozo concluye que ninguna de las evaluaciones consideradas cumplió plenamente con todos los parámetros, por lo que ninguna alcanzó un nivel que pudiera calificarse como óptimo (calidad muy alta). Por otra parte, el resultado del estudio combinado del monto de recursos y la calidad de las evaluaciones demostró que no existe una correlación entre dichas variables, por lo que un mayor presupuesto del programa no necesariamente significa mayor calidad.

De manera concreta, las observaciones hechas por Cardozo en materia del diseño de la evaluació n y del programa, son las siguientes: i) los términos de referencia del año 2002 no solicitaron el análisis del diseño del programa, lo que equivaldría a suponer que los programas se encontraban bien diseñados, ii) debido a lo anterior, los trabajos de evaluación muestran pocas referencias al diseño del programa, iii) se carece de un análisis de los objetivos del programa, iv) de las 31 evaluaciones, solo 14 casos analizan el tamaño de la población afectada y la magnitud de los problemas que la aquejan, v) solo 7 programas analizados disponen de la cuantificación de su población objetivo y vi) solo en 8 evaluaciones se consideró el análisis del diseño de los objetivos del programa y en 15, la congruencia de los objetivos con las actividades . Basado en lo anterior, la autora concluye que “se hace muy poca evaluación de diseño de los programas” (Cardozo, 2006: 259).

De acuerdo con la valoración de las evaluaciones, Cardozo menciona que los trece aspectos analizados fueron valorados con base en los criterios generales de investigación (objetividad, validez, confiabilidad, representatividad, consistencia) y con algunos específicos de la metaevaluación como pertinencia, autonomía, credibilidad, utilidad, participación y calidad. Finalmente, Cardozo analiza los resultados de la metaevaluación a través de los estándares del JCSEE y de la “checklist” desarrollada por Scriven (1991) y concluye que las evaluacio nes enfrentan problemas de precisión en torno a la descripción suficiente, validez, confiabilidad e imparcialidad de la información, así como ausencia de juicios de valor o poca fundamentación.

De acuerdo con Torres (2007), el tema de la metaevaluación abordado por Cardozo (2006) no solo es relevante y pertinente para la administración pública y los procesos de ajuste democrático del país, sino que también es original, ya que hasta ese momento no existía un estudio que analizara la evaluación de los programas sociales. Asimismo, Torres (2007) concluye que la principa l aportación de Cardozo es el cuestionamiento a la calidad de la evaluación en función de los recursos económicos, pues si bien a primera vista dichos recursos parecen estar relacionados con la calidad de los productos, se encuentra que la correlación es muy débil. Por otra parte, Conde (2007) opina que el estudio de metaevaluación de Cardozo hubiera sido mejor si ésta se hubiera guiado por lo solicitado en los Términos de Referencia y no por lo que debiera incluir una evaluación de la calidad que Cardozo busca.