Es necesario recordar que la evaluación tiene dos principales finalidades, por un lado la evaluación busca llevar a cabo una valoración, evidentemente de lo que se está evaluando con el fin de encontrar deficiencias y crear mecanismos de actuación buscando corregirlas, de tal modo que con ello se pretende perfeccionar a través de la corrección lo que se está evaluando.
La otra finalidad de la evaluación radica en valorar para rendir cuentas, esta finalidad se
presenta en las administraciones públicas, ya que se ha establecido la transparencia para instancias gubernamentales, por lo tanto la rendición de cuentas es fundamental.
El artículo 42 de la Ley de Desarrollo Social del Distrito Federal establece al Consejo de Evaluación del Desarrollo Social del Distrito Federal como un “organismo público descentralizado sectorizado a la Secretaria de Desarrollo Social con personalidad jurídica y patrimonio propio, goza de autonomía técnica, de gestión y presupuestaria, de conformidad con lo previsto en la Ley Orgánica de la Administración Pública del Distrito Federal que tiene a su cargo la evaluación externa de la política social de la Administración y de los programas sociales que ésta ejecuta”. (Ley de Desarrollo Social del Distrito Federal, 2011). En este mismo artículo se especifican las funciones del Consejo de Evaluación, las cuales son:
I. Organizar, definir y realizar analíticamente por cuenta propia o por terceros la evaluación externa de la política y los programas sociales;
II. Definir y medir bianualmente la desigualdad y la pobreza en el Distrito Federal.
III. Definir, medir y clasificar el grado de desarrollo social en el Distrito Federal.
IV. Medir bianualmente el avance de los derechos sociales en el Distrito Federal.
V. Elaborar un informe sobre el estado de la cuestión social en el Distrito Federal.
VI. Definir anualmente los lineamientos para la realización de las evaluaciones internas.
VII. Emitir observaciones y recomendaciones de las evaluaciones externas.
VIII. Emitir la resolución luego de analizar los argumentos vertidos en la justificación realizada por los órganos y entidades ejecutoras del programa social a las recomendaciones no aceptadas, y en su caso remetido a la comisión.
IX. Planificar el programa de verificación de los padrones de beneficiarios de los programas sociales y presentar sus resultados a la Asamblea Legislativa del Distrito Federal.
X. Solicitar información de uno o varios programas sociales que estén operados por Órganos, Dependencias, Delegaciones o entidades de la administración.
XI. Recibir la información de la operación de los programas sociales de los Órganos, Dependencias, Delegaciones y Entidades de la Administración.
XII. Recibir la justificación que emitan los Órganos, Dependencias, Delegaciones, y Entidades ejecutoras de los programas sociales, respecto a las recomendaciones del Consejo de Evaluación.
XIII. Atender los requerimientos de controversias que pueda haber por las recomendaciones.
XIV. Instrumentar el procedimiento para el cumplimiento de las recomendaciones.
XV. Emitir convocatorias y definir lineamientos para las evaluaciones externas.
XVI. Elaborar e informar al Jefe de Gobierno sobre la evaluación global de la política social y la evaluación especifica externa de cada programa social (Ley de Desarrollo Social del Distrito Federal, 2011).
Lo que es conveniente rescatar y saber es que la evaluación de los Programas sociales en el Distrito Federal corre a cuenta del Consejo de Evaluación del Desarrollo Social del Distrito Federal. Este organismo fue creado a partir de la necesidad de transparentar los recursos públicos que se le destinan a los programas sociales en el Distrito Federal, no obstante se pretende que este consejo le de seguimiento a los programas sociales. A grosso modo, está sujeto al Artículo 42 de la Ley de Desarrollo Social del Distrito Federal cuya normatividad estipula en relación a este consejo sus funciones, su formación, sus integrantes y sanciones en caso de ciertos incumplimientos.
Otro punto fundamental a considerar, es que este mismo artículo estipula, que el Consejo de Evaluación trabaja en cooperación con Órganos Desconcentrados, Delegaciones y Entidades de la administración pública del Distrito Federal, lo cuales se encargan de compartir en todo momento la información de los programas sociales que tienen a su cargo para el Consejo de Evaluación, por lo tanto este ultimo puede hacer uso en todo momento de la información solicitada a estos órganos y/o dependencias.
También hay que resaltar que el Consejo de Evaluación cuenta con la facultad de crear sus propios lineamientos de evaluación Interna o Externa. Estos carecen de una estructura metodológica que precisen de etapas de evaluación, es decir del cómo y modo en que se llevara a cabo la evaluación a la que estarán sujetos los evaluadores. Por ejemplo el contenido
de un lineamiento según el Consejo de Evaluación de Desarrollo Social del Distrito Federal, contiene los siguientes puntos:
Cuadro. 1
Elaboración propia basada en la Gaceta Oficial del Distrito Federal de 8 de Abril de 2011.
Esto simplemente ejemplifica la elaboración del contenido de un documento que expone los lineamientos de la evaluación interna que establece el Consejo de Evaluación de Desarrollo Social del Distrito Federal. El contenido de cada punto es el siguiente: en la Evaluación de Operaciones se estipula el cuándo y el para qué, es decir esta evaluación se lleva a cabo después de que el programa social se implemento, con el fin de valorar su operación y resultados. Por lo tanto la evaluación es para retroalimentar el proceso de planeación y para rendir cuentas a la ciudadanía así como también valorar la eficiencia en lo económico y en la organización.
En cuanto a la evaluación de resultados se establecen dos puntos a considerar el primero es la organización de la información disponible sobre los resultados del programa para mejorar la toma de decisiones y el segundo establece el valorar los alcances de la operación del programa respecto a sus objetivos así como su eficacia y su eficiencia. Con respecto al
CONSEJO DE EVALUACIÓN DE DESARROLLO SOCIAL DEL DISTRITO FEDERAL Lineamientos para la Formulación de las Evaluaciones Internas de Operación de las Políticas y
Programas de Desarrollo Social del Distrito Federal:
Evaluación de
Operación
Evaluación de Resultados
Informe de Evaluación Interna
Instituciones Responsables de
realizar las Evaluaciones
Internas
Plazo Instituciones a
quienes se enviará el informe de las
evaluaciones
Fuentes de Información
Términos a utilizar en la Evaluación
Informe de evaluación interna contiene los siguientes puntos: hallazgos, valoración, conclusiones, sugerencias y cronograma.
Por otro lado se estipula quienes realizaran las evaluaciones internas, los Órganos Descentralizados, Delegaciones y/o dependencias administrativas del Distrito Federal que tienen a su cargo políticas y programas sociales. Estas se encargan de enviar el informe de las evaluaciones a la Gaceta Oficial del Distrito Federal, el Sistema de Información de Desarrollo Social y a la Asamblea Legislativa del Distrito Federal.
También se establece un plazo aproximado de seis meses, no obstante las fuentes de información que el o los evaluadores hacen uso son: normas (leyes, reglamentos, manuales administrativos y de procedimientos, reglas de operación); matriz de indicadores del programa de operación y resultados; bases de datos; informes; tabuladores de avances y/o evaluaciones pasadas del mismo programa.
Por último se definen conceptos o términos a utilizar en la evaluación como desarrollo social, política pública, políticas sociales del Distrito Federal, programa, programa social, reglas de operación, objetivo especifico, metas, indicadores, habitantes del Distrito Federal, eficacia, eficiencia, equidad e impacto.
De este modo es como se elabora el documento de lineamientos que el Consejo de Evaluación tiene como facultad diseñar. No obstante las Organizaciones Desconcentradas, Dependencias y/o Delegaciones encargadas de ejecutar programas sociales también tiene su propio estilo para atender la normatividad a la que están sujetas en el artículo 42 de la Ley de Desarrollo Social del Distrito Federal para cooperar con el Consejo de Evaluación, por lo que tienen, de cierto modo su propios lineamientos de evaluación de programas sociales.
A manera de ejemplo en la Delegación Iztapalapa, al elaborarse el documento de informe de evaluación se empleó la metodología de evaluación de programas sociales siguiente:
Cuadro. 26
En este diseño metodológico, cada etapa o punto a desarrollar tiene la siguiente consistencia. El primer punto es:
• La Dimensión de la Evaluación.- tiene que ver con la Evaluación de Diseños de los programas sociales y con la Evaluación de Operación de los programas sociales, que es básicamente en lo que consiste la Evaluación de programas sociales en la práctica. A sí que revisemos la consistencia de ambas evaluaciones.
- Evaluación de Diseño.- En ella se define el diseño del programas social, se expone la influencia o contribución que tiene el programa en relación con los objetivos estratégicos con el Gobierno del Distrito Federal, se hace un análisis estadístico de la información secundaria, se analizan los principios: de los atendidos, definición
6 El Cuadro. 2 es elaboración propia, cuyas etapas son creación de la metodología que maneja el organismo llamado Evalúa D.F
DISEÑO DE LA METODOLOGIA DE EVALUACIÓN DE PROGRAMAS SOCIALES EN LA DELEGACIÓN IZTAPAPLAPA
DIMENSIONES DE LA EVALUACIÓN
ENFOQUE DE ESTUDIO
ANALÍSIS CRITICO DE PROGRAMA SOCIAL
ANALÍSIS ESTADISTICO DE LA INFORMACIÓN SECUANDARIA
ENTREVISTA EN PROFUNDIDAD
MATRICIES FODA
de la población objetivo de operación y por último se hace un análisis de eficacia de cada programa social.
- Evaluación de Operación.- Emplea cuatro análisis y una revisión. El primer análisis es en relación a los recursos financieros, humanos y materiales; el segundo es un análisis de consistencia entre diseño y operación; el tercero es un análisis de información secundara; el cuarto y último es un análisis de la población objetivo (padrones y metas propuestas) y finalmente emplea una revisión de las actividades de seguimiento y de los mecanismos de participación social.
• El Enfoque del Estudio.- Sus características son: este enfoque es de carácter integral, tiene una visión estratégica, emplea el estudio cuantitativo, cualitativo y de gabinete.
Además la técnica que emplea se llama Técnica ex ante, cuya planificación es de acuerdo con el conocimiento y la experiencia en la evaluación de programas sociales.
• Análisis Crítico de Programa Sociales.- Este análisis usa la técnica de confrontación de textos, en donde dicha confrontación se da entre textos de definición y textos de planeación. En ambos textos usa la lógica para explicar las diferencias en la confrontación.
• Análisis Estadístico de la Información Secundaria.- Básicamente analiza la focalización y el costo efectividad, en sí centra sus análisis en la operación y ejecución de los programas sociales, en las variables básicas de los programas sociales de la Delegación, en la atención y cobertura focalización y filtración y sub atención.
• Entreviste en Profundidad.- La técnica que se emplea es la Matriz de Importancia, en ella la entrevista se lleva a cabo a informantes claves. Estos informantes se seleccionan según:
1) El potencial informático de la persona,
2) La importancia simbólica-institucional del informante al interior de su organización, institución y/o comunidad,
3) La representación e influencia que ejerce el informante sobre sectores importantes de la población y
4) La capacidad de movilización de los grupos que conforman tanto a la organización como a la población beneficiada por el programa. (Evalúa D.F, 2011)