24 de marzo de 2008 41
2.1. PLANEACIÓN ESTRATÉGICA
2.2.1 Mecanismos y herramientas de planeación estratégica
35. ¿El programa cuenta con planes estratégicos actualizados de corto, mediano y largo plazo?
No. Los principales instrumentos de planeación estratégica con que cuenta el Programa son el Plan Nacional de Desarrollo (2007-2012), el Plan Sectorial de Desarrollo Social, los Objetivos Estratégicos de la Política de Desarrollo Social, los Planes Operativos Anuales, la Matriz de Indicadores del Programa, y las fichas técnicas respectivas con indicadores de corto y mediano plazos. En el ámbito intergubernamental, los Acuerdos de Coordinación con las entidades federativas participantes orientan la planeación del programa (en el corto plazo) en el marco de la distribución y asignación de recursos del Ramo 20 (aunque en sentido estricto no son instrumentos de planeación estratégica sino de gestión presupuestal). Sin embargo, el Programa no cuenta con un documento de planeación estratégica específico. De los instrumentos de planeación sectorial disponibles, ninguno rebasa el horizonte temporal de 6 años (es decir, no considera el largo plazo).
No obstante, la elaboración de un documento de planeación de largo plazo puede ser prematura por tratarse de un programa con demanda abierta, fundado en la capacidad incremental del Estado mexicano de gestionar, conducir y potenciar las iniciativas de los mexicanos en el exterior para contribuir al desarrollo social del país.
La visión de largo plazo (implícita) del Programa incluye dos dimensiones relevantes para alcanzar el Fin: el aumento incremental de la cobertura del Programa a partir del fomento de la demanda ciudadana, y generar un proceso de aprendizaje mediante el cual pueda incrementarse la meta de 30% del indicador de orientación de recursos a microrregiones en forma gradual, atenuando así la inercia geográfica del programa, derivada de las fórmulas de asignación presupuestal a entidades federativas y de la poca rotación de clubes (por tanto, localidades beneficiadas) generada por el largo proceso de aprendizaje y generación de confianza necesarios para detonar la participación y organización de nuevos grupos de migrantes. Igualmente, el programa piloto 3X1 BID explora la viabilidad de algunas variaciones del programa con mucho mayor énfasis en el componente de proyectos productivos y el seguimiento de los mismos.
24 de marzo de 2008 42
36. ¿En los planes se establecen indicadores y metas, se definen estrategias y políticas para lograr estas metas, y se desarrollan programas de trabajo detallados para asegurar la implementación de las estrategias y así obtener los resultados esperados?
No. Las indicadores, metas y estrategias del Programa están dispersos en distintos instrumentos de planeación, pero no existe un plan global, específico del Programa, para tal efecto. Las metas presupuestales anuales y por número de obras del Presupuesto de Egresos de la Federación rigen el proceso de planeación del programa. Los Planes Operativos Anuales detallan el número de obras contempladas por entidad, la mezcla financiera aplicable, una estimación del número de beneficiarios (POAs 2002-2005) y los costos de operación. Los indicadores incluidos en estos planes son nominales (número de obras, clubes, etc.) y no están directamente vinculados con los indicadores de desempeño del Programa. Sin embargo, los informes trimestrales del Programa detallan y enlistan las acciones y procesos realizados para cumplirlas y reportan el grado de avance de los dos indicadores de desempeño establecidos en Reglas de Operación.
24 de marzo de 2008 43
37. ¿En dichos planes se establecen con claridad los resultados (Fin y Propósito) que busca alcanzar el programa?
No. El programa cumple plenamente con las directrices emitidas por la Secretaría de Hacienda y Crédito Público (Oficio Circular 307-1-1593) en relación al Presupuesto Basado en Resultados: está debidamente alineado a los objetivos estratégicos nacionales (PND 2012), cuenta con una plan sectorial explícito (Plan Sectorial de Desarrollo Social 2007-20012), Matríz de Indicadores elaborada con la metodología prescrita y las fichas técnicas respectivas. Los planes operativos anuales (POAs) tienen otro tipo de indicadores, que sirven como insumos al monitoreo de desempeño. Sin embargo, como ya se mencionó en la respuesta anterior, no existe un documento de planeación estratégica que unifique toda esta información.
24 de marzo de 2008 44
38. ¿El programa tiene mecanismos para establecer y definir metas e indicadores?, ¿estos mecanismos son los adecuados? Si no es así, ¿qué modificaciones propondría?
No. El Programa no tiene un documento específico en el que se establezcan un proceso estandarizado mediante el cual se generan las metas e indicadores. Sin embargo, el proceso de definición de metas e indicadores está anclado en el Plan Sectorial de Desarrollo Social y los Objetivos Estratégicos de la Política Social (2007-20012) en los términos del Sistema Nacional de Planeación. Los lineamientos aplicables a los Programas de Desarrollo Social y Humano 2007 establecen con claridad el proceso de programación. Dichos lineamientos obligan a la especificación de metas, unidades de medida e identificación de beneficiarios para cada programa. Por tratarse de un programa de inversión en infraestructura, la unidad de medida del cumplimiento en el Programa 3X1 es la realización de la obra. En lo relativo a la definición de indicadores, algunos están contenidos en las ROP y otros en la MML. El Manual de Procedimientos de la Dirección General de Seguimiento establece claramente el proceso de modificación de Reglas de Operación, que incluyen en el caso del 3X1 indicadores de desempeño. La responsabilidad de los indicadores y fichas técnicas de la MML corresponden, formalmente, a la Dirección General Adjunta de Programas Sociales. De acuerdo a las entrevistas, la revisión de reglas e indicadores resulta de un proceso abierto en el que participan los operadores, se consulta a expertos externos e incluso a los beneficiarios (como es el caso de las ROP). Sin embargo, no existe referencia documental explícita que regule el proceso de análisis, evaluación y definición de indicadores per se. Para realizarlo, se cuenta con las directrices provistas por la SHCP (Oficio Circular 307-1-1593) sobre las características que deben cumplir los indicadores (claridad, relevancia, economía, monitoreabilidad, adecuación y aporte marginal) y la información que deben contener las fichas técnicas.
24 de marzo de 2008 45
2.2.2 De la orientación para resultados
39. ¿El programa recolecta regularmente información oportuna y veraz que le permita monitorear su desempeño?
Si. El Programa requiere de dos tipos de información: sobre su operación y sus resultados,
que es recolectada trimestralmente, semestralmente o anualmente. En cuanto a las etapas operativas, las ROP indican que las instancias ejecutoras deben de “reportar trimestralmente los avances físico-financieros de las obras y acciones”. Asimismo, se establece que el COPLADE debe entregar un Cierre de Ejercicio a más tardar el 15 de febrero del año siguiente. También se determina que cada obra finalizada debe de tener su Acta de Entrega-Recepción. Adicionalmente, en la MML se enumeran indicadores de las Actividades y Componentes que deben ser calculados anualmente. Esta información proviene de los COVAM y sus actas, SIIPSO, los expedientes técnicos de las obras, las actas de registro de las representaciones del Programa en los Estados Unidos, los anexos técnicos de las propuestas de inversión, y las memorias de capacitación y sus listas de asistencia. La información es recolectada por las instancias ejecutoras, los COPLADE, y los COVAM, y es revisada por las Delegaciones de SEDESOL, por lo que se puede considerar confiable para la toma de decisiones. Asimismo, la frecuencia con que la que es recolectada permite hacer un seguimiento puntual de las acciones administrativas y operativas del Programa, garantizando que todas las Actividades y Componentes sean producidos.
En cuanto a la información sobre los resultados, las ROP establecen utilizar los índices de “Atención de proyectos apoyados” y de “Orientación de recursos”, ambos medidos trimestralmente. Esto garantiza tener información oportuna respecto a cuántos proyectos de los presentados son aprobados y canalizan recursos a Microrregiones. Es importante resaltar que en la MML se propone que la información sobre los efectos del Programa en la población objetivo provenga de los Censos y Conteos de INEGI y de los Índices de Marginación de CONAPO. Si bien estas fuentes son oficiales, confiables e independientes del Programa, sólo se actualizan cada cinco años. Esto dificulta saber oportunamente si el Programa cumple sus objetivos, lo que impide hacerle modificaciones en caso de requerirlas.
24 de marzo de 2008 46
40. ¿El programa tiene un número limitado y suficiente de indicadores que se orienten a resultados y reflejen significativamente el Propósito del programa?
No. La MML de 2007 señala 12 indicadores orientados a resultados que reflejan
significativamente el Propósito del Programa: Sin embargo, se considera, como se señaló en la evaluación de de diseño, que éstos no son suficientes y que algunos son susceptibles de mejora. No existen, por ejemplo, indicadores específicos a la realización de proyectos productivos (en los niveles de Componente y Propósito), ni todas las actividades cuentan con un indicador (como es el caso de la organización de sesiones del COVAM en el extranjero). De acuerdo con la MML de 2007, el Propósito del Programa es incrementar “la cobertura y calidad de la infraestructura social básica y productiva […]” y para medirlo se propone como indicador el cambio “de las variables de infraestructura social básica y productiva que componen los índices de marginación y de rezago social en las localidades atendidas por el programa”. No se considera que este indicador sea válido ni suficiente pues debe desarrollarse un indicador capaz de captar la mejora en cobertura y calidad de la infraestructura básica atribuible al Programa per se. (Véase Anexo 9 sobre indicadores sugeridos).
24 de marzo de 2008 47
41. ¿El programa tiene metas pertinentes y plazos específicos para sus indicadores de desempeño?
No. Todos los indicadores tienen plazos específicos, pero no todos tienen una meta explícita y algunas metas no se consideran pertinentes.
Indicador Meta y Plazo Comentarios Porcentaje de localidades intervenidas que mejoraron su Índice de Marginación Absoluta
100% ( 2006-2012) Es factible que se logre un porcentaje cercano al 100% , dada la relativa
concentración territorial del Programa y la participación repetida de clubes (por tanto localidades) en el Programa a lo largo del tiempo.
Variación de las variables (sic) de infraestructura social básica y productiva que componen los índices de
marginación y rezago
No hay meta
concreta (2001-2008)
Dado que el 70% de las obras del Programa son inversión en infraestructura social básica, es muy factible que induzcan variación
ascendente en los componentes del índice.
Tasa de aprobación de proyectos
1 (2001-2008) La línea base (primer trimestre 2007) ya alcanzó la meta. La capacidad de mantener este indicador depende también de lo que ocurra con la demanda (un aumento significativo de propuestas presentadas podría deprimir la tasa de aprobación). Orientación a obras
de impacto social
0.8 (2001-2008) La línea base (primer trimestre 2007) ya alcanzó la meta.
Orientación a
localidades de alta y muy alta marginación
0.30 (2001-2008) En 2007 se logró el 0.24, menos que en 2006. El cumplimiento de la meta es poco factible dada la inercia en este indicador desde 2003, y también se considera que es demasiado baja para un Programa que debe atender “prioritariamente” a zonas de alta y muy alta marginación.
Multiplicador de la inversión federal
0.25 (2001-2008) En 2007 se logra la meta. Sin embargo, este indicador es un tanto artificial porque las reglas imponen la participación federal de 25% (salvo contadas excepciones, previstas en ROP, con un máximo de 50% de
24 de marzo de 2008 48
42. ¿Los indicadores de desempeño del programa tienen línea de base (año de referencia)?
Sí. Sin embargo, cabe señalar que faltan algunos valores de referencia en las fichas
técnicas, a pesar de que la información necesaria ya existe (como es el caso del índice de marginación municipal 2000 y el índice de marginación a nivel localidad 2005).
Indicador Línea Base (año: valor) Porcentaje de localidades
intervenidas que mejoraron su Índice de Marginación
Absoluta
2005: no hay valor de referencia.
Variación de las variables (sic) de infraestructura social básica y productiva que componen los índices de marginación y rezago 2005: no hay valor de referencia Tasa de aprobación de proyectos 2007: 1 Orientación a obras de impacto social 2007: 0.8 Orientación a localidades de alta y muy alta marginación
2007 (1er trimestre): 0.25
Multiplicador de la inversión federal
24 de marzo de 2008 49
43. ¿Están los requerimientos de presupuesto explícitamente ligados al cumplimiento de las metas de desempeño?
No. La Unidad Microrregiones y la SEDESOL elaboran una propuesta presupuestal para su consideración en el Presupuesto de Egresos de la Federación. Dado que la propuesta presupuestal requiere establecer una serie de metas programáticas en cuanto al número de obras y la población que se espera atender año con año, el presupuesto que es requerido está ligado a las metas de desempeño. En la Tabla 4 del anexo IV puede apreciarse que el número de obras y municipios beneficiados por el Programa ha aumentado año con año en proporción directa al presupuesto asignado al mismo, y que el aumento del presupuesto del Programa responde a su buen desempeño y al ejercicio eficaz (no necesariamente eficiente) de sus recursos. Sin embargo, el Programa no cuenta aún con instrumentos explícitos de presupuestación por resultados en sentido estricto. Este problema no es del todo atribuible a la gestión del programa, sino a la incipiente implantación de estos mecanismos en la administración pública federal en México. En ausencia de una modificación sustantiva del proceso de presupuestación federal no podrá avanzarse sustantivamente en esta dirección.
24 de marzo de 2008 50
44. ¿Cuáles son las fuentes de financiamiento del programa?*
El programa cuenta con dos tipos de fuentes de financiamiento para la realización de las obras: fuentes públicas y fuentes privadas. De acuerdo a las ROP, en cuanto a las fuentes públicas se encuentran el Gobierno federal, que aporta 25% del total del costo de la obra, y los gobiernos estatal y municipal, que aporta el 50% del total del costo de la obra. Por lo general cada uno de los gobiernos locales aporta el 25% del costo total de la obra. Sin embargo, no es una fórmula que esté establecida en las ROP (Sección 3.4.2, ROP 2007). Es necesario resaltar que en el caso de obras “que por su magnitud, impacto social, características específicas o que requieran de un monto federal superior a los 800 mil pesos […]” la Federación puede aportar hasta el 50% del costo total del proyecto (Sección 3.4.2, ROP 2007). Por otra parte, se debe de mencionar que los costos de operación, seguimiento, difusión, promoción, supervisión y evaluación externa del Programa corren por cuenta del gobierno federal y pueden llegar a representar el 7% del presupuesto del Programa.
En cuanto a las fuentes privadas de financiamiento, los clubes u organizaciones de migrantes aportan el 25% del costo total de la obra. Si el COVAM lo considera apropiado, la aportación de los clubes u organizaciones de migrantes podrá ser en especie, “siempre que ésta se asocie directamente a la naturaleza y objetivos del proyecto y cuyo costo pueda ser cuantificable y demostrable”. Esta aportación deberá corresponder al 25% de la aportación que les corresponde a los migrantes (Sección 4.1.2, ROP 2007).
24 de marzo de 2008 51
45. ¿El programa ha llevado a cabo evaluaciones externas?
Sí. El Programa ha realizado evaluaciones externas anualmente desde su creación en 2002,
en cumplimiento a lo establecido en los Presupuestos de Egresos de la Federación para los ejercicios fiscales 2002, 2003, 2004, 2005 y 2006. Al respecto, se presenta la información resumida en el siguiente cuadro.
Año Institución evaluadora
2002
2003 Red de Consultores Nacionales S.C.
2004 Servicios Profesionales para el Desarrollo Económico, S.C. 2005 Servicios Profesionales para el Desarrollo Económico, S.C. 2006 Universidad Autónoma Chapingo
24 de marzo de 2008 52
46. ¿Cuáles son las principales características de las mismas (tipo de evaluación, temas evaluados, periodo de análisis, trabajo de gabinete y/o campo)?*
En el año 2002, se realizó una evaluación externa del Programa Iniciativa Ciudadana 3X1. Se estudió el diseño del Programa y su funcionamiento, a través de trabajo de gabinete y campo: se emplearon encuestas, entrevistas y estudios de caso. Se llevó a cabo trabajo de campo en el 10% de las obras realizadas durante el año 2002. Se estudió los beneficios sociales y económicos del Programa, el uso de los recursos, el grado de satisfacción de la población, la cobertura y focalización, eficacia y la eficiencia del Programa, los métodos de transparencia y los indicadores para evaluar su desempeño.
En el año 2003, Red de Consultores Nacionales S.C., realizó una evaluación externa del Programa Iniciativa Ciudadana 3X1. Se analizaron los objetivos del Programa, su complementariedad y duplicidad, cumplimiento de las ROP, el tipo de obras impulsadas, la transparencia en el funcionamiento del Programa, problemas de implementación y la cobertura y focalización. Se realizó trabajo de campo para verificar el cumplimiento de las metas físicas y financieras. Asimismo, se hizo un análisis de costo-beneficio del Programa al estudiar el grado de cumplimiento de sus objetivos.
En 2004, la evaluación externa fue realizada por Servicios Profesionales para el Desarrollo Económico, S.C. (SERPRO) con trabajo de gabinete y campo. Se evaluó el diseño del Programa, su focalización y cobertura, la operación del Programa, los resultados obtenidos, la percepción de las organizaciones de migrantes. En 2005, se realizó una evaluación externa del Programa 3x1 para Migrantes, a través de SERPRO. Se estudió su diseño, cobertura y focalización, operación, resultados económicos y sociales y la percepción de los beneficiarios. La evaluación fue hecha para verificar el cumplimiento de metas del Programa, así como establecer una agenda de futura evaluación del Programa. Se estudió la promoción, solicitud de apoyos, selección de beneficiarios, contraloría social y ejecución de proyectos; así como, las fortalezas y retos operativos señalados en evaluaciones anteriores y el cumplimiento de metas físicas y financieras.
En 2006, la evaluación externa del Programa 3x1 para Migrantes estuvo a cargo de la Universidad Autónoma Chapingo, utilizando trabajo de gabinete y campo. Se evaluó el Diseño del Programa a través de la MML. Se estudió la focalización y cobertura del Programa, los procesos administrativos que realizan, el cumplimiento de las metas físicas y financieras. También se hizo un análisis de resultados utilizando los indicadores de la MML. Finalmente, se realizó trabajo de campo para conocer la percepción de los beneficiarios.
24 de marzo de 2008 53
47. ¿El programa ha implementado y dado seguimiento a los resultados y recomendaciones provenientes de las evaluaciones externas de los últimos dos años?
Sí. Tanto la información documental como la receptividad de los operadores a las recomendaciones de los evaluadores han sido favorable, y los ajustes recientes a Reglas de Operación (población objetivo, descripción del proceso, formatos nuevos, etc.) y Matríz de Indicadores así lo revelan. La evaluación externa de 2005 emitió 7 recomendaciones, de las cuales 6 fueron atendidas por el Programa (con excepción de la definición de metas de impacto social más acotadas para mostrar el impacto en las condiciones de vida de los beneficiarios (p.12). En relación a las debilidades del proceso de tramitación, el Programa respondió adecuadamente con el aumento en las tareas de difusión e información a potenciales participantes en Estados Unidos y el fortalecimiento de los COVAMs, ya que el trámite per se no es complejo ni oneroso, siempre que los participantes estén bien informados del mismo. De acuerdo a un ejercicio de seguimiento reciente (2007), 79% de las entidades ejecutoras considera que los trámites son de fácil realización y 96% considera que la coordinación institucional es buena. Los informes de labores hacen referencia explícita a las recomendaciones y comentarios de las evaluaciones externas y las acciones que se emprendieron para corregir debilidades y afianzar fortalezas.
Las evaluaciones de los últimos tres años han insistido en que hay cierta tensión entre la definición de la población objetivo y la focalización por autoselección: “Al combinar pobreza con migración, el Programa cae en cierta indefinición de la población objetivo p. 11 […] La mera selección de las comunidades por parte de los migrantes no asegura que los apoyos se dirijan a comunidades en situación de pobreza” (Evaluación Externa 2006, p.12). Aunque el Programa ha respondido con ajustes a sus documentos programáticos, la ambigüedad persiste, lo que impide aspirar a valores superiores a los existentes: en 2007, sólo 24% de la inversión federal del Programa está destinada a municipios de alta y muy alta marginación (ver Tabla 6, anexo IV). Finalmente, cabe mencionar la creación del SISEE permite que se documenten electrónicamente las versiones preliminar y final de las evaluaciones y el intercambio de opiniones, comentarios e información entre operadores y grupo evaluador. Este proceso de reflexión colectiva permite afinar los resultados de la evaluación, corregir posibles imprecisiones y asimetrías de información respecto a la operación del Programa, y dejar una memoria escrita del mismo.
24 de marzo de 2008 54
48. ¿Existe evidencia de que el programa ha utilizado la información generada por las evaluaciones para mejorar su desempeño?
Sí. Los ajustes a las Reglas de Operación responden a inquietudes y sugerencias derivadas del proceso de evaluación en cuanto a la definición de la población objetivo y la pertinencia de algunos indicadores. En entrevista con algunos operadores quedó claro que éstos conocen y entienden las debilidades plasmadas en las evaluaciones, aunque no necesariamente compartan el punto de vista de los evaluadores. Los informes de labores hacen referencia explícita al contenido de las evaluaciones y su utilización como insumo de decisión. En este sentido, los informes anuales de labores 2006 y 2007 señalan las siguientes acciones: el fortalecimiento de la relación con grupos y organizaciones de migrantes mediante la instalación de representaciones del Programa en Estados Unidos, fortalecimiento de los procesos de coordinación intergubernamental y los aspectos de contraloría social.
