Hallazgo Relevante 3
INFORMACIÓN ADICIONAL
2. Nombre del(a) Coordinador(a) de la Evaluación
3. Correo Electrónico: [email protected]
4. Teléfono: (55) 5286-1456
Acuerdo 482 de la SEP
Acuerdo 482 de la SEP, por el que se establecen las disposiciones para evitar el mal uso, el desvío, o la incorrecta aplicación de los recursos del FAEB.
Informe de la Evaluación de Desempeño 2012
trimestres de 2010, 2011 y 2012; Programa Anual (Actividades Prioritarias) 2012 y 2013; Información correspondiente al formato único (informe presupuestal) del cuarto trimestre de 2012; Estadística Básica del Sistema Educativo del Estado de Campeche de los ciclos escolares 2009
2012; Formato de Seguimiento (avance de cumplimiento de las actividades) de la MIR 2013; Resultados Prueba ENLACE 2012 Campeche; el portal del Gobierno del Estado de Campeche; Acta de la Decimo Primera Sesión de Trabajo del 3 de junio de 2009, de la COMPyE; Estado del Presupuesto por Programa al 31 de diciembre de 2012 del FAEB; Acuerdo 482 de la SEP; publicado en el DOF el 20 de febrero de 2009, Lineamientos Generales de Operación de la SHCP, publicados en el DOF el 21 de enero 2008; Lineamientos del Ejercicio del Presupuesto del FAEB y Programas Federales 2012, TR del CONEVAL, Indicadores Educativos del Estado de Campeche de los ciclos escolares 2009-2010, 2010-2011, 2011
Metodología de trabajo para la elaboración de los Programas Anuales 2011 de las Entidades Federativas, Formato “Evolución del Presupuesto”, PND 2007 2012, PROSEDU 2007-2012, PSEC 2010-2015;. SisteSEP versión
Datos de la Institución Evaluadora
Institución Evaluadora: Valora Consultoría, S.C.
Nombre del(a) Coordinador(a) de la Evaluación: Carlos Mancera Corcuera
: [email protected] 1456
GLOSARIO
Acuerdo 482 de la SEP, por el que se establecen las disposiciones para evitar el mal uso, el desvío, o la incorrecta aplicación de los recursos del FAEB.
Informe de la Evaluación de Desempeño 2012
trimestres de 2010, 2011 y 2012; Programa Anual (Actividades Prioritarias) 2012 y 2013; Información correspondiente al formato único (informe Estadística Básica del Sistema Educativo del Estado de Campeche de los ciclos escolares 2009-2010,
2010-2012; Formato de Seguimiento (avance de cumplimiento de las actividades) de la MIR 2013; Resultados Prueba ENLACE 2012 Campeche; el portal del Gobierno del Estado de Campeche; Acta de la Decimo Primera Sesión de Trabajo del 3 de junio de 2009, de la COMPyE; Estado del Presupuesto por Programa al 31 de diciembre de 2012 del FAEB; Acuerdo brero de 2009, Lineamientos Generales de Operación de la SHCP, publicados en el DOF el 21 de enero 2008; Lineamientos del Ejercicio del Presupuesto del FAEB y Programas Federales 2012, TR del CONEVAL, Indicadores Educativos del Estado de 2011, 2011-2012, Metodología de trabajo para la elaboración de los Programas Anuales 2011 de las Entidades Federativas, Formato “Evolución del Presupuesto”, PND
2007-SisteSEP versión 2012.
: Carlos Mancera Corcuera
Acuerdo 482 de la SEP, por el que se establecen las disposiciones para evitar el mal uso, el desvío, o la incorrecta aplicación de los
Informe de la Evaluación de Desempeño 2012
COMPyE Comisión de Trabajo de las autoridades educativas responsables de la Planeación y
CONEVAL Consejo Nacional de Evaluación de la Política de Desarrollos Social.
CONAPO Consejo Nacional de Población. DOF Diario Oficial de la Federación.
FAEB Fondo de Aportaciones para la Educación Básica y Normal. Lineamientos
Generales
Lineamientos Generales de Operación para la Entrega de los Recursos del Ramo General 33 “Aportaciones Generales para Entidades Federativas y Municipios”.
MIR Matriz de Indicadores para Resultados PND
2007-2012 Plan Nacional de Desarrollo 2007 PbR Presupuesto basado en Resultados. PROSEDU
2007-2012 Programa Sectorial de Educación 2007 PSEC
2010-2015 Programa Sectorial de Educación de Campeche 2010 SEDUC Secretaría de Educación de Campeche
SEP Secretaría de Educación Pública.
SHCP Secretaría de Hacienda y Crédito Público.
SisteSEP Sistema para el Análisis de la Estadística Educativa de la SEP.
TR Términos de Referencia para la Evaluación Específica de Desempeño.
Informe de la Evaluación de Desempeño 2012
Comisión de Trabajo de las autoridades educativas responsables de la Planeación y Evaluación.
Consejo Nacional de Evaluación de la Política de Desarrollos
Consejo Nacional de Población. Diario Oficial de la Federación.
Fondo de Aportaciones para la Educación Básica y Normal.
Lineamientos Generales de Operación para la Entrega de los Recursos del Ramo General 33 “Aportaciones Generales para Entidades Federativas y Municipios”.
Matriz de Indicadores para Resultados Plan Nacional de Desarrollo 2007-2012. Presupuesto basado en Resultados.
Programa Sectorial de Educación 2007-2012.
Programa Sectorial de Educación de Campeche
2010-Secretaría de Educación de Campeche Secretaría de Educación Pública.
Secretaría de Hacienda y Crédito Público.
Sistema para el Análisis de la Estadística Educativa de la SEP.
Términos de Referencia para la Evaluación Específica de Desempeño.
Informe de la Evaluación de Desempeño 2012
Comisión de Trabajo de las autoridades educativas responsables
Consejo Nacional de Evaluación de la Política de Desarrollos
Fondo de Aportaciones para la Educación Básica y Normal.
Lineamientos Generales de Operación para la Entrega de los Recursos del Ramo General 33 “Aportaciones Generales para
-2015.
Sistema para el Análisis de la Estadística Educativa de la SEP.
Informe de la Evaluación de Desempeño 2012
“Principales fortalezas, retos, y recomendaciones
Tema de evaluación: Desempeño
Oportunidad/Debilidad
Valoración general sobre los indicadores seleccionados
Los indicadores estratégicos del
FAEB se definieron mediante
consenso
la administración pública federal,
los gobiernos locales y el
CONEVAL. Los datos permiten
apreciar que el Estado de
Campeche está avanzando en términos de cobertura y de logro en el aprendizaje de la educación básica. Avances y Aspectos de Mejora No aplica Población y Cobertura No aplica Alineación al Plan Nacional de Desarrollo y Presupuesto No aplica Resultados y hallazgos: Hallazgos relevantes de Fin y de Propósito
Para llevar a cabo las actividades
de planeación, seguimiento y
control de compromisos con
recursos provenientes del FAEB, la SEDUC se apoya en un sistema informático implementado por la SEP, el cual está estructurado en un catálogo de 21 actividades prioritarias.
Para el año 2013, la SEP diseño la
Matriz de Indicadores para
Resultados del FAEB, de acuerdo
con las exigencias de la
metodología del Marco Lógico, por lo que la SEDUC dispone de la herramienta apropiada para valorar
Informe de la Evaluación de Desempeño 2012
“Principales fortalezas, retos, y recomendaciones”
Fortaleza y Oportunidad/Debilidad o Amenaza Referenci a (Pregunt a) Recomendaci Fortaleza y Oportunidad
Los indicadores estratégicos del
FAEB se definieron mediante
consenso de las dependencias de la administración pública federal,
los gobiernos locales y el
CONEVAL. Los datos permiten
apreciar que el Estado de
Campeche está avanzando en términos de cobertura y de logro en el aprendizaje de la educación básica. Página 6 No No aplica No aplica No aplica
Para llevar a cabo las actividades
de planeación, seguimiento y
control de compromisos con
recursos provenientes del FAEB, la SEDUC se apoya en un sistema informático implementado por la SEP, el cual está estructurado en un catálogo de 21 actividades prioritarias.
Página 23 No procede
Para el año 2013, la SEP diseño la
Matriz de Indicadores para
Resultados del FAEB, de acuerdo
con las exigencias de la
metodología del Marco Lógico, por lo que la SEDUC dispone de la herramienta apropiada para valorar
Página 24 No procede
Informe de la Evaluación de Desempeño 2012
Recomendaci ón
No procede
No procede
Informe de la Evaluación de Desempeño 2012
Tema de evaluación: Desempeño
Oportunidad/Debilidad
el desempeño de este Fondo en el marco basado en Resultados. Otros (Información adicional) No aplica Valoración General sobre los Indicadores seleccionados
No aplica
Avances y Aspectos de Mejora
La SEDUC planeó que, en escolar 2011
egresados de secundaria (11,847 personas) equivaldría a 73.25% de la población de 15 años. La cifra alcanzada fue de tan solo 55.30% (8,942 personas), lo que representa una variación negativa de 17.95%
puntos porce
corresponde a 2,903 personas. En relación con esta variación, el responsable del Fondo señala que se debió a que nada más se está incluyendo a los egresados de las escuelas secundarias generales, técnicas y telesecundarias que están dentro del
del FAEB.
La justificación de la variación omite señalar que en la meta deben haber estado consideradas todas las escuelas del estado: hay un
error al incluir a todos los
egresados de secundaria en la meta, en tanto que en la cifra alcanzada sólo se incluye a una parte de ese universo de alumnos.
Informe de la Evaluación de Desempeño 2012
Fortaleza y Oportunidad/Debilidad o Amenaza Referenci a (Pregunt a) Recomendaci
el desempeño de este Fondo en el marco del proceso de Presupuesto basado en Resultados.
No aplica
Debilidad o Amenaza
No aplica
La SEDUC planeó que, en el ciclo escolar 2011-2012, el número de egresados de secundaria (11,847 personas) equivaldría a 73.25% de la población de 15 años. La cifra alcanzada fue de tan solo 55.30% (8,942 personas), lo que representa una variación negativa de 17.95%
puntos porcentuales, que
corresponde a 2,903 personas. En relación con esta variación, el responsable del Fondo señala que se debió a que nada más se está incluyendo a los egresados de las escuelas secundarias generales, técnicas y telesecundarias que están dentro del techo financiero del FAEB.
La justificación de la variación omite señalar que en la meta deben haber estado consideradas todas las escuelas del estado: hay un
error al incluir a todos los
egresados de secundaria en la meta, en tanto que en la cifra alcanzada sólo se incluye a una parte de ese universo de alumnos.
Página 9 Se deberá definir adecuadamente la población objetivo y atendida del indicador, considerando en ambos casos los alumnos egresados del total de las escuelas secundarias del Estado. Adicionalmente, establecer procesos calendarizados de conciliación y validación de las fuentes de información producidas por la operación del FAEB, entre los diversos actores
que participan
en la operación del Fondo.
Informe de la Evaluación de Desempeño 2012
Recomendaci ón Se deberá definir adecuadamente la población objetivo y atendida del indicador, considerando en ambos casos los alumnos egresados del total de las escuelas secundarias del Estado. dicionalmente, establecer procesos calendarizados de conciliación y validación de las fuentes de información producidas por la operación del FAEB, entre los diversos actores
que participan
en la operación del Fondo.
Informe de la Evaluación de Desempeño 2012
Tema de evaluación: Desempeño
Oportunidad/Debilidad
En la determinación del factor de logro educativo del año 2011 hubo un error de redondeo, como se detalla a continuación:
Los alumnos que presentaron examen fueron 101,960, de los
cuales 74,240 obtuvieron
calificación de logro académico al menos elemental en la prueba ENLACE.
Factor de logro
74,240/ 101,960= 0.7281
Con el redondeo, el factor de logro debió ser 73% y no 72% como lo señaló la unidad responsable. Esta inconsistencia dio lugar a que la variación entre el factor de logro educativo de los años 2012 y 2011 quedara sob
5.47 y no 6.94 puntos porcentuales
como lo reportó la unidad
responsable del Fondo. Población y
Cobertura
La unidad responsable del FAEB no define en un documento oficial las poblaciones correspondientes para cada uno de los indicadores del Fondo. Esta información se obtuvo de las diversas fuentes proporcionadas para realizar la evaluación, así como de fuentes
complementarias derivada de
investigaciones desarrolladas por el evaluador externo.
Informe de la Evaluación de Desempeño 2012
Fortaleza y Oportunidad/Debilidad o Amenaza Referenci a (Pregunt a) Recomendaci
En la determinación del factor de o educativo del año 2011 hubo un error de redondeo, como se detalla a continuación:
Los alumnos que presentaron examen fueron 101,960, de los
cuales 74,240 obtuvieron
calificación de logro académico al menos elemental en la prueba ENLACE.
Factor de logro educativo 2011= 74,240/ 101,960= 0.7281
Con el redondeo, el factor de logro debió ser 73% y no 72% como lo señaló la unidad responsable. Esta inconsistencia dio lugar a que la variación entre el factor de logro educativo de los años 2012 y 2011 quedara sobrestimada: debió ser 5.47 y no 6.94 puntos porcentuales
como lo reportó la unidad
responsable del Fondo.
Página 10 Instrumentar procedimientos de validación de la información que se reporta en el FAEB, para asegurar que no repitan los errores señalados.
La unidad responsable del FAEB no define en un documento oficial las poblaciones correspondientes para cada uno de los indicadores del Fondo. Esta información se obtuvo de las diversas fuentes proporcionadas para realizar la evaluación, así como de fuentes
complementarias derivada de
investigaciones desarrolladas por el evaluador externo. Página 14 Es necesario que el FAEB cuente con un solo documento que defina e identifique claramente las poblaciones (potencial, objetivo y atendida) de
cada uno de sus indicadores,
para evitar
confusión en la medición de sus resultados.
Informe de la Evaluación de Desempeño 2012
Recomendaci ón Instrumentar procedimientos de validación de la información que se reporta en el FAEB, para asegurar que no repitan los errores señalados. Es necesario que el FAEB cuente con un solo documento que defina e identifique claramente las poblaciones (potencial, objetivo y tendida) de
cada uno de sus indicadores,
para evitar
confusión en la medición de sus resultados.
Informe de la Evaluación de Desempeño 2012
Tema de evaluación: Desempeño Oportunidad/Debilidad Alineación al Plan Nacional de Desarrollo y Presupuesto Hallazgos relevantes de Fin y de PropósitoLos datos de cobertura asociados a
las MIR de las
prioritarias de educación
preescolar, primaria y secundaria tienen una fuente distinta en la información que se utiliza para el indicador de cobertura del FAEB.
Información adicional: Calidad y Suficiencia de la Información disponible para la Evaluación
No se nos proporcionaron algunos documentos requeridos para la realización de
algunos otros que nos fueron
entregados presentan
inconsistencias o no son suficientes para valorar el desempeño del FAEB con el alcance y profundidad que se requiere.
Informe de la Evaluación de Desempeño 2012
Fortaleza y Oportunidad/Debilidad o Amenaza Referenci a (Pregunt a) Recomendaci
Los datos de cobertura asociados a
las MIR de las actividades
prioritarias de educación
preescolar, primaria y secundaria tienen una fuente distinta en la información que se utiliza para el indicador de cobertura del FAEB.
Página 24 Es necesario un ordenamiento en las bases de datos y las fuentes de infor valorar las distintas acciones educativas que el Estado lleva a cabo.
No se nos proporcionaron algunos documentos requeridos para la realización de esta evaluación, y algunos otros que nos fueron
entregados presentan
inconsistencias o no son suficientes para valorar el desempeño del FAEB con el alcance y profundidad que se requiere. Página 28 Es necesario que se establezcan mecanismos de coordinación comunicación entre los actores que intervienen en el ejercicio del FAEB, así como instrumentar procedimientos de conciliación y validación de las cifras que reportan sus registros, para que la diversa información que se genera en la operación del Fondo consistente.
Informe de la Evaluación de Desempeño 2012
Recomendaci ón Es necesario un ordenamiento en las bases de datos y las fuentes de información para valorar las distintas acciones educativas que el Estado lleva a cabo. Es necesario que se establezcan mecanismos de coordinación y comunicación entre los actores que intervienen en el ejercicio del FAEB, así como instrumentar procedimientos de conciliación y validación de las cifras que reportan sus registros, para que la diversa información que se genera en la operación del Fondo sea consistente.