Análisis del impacto del programa escuelas de tiempo completo en los resultados de la prueba ENLACE : 2006 2012

Texto completo

(1)

(2) INSTITUTO TECNOLÓGICO Y DE ESTUDIOS SUPERIORES DE MONTERREY EGAP GOBIERNO Y POLÍTICA PÚBLICA CIUDAD DE MÉXICO. Análisis del impacto del programa Escuelas de Tiempo Completo en los resultados de la Prueba ENLACE: 2006-2012. ,.·. :t:~:,.~{ . EGAP ;;~~~!. Gobierno y rolltica Pública. ~'''.'s.-,J~. TECNOLÓGICO DE MONTEF!REY. Gina Laura Andrade Baena ginitaandrade(w,gmail.com. -. TECNOL.OGICO. •. DE MONTERREY Proyecto de Investigación Aplicada. Biblioteca. canpu11 Ciudad oa M6xk:o. Maestría en Economía y Política Pública Asesor: Mtro. Enrique E. Minor Campa Mayo de 2013.

(3) Agradecimientos. Este trabajo es resultado del esfuerzo, apoyo y cariño de mucha:, personas que estuvieron conmigo a lo largo de proceso y no quería dejar pasar esta oportunidad para agradecerles a cada uno de ustedes.. !\. mis padres, Gina Baena y Javier Andrade, que desde que tengo uso de razón, siempre me. han apoyado incondicionalmente en todas mis decisiones. Ustedes me han dado la fortaleza para seguir aprendiendo y desarrollándome profesionalmente. Cracias por haberme dacio la oportunidad de tener una excelente educación en el transcurso de mi vida, pero principalmente por nunca dudar de mí.. A mi profesor consentido y mi mentor, Enrique Minor, por aceptarme para realizar esta tesina bajo su dirección y que gracias a su enseñanza y apoyo constante, estoy a un paso de mi experiencia profesional y académica soñada. Admiro mucho su capacidad de nunca perder ese ánimo que lo caractenza. Gracias por su confianza y cariño, siempre será un guía a lo largo ele mi vida.. A mi gran amigo, Héctor H. Sandoval, por su participación activa en el desarrollo de esta tesina con sus comentarios y orientación. Gracias por tu paciencia, tu tiempo y por haber compartido conmigo tu experiencia. Sobre todo por ser un ejemplo de desarrollo profesional a seguir.. Y por último, a ti, Óscar Arcos, por haber aparecido en mi vida justo en el momento preciso. Te convertiste en la fuerza que me impulsó dar el último jalón para culminar esta etapa. Eres mi motivación para seguir creciendo y convertirme ·~n una mejor persona, por ti, por mí y por nosotros. Hoy estás aquí conmigo. T.A.X.S.. 2.

(4) Resumen La evaluación y monitoreo de los resultados de los programas sociales es una herramienta fundamental para la toma de decisiones de política pública y la eficiente asignación y focalización de recursos públicos. En México, de acuerdo con resultados de evaluaciones estandarizadas como ENLACE y PISA, podemos afirmar que exist(! desigualdad en la calidad de la educación básica dependiendo de la entidad federativa, el tipo de localidad (urbana o rnral), el nivel de marginación, y el tipo de escuelas (si pertenecen al sistema general, indígena, del Consejo Nacional del Fomento Educativo o si son escuelas particulares), lo cual está correlacionado con el nivel de ingreso. Uno de los programas más importantes de la Secretaría de Educación Pública (SEP) para elevar la calidad educativa es el programa ele Escuelas de Tiempo Completo (PETC), el cual ha sido sujeto de diversas evaluaciones externas. No obstante lo anterior, a la fecha el PETC r.o cuenta con una evaluación de impacto que permita identificar los efectos positivos y/o beneficios atribuibles al programa. El presente documento tiene como objetivo llenar este vacío, al analizar si las escuelas que han permanecido incorporadas al PETC de 2007 a 2012, cuentan con mejores resultados (o en otras palabras, mejor rendimiento académico) en la Prueba ENLACE, en relación con las que no se encuentran incorporadas al programa. Para determinar el impacto del PETC en el rendimiento académico de lo:; alumnos, se calculó el estimador de diferencias en diferencias con una regresión, siguiendo la metodología propuesta por Abadie (2005) y el ejercicio realizado por Cansino y Sánchez (s.f). Los resultados muestran que a partir del segundo año de incorporación <11 PETC, las escuelas beneficiarias tienen mejores resultados en la Prueba ENLACE en cumparación con las que no reciben el apoyo del PETC. Este mismo efecto se repite al hacer el análisis de las escuelas que han recibido los beneficios del PETC por un periodo de cuatro años.. 3.

(5) l. Introducción. El monitoreo y evaluación (MyE) de los resultados de los programas sociales es una herramienta fundamental para la toma de decisiones de política pública. Estas acciones e instrumentos de MyE adquieren más relevancia cuando las relacionamos con el tema de rendición de cuentas de recursos públicos. La rendición de cuentas ·.,ela, principalmente, por una asignación eficiente y focalizada de estos recursos para lograr el mayor impacto posible y que efectivamente se utilicen para cumplir los objetivos para los que fueron asignados. Asimismo, se ha demostrado que contar con sistemas y acciones de MyE continua, permiten mejorar el diseño, la operación, la gestión y los resultados de programas gubernamentales financiados con recursos del erario público. Diversos países de América Latina como Colombia, Chile y Brasil, han adoptado la evaluación como parte elemental de su planeación gubernamental y México no ha sido la excepción. En el caso de nuestro país, la política de desarrollo social (programas y acciones dirigidas al combate a la pobreza, a elevar la calidad educativa y la atención en salud y seguridad social. principalmente) ha sido el instrumento principal del Gobierno Federal alrededor del cual se ha desarrollado un Sistema de Evaluación del Desempei'io (SED).. Un sistema de evaluación continuo produce datos e información valiosa para poder realizar un diagnóstico veraz sobre el estado y avances en los rubros que int,~gran la política de desarrollo social, como el tema educativo. En relación con la educación básica (preescolar, primaria y secundaria), a pesar de los altos índices de cobertura alcanzados en este nivel 1 , el principal reto de la política educativa implementada por las dos últimas administraciones presidenciales (2000-2006 y 2006-2012), ha sido elevar su calidad y consecuentemente el desempeño escolar de los alumnos. Lo anterior se refleja en los resultados de evaluaciones y pruebas estandarizadas como ENLACE y PISA, los cuales corroboran que existe una I. De acuerdo con el Instituto Nacional para b Evaluación de la Educación (INEE, 2012: 202), la tasa neta de cobertura por nivel educativo en el ciclo escolar 2009-201 O fue de 79.1 por ciente en Prescolar, superior a 100 por ciento en Primaria y de XX por ciento en Secundaria. La tasa neta de cobertura es una aproximación de la cobertura de los servicio:; educativos ofrecidos a la población que tiene las edade, normativas para estudiar cada nivel escolar. Las edades normativas consideradas son de 3 a 5 mios para preescolar, de 6 a 11 para Primaria y de 12 a 14 par;1 Secundaria.. 4.

(6) desigualdad manifiesta en la calidad de la educación básica dependiendo de la entidad federativa, el tipo de localidad (urbana o rural), el nivel de marginación, y el tipo de escuelas (si pertenecen al sistema general, indígena, del Consejo Nacional del Fomento Educativo o si son escuelas particulares), que está correlacionado con el nivel de ingreso (CONEVAL, 2012).. Uno de los programas más importantes en términos presupuestales de la SEP y con un objetivo explícito en sus Reglas de Operación de elevar la calidad ec.ucativa de sus escuelas beneficiarias, es el programa de Escuelas de Tiempo Completo (PETC). 2. .. Desde el inicio de. su implementación en 2007, el PETC ha sido sujeto de diversas eva!Jaciones cuantitativas y cualitativas, impulsadas desde la Coordinación Nacional del Programa, para recabar evidencia de sus resultados y establecer mecanismos y procesos de mejora continua. A pesar de contar con numerosas evaluaciones externas, el PETC no ha sido sujeto de una evaluación de impacto que permita mostrar el efecto en el desempeñJ escolar de su población beneficiaria. El presente documento tiene como objetivo llenar este hueco, al analizar si las escuelas que han permanecido incorporadas al PETC desde su inicio en 2007 hasta 2012, cuentan con mejores resultados en la prueba EN LACE ai:ribuibles a la intervención del programa, en relación con las que no reciben el bern!ficio del programa. Para determinar este impacto, se calculó el estimador de diferencias 1!11 diferencias con una regresión, siguiendo :a metodología propuesta por Abadie (2005) y el ejercicio realizado por Cansino y Sánchcz (s.f). Los resultados muestran que a partir del segundo año de incorporación al PETC, las escuelas benel'iciarias tienen mejores resultados en la Prueba ENLACE en comparación con las que no reciben el apoyo del PETC. Este mismo efecto se repite al hacer el análisis de las escuelas que han recibido los beneficios del PETC por un periodo de cuatro años.. El documento se organiza de la siguiente manera, en la sección dos s,:: realiza una breve descripción del dcsan-ollo e institucionalización de un sistema de evaluación en México. La ' Para la operación del PETC. el Presupuesto de Egresos de la Federación (PEF) le asignó en 2012 poco 1mís de tres mil millones de pe,os. mientras que para 2013 esta cifra ascendió a más de ,;eis mil millones de pesos. lo que represent;i un incremento anual de más del l 00 por ciento.. 5.

(7) sección tres incluye un resumen del panorama actual de la calidad educativa en México. En la sección cuatro se enuncian las principales características y objei:ivos del PETC. En la siguiente sección se expone la relevancia de realizar una evaluación de impacto y se puntualiza el método de estimación seleccionado para realizar el análisis. La sección seis muestra los resultados obtenidos de los tres cálculos del modelo de diferencias en diferencias estimados. En la última sección se presentan las conclusiones.. 2. Hacia la construcción y fortalecimiento de un sistema de Monitoreo y Evaluación (MyE) en México.. De acuerdo con Castro, F. M., López-Acevedo, G., Beker, G. y Fernández, X. (2009), los esfuerzos por instituir la evaluación de los programas federales wmo una práctica del gobierno, datan de mediados de 1970 en México. Sin embargo, e~. hasta finales de los años 90, cuando las reformas de MyE y de gestión basada en resultado;; comenzaron a arraigarse en la administración pública federal. Un mayor avance hacia la institucionalización de la evaluación en México se dio a partir de 2004 con la publicación rn el Diario Oficial de la Federación ele la Ley General de Desarrollo Social (LGDS), con la cual se introdujeron mejores prácticas ele política social y estándares ele MyE internacionalmente aceptados. Esta ley también creó el Consejo Nacional de Evaluación ele la Política de Desarrollo Social (CONEV AL), como una institución con autonomía y capacidad ·:écnica con las atribuciones ele nornrnr y coordinar la evaluación ele la política mcional ele desarrollo social y ele cstabh:cer los lineamientos y criterios para la clefinicion, identificación y medición ele la pobreza. Las características únicas del CONEV AL, concretamente su independencia, c<1pacidacles técnicas y mandato3, le han perrnitidü avanzar en la construcción del sistema ele MyE del sector social y a la vez ejercer una importante inl1uencia sobre el desarrollo de la gestión basada en resultados en el gobierno federal (Castro, F.M. et al., 2009).. 'La Ley General de Desarrollo Social precisa las directrices de la Política Nacional de Desarrollo Social, incluyendo sus objet:vos, planeación y programación, financiamiento y gasto. Establece el Sistema Nacional de Desarrollo Social. puntualizando sus objetivos y la manera en que será integrado: y tinalmente, detalla los mecanismos para la evaluación de la política de desarrollo social, instituyendo el CON E V AL..

(8) La creación del CONEV AL impulsó la medición del desempeño y la gestión basada en resultados, principalmente a nivel Federal. Como consecuencia, se han introducido con éxito prácticas y herramientas de MyE estandarizadas, que influyen en la toma de decisiones de la asignación presupuestaria.. Un sistema de evaluación y monitoreo puede tener muchos propósitos, vinculados con procesos internos del gobierno como el control presupuesta!, el de'.;arrollo de mecanismos de seguimiento a la gestión, el control del desempeño de funcionarios o agencias; o externos a él, como las decisiones legislativas sobre asignación del gasto, la fiscalización por parte de entidades externas, la rendición de cuentas. No obstante, a en todos los casos existe un elemento común: la intención de que el monitoreo y la evaluación sirvan para mejorar el desempeño de los programas (Cejudo, G ., 2011 ).. En la experiencia mexicana, las evaluaciones se han utilizado en muchas de estas formas, pero principalmente para consolidar programas sociales frente a enrubios en los gobiernos (como en el caso de Oportunidades); para incidir en las negociacicncs presupuestales y para influir en el debate público sobre las decisiones de gasto.. Sin embargo, para incidir en los resultados de un programa, los hallazgos de una evaluación tienen que ser convertidos en recomendaciones aplicables; estas recomendaciones, a su vez, deben ser incorporadas en la toma de decisiones y dichas decisio111:s han de resultar en acciones concretas. Finalmente, dichas acciones, si la lógicil c¡¡usal que las motiv¡¡ es corrcctil y lil implementilción adecuada, llevarán a mejores resultados en el programa (Cejudo, G., 2011).. De acuerdo con Gómez (201 O), México cuenta con un sistema en pie de MyE, con un marco nonnativo, instituciones con un rol definido, oficin¡¡s ele cv;1luación en las secretarías de la administración pública federal, rutinas y procedimientos parn contratar evaluaciones. No obstante, es necesario reforzar los mecanismos existentes para darle salida pública a los resultados de las evaluaciones.. 7.

(9) 2.1 Los instrumentos de Evaluación en México. En el marco del Sistema de Evaluación del Desempeño (SED) 4 y con el objetivo de orientar los programas y el gasto público al logro de objetivos y metas, así ::orno medir sus resultados objetivamente mediante indicadores relacionados con la eficiencia, economía, eficacia y la calidad en la Administración Pública Federal y el impacto del gasto social público, en 2007, la Secretaría de Hacienda y Crédito Público (Hacienda), la Secretaría de la Función Pública (Función Pública) y el CONEVAL, publicaron conjuntamente en el Diario Oficial de la Federación, los Lineamientos Generales para l.i Evaluación de los Programas Federales de la Administración Pública Federal. En dichos Lineamientos se establecen los tipos de evaluación que deberán aplicarse a los programas federales, las cuales son:. a) E\'(//11ació11 ele Consistencia y Res11/tados: analiza sistemáticamente el diseño y desempeño global de los programas federales, para mejorar su gestión y medir el logro de sus resultados con base en la matriz de indicadore.,; b) l~l'al11ació11 ele lnelicaelores: analiza mediante trabajo de canpo la pertinencia y alcance los indicadores de un programa federal para el logro de resultados; c) 1:·l'{/111ació11 ele Procesos: analiza mediante trabajo de campo si el programa lleva a cabo sus procesos operativos de manera eficaz y eficiente y si contribuye al mejoramiento de la gestión: d) 1:·l'(/1i/(/ció11 de Impacto: identifica con metodologías riguwsas el cambio en los indicadores a nivel de resultados atribuible a la ejecución del programa federal: e) El'(//11ació11 Específica: aquellas evaluaciones no comprendidas en los lineamientos y que se realizarún mediante trabajo de gabinete y/o campo.. ' En 2006, la Ley Federal de Presupuesto y Responsahilidad Hacendaría crea al SED. como parte del proceso de construcción. instilucionalización e implementación de un sistema de MyE en México. De acuerdo con este ordenamientn. el :-;1-:n se define eonw ""un conjunto de elementos melodologieos que permiten reali/.ar una valoración ohjetiva del desempeño de los programas. con hase en indicadoi-es estratégicos y de gestión, para conocer el impac·:o social y económico de los proyectos y programas.". 8.

(10) Los tipos de evaluación que se realizarán por año se establecen en el Programa Anual de Evaluación (PAE), documento normativo que también emiten conjuntamente Hacienda, Función Púbica y CONEV AL. En este documento se establece si las evaluaciones deberán realizarlas las unidades de evaluación de las propias dependencias o si serán coordinadas por CONEV AL, la Unidad de Evaluación del Desempeño de Hacienda o la Unidad de Evaluación de la Gestión y el Desempeño Gubernamental de Función Pública. De 2007 a 2013, se han realizado un total de 1,052 evaluaciones a programas y estrategias del gobierno federal 5 de acuerdo con las cifras del siguiente cuadro.. Cuadro 1. Número y tipos de evaluaciones Tipos de evaluaciones. 2007. 2008. 2009. 2010. 2011. 2012. 2013. Total. Consistencia y Resultados. 106. -. -. -. 180. 3. 9. 298. Diseño. 13. 22. 29. 15. 17. 8. 34. 138. Específica*. 6. 133. 131. 137. 2. 154. 4. 567. Procesos. -. -. 5. 8. 2. 8. 5. 28. Impacto. 1. 2. 5. 1. l. -. 10. Estratégicas. 1. 1. 2. 3. 2. -. 2. 11. 127. 158. 172. 164. 204. 173. 54. 1,052. Total. * A partir de 2008 se incluyen las evaluaciones específicas de desempeño. Fuente: elaboración propia con información del Consejo Nacional de Evaluación de la Política de Desarrollo Social. http://www.coneval.gob.mx/Evaluacion/Paginas/Normatividad/ProgramaAnual.aspx. Tomando en cuenta la cifra del número de evaluaciones realizadas, así como su tipo, se reafirma el hecho de la consolidación en México de un sistema continuo y cada vez más sofisticado de MyE.. Seleccionar entre las opciones de evaluación disponible siempre es un reto para los administradores die! programa, evaluadores y agentes del gobierr.o interesados en la asignación eficiente y eficaz de los recursos públicos. E I valor agregado de los esfuerzos de evaluación del programa se verá reforzado cuando los clientes de la información de las 5. Las cifras corresponden al número total de informes finales de evaluación re:ibidos por CONEV AL y a las evaluaciones establec:idas en los respectivos programas anuales de evaluación.. 9.

(11) evaluaciones tengan una idea clara de lo que están buscando. Los clientes, administradores de programas y evaluadores se enfrentan a un menú de opciones de evaluación.. Asimismo, es importante considerar que los recursos para realizar acciones de evaluación y monitoreo generalmente son muy restringidos. La priorización en1re los tipos de evaluación a realizar debe considerar las necesidades más urgentes de inform1ción de los tomadores de decisiones. De acuerdo con Wholey, J., Hatry, H. y Newcomer, K. (2010), cinco preguntas básicas se deben responder cuando se está considerando evaluar algún programa gubernamental o política pública:. 1. ¿Los resultados de la evaluación influirán en las decisione3 del programa? 2. ¿Los resultados de la evaluación estarán disponibles a tiempo para que sean útiles 3. ¿El programa es relevante para que sea sujeto a evaluación?. 4. ¿El desempefio del programa se percibe como problemático? 5. ¿En qué etapa se encuentra el programa en su desarrollo?. En pocas palabras, el tipo de evaluación a realizar será determinado por las necesidades de infonnación de los tomadores de decisiones y por la disponibilidad presupuesta!. Dentro de este menú de evaluaciones, la evaluación de impacto es el tipo de evaluación con metodologías más rigurosas para determinar si existe un impacto del programa en características económicas o relacionadas con el bienestar de sus beneficiarios, mediante el uso de los indicadores estratégicos. Este tipo de evaluación se revi:mrá más a fondo en la sección cinco.. 10.

(12) 3.. Panorama actual de la calidad educativa en México. La LGDS indica en su Artículo sexto que la educación es uno de los derechos para el desarrollo social. Asimismo, en su Artículo 14 establece que la política nacional de desarrollo social debe incluirla como una de sus vertientes para la superación de la pobreza.. Adicionalmente, en el documento del Plan Nacional de Desarrolle (PND) 2007-2012 se reconoció que persisten rezagos considerables en el sistema educativo nacional, de los cuales los más importantes son la falta de oportunidades de gran parte de la población para acceder a una educación de calidad.. Como parte de los objetivos del PND 2007-2012, se estableció asegurar la igualdad de oportunidades y la ampliación de capacidades para que todos los mexicanos mejoraran significativamente su calidad de vida y tuvieran garantizada una educación adecuada para su desarrollo, tal como lo establece la Constitución. Para alcanzar este objetivo general, el PND y el Programa Sectorial de Educación (PSE) 2007-2012 establecieron como objetivos específicos:. a) Reducir las desigualdades regionales, de género y entre grupos sociales en las oportunidades educativas. b) Aumentar la calidad de la educación. c) Promover la educación integral de las personas en todo el ~.istema educativo.. El nivel de la calidad educativa predice de mejor forma el éxito ec,Jnómico de un país que el número de años de educación (OCDE, 201 O). Una fonna de examinar la calidad es por medio de los resultados del examen PISA (Programmefor lntenwtional St11de11t Assessment, por sus siglas en inglés). La prueba PISA permite conocer el nivel de habilidades necesarias que han adquirido los estudiantes para parti:::ipar plenamente en la sociedad, centrándose en dominios claves como Lectura, Ciencias y Matemáticas. La. 11.

(13) prueba mide si los estudiantes tienen la capacidad de reproducir lo que han aprendido, de transferir sus conocimientos y aplicarlos en nuevos contextos académicos y no académicos, de identificar si son capaces de analizar, razonar y comunicar sus ideas efectivamente, y si tienen la capacidad de seguir aprendiendo durante toda la vida. Para PISA, esos dominios 6. están definidos como competencia (literacy) científica, lectora o matemática. En la prueba de 2009, México estuvo en el lugar 50 de 65 países y fue el integrnnte ele la Organización para la Cooperación y el Desarrollo Económico (OCDE) con el rernltado promedio más bajo en cada una de las categorías; no obstante, fue el país con mejor promedio de 7. resultados entre los 71 países latinoamericanos evaluados, excluyendo a Chile (PISA, 2009). En 2011 se implementó la estrategia ··Hacia Pisa 2012", en la cual se orientó el currículum y planes de estudio, se fortaleció la enseñanza de matenáticas y el gusto por la lectura, con el objetivo de mejorar los resultados de México en la prueba PlSA 2012.. En cuanto al concepto de rendimiento educativo, podemos afirmar que en México éste es muy desigual y varía según la entidad federativa, el tipo ele localidad y la estructura ele la escuela De 2006 a 2012. el porcentaje de alumnos de Primaria con logro insuficiente y elemental en la Evaluación Nacional de Logro Académico en Centros Escolares (ENLACE) tuvo una tendencia decreciente, pero existe una gran di·,ersidad de resultados por tipo de escuela. La diferencia en el porcentaje de alumnos con logro insuficiente y elemental en las escuelas adscritas al Consejo Nacional de Fomente Educativo (CONAFE) e indígenas y las escuelas particulares es de más de 40 puntos porcentuales en 2012 en español, y más ele 30 puntos porcentuales en matemáticas. No obstante, los gráficos también muestran que al comparar estos tipos de escuelas entre 2006 y 2012 se observa que las brechas han disminuido.. Para PISA, literacv se 1·elicre. por un lado. a la capacidad para aplicar conocimirntos y destrezas en situaciones diversas y. por otro, a la consecución de procesos cognitivos complejos. tales corno analizar. razonar, comunicarse de manera efectiva: así corno plantear, resolver e interpreta1 diferentes problemas. Como se ve. el concepto de alfabetización o literacy usado en PISA va más allá d,: la idea tradicional de la capacidad de leer y escribir: es considerada como una habilidad que se aprende a lo largo de la vida y no como un rasgo que un individuo tiene o no tiene (INEE, http://www.inec.edu.mx/index.php/bases-dcdatos/bases-de-datos-pi s;!l'.ill! e-es-pisa). 7 La prueba PISA se aplica cada tres años. La prueba PISA 2012 se aplicó el 20 y 21 de marzo de ese a110. no obstante los resultados aún no están disponibles y se espera que sean públicos en mayo de 201 J.. <,. 12.

(14) Gráfico l. Porcentaje de alumnos de 3° a 6° de primaria, en insuficiente y elemental en Español en la prueba ENLACE, 2006-2012 Por modalidad educativa 120 100 80 60 40 20. o 2006. 2007. -+- CONAFC -. 2008. 2009. 2010. INDÍGENA ~. GENERAL. 2011. 2012. PARTICULAR. Fuente: Elabo rac ión propia con datos de la SEP. http ://cnlace .sep.gob .mx/co nten t/ba/pages/cstadisticas/estadisticas.html. Gráfico 2. Porcentaje de alumnos de 3° a 6° de primaria, en insuficiente y elemental en Matemáticas en la prueba ENLACE, 2006-2012 Por modalidad educativa 120 100 80 60 40 20. o 2006. 2007. -+- CO AFE -. 2008. 2009. 2010. INDÍGE A ~. GENERAL. 2011. PARTICULAR. Fuente: Elaborac ión propia con datos de la SEP. http: / /en lace .se p.gob. m.x/co n tent/ba/pages/estadi sticas/estad isti cas. htm 1. 13. 2012.

(15) De acuerdo con estos resultados, podemos afirmar que existe desigualdad en la calidad de la educación básica dependiendo de la entidad l'ederativa, el tipo de localidad (urbana o rural), el nivel de marginación, y el tipo de escuelas (si pertenecen al sistema general, indígena, del Consejo Nacional del Fomento Educativo o si son escuelas particulares), que está correlacionado con el ni\'el de ingreso (CON E V AL, 2012).. 3.1 Ernluación periódica de la calidad educativa: la prueba ENLACE. La evaluación para el aprendizaje requiere obtener evidencias para conocer los logros de aprendizaje ele los alumnos o las necesidades ele apoyo. Definir una estrategia ele evaluación y seleccionar entre una variedad de instrumentos es un trabajo que requiere considerar la congruencia con los aprendizajes esperados establecidos en la planificación, la pertinencia con el momento de evaluación en que serán aplicados, la medición de diferentes aspectos acerca de los progresos y apoyos en el aprendizaje ele los alumnos, así como ele la prúctica docente (SEP, 2010). La Evaluación Nacional ele Logro Académico en Centros Escolares (ENLACE) cumple con dichos elementos.. Hast,1 el ai'io 2005 no se contaba con una evaluación del sistenrn nacional de eclucacil'in búsica. La prueba ENLACE es una evaluación anual estandarizada con lines diagnósticofonnativos que la SEP aplicó por primera vez en el año 2006 a alumnos ele 3" ,1 6" grados de prim,1ria y 3" grado ele secundaria en todas las escuelas públicas y privadas del país. J\ partir del ,1110 2009 también se aplica en I" y 2'' de secundaria. ENLACE representa la acción evaluativa de mayor dimensión en el Sistema Ecluc,1tivo Nacional en \ irtud ele dos razones funclamenuiles, la Gmticlad de pruebas di t'crentes que se aplic,m y la cobertura que tiene. En 2012, ENLACE se aplicó a un total de 13 millones 507 mil 167 alumnos de 3" a 6" ele primaria y de I" a 3" ele secundaria en 116 mil 251 centros escolares. clurnnte la Semana Nacional de la Evaluación (SEP.2012).. 1-1.

(16) La prueba ENLACE tiene como objetivo principal generar una escala nacional que proporcione infonnación comparable del logro académico de los alumnos que permita sustentar procesos efectivos y pertinentes de planeación educativa y política pública. ENLACE es un instrumento censaL que mide y aporta infonnación confiable sobre el nivel dominio o rendimiento académico en las asignaturas evaluadas -espaíiol, matemáticas y a p,irtir de 2008 una tercera materia que se rota cada afio hasli1 cubrir todo el currículum-. A partir de 2007, México es el único país del mundo que re,lliza esta prueba todos los m1os de manera censal y transparente.. La prueba estú conformada por reactivos de opción múltiple, 50 como mínimo y 70 como máximo para cada asignatura. Su contenido se ajusta a los establecidos en los planes y programas de estudios oJ'iciales vigentes. En términos de comparabilidad, cada año se e\·,dúan en prctcst los reactivos a utilizarse de manera operntiva al m10 siguiente y pem1iten una referencia nacional. Sus resultados se miden en puntajes por asignatura y global, en una esrnla de 200 a 800 con media 500 y desviación estánd,1r de l 00 para cada grndoasignatura.. Es importante sefüilar que l,1 implementación de ENLACE se ha trnducido en una mayor visibilidad y concientización entre la población de la importimcia de b calidad educativa y lw fomentado una mayor participación de los padres de familia y organi1.aciunes de la sociedad ci\·il en el proceso eclucali\·o. Los resulli1dns de ENLACE son públicos y tr,rnsparentes, lo que prnmue\ e la rendición de cuentas.. En 20 l 2, los result,1dos de EN LACE mostraron que el 44.3 11;> ele los alumnos de 3" a 6" de Primaria obtuH1 un logro ,1c,1clémico Bueno o Excelente en la prueba EN LACE M,1temúticas, lo que representa 26. 7 puntos porcentuales más que en el año 2006 . •\simismu. se observó que el 41.8% de los alumnos de 3'' a 6" de Primaria obtuvo un logro académico Bueno o Excelente en la prueba ENLACE Esp,11101, lo que representa 20.5. 15.

(17) puntos porcentuales más que en el año 2006. Ambos resultados rebasaron la meta presidencial establecida para 2012 8 .. Gráfico 3. Porcentaje de alumnos de 3° a 6° de primaria, en bueno y excelente en Español en la prueba ENLACE, 2006-2012 Por modalidad educativa 80.0 69.3. 69. 3. 70 .0. 66.7. 67.S. 65. 7. 60.0. SO.O 40.0 30.0 20 .0. !O.O O.O. 4. 1. 4.~. 2006. 2007. CONAFE. 2008. 2009. GENERAL. 2011. 2010. INDÍGENA. ~. 20 12. PART ICULAR. Fuente : Elaboración propia con datos de la SEP, http ://enlace. sep .gob.mx/content/ba/pages/estadisticas/estadisticas.html. 8. Las metas presidenci a les de l porcentaje de alumnos con nivel de logro Bueno y Excelente par ENLACE 2012 fueron 27 .5% para el caso de matemáticas y 29.9% en español.. 16.

(18) Gráfico 4. Porcentaje de alumnos de 3° a 6° de primaria, en bueno y excelente en Matemáticas en la prueba ENLACE, 2006-2012 Por modalidad educativa 70.0 61.3. 60.0. 57.2. 56.8. 2008. 2009. 58.6. 57.4. 2010. 2011. SO.O 40.0 30.0 20.0 10 .0. O.O. 4.5. 5.4. 2006. 2007. CONAFE. -. INDÍG ENA. GEN ERAL. 2012. - * - PARTI CULA R. Fuente: Elaboración propia con datos de la SEP, http://enl ace .sep .gob.mx/ content/ba/pages/estad isticas/estadi sticas.html. Debido a su relevancia, disponibilidad y calidad de su información que genera, ENLACE es el instrumento ideal para conocer el rendimiento académico de los alumnos y verificar si el PETC ha incidido positivamente en los resultados de los alumnos beneficiarios .. 4. Mejorando la calidad de la educación básica: el programa de Escuelas de Tiempo Completo. En México, los alumnos de preescolar y primaria pública van únicamente 4 .5 horas efectivas a la escuela, por lo que el país se ubica dos horas por debajo del promedio del horario escolar de los países de la OCDE. En el Acuerdo de cooperación México-OCDE. para mejorar la calidad de la educación de las escuelas mexicanas , este organismo internacional reconoce que en México la jornada escolar es corta, con tiempo de enseñanza. 17.

(19) efectiva insuficiente, porque en muchas escuelas la enseñanza y el liderazgo son de baja calidad (OCDE, 201 O).. En este contexto, el Programa Escuelas de Tiempo Completo (PETC) surge como una iniciativa para contribuir a mejorar las oportunidades de aprendizaje de los alumnos de las escuelas públicas de educación básica mediante la ampliación de la jornada escolar a ocho horas. El PETC atiende escuelas de educación básica públicas, en todos sus niveles y modalidades, desde su inicio en 2007.. El universo ele población potencial del PETC es definido como las escuelas públicas ele educación básica que cumplen con los siguientes criterios de factibilidad técnica para la ampliación de su jornada escolar:. •. Tienen al menos un docente para cada grupo (no son multigraelo) .. •. Que operen en un solo turno. •. Que se encuentren ubicadas preferentemente en contextos urbanos y urbanos marginales.. •. Presentan bajos resultados educatinis (entre los que podrún considerarse los resultados de la prueba ENLACE). El proceso de incorporación de escuelas que cumplen con las cmactcrísticas de Cactibilid,1d técnic,1 ¡rnra ser beneliciarias de PETC se describe en el siguiente dü1gram,1.. 18.

(20) Diagrama l. ¿Cómo se incorporan las escuelas al PETC?. La Autoridad Educativa! Estatal manifiesta su compromiso para participar en el programa. Se e labora el Plan Estatl del ciclo escolar para la implementación del PETC. Se identifican las escuelas qu e tienen factibilidad técnica para ampliar su jornada. Como parte de la planeación, se precisa la matrícula de cada escuela y se elabora el Plan de distribución de apoyos económicos a directivos y docentes. La comunidad escolar (director, docentes y padres de fami lia) manifiesta su interés y compromiso para ampliar la jornada escolar. Se capacita a l personal di rectivo y docente para la imp lementación de propuesta pedagógica y la gestión en la ETC. Las escuelas e laboran su plan de trabajo para la ampliación de la jornada.. Se sistematiza, analiza y valida la información de las escuelas para definir sus requirimientos básicos. La Autoridad Educativa Estatal establece la base de datos con las escuelas incorporadas oficialmente al programa. Se definen los mecanismos para distribuir los recursos federales transferido a las ETC participantes. Se lleva acabo el acompañamiento y seguimiento continuo a la implementación pedagógica, operativa y admin istrativa de la jornada ampliada Fuente: elaboración propi a con informac ión del PET C (SE P, 2009).. Es importante señalar que este programa atiende las recomendaciones de organismos internacionales como la OCDE, la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESC0)9 y la Organización de Estados Iberoamericanos para la. 9. En la ··Declaración de Coehabamba y reco menda c io nes sob re po líticas edueatirns al ini cio del s igl o xx r ·, la UNESCO estableció aumentar el tiemp o dedicado a l aprendizaje teniendo como ho rizo nt e la ampliación progresiva del calendario para alcanzar una jornada de al men os 200 días y al menos 1,000 horas anual es. La ampliación del tiempo ha de acompañarse de medidas que faciliten su aprovechamiento efectivo, por lo que es necesario utili zar métodos de enseiianza fle xib les y di versificados.. 19.

(21) Educación, la Ciencia y la Cultura (OEI) 1º, que señalan la necesidad de incrementar el tiempo dedicado al aprendizaje, teniendo como horizonte la ampliación progresiva del calendario y/o el horario escolares. Esta ampliación debe acompañarse con un conjunto articulado de acciones que aseguren el uso efectivo del tiempo escc,lar para el fortalecimiento de los aprendizajes y el desarrollo de las competencias previstas en el perfil de egreso de la educación básica. Por otra parte, la estrategia de extensión de la jornada escolar ofrece la posibilidad de atender necesidades sociales surgid:is en los últimos 25 años relacionadas con los cambios en la estructura familiar por la incorporación de las mujeres al mercado laboral, las familias uniparentales y las familias en las que ambos padres trabajan.. Los recursos del PETC son subsidios de carácter federal, asignadcs por la SEP y ejercidos por las Autoridades Educativas Estatales y por la Administración Federal de Servicios Educativos del Distrito Federal, para ser utilizados únicamente en la operación del PETC. Estos recursos podrán ser utilizados para:. a.. Actualización del personal directivo, docente y de apoyo.. b. Seguimiento, acompañamiento y asesoría a las Escuelas de Tiempo Completo. c.. Material didúctico y equipo informútico para uso educativo.. d. Servicios e insumos para alimentación de alumnos y docent:::s. c.. Personal de apoyo para la atención al horario escolar amplirdo.. f.. Acondicionamiento y equipamiento de espacios escolares.. g. Fortalecimiento de las Coordinaciones Estatales del Programa de Escuelas de Tiempo Completo.. 10 En el marco del proyecto ··Metas 2021. La educación que queremos para la generación de los bicentenarios ... promovido por la OEI, se estableció en la Declaración de Buenos Aires, el compromiso de mejorar la calidad de la educación y el currículo escolar se establece como meta específica que en 2015 al menos l O por ciento de las escuelas públicas de educación primaria sean de tiempo completo. y que entre 20 por ciento y 50 por ciento lo sean en 2021.. 20.

(22) 4.1 Descripción de la propuesta pedagógica del PETC. La jornada escolar en las ETC ofrece la posibilidad de incorporar y promover una serie de actividades con una mirada pedagógica diferente. El principal detonador de los cambios que propone la propuesta pedagógica del PETC está asociado con ofrecer mayores oportunidades de aprendizaje para niños y jóvenes, a través de la ampliación del tiempo dedicado al horario escolar y del uso efectivo del tiempo a partir de la implementación de seis Líneas de Trabajo:. 1. Arte y cultura. Relacionada con el conocimiento, aprecio y respeto de la cultura propia y de otras culturas, así como el descubrimiento y la experimentación de las diversas manifestaciones del lenguaje artístico (artes plásticas y visuales, expresión corporal y danza, música y teatro). 2. Promoción de 1111a vida sa!udahle y ali111e11tació11 balanceada. Enfocada al desarrollo de hábitos alimenticios, a la promoción de la salud y la prevención de enfermedades (adquisición de estilos de vida saludable, a la promoción ele entornos seguros y favorables para la salud). 3. Recreación, deporte y actimciónfisica. Concerniente al desarrollo de actividades lúdicas y de promoción al deporte (se promueve la conviven~ia diaria, la recreación, la vivencia del cuerpo y el ejercicio de su corporeidad). 4. Uso didáctico de los Ternologías de !11fimnoció11 y Co1111micació11 (71Cs).. Incorporación de estos recursos como apoyo a los aprendizaJ es (desarrollo de habilidades para gestionar la búsqueda, selección y organización de infomrnción). 5. Fortaleci111ie11to de los aprendi::.l!jes. Relacionada con la mejora de: la lengua oral y escrita (hablar, escuchar, leer y escribir); las matemáticas (et Iculo aritmético, razonamiento matemático, solución de problemas): y el conccimicnto científico (observación, indagación, reflexión y experimentación).. 21.

(23) 6. Aprendizaje del idioma Inglés. Relativa a la enseñanza y desarrollo de competencias para el aprendizaje de una o más lenguas además del español.. La propuesta pedagógica del PETC tiene como objetivo último, eleYar la calidad educativa impartida en las escuelas beneficiarias, con efectos positivos en el desempeño académico ele los alumnos.. 4.2 Características de las ETC. Si bien las ETC cuentan con mayor tiempo de jornada escolar, ésta no es su característica principal. La organización, la gestión escolar, el uso del tiempo y el tipo de actividades que se promueven, tanto en la escuela, como en el aula son las particularidades que le dan el sello distintivo al programa.. Sohre este mismo aspecto. Antúnez (2004) menciona ··el tipo de jornada. por sí misma. no produce más o mejores aprendizajes sino que éstos dependen ele la metodología didáctica que utilicen los docentes, de la actitud que tengan ante sus alumnos. :1 ante su trabajo, de las. expectativas sobre sí mismos y sus estudiantes y también, en último ténnino, de su actitud ante el tipo de jornada escolar que se adopte en su escuela".. En este sentido, diversos estudios han concluido que la ampliación de la jornada escolar no signil'ica necesariamente la mejora en la calidad de la educación, ya que son muchas las condiciones y factores para que el tiempo escolar se aproveche hien, pero sí representa un primer paso que contribuye a ello.. Es importante señalar que evaluaciones realizadas antcriom1cnte al programa, han identificado efectos positivos en sus beneficiarios en el ámbito educntivo, económico y social-seguridad, los ~uales se resumen en el siguiente cuadro.. 22.

(24) Cuadro 2. Principales impactos del PETC identificados. e111. evaluaciones externas. Ámbito Educativo Acceso a nuevos y más amplios conocimientos: Inglés, Ciencias, Artes y Nuevas Tecnologías.. Económico. Social y de seguridad. Incorporación de las mujeres al mercado de trabajo apoyando la economía familiar.. Mayor presencia de la escuela en la comunidad y más amplia participación y compromiso de las familias en la educación de sus hijos.. Apoyo a la dinámica familiar de los hogares monoparentales.. Reconstrucción del tejido social.. Desarrollo de valores y actitudes . . . para una meJor conv1venc1a y promoción de la salud: sana alimentación, activación fisica y hábitos de vida saludables.. Mejor clima laboral y mayor productividad al saber que los hijos están en un lugar seguro.. Seguridad para niños y ióvenes.. Mayores oportunidades para el desarrollo profesional y el fortalecimiento del trabajo colegiado del personal docente y directivo.. Incentiva la economía local al generar empleos y la comercialización de productos y servicios.. Coadyuva a erradicar el trabajo infantil.. Fuente: Elaboración propia con información de las evaluaciones ex.temas realizadas al programa. http:/1basica.sep.gob.r1x./tiempocompleto/start.php?act=evaluaciones. 4.3 Evolución de las ETC. Desde el inicio de su operación en 2007, a la fecha, el número de escuelas incorporadas al programa y el número de alumnos beneficiarios, ha ido incrementándose significativamente (ver gráficos 5 y 6). Al cierre del ciclo escolar 2011-2012, un total de 4,751 escuelas participaban en el programa, beneficiando a 932 mil 324 alumnos y sus familias. Para el cierre del ciclo escolar 2012-2013, se estima que estarán operandc, 6,715 escuelas con jornada extendida (de las cuales 944 son escuelas de jornada ampliada en el Distrito Federal) beneficiando a 1 millón 385 mil 179 alumnos, con un pn!supuesto de poco más de. 23.

(25) 3 mil millones de pesos, superando la meta de la Alianza por la Calidad de la Educación de 5,500 escuelas.. Gráfico 5. Evolución de Número de Escuelas incorporadas al programa. 6,715*. 4,751. 2,273. 2,000 953 500. 2007. 2008. 2009. 2010. 2011. 2012. *Meta de cierre ciclo escolar 2012-2013 Fuente: elaboración propia con estadísticas de la SEP.. Gráfico 6. Evolución de alumnos beneficiados de ETC 1,385 , 179*. 932,324. 439,231. 368,620 139,611. 2007. 192,834. 2008. 2009. 2010. 2011. 2012. *Meta de cierre ciclo escolar 2012 -2013 Fuente: elaboración propia con estadísticas de la SEP .. Asimismo, la presente administración presidencial incluyó en el documento de Pacto por. México y como parte de la Reforma Educativa, el establecimiento de ETC con jornadas de entre 6 y 8 horas diarias. Adicionalmente, en términos de recursos, para 2013 el programa. 24.

(26) tuvo un incremento presupuestal del más del 100 por ciento en relación con el presupuesto de 2012. Lo anterior se debe principalmente al buen desempeño con el que lo han calificado las evaluaciones externas que le han realizado al programa.. 5. Elevando la calidad de los programas gubernamentales: la evaluación de impacto. 5.1 ¿Por qué realizar una evaluación de impacto'?. Gobiernos, donantes y otros profesionales de la comunidad de desarrollo han demostrado un creciente interés en determinar la efectividad de los programas con objetivos de largo plazo como la reducción de la pobreza, aumento en las tasas de empleo y elevar la calidad educativa. En la mayoría de los casos, estos objetivos de política pública únicamente son factibles a través de evaluaciones de impactos basadas en la evicencia de datos duros de encuestas o a través de enfoques cuantitativos relacionados.. La evaluación de impacto fonna parte de una amplia gama de métodos complementarios para apoyar las políticas basadas en evidencias. A diferencia de ,Jtros tipos de evaluaciones, que pueden responder a muchos tipos de preguntas, las evaluaci,Jnes de impacto se preocupan por saber cuál es el impacto (o efecto causal) de un programa sobre un resultado de interés. Una evaluación de impacto analiza los cambios en el resultado directamente atribuibles al programa.. El enroque en la causalidad y la atribución es la característica distintiva de este tipo de evaluación y determina las metodologías a utilizar. Para estimar el efecto causal o el impacto de un programa sobre los resultados, cualquier método elegido debe estimar el denominado contrafactual, es decir, cuál habría sido el resultado para los participantes en el programa si no hubieran participado en él. En la práctica, la ev<1 luación de impacto requiere que el evaluador encuentre un grupo de comparación para estimar lo que habría ocurrido con los participantes sin el programa (Gertler, P., Martinez, S., Premand, P., Rawlings, L. y Vermeersch, Christel, 2011).. 25.

(27) Existen diferentes metodologías de evaluación de impacto para e:;timar el contrafactual. Cada uno de estos métodos asume supuestos sobre la naturaleza de los posibles sesgos de selección en la focalización de programas y la participación, y las hipótesis son cruciales para el desarrollo del modelo apropiado para determinar el impacto del programa. Algunos de estos métodos son:. 1. Método aleatorio. 2. Método de matching o aparejamiento. 3. Método de diferencias en diferencias. 4. Método de variables instrumentales. 5. Método de regresión discontinua. 6. Método de impactos distributivos. 7. Método estructural y otros enfoques para modelar.. La variación de estos métodos recae en los supuestos sobre la forma de resolver el sesgo de selección en la estimación del efecto del tratamiento del programa. La disponibilidad y calidad de la información es un factor fundamental para dctemli:rnr los efectos del programa y el tipo de método a utilizar (Gertlcr et. al., 2011 ).. 5.2 El método de Diferencias en Diferencias. El método de Dif'erencias en Diferencias (DD) consiste en aplicar una doble diferencia para comparar los cambios a lo largo del tiempo en la variable de interés entre una población inscrita en un programa ( el grnpo de tratamiento) y una población no inscrita (el grnpo de control).. A diferencia del método de aparejamiento o Propensity Score Match, el DO asume que la heterogeneidad no observada en la participación está presente, pero que dichos factores son. 26.

(28) invariables en el tiempo. Con los datos sobre las observaciones del programa (grupo de tratamiento) y de las observaciones del grupo de control antes y c.espués de la intervención del programa, este componente fijo puede ser diferenciado (Khandker, S., Koolwal, G. y Samad, H., 2010). De acuerdo con las características de la información disponible para realizar la evaluación del PETC, el cálculo del contrafactual con el estimador de DO era el método que se ajustaba para estimar los efectos atribuibles al programa, en los r,~sultados de la prueba ENLACE. Siguiendo la metodología propuesta por Abadie (2005) y Cansino y Sánchez (s.f.), para conocer el efecto causal ( contrafactual) del PETC en cada escuela beneficiaria, definimos un indicador de tratamiento ETC; en forma de variable binaria pma cualquier escuela i(;.1·i111a. de las que, potencialmente, puedan ser beneficiarias del programa.. ETC; = 1, indicará que la escuela i es beneficiaria del PETC.. ETC;= O, indicará que la escuela i no es beneficiaria del PETC. El presente análisis sólo considera una única variable de respuesca PG; que representa el puntaje global obtenido por la escuela i-ésima en la prueba ENLACE. El método de DO presenta la utilidad del uso de observaciones realizadas en dos ir.omentos diferentes del tiempo, por lo que definimos: J>c;,, (!): Valores de la variable respuesta para la escuela i en un momento posterior a la finalización del PETC (t) cuando i es beneficiaria del mismo. P<i 0 , (!}: Valores del puntaje global para la escuela i en un momento posterior a la. finalización del PETC (!) cuando i no ha participado en el mismo (i es una escuela asignada al grupo de control).. PCi 1; (t-1): Valores de la variable respuesta para la escuela i en e I momento previo al inicio del PETC (t-1) cuando i es beneficiaria del mismo.. 27.

(29) PGo; (t-1 ): Valores de la variable respuesta para la escuela i en el momento previo al inicio del PETC (t) cuando i no ha participado en el mismo (i es una escuela asignada al grupo de control). Con esta notación, el efecto causal del PETC sobre la escuela i resultaría del siguiente cálculo: PG ¡¡ (f) - PGo;(/) ( 1). Sin embargo, esta expresión conduce al problema de inferencia e;tadística, ya que los valores PG 1; (t) y PG 0 ; (t) no pueden observarse simultáneamente para la misma escuela i (sucesos contrafactuales) (Cansino y Sánchez, s.f.). Se simplifican las expresiones eliminando el subíndice i y considerando el periodo t-1 como el momento O y t como el momento 1. Así, las expresiones anteriores las podemos reescribir como PG 1 ( 1). PG 0 (1 ). PG 1 (O), PG 0 (O). Esta nueva notación nos indica que: PG 1 (0) = PGo (0). =. PG (O), ya que los resultados en el momento O son independientes si. posteriom1ente la escuela se convierta en beneficiaria del programa o no. PG (1) = PGo (JJ {1-ETC) + PG 1 (1) ETC. siendo ETC= ETC('), lo que indica que se. trata de una variable que sólo toma valores (O, 1) en el momento 1. De esta manera podemos estimar el efecto promedio del PETC S)bre las escuelas beneficiarias del mismo en el momento I ele acuerdo a la expresión: E[PG, (1)-PGo {JJll~"JC=J/ (2). Para realizar el anúlisis de la evolución ele los resultados de las escuelas beneficiarias y no beneficiarias del programa, Athey e lmbens (2006) señalan que en el método de dil'erencias en diferencias se encuentra implícito el supuesto ele que la lende 1cia temporal registrada por los individuos (en el caso ele nuestro análisis escuelas) pertenecientes al grupo de control sirve como variable ..prmy'', para conocer la evolución que hubieran seguido los beneficiarios del programa en el caso ele que no lo hubieran seguido.. 28.

(30) E[PGo (l)-PGo (O)IETC=IJ. =. E[PGo (1)-PGo (O)IETC=Oj (3). De acuerdo con la expresión (3) la diferencia entre los momentos O y l de los resultados potenciales para una escuela del grupo de tratamiento (ETC=/) en el caso de no haber recibido los beneficios del programa (PGo) será igual a la diferencia entre los momentos O y 1 de los resultados potenciales obtenidos por una escuela del grupo de control (ETC=O). Si se cumple lo anterior, se puede obtener un estimador del efecto promedio del PETC sobre las escuelas beneficiarias a partir de la siguiente expresión auvtl's= E[PG, (/; -PGo (l)IETC=I] =. {E[PG (!) IETC= I]- E[PG(l)IETC=O])- {E[PG(O) IETC=lj- E[PG(O) IETC=O]). (4). 0. Utilizando los datos contenidos en la muestra, se puede construir un estimador del efecto causal promedio del PETC en los resultados globales ele la prueba ENLACE de las escuelas beneficiarias de acuerdo con la siguiente expresión (5):. ª1-r--.11•s DID=. n\ b nl. {. b no. PGi (1) - n~. ETC=l. }. PGi (1). {. -. b. n\. I:'TC=O. PGi (O) - nlO. ETC=l. I. - >. ETC=l. PGi (O). =. F.TC=O. {PGi (1) - PGi (O)}=. i=l F.TC=O. 1° D(f'erencia. 2° D(f'erellcia. Diferencias en Diferencias II. }. no. ~1. 1 . .-, 1 {PGi (1) - PGi (O)}- nl "'~ nO i=l. donJe. b no. 111. (5). es el tamaño Je la muestra, 11 I el número de escuelas beneficiarias y 110 el número. de escuelas del grupo de control, cumpliéndose que n. =. ni + 110. De esta fonna, el. estimador au,ll'S se reduce a una diferencia ele diferencias.. 29.

(31) La primera diferencia estima la variación en la variable respuesta (puntaje global en la prueba ENLACE) para las escuelas beneficiarias del PETC. El re:mltado muestra la variación bruta o total registrada en el puntaje global de la prueba ENLACE (PG) de las escuelas beneficiarias del programa. La segunda diferencia recoge la variación registrada en la variable respuesta, PG, para las escuelas en el grupo de control. Dado que estas escuelas no se han beneficiado del programa, la variación del puntaje global que obtengan en la prueba ENLACE (PG) recogerá los efectos de variables externas. ;1. la puesta en marcha del. programa y que actuarían como contaminantes. La tercera diferencia resulta de la resta de las dos anteriores y es la que permite estimar el efecto promedio producido por el PETC sobre las escuelas beneficiarias. Esta tercera diferencia permite calcular la variación neta producida en el puntaje global de la prueba ENLACE de las escudas beneficiarias atribuida exclusivamente a la intervención del PETC, ya que descuenta de la variación bruta de PG, la parte que se debe al efecto de las variables contaminantes.. Calc11/a11do. ef. estimador de diferencias en diferencias. C0/1 1//1(/. regresiá11. El valor del estimador de diferencias en diferencias se puede calcular, alternativamente al cúlculo de la ecuación (5), con un modelo semiparamétrico, de acuerdo con los trabajos de Ashenfelter y Carel (1985), Abadie (2005) y el ejercicio de Cansino y Sánchez (s.f.).. Se realiza la regresión a partir de un modelo lineal del tipo:. Y= ,u+ 1c ·ETC+ f'J·T + a- ( ETC·T) + é' (6). donde:. Y: variable dependiente que recoge los resultados potencia es de las escuelas.. ETC: variable explicativa de carácter binario, resultando ETC= I (si la escuela participa en el programa) o ETC=O (si es una escuela del grupo de control).. 30.

(32) T: variable explicativa de carácter binario. Indica el momento del tiempo en el que. la escuela es observada, que podrá ser bien en un momento posterior al programa. ( T= 1) o en un momento previo ( T=O).. ETC ·T: variable explicativa resultante de multiplicar las dos variables ETC y T.. }, y m: parámetros asociados a las variables explicativas EtC y T.. p: parámetro que muestra los efectos fijos en el modelo.. f': error aleatorio, de media cero: E [ EIETC, T]. =. O. rx: parámetro que determina el efecto conjunto de las varia Jles o interacción de las variables explicativas ETC y T. El desarrollo del modelo lineal de la ecuación (6) y el cálculo del ~stimador de diferencias en diferencias mediante regresión por mínimos cuadrados pennite incluir en el modelo la consideración de variables predete1minadas o contaminantes (X) (Cansino y Sánchez, s.f.). De esta fomrn,. Y = ¡1 + ), ·l:TC + m ·T +. r1. • (. ETC ·T) + /í ·X+ E (7). Para el caso ele que el valor X permanece constante entre los periodos O y I y para poblaciones más o menos amplias, la incorporación de covariable:; al modelo no limita su robustez. Sin embargo, la posibilidad que incluye la ecuación (7), de introducir variables predetenninadas en este modelo, puede ocasionar ruido.. De este modo, cuando el valor de X varía entre los periodos O y 1, la variable probablemente resultará afectada por la intervención, por tanto, si se incorpora al modelo afectará el resultado final del estimador introduciendo enclogenidad en el modelo.. 31.

(33) A pesar de esta situación, de acuerdo con Abadie (2005) y Cansino y Sánchez (s.f.), esta dificultad es posible de resolver, eliminando los problemas de endogenidad incorporados por la covariable afectada por el tiempo. Para resolverlo, se inclu~,e la variable en el modelo de forma conjunta con la variable binaria T, que indica el momento del tiempo en el que la escuela es observada. En este caso: Y= JI+ Á. ·ETC+ u:rT +. <1. • (. ETC·T) + [>, ·(T·X) + /í 0 ·((1-l) ·X) + F. (8). Al utilizar covariables se extiende la identificación de aquellos casos en que las diferencias observadas en la composición de los grupos de tratamiento y de c::mtrol ocasionaron dinámicas no-paralelas en la variable de respuesta. Adicionalmente, está permitido que el efecto del tratamiento difiera entre los individuos, por lo que las covariables se pueden utilizar para describir el efecto del tratamiento en diferentes grupos de población. La característica distintiva propuesta por Abadie (2005) es, que mientras las covariables son utilizadas no-pararnetricamentc para identificación, los estimadores proporcionan parsimoniosas aproximaciones paramétricas al efecto promedio del tratamiento en la condicional tratada en covariablcs de interés seleccionadas.. 6. Resultados del método de diferencias en diferencias. Para realizar la evaluación de impacto del programa ETC, se utilizó la ecuación (8) donde:. PG: variable principal, puntaje global obtenido en la prueba ENLACE (puntaje. promedio de espal'i.ol y matemáticas).. Como covariables se incluyeron en la regresión:. 1. Año de la intervención y aplicación de la prueba. 2. Entidad, municipio y localidad donde se encuentra ubicada la escuela.. 32.

(34) 3. Modalidad educativa: si la primaria pertenece al sistema general, de CONAFE, indígena o particular. 4. Turno: matutino o vespertino. 5. Nivel: primaria 6. Alumnos evaluados: número de alumnos que realizaron la prueba ENLACE 7. Tratamiento: si la escuela recibió el beneficio del programa.. Como fuentes de información utilicé la base de datos de las escuelas beneficiarias del PETC de 2007 a 2012 y la base datos de las escuelas que realizaron la prueba ENLACE en el mismo periodo 11 . Las bases corresponden exclusivamente a escuelas primarias. La muestra final del número de escuelas fue de 610,189, de las cuales 7,742 12 son escuelas beneficiarias del programa (grupo de tratamiento) y el resto co1Tesponde al grupo de control (escuelas primarias que de acuerdo a sus características son población potencial del PETC).. Tabla l. Número de escuelas por año Año 2006. Frecuencia 85,846. Porcentaje 13.89. Acumulado 13.89. 2007 2008 2009 2010 2011 2012 Total. 88,846 91,024 88,288 89,531 90,544 83,852 617,931. 14.38 14.73 14.29 14.49 14.65 13.57 100.0. 28.27 43.00 57.29 71.78 86.43 100.00. Fuente: elaboración propia con mformac1ón de la base de datos de ENLACE y ETC.. 11. La bases de datos de la prueba ENLACE son públicas y se pueden consu·tar en los siguientes links: http://enlace.sep.gob.mx/content/ba/docs/2012/otros criterios de consulta,, listado esc.html; http://enlace.sep.gob.mx/ba/resultados anteriores/: En el caso de la base de datos del PETC, se encontró información disponible de las escuelas beneficiarias en 2012 en el siguient,~ link: http://basica.sep.gob.mx/tiempocompleto/pdf/beneficiadas/BaseDatosPETC 12.pdf Para los años anteriores, se solicitó información a la Coordinación Nacional del PETC. 11 Es importante señalar que la muestra final no toma en cuenta todas las escuelas que recibieron la intervención del programa, de acuerdo con las estadísticas proporcionadas en el Gráfico 3. Lo anterior se derivó de que no todas las escuelas estaban incluidas en las bases para cada año.. 33.

(35) Tabla 2. Número de escuelas por año beneficiarias del programa ETC que se utilizó para hacer la evaluación Año 2006 2007 2008 2009 2010 2011 2012 Total. Total de Escuelas. o o 480 827 1,410 1,663 3,362 7,7742. Fuente: elaboración propia con información de la ba:;e de datos de ENLACE y ETC.. En los cuadros siguientes se tabulan los resultados de la estadística descriptiva del puntaje global por año, así como el promedio del puntaje por año y por grupo de tratamiento y grupo de control.. Tabla 3. Estadística descriptiva por año de los puntajes globales obtenidos en la prueba ENLACE Año 2006 2007 2008 2009 2010 2011 2012 Total. Min 257.08 239.25 279.17 240.79 282.27 257.34 299.67 239.25. Media 481.13 480.78 486.20 494.70 506.43 518.89 537.72 500.65. Mediana 480.96 481.29 486.5 496.82 506.59 518.42 535.0 499.25. Desv. std 60.55 65.86 67.76 70.93 72.22 75.05 78.83 73.06. Max 809.27 819.0 801.2 804.33 857.96 858.66 885.0 885.0. Fuente: elaboración propia con información de la base de datos de ENLACE.. En la tabla se aprecia que en el año 2007 se obtuvieron los puntajes de ENLACE más bajos del periodo, mientras que en el año 2012, se presentan los punt:ijes más altos.. 34.

(36) Tabla 4. Promedio del puotaje por año de las escuelas con tratamiento y de las escuelas del grupo de control Año. Pontaje. Pontaje Tratadas. 2006 2007 2008 2009 2010 2011 2012 Total. 481.13 480.78 486.20 494.70 506.43 518.89 537.72 500.65. 531.17 512.26 512.26 534.76 556.13 537.32. Puntaje no tratadas 481.13 480.78 485.96 494.53 506.34 518.59 536.95 500.18. Fuc::·nte: elaboración propia con información de la base de datos de ENLACE.. Para determinar el impacto del PETC en el puntaje global de la prueba ENLACE, realicé la estimación de tres versiones del modelo de diferencias en diferencias 13 :. 1.. Versión l. Se realizó la comparación de 2007 vs 2008.. 11.. Versión 2. Se realizó la comparación 2006 y 2007 vs 2008 y 2009.. 1u.. Versión 3. Se realizó la comparación 2006 y 2007 vs 2C08 a 2012.. Para cada versión se calculó lo siguiente:. a) Los promedios por año y por grupo control/tratamiento (Véase Anexo 1). b) Resultado del modelo de DO (Véase Anexo 1). c) Resultado del DO usando regresión "sin" controles. d) Resultado del DO usando regresión "con" controles y con error estándar ajustado por el cluster ( entidad-municipio-localidad). Esta última regresión es la principal. 13. Al integrar las bases de datos para realizar la evaluación, no se pudieron emparejar todas las escuelas de la base de datos del P ETC con las escuelas beneficiarias del PETC incluidas tn la base de ENLACE. Lo anterior se derivó de que no todas las escuelas estaban incluidas en las base1; para cada año. No obstante la gran mayoría si está contenida en la base de datos final. El número de escuelas que se perdieron para cada año fue: 7 (en 2008), 36 (en 2009), 73 (en 2010), 92 (en 2011) y 295 (en 2012).. 35.

(37) 6.1 Versión l. 2007 vs 2008.. Para esta versión del modelo, el grupo de tratamiento fueron las 480 escuelas intervenidas en 2008. Para la 1~stimación del DO, realicé la selección de las e:,cuelas tratadas en 2008 y las imputé como tratamiento para 2007. Los grupos de control son las escuelas no tratadas para ambos casos. El número total de observaciones que incluyó el análisis fue de 179,689 escuelas.. Resultados 1: no hay impacto. El resultado no sorprende, ya que de acuerdo a las características del apoyo del programa, el periodo de intervención evaluado es muy corto (un año).. Tabla 5. Modelo de Diferencias en Diferencias usando regresión, versión 1. Variable. Modelo base Sin controles y error estándar ajustado por cluster Error Coef estándar. Con controles y error estándar ajustado por cluster. (2). (11. Tratamiento Intervención* Tratamiento por año de intervención Constante Tumo Vespertino Turno Discontinuo Modalidad CONAFE Modalidad Indígena Modalidad Particular. 46.0522 5.4264 -.8434 480.5359. 2.4586 .3904 1.7690 1.2223. -. -. -. -. -. -. -. Error estándar. Coef 43.8250 6.1230 -1.5305 484.267 7.4023 -4.2734 -55.4804 -68.8560 101.0595. *Variable dummy generada para capturar el momento de la intervenc1én (ex ante y ex post) Fuente: elaboración propia con información de la base de datos de ENLACE y del PETC.. 36. 2.2095 .2345 1.7220 .7657 .7074 1.6069 .9507 .9267 1.1853.

(38) 6.2 Versión 2. 2006 y 2007 vs 2008 y 2009.. Para esta versión del modelo, el grupo tratamiento fueron las escuelas intervenidas en 2008 y 2009. Para la estimación del DO, seleccioné las escuelas tratadas en 2008 y 2009 y las imputé como tratamiento para los años 2006 y 2007. El grupo d~ control son las escuelas no tratadas para ambos casos. El número total de observaciones que incluyó el análisis fue de 353,677 escuelas.. Resultado 2: Si hay impacto Los resultados a1Tojaron una diferencia (positiva) de cinco puntos en el puntaje global de ENLACE, robusto a los controles.. Tabla 6. Modelo de Diferencias en Diferencias usando, regresión, versión 2. Variable. Modelo base Sin controles y error estándar ajustado por cluster Error Coef estándar. Con controles y error estándar ajustado por cluster. (1). Tratamiento Intervención* Tratamiento por año de intervención Constante Tumo Vespertino Tumo Nocturno Tumo Discontinuo Tumo Otro Modalidad CONAFE Modalidad Indígena Modalidad Particular Año 2007 Año 2008. Error estándar. Coef (2). 15.2141 9.3869 4.9312 480.7963. 1.9632 .4420 1.4747 1.0969. -. -. -. -. -. -. --. -. 18.1322 13.3515 4.9784 483.6545 6.4541 .6364 24.9504 35.9505 -48.8262 -67.7711 96.0745 .3618 -7.0930. -. -. .,. *Vanable dummy generada para capturar el momento de la mtervenc1,Jn (ex ante y ex post) Fuente: elaboración propia con información de la base de datos de ENLACE y del PETC.. 37. 1.6772 .5132 1.4261 .6400 .6534 1.7951 7.8742 14.0841 .8645 .8460 1.0212 .4535 .3075.

(39) 6.3 Versión 3. 2006 y 2007 vs 2008 a 2012.. El grupo tratamiento son las escuelas intervenidas entre 2008 y 2012. Para la estimación del DO, seleccioné las tratadas entre 2008 y 2012 y las imputé como tratamiento para los años 2006 y 2007. El grupo de control son las escuelas no tratadas para ambos casos. El número total de observaciones que incluyó el análisis fue de 617 ,571 es~uelas.. Resultado 3: Si hay impacto Los resultados arrojaron una diferencia (positiva) de cuatro puntos en el puntaje global de ENLACE, robusto a los controles.. Tabla 7. \'lodelo de Diferencias en Diferencias usando regresión, versión 3. Variable. Tratamiento Intervención* Tratamiento por año de intervención Constante Turno Vespertino Turno Nocturno Tumo Discontinuo Turno Otro Modalidad CONAFE Modalidad Indígena Modalidad Particular Año 2007 Año 2008 Año 2009 Año 2010 Año 2011. Modelo base Sin controles y error estándar ajustado por cluster Error Coef estándar (1) 10.1481 1.3111 27.2884 .5282 4.2672 .8386 480.5349 1.1210. -. -. -. -. -. -. -. -. Con controles y error estándar ajustado por cluster Error estándar. Coef (2). 12.6401 54.6411 4.5978 484.1461 5.7159 -2.9886 14.2426 35.4589 -52.0316 -67.4999 90.4841 . 3829 -48.3795 -41.3059 -29.7567 -17.3028. *Variable dummy generada para capturar el momento de la intervención (ex ante y ex post) Fuente: elaboración propia con información de la base de datos de ENLACE y del PETC.. 38. 1.0340 .6037 .7603 .6648 .6721 1.9299 13.6724 14.0760 .7952 .8248 1.0543 .4568 .5642 .5318 .4663 .3814.

(40) 7.. Conclusiones. El objetivo de este estudio fue analizar si existen efectos positivos en los resultados de la prueba ENLACE atribuibles al PETC, en relación con aquellas escuelas que no reciben el apoyo. Para detem1inar el impacto se realizó el cálculo del estimador de Diferencias en Diferencias con una regresión.. A continuación se resumen los principales resultados de interés para el programa:. •. En el primer año de intervención del PETC. no se encontraron efectos positivos sobre el puntaje global obtenido en la prueba ENLACE, comparár.dolo con el puntaje global obtenido por las escuelas del grupo de control. Se ha intuido que la posible causa de esta falta de etecto pudiera ser el tamaño de muestra (tan solo de 480 escuelas) y el periodo tan corto de intervención (un año).. •. El puntaje global de ENLACE en el segundo año de interve1ción del PETC, fue mayor y estadísticamente significativo en cinco puntos en ei grupo de tratamiento, en relación al puntaje global del grupo de control.. •. El puntaje global de ENLACE en las escuelas que han sido beneficiarias del PETC durante cuatro años, fue mayor y estadísticamente significativo en cuatro puntos, en comparación con el puntaje global obtenido por el grupo de control.. •. Los resultados anteriores aportan evidencia para afirmar qu,~ el PETC ha contribuido positivamente en el rendimiento académico de los alumnos beneficiarios.. En relación con el método ele evaluación de impacto seleccionado, la principal ventaja del DD es la relajación del supuesto ele exogeneidad condicional o selección sólo en las características observadas. Adicionalmente, proporciona una fonna manejable e intuitiva para considerar la selección de características no observadas. No obstante, su principal desventaja se basa precisamente en este supuesto: la noción de sesgo de selección. 39.

(41) invariante en el tiempo es remota para muchos programas focal izados en los países en desarrollo.. En términos de la presente evaluación, la principal desventaja que se puede enunciar es la imputación del grupo tratamiento y control para los años anteriore~; a la intervención, en las versiones 2 y 3 del modelo. Para el grupo tratamiento se está considerando la unión de las escuelas tratadas para ambos años. Por tal motivo, se están incluyendo como tratadas algunas escuelas que no recibieron el apoyo. Por ejemplo, para el caso de la segunda versión, que compara 2006 y 2007 contra 2008 y 2009, hay 357 escuelas que se toman corno tratadas. De esta forma, se estaría subestimando el efecto de I programa y el resultado se podría considerar corno una cota inferior del impacto del programa. Los resultados de la última versión se pueden considerar de la misma manera.. Para la realización de un ejercicio posterior de evaluación de impacto al PETC, se sugiere realizar el cálculo del prope11sity score match o método de aparejamiento para ajustar las características de los grupos de control y tratamiento y posterionn~nte realizar la estimación del modelo de DD. Lo anterior permitiría generar un mejor grupo de control y de esta forma se podrían tener resultados más precisos acerca del impacto del programa.. 40.