Hacia una mejor educación rural: impacto de un programa de intervención a las escuelas en Colombia

(1)

HACIA UNA MEJOR EDUCACIÓN RURAL: IMPACTO DE UN

PROGRAMA DE INTERVENCIÓN A LAS ESCUELAS EN

COLOMBIA

*

CATHERINE RODRÍGUEZ

**

FABIO SÁNCHEZ

***

ARMANDO ARMENTA

++

Resumen

Utilizando información censal de las sedes educativas rurales de Colombia el

presente trabajo evalúa el impacto que tuvo el Programa de Educación Rural –

PER - en las tasas de eficiencia (cobertura, reprobación, aprobación y deserción) y

calidad de la educación en las sedes en donde se aplicó. A través de la

implementación de modelos educativos flexibles adaptados a las necesidades de

la comunidad, el programa logró efectos positivos en las medidas de eficiencia y

calidad de las sedes tratadas. Los resultados son robustos a distintas

metodologías de estimación y grupos de control y evidencian que programas de

intervención dirigidos a la oferta (escuelas) pueden mejorar sustancialmente la

eficiencia y calidad de la educación en las zonas rurales. Se encuentra, en

adición, que el efecto del PER sobre los indicadores de eficiencia de las sedes

educativas rurales se da a través de la calidad tanto del material educativo y de la

capacitación en los modelos pedagógicos como de las mejoras en la gestión y

administración de la institución educativa.

Palabras clave

: Educación rural, evaluación de impacto, diferencias en

diferencias, matching estimators.

Clasificación JEL

: I21, C14, O54.

*

Los autores agradecen la amplia colaboración brindada por todo el equipo técnico del Ministerio de Educación Nacional encargado de la supervisón del Proyecto de Educación Rural. Especialmente agradecemos los valiosos aportes de Adriana Gonzalez, Joselín Pinto, Jesús Alirio Naspirán, Luis Fernando Toro y Alejandro Guerrero. Se reconocen también los comentarios de Carlos Medina en el seminario del NIP Capítulo Colombia que tuvo lugar en Barranquilla.

**

Profesora asistente e investigadora del CEDE en Facultad de Economía Universidad de los Andes

***

Profesor asociado y director del CEDE en Facultad de Economía Universidad de los Andes

++

Investigador del CEDE en Facultad de Economía Universidad de los Andes

CEDE

DOCUMENTO CEDE 2007-13

(2)

IMPROVING RURAL EDUCATION: IMPACT EVALUATION OF A

SUPPLY SIDE INTERVENTION PROGRAM IN COLOMBIA

Abstract

This paper evaluates the impact of the so called “Program of Rural Education” on

the indicators of efficiency (rates of enrollment, failure, approval and dropout) and

quality of education in the rural school where the program was implemented. The

impact evaluation is carried out using the information of the universe of Colombian

rural schools. By using flexible educational models adopted according to the needs

of the community the “Program of Rural Education” had positive impacts on the

efficiency and quality indicators of the treated rural schools. The results are robust

to different methodologies of evaluation and control groups and show that supply

side oriented interventions may greatly improve the efficiency and quality of

education in the rural areas. The research findings also indicate that the program’s

effects come about through the quality of both the educational material and the

teachers’ training in the flexible pedagogical models as well as the management

and administrative improvements of schools.

Keywords

: rural education, impact evaluation, differences in differences,

matching estimators, Colombia.

(3)

1. Introducción

Estudios recientes de la FAO y UNESCO (2004a, 2004b) argumentan que las zonas rurales son un sector subdesarrollado dentro de los países en desarrollo. De los 1.2 billones de personas que viven bajo la extrema pobreza (menos de US$1 por día) aproximadamente el 75% vive en las zonas rurales. Más importante aun, se cree que estas personas pueden encontrarse en una trampa de pobreza. La falta de acceso a servicios adecuados de educación, salud y nutrición consecuencia del estado de pobreza en el que se encuentran, no les otorga las condiciones necesarias para salir de ella. Esto implicará que para el 2020 el 60% de los pobres continuarán perteneciendo a las zonas rurales.

El atraso de las zonas rurales en los países en desarrollo es particularmente notorio al analizar el sector educativo. De acuerdo a la FAO y UNESCO (2004b) mientras que para un grupo de países en desarrollo la tasa de analfabetismo es del 22% en las áreas urbanas, en las áreas rurales llega a un 46%. Igualmente, mientras la tasa de cobertura neta en primaria en las zonas urbanas es del 84% en las zonas rurales llega tan solo al 78%. Se cree que estas diferencias se deben, entre otros factores, a las dificultades para el acceso a las escuelas rurales, y a las mayores deficiencias en infraestructura y calidad del material educativo en relación con las escuelas urbanas. Adicionalmente, los docentes de las zonas rurales tienen menor capacitación y los currículos sufren de “sesgo urbano” lo que los hace inadecuados para las características y necesidades particulares de los estudiantes rurales alentando la deserción. Teniendo en cuenta los importantes efectos que se ha encontrado tiene la educación en el desarrollo individual, los programas dirigidos a mejorar la educación de la población rural se convierten en una herramienta eficaz para disminuir las brechas existentes y combatir la pobreza e inequidad en estas zonas.1

Se puede afirmar, que los programas educativos alrededor del mundo se clasifican en dos categorías: programas de subsidios a la demanda y programas de subsidios a la oferta. Los primeros están basados en la entrega de cierta suma de dinero a los hogares a condición de que los niños y jóvenes asistan a las escuelas. Por otro lado, los programas de subsidios a la oferta buscan mejorar las características de los colegios a través de mayor gasto en insumos como material educativo, capacitación docente o mejoramiento de la infraestructura.

La fuerte relevancia de las características socioeconómicas de los hogares en el desempeño escolar junto con la falta de evidencia de la importancia que tienen los recursos e infraestructura de las escuelas en los principales indicadores de educación, ha llevado a que grandes inversiones en el sector educativo en países en vía de desarrollo se enfoquen en subsidios a la demanda y dejen de lado factores relacionados con la

1

(4)

oferta2. Sin embargo, estudios recientes (Banerjee et al., 2005) muestran que programas basados en subsidios a la oferta tienen importantes efectos en los resultados académicos de los estudiantes. En un experimento aleatorio realizado en la India se muestra que los insumos de oferta efectivamente ayudan a corregir la mala calidad de la educación, siempre y cuando los programas diseñados para ese fin tengan en cuenta las necesidades específicas de cada grupo de estudiantes atendidos. 3,4

El presente artículo provee evidencia adicional que demuestra que programas de subsidios a la oferta, diseñados teniendo en cuenta las características y necesidades de la población objetivo, son una alternativa viable y exitosa para disminuir las inequidades educativas en los sectores rurales de países en vía de desarrollo. Específicamente, presentamos el impacto que el Proyecto de Educación Rural (PER) implementado en Colombia desde el año 2002 con el apoyo del Gobierno Central y el Banco Mundial ha tenido en la eficiencia y en la calidad educativa de las instituciones rurales en el país. Teniendo en cuenta las características particulares de los estudiantes del sector rural, el PER se basa en la implementación de modelos educativos flexibles con materiales y metodologías más acordes a sus necesidades, en reemplazo de los modelos de educación tradicional diseñados para estudiantes urbanos.

Aunque existen estudios previos que evalúan el comportamiento de diversos programas educativos, muy pocos se centran en programas específicamente focalizados a un sector

tan vulnerable como es el sector rural.5 Adicionalmente, a diferencia de estos, es

necesario resaltar que la presente evaluación en vez de recurrir a muestras de grupos de control y tratamiento para determinar el impacto del programa, utiliza información censal de las escuelas públicas rurales. La disponibilidad de medidas de eficiencia y calidad educativa, complementada con información acerca de las características socioeconómicas de los estudiantes y de los municipios donde ellos residen, permite la construcción de un panel balanceado de más de 21 mil sedes educativas rurales entre los años 2000 y 2005 que constituyen el 65% de todas las escuelas rurales del país. Adicionalmente, contamos también con los resultados de una encuesta realizada a una muestra aleatoria de sedes educativas intervenidas por el PER que nos permite identificar los canales a través de los cuales el programa ha logrado mejorar su funcionamiento.

Los resultados de la evaluación son robustos a las distintas metodologías empíricas utilizadas y demuestran las bondades de programas basados en subsidios a la oferta diseñados teniendo en cuenta las condiciones y necesidades especiales de los

2

Algunos ejemplos de estos programas son los bonos de educación encontrados en Chile o Colombia; o programas de transferencias directas de dinero como las de Familias en Acción en Colombia o PROGRESA en México.

3

Específicamente, el estudio evalúa dos programas basados en la contratación de profesores entrenados para ayudar a los estudiantes con menores niveles de aprendizaje y el uso de programas de computadores durante dos horas semanales. Se encontró que estos programas aumentaron de manera significativa los resultados de un examen de conocimiento en los estudiantes tratados.

4

Los resultados de Banerjee et al. (2005) demuestran que el aumento de insumos educativos per se no necesariamente mejorará los resultados académicos. De manera similar, Glewwe et al. (1997) analizan los resultados de un programa de subsidios a la oferta que no está diseñado teniendo en cuenta las necesidades y condiciones específicas de los estudiantes y encuentran que el uso de nuevos libros en las escuelas en Kenya únicamente beneficia a los estudiantes que contaban ya con los mejores promedios.

5

(5)

estudiantes. Este proyecto, que para el año 2006 había atendido a cerca de 6,536 instituciones con más de 435,000 estudiantes, además de estar enfocado al que es seguramente el grupo con mayor desventaja en los países en vía de desarrollo y haber probado su aplicabilidad y expansión, cuenta con una estructura que cumple las características que evaluaciones experimentales indican necesarias para que un proyecto educativo sea exitoso. Las estimaciones basadas en la metodología de diferencias en diferencias condicionadas (difference in difference matching estimators) demuestran que el programa aumentó la tasa de aprobación en 4.7 puntos porcentuales, disminuyó las tasas de reprobación en 1.4 puntos porcentuales y la deserción en 3.2 puntos al tiempo que mejoró los resultados en pruebas de calidad. Por último, cálculos de costo beneficio indican que el programa es altamente rentable con una tasa interna de retorno TIR cercana al 20%.

El artículo esta dividido en seis capítulos de los cuáles esta introducción es el primero. El segundo capítulo describe en detalle el funcionamiento del Proyecto mientras que el tercero describe la metodología empírica utilizada en la evaluación. El cuarto y quinto capítulo muestran los datos y los resultados encontrados, mientras que el sexto y séptimo capitulo analizan los canales de trasmisión del PER y analizan su rentabilidad. Por último el octavo capítulo concluye.

2. El Programa de Educación Rural (PER)

La historia del Proyecto de Educación Rural (PER) se inicia en el año 1996 durante las marchas campesinas que reclamaban una mayor atención a las necesidades de la población rural de Colombia. Los campesinos pidieron a la administración Samper (1994-1998) llevar a cabo un cambio radical de la Ley 115 de 1994, que regulaba la organización de la educación en Colombia sin tener en cuenta las grandes diferencias de necesidades educativas existentes entre el sector rural y el sector urbano. Como resultado de estas marchas, se elaboró en Junio de 1996 el llamado “Contrato Social Rural”, que contenía entre otros temas lineamientos para la modificación de la educación rural.

Continuando dicho proceso, el Ministerio de Educación Nacional (MEN) con el apoyo del Banco Mundial, convocó a una Consulta Nacional (1997-1999) que analizó las áreas más

críticas del sector educativo rural.6 La consulta señaló que el sector educativo

experimentaba baja participación ciudadana, escasa pertinencia de los programas educativos, baja cobertura educativa y baja calidad además de deficiente gestión municipal e institucional7.

A partir de la información recolectada y las propuestas que surgieron bajo el proceso de consulta nacional, la administración Pastrana (1998-2002) autorizó en 1999 la implementación del PER como respuesta a la necesidad de combatir la inequidad

6

Entre las actividades realizadas se encontraban los Foros Regionales liderados por los Consejos Regionales de Planeación (1997), un Seminario Nacional de Educación Rural con el Sector Agropecuario (1997-1998) y un Seminario Nacional y Panel de Expertos (1998) realizados en el contexto de la Consulta Nacional. De ellos surgió información suficiente para hacer una caracterización apropiada de la educación rural.

7

(6)

educativa que afectaba a la población rural.8 Específicamente, el PER buscaba en su planteamiento original diseñar y ejecutar proyectos educativos en instituciones rurales para alcanzar cuatro objetivos principales: i) aumentar la cobertura y calidad educativa en el sector rural para población entre los 5 y 17 años (desde preescolar hasta básica y secundaria); ii) fortalecer la capacidad de gestión de los municipios e instituciones educativas en la identificación de necesidades, manejo de información, planeación y evaluación a través de la descentralización de los procesos administrativos de la educación y la incorporación del sector privado a los distintas instancias bajo un esquema de alianzas estratégicas; iii) mejorar las condiciones de convivencia en el sector, especialmente en la institución educativa y; iv) diseñar mecanismos que permitieran una mejor comprensión de la situación de la educación media técnica rural.

Para alcanzar estos cuatro objetivos, el proyecto tendría una duración de diez años y se implementaría en tres etapas, cada una de tres años y medio. La primera etapa, “de implementación y aprendizaje” (2000-2003), la segunda etapa de “expansión y sostenibilidad” y la tercera y última etapa, de “expansión y consolidación”. El costo total ascendería a US $ 120 millones, de los cuales el 50% sería aportado por el Banco Mundial y el monto restante sería financiado por el Gobierno Nacional (37%) y las regiones beneficiadas (13%). Los recursos se repartirían entre los cuatro objetivos de manera tal que el aumento de cobertura con calidad absorbería la mayor parte (62.5%), mientras que a los restantes tres objetivos se les asignaría respectivamente el 16.3%, 11.3% y el 10% de aquellos. Con el objetivo de asegurar un manejo transparente y eficiente de los recursos, se nombró al Instituto Interamericano de Cooperación para la Agricultura (IICA) como Agente Cooperante.

Debido a las dificultades de acceso a las distintas instituciones rurales se estableció que los niveles de gobierno nacional, departamental y municipal tendrían cada uno un papel definido en la planeación, ejecución y evaluación del proyecto. A nivel municipal se crearon las Unidades Operativas Municipales (UOM); a nivel departamental se establecieron las Alianzas Estratégicas Departamentales (AED); y, a nivel nacional se estableció la Unidad Coordinadora Nacional conformada por técnicos del Ministerio de Educación.

Al comienzo del proyecto las UOMs, conformadas por funcionarios públicos y agentes del sector educativo, se encargaron de realizar el diagnóstico de la situación municipal de la educación. Este diagnóstico permitiría priorizar las necesidades y sería la base para la formulación de los proyectos que los municipios deberían implementar en sus sedes educativas rurales. Los proyectos buscarían –a través de la implementación de modelos educativos flexibles que contrarrestaran las dificultades de acceso y permanencia- alcanzar los tres primeros objetivos del PER( a) cobertura, deserción y calidad, b) gestión municipal, c) convivencia).

De acuerdo a las necesidades de cada municipio, las UOM podían escoger entre nueve grupos de modelos educativos flexibles distintos para la formulación de sus proyectos. Los objetivos y principales características de éstos modelos se presentan en el Cuadro 1.

8

(7)

Como es posible observar, cada modelo estaba diseñando para alcanzar objetivos diferentes como por ejemplo mejorar la calidad de la educación básica, aumentar la cobertura de pre-escolar o nivelar a estudiantes que se encontraran en extra-edad. Sin embargo, todos estaban diseñados para que en caso de ser implementado, la institución educativa rural recibiría una canasta de bienes que incluía, dependiendo del modelo escogido, guías educativas, bibliotecas, equipos de laboratorio, televisores, reproductores de video, videos o incluso pupitres y sillas para los estudiantes. Adicionalmente, a los docentes de la institución educativa se les ofrecía una capacitación en el modelo para permitirle aplicarlo a los alumnos de su institución y garantizar así su correcta

implementación y el aprovechamiento al máximo los materiales entregados.9

Cuadro 1

Modelo Población Objetivo Material Educativo

Aceleración Aprendizaje (Brasil)

Niños de básica primaria en extra-edad

Módulos educativos, capacitación al docente, Biblioteca

Escuela Nueva Educación Básica Primaria con multigrados

Módulos educativos, Bibliotecas básicas, Capacitación Docente

Posprimaria Básica secundaria articulada al entorno rural y flexible

Módulos educativos, Cassets de Audio, laboratorios, Bibliotecas específica, Capacitación Docente

Telesecundaria (México) Básica secundaria articulada que permita aumentar cobertura

Módulos educativos, TV y VHS, Videos, Bibliotecas específica, Capacitación Docente

Servicio de Educación Rural- SER

Personas >13 años sin ninguna

educación Módulos educativos, capacitación al docente

Pre-escolar (Escolarizado

o no escolarizado) Niños menores de seis años. Módulos educativos, capacitación al docente

Sistema de Aprendizaje Tutorial (SAT)

Jóvenes y adultos trabajadores que buscan terminar educación básica y media

Módulos educativos, capacitación de tutores.

Programa de Educación Continuada - CAFAM

Personas >13 años sin ninguna educación

Módulos educativos, pruebas que permiten determinar nivel de Escolaridad, juegos Evaluaciones, Capacitación.

Etnoeducación

Estudiantes de grupos étnicos permitiendo interculturalidad en la educación.

Módulos educativos, capacitación de tutores. Modelos Educativos Impulsados por el PER

Fuente: MEN

9

(8)

Vale la pena resaltar algunos aspectos importantes del programa. Después de formulados, los proyectos eran presentados a las AED para su evaluación y eventual selección. Si alguno de los proyectos propuestos por el municipio era escogido para implementación, las UOMs ayudarían a su implementación y seguimiento en las instituciones educativas escogidas. Aquellos municipios y sedes educativas escogidos por el programa debían comprometerse a no contratar nuevos maestros ni construir nuevas escuelas, aunque permitían el gasto en el mantenimiento y arreglo de las ya existentes. Por último, vale la pena resaltar que, aunque escuelas no escogidas por el programa se encontraban en la libertad de implementar cualquiera de los modelos educativos flexibles, estas no recibirían ni los materiales ni las capacitaciones por parte del programa.

En un segundo nivel, funcionarios de los gobiernos municipal y departamental y representantes del sector privado de la región (empresas, ONGs, Universidades, etc) conformaron las Alianzas Estratégicas Departamentales (AED). Al crearse, los aliados firmaban un convenio de cooperación mediante el cual se comprometían a aportar conocimientos técnicos o recursos económicos, según su capacidad, con el objetivo de asegurar la sostenibilidad del PER en el largo plazo. Adicionalmente, las AED se encargaban de plantear las metas de cada departamento, determinar cuáles municipios eran los más indicados para participar del PER y cuales de los proyectos formulados se implementarían con la ayuda del programa.

La escogencia de los proyectos a financiar dependía del puntaje obtenido por el proyecto el que a su vez resultaba de variables educativas, socioeconómicas y de desarrollo institucional de cada municipio. Por ejemplo, municipios con mayores tasas de analfabetismo y déficit educativo en preescolar y secundaria; con menor Índice de Calidad de Vida – ICV- o mayor Índice de Necesidades Básicas Insatisfechas tendrían prioridad al momento de selección. Después de escoger aquellos proyectos que atendían las necesidades más apremiantes, las AED consolidaban las demandas departamentales en un plan operativo anual en donde quedaban definidos los modelos educativos y las instituciones en las cuales se implementarían. Adicionalmente se escogían y desarrollaban los procesos para lograr que las diferentes acciones del PER llegasen oportunamente a las instituciones y centros educativos rurales de su área de influencia.

Por último, en el tercer nivel, la Unidad Coordinadora Nacional orientaba y apoyaba el proceso de implementación del PER en los departamentos. A través de expertos, el grupo técnico del MEN coordinaba las capitaciones, las adquisiciones de materiales para la implementación de cada uno de los modelos y llevaba a cabo la supervisión general del proyecto.

(9)

decidió concentrarse únicamente en el primero del los cuatros objetivos del PER (aumento de la cobertura, disminución de la deserción y mejoramiento de la calidad) y dedicar todos los recursos a este componente.

Hacia finales del 2005, el PER se había aplicado en 27 de los 32 departamentos colombianos. El programa había sido implementado en más de 6,000 sedes rurales, con 14,732 experiencias educativas que cobijaban a más de 400,000 alumnos (cerca del 23% de los alumnos rurales del año 2004). Para el año 2007 se espera continuar con la segunda fase del proyecto buscando un aun mayor número de implementaciones a lo largo del sector rural del país.

3. Estrategia Empírica

La literatura económica supone que la cantidad y calidad de educación alcanzada por los estudiantes es el resultado de la maximización que hacen los hogares de una función de utilidad en donde la educación de sus hijos aparece como uno de sus bienes. Esta maximización, sujeta a restricciones como el tiempo, el ingreso del hogar y el ingreso futuro de sus hijos, el cual dependerá a su vez de su educación, implica que la cantidad (Si,j,z) y calidad (Ci,j,z) de educación alcanzada por el estudiante i, que estudia en la

escuela j y vive en la comunidad z se pueda definir por:

(

j i i j

)

z j

i

f

Q

N

H

P

S

_, _,

=

,

(1)

(

j i i j

)

z j

i

f

Q

N

H

P

C

_, _,

=

,

(2)

en donde Qj representa las características de la escuela j; Ni y Hi las características

personales y del hogar al que pertenece el niño i y finalmente Pj representa los precios

asociados a la escuela j.

Como se explicó, el PER es un programa de incentivos a la oferta que busca cambiar las

características de las escuelas rurales colombianas (Qj) y mejorar los resultados

educativos de sus estudiantes además de disminuir las brechas existentes entre el sector urbano y rural del país. La evaluación de impacto de programas a la oferta como el PER se lleva a cabo a través de la estimación de funciones reducidas en las que se supone que las características de las escuelas dependen de la política educativa implementada y

de las características socio económicas de la comunidad (Zz), es decir, se asume que

Qj=f(Políticas educativas, Zz). Como lo explican Glewwe y Kremmer (2005), esta

metodología permite que varíen las características escolares y se controle únicamente por características personales, de la comunidad y de la intervención de política como tal. Así, remplazando esta última relación en las especificaciones (1) y (2) tendríamos que:

(

i i z j

)

z j

i

f

N

H

Z

PER

S

_,_,

=

,

(3)

(

i i z j

)

z j

i

f

N

H

Z

PER

C

_,_,

=

,

(4)

donde PERj indicaría si la escuela j fue o no intervenida por el programa. Así, el resultado

(10)

la comunidad en donde los estudiantes residen y de si la escuela donde el estudiante asiste fue o no intervenida por el programa.

Como en todas las evaluaciones de este tipo, al estimar el impacto promedio que el PER tuvo en las variables de eficiencia y calidad de las escuelas tratadas (Average impact of treatment on the treated –ATT) se tiene el problema de falta de información. El objetivo es poder comparar los resultados académicos que obtuvieron los estudiantes que fueron intervenidos por el PER con lo que ellos mismos hubiesen alcanzados si no hubiesen participado en el programa. Sin embargo, esta última información es no observable. Formalmente, siguiendo la notación estándar se define D = 1si la escuela i fue intervenida por el PER, Por su parte Yi,t,0 es la variables de resultado si la escuela i no fue intervenida

en el periodo t y Yi,,t,1 es la variable de resultado si la escuela rural i hizo parte del PER en

el periodo t.10 Bajo esta notación el resultado observado para la escuela i en el periodo t estará dado por Yi,t=DYi,t,1+(1-D)Yi,t,0 y el cambio promedio de la variable de resultado en

las escuelas que participaron en el PER que tienen características Xi,t (compuestas por las

características promedio del niño y del municipio donde se encuentra) estará dada por:

)

,

1 |

(

)

,

1 |

(

Y

_,_,₁

Y

_,_,₀

D

X

_,_,

E

D

X

E

_i_t

−

_i_t

=

_i_t

=

Δ

=

Dado que Yi,t,0 no es observable para aquellas escuelas que participaron en el PER, la

literatura de evaluación de impacto hace uso de dos metodologías distintas para buscar inferirla. La primera de las metodologías utiliza datos experimentales donde el tratamiento se asigna aleatoriamente en distintas escuelas de manera tal que es posible crear grupos de tratamiento y control exentos de problemas como el de auto-selección. Simples comparaciones de promedios entre las variables de interés darán una aproximación al ATT. En caso de no haberse llevado a cabo experimentos, se han desarrollado diversas metodologías econométricas para obtener estimaciones confiables de este último.

Debido a que la implementación del PER en Colombia no se hizo de manera aleatoria entre las escuelas rurales del país, este trabajo estima los ATT basados en la segunda opción. Específicamente, se utilizan tres metodologías de estimación distintas que buscan controlar por sesgos causados por la auto-selección de las escuelas rurales entre el programa: diferencias en diferencias (DID), DID bajo un soporte común y DID condicionadas.

Uno de los estimadores más comúnmente utilizados en la literatura empírica para inferir los ATT cuando existe información antes y después de la implementación del programa es el de DID. Bajo esta metodología, los resultados de interés de un grupo de comparación de escuelas no participantes se utilizan para imputar los valores contrafactuales de las escuelas tratadas. Así, el efecto del programa vendría dado por la ecuación:

)

,

0 /

(

)

,

1 /

(

Y

i_,t_,₁

Y

i_,t_´,₁

D

X

i_,t

E

Y

i_,t_,₀

Y

i_,t_´,₀

D

X

i_,t

E

DID

=

−

=

−

=

10

(11)

donde t´ es un período de tiempo anterior al tratamiento. Se ha demostrado que este tipo de estimador otorgará una aproximación no sesgada del efecto del programa bajo el supuesto que, en ausencia de tratamiento, ambos grupos hubiesen seguido tendencias paralelas. Adicionalmente, este estimador permite controlar por la auto-selección de las escuelas tratadas asumiendo que esta selección está basada en características observables y no observables de las escuelas que sean constantes en el tiempo. Este es el primero de los métodos utilizados en este trabajo, en donde el grupo de control escogido son todas las escuelas rurales Colombianas no intervenidas por el programa.

Sin embargo, incluso bajo los supuestos anteriormente expuestos, el estimador puede estar sujeto a ciertas fuentes de sesgo. La primera fuente de sesgo de los estimadores de DID surge cuando los controles utilizados para inferir el resultado contrafactual tienen características muy diferentes a las características del grupo de tratamiento. Esto debilita el supuesto de que efectivamente las sedes tendrían tendencias paralelas en los resultados de interés si el programa en cuestión no se hubiese llevado a cabo. Con el objetivo de controlar por esta primera fuente de sesgo, se restringen las observaciones del grupo de control de tal forma que estas tengan características lo más parecidas a las del grupo de tratamiento como sea posible. Estudios empíricos como Galiani et al. (2005) alcanzan dichos objetivos limitando las observaciones de los grupos tratamiento y control utilizados a aquellas que se encuentren dentro del soporte común del propensity score.

Nuestra segunda estrategia empírica sigue este último estudio al estimar los propensity scores utilizando un modelo probit de participación en el PER como función del tamaño de cada sede en el año 2000 y las características municipales de ese mismo año. Utilizamos también como controles las características socioeconómicas de los estudiantes de cada

uno de los colegios en el año 2005 y dicha estimación la denotamos como Ps=P(D=1 /

Xs).11 Después de obtener un soporte común en el propensity score, la segunda

estimación realizará una estrategia de DID utilizando información únicamente de las sedes rurales que se encuentren dentro de este.

Incluso después de asegurarse que las observaciones utilizadas como grupo de control se encuentren dentro del soporte común, una segunda fuente de sesgo puede surgir del hecho de que la distribución de las características observables de las escuelas tratadas y aquellas de control sean muy distintas una de otra. Más aun, los estimadores de DID asumen que existe una forma funcional específica entre el tratamiento y los resultados de interés, lo que genera la posibilidad de un sesgo por errores de especificación. Diversos estimadores de pares de probabilidad han sido desarrollados para superar estos dos inconvenientes. Sin embargo, la mayoría de ellos asume que no existe auto-selección en el tratamiento basado en características no observables. Para evitar dicho supuesto tan fuerte, Heckman et al. (1997) propusieron un estimador de diferencias en diferencias

11

Aunque en principio los controles utilizados deben pertenecer todos a un período antes del tratamiento, para este caso en particular argumentamos que los controles Xs son validos debido a que las transferencias de

(12)

condicionadas (conditional difference-in-difference estimator) que reúne las características de métodos no paramétricos de los estimadores de pares de probabilidad tradicionales y además permite que la auto-selección este basada en características no observables como en el método de DID. Estos autores demostraron que dicho estimador puede reducir las tres posibles fuentes de sesgo que surgen al utilizar información no experimental: diferencias entre el soporte común del grupo de tratados y controles; diferencias en la distribución de características de las observaciones de ambos grupos que se encuentran en el mismo soporte común; y diferencias en los resultados de interés debido a selección basada en características no observables.

Siguiendo a Todd (2006), denotamos Sp como la región de soporte común del propensity

score y asumiendo que

E

(

Y

i_,t_,₀

−

Y

i_,t_´,₀

/

X

i_,t

,

D

=

1 )

=

E

(

Y

i_,t_,₀

−

Y

i_,t_´,₀

/

X

i_,t

,

D

=

0 )

,

entonces el

estimador de DID condicionadas estará dado por:

(

)

(

)

∑

∩ ∈ ∈ ∩ ∧

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛

−

=

P P S I

i j I S

t j t j j i t i t

i

Y

W

Y

n

CDID

1 0 1 ´, , 0 , , , 0 ´, , 1 , , 1

1

donde I1 denota el conjunto de sedes tratadas, I0 el conjunto de sedes no tratadas, n1 el

número de sedes dentro del conjunto

I

1

∩

S

p

y W

i,jcorresponde a pesos asignados a cada observación del grupo de control.12

La literatura reciente ha comparado los coeficientes obtenidos bajo diferentes tipos de estimadores obtenidos utilizando información experimental y no experimental. Usando la información de un programa de entrenamiento laboral, Heckman et al. (1997) proveen evidencia de que el estimador de DID condicional descrito anteriormente otorga un estimativo cercano al que se obtendría utilizando información experimental. Los autores argumentan que con una base de datos lo suficientemente rica en observaciones, los tres posibles tipos de sesgo que surgen al utilizar datos no experimentales pueden ser significativamente disminuidos. Argumentan que este tipo de estimador es el que mejor resultados otorga entre los distintos estimadores de pares de probabilidad.

En la literatura de educación, solo se encontró un estudio que compara los estimadores obtenidos con información retrospectiva e información experimental. Glewwe et al. (2004) utilizan datos de un programa educativo en Kenya y encuentran que los estimadores retrospectivos sufren de sesgo por variables omitidas. Sin embargo, cabe anotar que dicha conclusión se basa en el uso de un estimador de efectos aleatorios y que el sesgo se reduce significativamente cuando los autores utilizan un enfoque de DID. Adicionalmente, estos autores no utilizan el estimador de DID condicional. Los resultados de Heckman et al. (1997) sugieren que si tal metodología pudiese haber sido implementada, los posibles sesgos podrían reducirse aun más. De manera similar, a pesar de no poseer información experimental, en un trabajo reciente Skoufias et al. (2006) compara los impactos del programa de Escuelas de Calidad de México (PEC) utilizando distintos estimadores retrospectivos. De acuerdo a los autores su estimador preferido es nuevamente el que se obtiene a través de la metodología de DID condicionales.

12

(13)

4. Datos

Para la estimación del impacto que el PER ha tenido en el sistema educativo esta evaluación cuenta con datos censales de matrícula, indicadores de eficiencia y calidad de las escuelas rurales de Colombia. Esta información es complementada con las características socioeconómicas promedio de los estudiantes y de los municipios en donde residen. Aunque existe información para más de 35,000 sedes educativas rurales, se decidió trabajar con un panel balanceado de 21,207 sedes educativas para los años comprendidos entre 2000 y 2005 abarcando un 68% de todas las sedes rurales existentes en el 2005. Los datos y resultados que se describen a continuación pertenecen a este panel. Sin embargo, vale la pena mencionar que utilizando la información completa en el panel desbalanceado las estadísticas descriptivas y los resultados encontrados se mantienen.13

Los datos acerca de la implementación de modelos educativos flexibles impulsados por el PER en las sedes educativas rurales del país provienen de la herramienta de recolección de información del programa. Esta herramienta consiste en una base de datos computarizada en donde se encuentra detallada cada una de las ejecuciones del programa en cada sede educativa, el año de su implementación, el modelo de educación flexible implementado y la canasta de bienes que fue entregada entre los años de 2002 y 2006. El Cuadro 2 muestra el total de alumnos y el número de sedes educativas rurales que han sido beneficiados con la implementación de modelos educativos con la ayuda del PER. Analizando esta información encontramos que un total de 4,485 sedes educativas rurales (14%) fueron intervenidas al menos en una oportunidad por el programa hasta el

año 2005.14 El cuadro hace evidente también el gran número de alumnos influenciados

por el programa ya que hasta el 2005 más de trescientos noventa mil alumnos habían sido tratados. Es posible observar que la mayor parte de las experiencias han estado concentradas en los modelos de Escuela Nueva, Pre-escolar Escolarizado y Post-Primaria.

Los datos utilizados para evaluar los componentes de matrícula y eficiencia de todas las sedes educativas rurales del país provienen del Ministerio de Educación. La información incluye el total de la matrícula, el número de alumnos aprobados, reprobados y desertores por género, por grado, y por nivel educativo para los años de 2000, 2001, 2003 y 2004. En el caso particular de la matricula, existen disponibles también los datos del año 2005.15 El Gráfico 1 muestra la evolución de la matrícula y de las diferentes variables de eficiencia para las sedes educativas rurales. En este gráfico es posible percibir que con excepción de la matricula, las sedes educativas rurales PER y no PER eran bastante similares en el año 2000. Más aun, aunque los índices de eficiencia de todas las sedes rurales del país mejoraron significativamente durante esos años, las sedes intervenidas por el PER finalizaron en el 2004 en una mejor posición. Las técnicas econométricas aplicadas en la

13

Estos resultados están disponibles a través de los autores.

14

El total de implementaciones del Cuadro 2 es mayor debido a que una sede puede ser tratada por el programa en más de una única oportunidad.

15

(14)

siguiente sección permitirán concluir si estos avances fueron significativos y si pueden ser atribuidos al programa.

Cuadro 2

2002 2003 2004 2005 Total

Escuela Nueva 33,683 46,296 68,644 60,540 209,163 PostPrimaria 5,513 10,668 17,763 25,062 59,006 Preescolar Escolarizado 2,521 11,095 17,792 23,851 55,259

CAFAM 1,728 1,157 3,610 6,968 13,463

Telesecundaria 940 3,133 6,277 5,660 16,010 SAT 2,297 2,426 3,283 2,790 10,796 Aceleración del Aprendizaje 770 1,105 2,610 5,314 9,799 Preescolar No Escolarizado 0 1,325 1,777 3,690 6,792

SER 254 654 878 1,781 3,567

Etnoeducación (Pre-Escolar) 3,208 0 0 0 3,208 Etnoeducación (Básica secundaria) 0 231 2,714 0 2,945

Media Rural 0 0 0 245 245

Etnoeducación (Básica primaria) 0 0 0 14 14 Total Sedes Educativas intervenidas 302 1,813 1,903 2,606 6,624 Total Alumnos intervenidos 50,914 78,090 125,348 135,915 390,267 Fuente: Herramienta de Información del PER

Número de alumnos y sedes educativas rurales intervenidas por el PER

Gráfico 1 Matrícula y Eficiencia

Fuente: Herramienta de Información del PER y MEN Matrícula 50 60 70 80 90 100 110 120

2000 2001 2003 2004 2005

PER NO PER

Tasa de Aprobación

70% 75% 80% 85% 90% 95% 100%

2000 2001 2003 2004

PER NO PER

Tasa de Reprobación

0% 2% 4% 6% 8% 10% 12% 14%

2000 2001 2003 2004

PER NO PER

Tasa de Deserción

0% 2% 4% 6% 8% 10% 12% 14%

2000 2001 2003 2004

PER NO PER

(15)

respectivamente.16 En base a la información disponible, se observa que los resultados académicos de los alumnos de sedes PER y No PER son similares tanto antes como después de la aplicación del programa. Sin embargo, al igual que lo que sucede con los datos de eficiencia es necesario recurrir a las técnicas econométricas para evaluar el posible efecto del PER sobre ellas.

Cuadro 3

NO PER

RURAL PER

NO PER

RURAL PER 50.66 50.35 51.85 51.58

(5.990) (5.780) (7.478) (6.457)

53.52 54.42 57.12 57.47

(7.804) (7.734) (8.441) (8.090)

57.44 57.02 57.90 57.62

(5.172) (4.969) (6.389) (5.720)

Observaciones 3259 1178 4877 1531

Desviaciones estandar en paréntesis Fuente: MEN

SABER 2005 Tipo de Prueba SABER

Promedios obtenidos en las pruebas SABER en las sedes educativas rurales

Ciencias

Matemáticas

Lenguaje

SABER 2002/2003

Con el objetivo de aislar las diferencias a nivel municipal en el entorno de las sedes educativas, las cuales pueden influir en el desempeño de las mismas, se incluye en los ejercicios econométricos diversas variables de control. Entre ellas se encuentran el gasto total en educación de cada uno de los municipios donde se encuentran las sedes, variables socioeconómicas que miden la desigualdad (GINI del valor de las propiedades de tierra) y de pobreza (NBI, índice de necesidades básicas insatisfechas), el número de ataques de los grupos armados al margen de la ley por cada 100,000 habitantes del municipio, la proporción de la población que vive en centros urbanos y el número de beneficiarios del programa Familias en Acción como proporción de la población total municipal.

Por último, utilizando la base de datos del SISBEN, se obtuvo la información

socioeconómica de los estudiantes de cada sede.17 Uniendo la base de datos de la

Resolución 166 otorgada por el Ministerio de Educación, la cual contiene los nombres completos de los alumnos en cada una de las escuelas rurales del país, con la información de miembros del hogar del SISBEN es posible calcular los promedios de las características socioeconómicas de las familias en las distintas sedes educativas. Esto permitió la construcción de variables como el nivel educativo promedio del jefe del hogar y su cónyuge, así como el promedio del ingreso por miembro del hogar. Adicionalmente, fue posible construir también un índice de calidad de la vivienda con información sobre las

16

Esta perdida de información se debe a la metodología implementada en cada año para la aplicación de las pruebas. Desafortunadamente, en ninguno de los dos años la totalidad de las pruebas fueron aplicadas a todas las escuelas rurales del país. En el año 2002 se repartieron las asignaturas entre distintas escuelas mientras que en el año 2005 las escuelas con un número pequeño de alumnos no fueron estudiadas.

17

(16)

características de la vivienda en la que residen los estudiantes y el tipo de servicios públicos a los que tienen acceso.18

Cuadro 4

VARIABLE NO PER PER

Diferencia (NO PER - PER) Actividad Armada Ilegal (por 100.000 habs) (2000) 1.676 1.622 0.054

(.011) (.028) (.030) Familias en Acción (\# de familias/pob. mun) (2000) 0.007 0.011 -0.00392

(.000) (.000) (.000) GINI (Avalúos de Tierra) (2000) 0.538 0.504 0.034 (.001) (.002) (.002) NBI (2000) 47.843 45.926 1.917 (.163) (.363) (.398) Población urbana (2000) 0.362 0.308 0.054 (.002) (.003) (.004) Gasto municipal en educación (por alumno) (ln) (2000) 6.800 6.925 -0.125 (.003) (.006) (.006) Años de educación (Promedio padres) 3.130 3.460 -0.330 (.008) (.019) (.021) Ingreso del hogar (por miembro) (ln) 9.775 9.891 -0.117 (.007) (.015) (.017) Indice de calidad de la vivienda 0.398 0.410 -0.012 (.001) (.002) (.002)

OBSERVACIONES 18,172 3,035

* Errores estandar en paréntesis

Características socioeconómicas de las sedes rurales en Colombia

Los promedios y desviación estándar de las variables municipales y de las características socioeconómicas de los estudiantes en el año 2000 se presentan en el Cuadro 4. Como es posible observar, existen diferencias importantes entre las sedes PER y no PER. En particular, las primeras tienen mejores características socioeconómicas que las segundas. Las sedes PER se encuentran en municipios con un menor nivel de pobreza, desigualdad y violencia. Adicionalmente, los estudiantes de las sedes PER pertenecen a familias que son en promedio mas educadas, con un mayor nivel de ingresos per capita y que residen en una vivienda con mejores características.

5. Resultados

Esta sección presenta los principales resultados econométricos obtenidos del impacto que el PER ha tenido en las escuelas rurales del país en sus indicadores de matrícula, eficiencia y calidad.

5.1 Matrícula y Eficiencia

Como se mencionó anteriormente, las variables a través de las cuales se medirá el impacto que el PER ha tenido en las sedes educativas rurales del país son la matrícula, la

18

(17)

tasa de aprobación, la tasa de reprobación y la tasa de deserción. A partir de la información disponible, fue posible construir los cambios en las tasas de crecimiento de cada una de ellas para dos períodos distintos: 2000-2001 y 2003-2004. Se escogieron estos dos periodos de tiempo debido a que el primero cubre los cambios en las variables de interés antes de la implementación del PER mientras que el último período otorga la información más reciente disponible de dichos cambios después del tratamiento.

Cuadro 5

Variable de Interés Años NO PER PER

Diferencias en cambios 7.08% 11.72% -4.65% (0.596) (0.747) t-stat = -3.5384 20.50% 29.56% -9.06% (2.048) (3.991) t-stat = -1.7595 11.23% 15.12% -3.89% (2.917) (3.470) t-stat =-0.6120

1.09% 1.12% -0.03% (0.196) (0.178) t-stat =-0.090 2003-2004 1.24% 6.16% -4.92%

(0.187) (0.177) t-stat = -13.5249 -0.49% -0.42% -0.07% (0.155) (0.133) t-stat = -0.2396 -0.76% -2.23% 1.47% (0.129) (0.109) t-stat = 5.9369 -0.60% -0.70% 0.11% (0.140) (0.134) t-stat = 0.3926 -0.48% -3.93% 3.45% (0.141) (0.134) t-stat = 12.5839

Observaciones 18172 3035

Desviación Estándar en paréntesis.

Cambios observados en las variables de interés

Matricula

Tasa de Aprobación (Puntos Porcentuales)

Tasa de Reprobación (Puntos Porcentuales)

2000-2001

2003-2004

2004-2005

El número de observaciones para la matricula disminuye a 15,192 y 2,614 respectivamente.

2000-2001

2003-2004

2000-2001

2003-2004 Tasa de Deserción

(Puntos Porcentuales)

Específicamente, para el caso de la matrícula se calculó el cambio porcentual en el total de alumnos de la sede educativa rural mientras que para los indicadores de eficiencia se utilizan los cambios absolutos en las tasas. El Cuadro 5 muestra que efectivamente, con excepción de la matrícula, no existía ninguna diferencia significativa entre las sedes tratadas y no tratadas por el programa antes del año 2002. Sin embargo, para el año 2004 las sedes tratadas mejoraron significativamente los índices de aprobación, reprobación y deserción. En contraste, el crecimiento porcentual de la matrícula en las sedes PER es siempre significativamente mayor que para las sedes No PER antes y después de la

implementación del programa.19

5.1.1 Diferencias en Diferencias

El primero de los ejercicios econométricos que busca encontrar el efecto del PER en las variables de matrícula y eficiencia utiliza la metodología de diferencias en diferencias controlando por efectos fijos a nivel de la sede educativa. El Cuadro A en el apéndice muestra los resultados de la estimación bajo un modelo de DID utilizando como variable

19

(18)

dependiente el cambio observado en la matrícula y en las tasas de aprobación, reprobación y deserción de las sedes entre los períodos de 2000-2001 (antes del programa), y 2003-2004 (período posterior al programa). Estas estimaciones utilizan el total de sedes rurales del país. Para el caso de matrícula se utiliza también el crecimiento entre el año 2004 y el 2005.

Los resultados del Cuadro A muestran que las sedes educativas pertenecientes a municipios con un mayor gasto en educación por alumno, una mayor proporción de población urbana y con un mayor índice de NBI se caracterizaron por tener mejores resultados tanto en el nivel de matricula como en cambios en las tasas de eficiencia estudiadas. Por el contrario, y como era de esperarse, las sedes educativas rurales que se encontraban en municipios más violentos o con mayor desigualdad medida a través de un índice de Gini de tenencia de tierra se caracterizaron por tener peores resultados. Se evidencia también que para el caso de aprobación y deserción, aquellos municipios que cuentan con un mayor número de familias pertenecientes al programa de Familias en Acción experimentaron menores cambios absolutos en estas tasas.

Cuadro 6

(1) (2) (3)

DID DID Soporte Común

DID Condicionadas Cambio % en Matricula 2004 0.09301 0.09564 0.020113101

[0.09032] [0.09205] [0.06723] Cambio % en Matricula 2005 0.03941 0.04623

[0.09293] [0.09466]

Cambio en tasa de Aprobación 2004 0.04479*** 0.04548*** 0.04665*** [0.00561] [0.00569] [0.00578] Cambio en tasa de Reprobación 2004 -0.01596** -0.01647** -0.01419***

[0.00396] [0.00401] [0.00303] Cambio en tasa de Deserción 2004 -0.02882*** -0.02900*** -0.03245***

[0.00418] [0.00423] [0.00305]

No. Sedes Educativas 21207 20249 17297

* significant at 10%; ** significant at 5%; *** significant at 1%

Estimación del Efecto del PER en indicadores de eficiencia bajo distintas metodologías

Variable de interés

For models (1) and (2) robust standard errors clustered by muncipality in brackets. For model (3) bootstarp standard errors are reported.

En lo que se refiere a la efectividad del PER, los principales resultados se resumen en la primera columna del Cuadro 6. Los coeficientes obtenidos bajo un modelo de DID indican que el efecto del PER es positivo para las tasas de aprobación, reprobación y deserción. Se observa que las sedes tratadas por el PER tuvieron un incremento en la tasa de aprobación 4.5 puntos porcentuales mayor al de las demás sedes educativas rurales. Adicionalmente, el PER disminuyó la tasa de reprobación cerca de 1.6 puntos porcentuales más que la disminución en el resto de las sedes, mientras que la disminución en las tasas de deserción en las sedes tratadas fue cerca de 3 puntos porcentuales mayor a la disminución en las otras sedes rurales.20

20

(19)

5.1.2 Diferencias en Diferencias utilizando el soporte común

Como se explicó en la sección tres, cuando el grupo de control utilizado para inferir el resultado contrafactual tiene características muy diferentes a las del grupo de tratamiento el coeficiente estimado puede estar sujeto a sesgos importantes. Para controlar por este problema se llevaron a cabo estimaciones de DID utilizando como sedes de control únicamente aquellas que se encuentran dentro del soporte común de las sedes tratadas por el PER.

Para esto, se estimó en primera instancia un modelo probit en donde la variable dependiente era un variable dicotómica igual a 1 si la sede participó en algún momento dentro del PER e igual a 0 en caso contrario. El Cuadro 7 muestra los resultados de esta estimación para las 21,681 sedes existentes en el panel balanceado. Como se observa, aquellas sedes educativas pertenecientes a municipios en donde invierten una mayor cantidad de dinero per capita en educación, donde la educación e ingresos promedios de los padres de los estudiantes son mayores y donde la matrícula en el año 2000 era mayor tienen una mayor probabilidad de participar en el PER. Por el contrario, sedes educativas ubicadas en municipios con mayor desigualdad y un mayor porcentaje de población urbana tienen una menor probabilidad de hacer parte del PER.

Cuadro 7

Total Sedes Rurales

Actividad Armada Ilegal (por 100.000 habs) -0.003 0.007 Familias en Acción (\# de familias/pob. mun) 6.628***

0.693 GINI (Avalúos de Tierra) `-0.664***

0.088

NBI 0.000

0.001

Población urbana `-0.593***

0.068 Gasto municipal en educación (por alumno) (ln) 0.394***

0.040 Años de educación (Promedio padres) 0.078***

0.012 Ingreso del hogar (por miembro) (ln) 0.126***

0.015 Índice de calidad de la vivienda -0.188 0.143

Matrícula 2000 0.001***

0.000

Constante `-4.727***

0.355

No. Observaciones 21681

LRT 1047

Pseudo R2 0.06

Probit de Participación en el PER

Robust standard errors in brackets

(20)

La segunda columna del Cuadro 6 muestra los resultados de las estimaciones de DID utilizando como sedes de control únicamente aquellas con una probabilidad de participación que se encuentre dentro del soporte común de las probabilidades de participación de las sedes PER. Como es posible observar, a pesar de la disminución en el número de observaciones, tanto la magnitud como la significancia de los coeficientes asociados al PER se mantienen. El PER tuvo un efecto positivo en la tasas de aprobación,

reprobación y deserción de las sedes tratadas en comparación con sedes no tratadas.21

5.1.3 Diferencias en Diferencias Condicionales

Las estimaciones anteriores pueden continuar sujetas a dos posibles fuentes de sesgo. En primera instancia, puede que la distribución de características observables de las sedes tratadas y aquellas utilizadas como controles sean distintas. Adicionalmente, podría existir un problema de especificación en el modelo al asumir un impacto lineal del PER en las medidas de eficiencia. Para solucionarlos, utilizamos el método de DID condicionales introducido por Heckman et al. (1998).

Nuevamente, la metodología de DID condicionales confirma los resultados obtenidos anteriormente. Como muestra la tercera columna del Cuadro 6, la comparación entre el promedio de las sedes educativas tratadas y el promedio de las no tratadas (pero que tienen características que las hacen susceptibles de haber sido tratadas) resulta significativa para cada una de las variables de eficiencia. Específicamente, se concluye que la tasa de aprobación en las sedes educativas tratadas por el PER aumentó en 4.7 puntos porcentuales más que en aquellas sedes no tratadas por el PER. Por su parte, la tasa de reprobación cayó 1.4 puntos porcentuales más en las sedes tratadas; mientras que la tasa de deserción cayó en más de 3 puntos porcentuales en las sedes tratadas que en las demás sedes educativas rurales.

5.2 Calidad de la Educación

Como se mencionó en la sección 4, el impacto del PER en la calidad educativa de las sedes rurales se estimó utilizando los resultados de las pruebas SABER de 2002 y 2005 para los alumnos de quinto grado. La información disponible en este caso se reduce a 3,079 sedes, de las cuales el 26% fueron tratadas por el PER. Con el objetivo de evaluar si estas diferencias pueden o no ser atribuidas al PER, el

Cuadro 8 presenta los resultados obtenidos a través de las tres metodologías de estimación propuestas. A diferencia de los resultados en matricula, podemos observar que el valor de los coeficientes en este caso es mucho menos estable, a pesar de que la significancia se mantienen. De acuerdo con la metodología de DID condicionadas, los resultados indican que el PER únicamente logró tener un impacto significativo en el área de lenguaje. El promedio del puntaje en el área de lenguaje de sedes PER aumentó en 0.16 puntos por encima de las sedes no tratadas por el programa. Este es, no obstante, un aumento pequeño que equivale a un cambio de 0.03 desviaciones estándar.

21

(21)

Cuadro 8

(1) (2) (3)

DID Condicionadas

Ciencias 0.46852 0.42188 0.00365

[0.41893] [0.46133] [0.00769] Matemáticas 0.78931** 0.82997** 0.01582***

[0.37539] [0.41663] [0.00558]

Lenguaje 0.73195 0.44683 -0.00387

[0.51634] [0.56945] [0.00812]

Estimación del Efecto del PER en indicadores de calidad bajo distintas metodologías

For models (1) and (2) robust standard errors clustered by muncipality in brackets. For model (3)

5.3 Grupos de Control Alternativos

Los resultados presentados anteriormente utilizan la información de un panel balanceado con un total de 21,207 sedes educativas rurales que equivalen a cerca del 70% de todas las sedes rurales del país. Estas sedes pertenecen a municipios PER y no PER a lo largo del territorio nacional. Aunque en principio es beneficioso contar con información censal, se podrían presentar dos casos que sesgarían los coeficientes encontrados.

En el primer caso podría suceder que en municipios donde existe el PER padres de familia preocupados por la educación de sus hijos decidan trasladarlos de una institución educativa no tratada a una tratada. Se esperaría entonces que estudiantes con buenos resultados académicos se trasladen a las sedes PER dentro de su municipio aumentando los índices de eficiencia en las sedes PER y disminuyendo los índices en las sedes no PER de ese municipio en particular. Con el objetivo de evitar el primer sesgo se llevaron a cabo las mismas regresiones utilizando únicamente información de sedes no tratadas pertenecientes a municipios en donde el programa aun no ha sido implementado.

El segundo caso que puede sesgar los resultados es si en los municipios en donde se implementó el programa se hubiesen experimentado cambios educativos positivos distintos al PER que cambiaran en el tiempo y estuvieran reflejados en los coeficientes asociados al programa. Para evitar este segundo posible sesgo se decidió utilizar como grupo de control únicamente aquellas sedes no tratadas que estén ubicadas en los municipios en donde el programa se implementó.

(22)

5.3.1 Grupo de control alternativo 1: Sedes rurales de municipios No PER

Con el objetivo de evitar sesgos por traslados de estudiantes de una sede PER a otra dentro de un mismo municipio, el primer grupo de control alternativo utiliza únicamente aquellas sedes educativas rurales que se encuentran en municipios que no han sido intervenidos por el programa. Esto implica que el número de sedes en el panel balanceado se reduce de más de veintiún mil sedes a 14,657.

(23)

Cuadro 9

(1) (2) (3)

Grupo de control alternativo 1

Cambio % en Matricula 2004 0.08536 0.08826 -0.04999 [0.09223] [0.09414] [0.07709] Cambio % en Matricula 2005 0.03207 0.03447

[0.09509] [0.09690]

Cambio en tasa de Aprobación 2004 0.05838*** 0.05920*** 0.05889*** [0.00574] [0.00582] [0.00546] Cambio en tasa de Reprobación 2004 -0.02190*** -0.02240*** -0.01703***

[0.00425] [0.00431] [0.00375] No. Sedes Educativas 14657 14093 12249

Cambio % en Matricula 2004 0.10484 0.10787 0.15277 [0.09381] [0.09569] [0.06969] Cambio % en Matricula 2005 0.08521 0.10088

[0.09400] [0.09571]

Cambio en tasa de Aprobación 2004 0.02718*** 0.02723*** 0.02557*** [0.00648] [0.00659] [0.00657] Cambio en tasa de Reprobación 2004 -0.0084* -0.00856* -0.00614 [0.00460] [0.00468] [0.00425] Cambio en tasa de Deserción 2004 -0.01878*** -0.01869**** -0.01945***

[0.00486] [0.00495] [0.00505] No. Sedes Educativas 9593 9149 7625

Cambio % en Matricula 2004 -0.03277 -0.03003 0.02258 [0.04015] [0.04157] [0.02638] Cambio % en Matricula 2005 -0.05275 -0.06009

[0.04153] [0.04286]

Cambio en tasa de Aprobación 2004 0.04363*** 0.04486*** 0.04233*** [0.00377] [0.00383] [0.00278] Cambio en tasa de Reprobación 2004 -0.01552*** -0.01589*** -0.01388***

[0.00277] [0.00283] [0.00289] Cambio en tasa de Reprobación 2004

Estimación del Efecto del PER en indicadores de eficiencia bajo distintas metodologías y grupos de control alternativos

(24)

El Cuadro 10 presenta los resultados en calidad del PER. Conforme con lo obtenido en el Cuadro 8 se observa que el PER logró influir los resultados de los estudiantes en lenguaje de manera significativa. Adicionalmente, bajo este nuevo grupo de control la metodología de DID también indica avances en Ciencias. Vale al pena resaltar que, a pesar de que los coeficientes no son robustos a las distintas metodologías utilizadas, si lo son a los distintos grupos de control escogidos.

Cuadro 10

(1) (2) (3)

DID DID Soporte

Común

Ciencias 0.80909* 0.73998 0.0073

[0.43383] [0.47417] [0.00703]

Matemáticas 0.83717** 0.84660** 0.02045***

[0.38733] [0.42676] [0.00633]

Lenguaje 0.52707 0.19371 -0.00071

[0.53350] [0.58269] [0.00889]

Ciencias -0.37506 -0.65470 -0.0006

[0.51008] [0.56855] [0.00942]

Matemáticas 0.29074 0.17979 0.00483

[0.47567] [0.54332] [0.00973]

Lenguaje 1.23703* 1.18109 -0.00348

[0.66362] [0.76526] [0.01036]

Ciencias 0.97924*** 1.00027*** 0.01696***

[0.28712] [0.31115] [0.00696]

Matemáticas 1.07031*** 1.03435*** 0.01955***

[0.26346] [0.28890] [0.00587]

Lenguaje 0.28402 -0.11661 -0.00446

[0.36892] [0.40343] [0.01058]

For models (1) and (2) robust standard errors clustered by muncipality in brackets. For model (3) Estimación del Efecto del PER en indicadores de calidad bajo distintas metodologías y grupos

de control alternativos

5.3.2 Grupo de control alternativo 2: Sedes rurales de municipios PER

(25)

sedes ubicadas únicamente en municipios PER, los efectos en calidad desaparecen en las tres metodologías utilizadas.

5.3.3 Tratamiento alternativo: Municipios PER vs. Municipios No PER

Con el objetivo de observar los posibles efectos que el PER pueda tener en todas las sedes educativas de un municipio, se definió a una sede tratada como toda sede que se encuentre dentro de un municipio PER. Los resultados de las estimaciones en variables de eficiencia y calidad se presentan en los últimos paneles de los cuadros 9 y 10 respectivamente. Como es posible observar, los coeficientes obtenidos son similares a los obtenidos bajo el grupo de control y tratamiento originales, evidenciando que el programa logró efectos positivos en todas las sedes educativas de los municipios tratados. Estos resultados van en línea con aquellos obtenidos con los grupos de control alternativos anteriormente presentados y sugieren que los beneficios académicos del programa efectivamente se han logrado difundir a lo largo de las sedes educativas de los municipios escogidos.

6. Canales de Transmisión

Los resultados muestran que las escuelas que recibieron asistencia por parte del PER tuvieron un mejor desempeño tanto en eficiencia como en calidad. Sin embargo, es importante conocer cuales son los canales de trasmisión a través de los cuales estos resultados positivos son alcanzados. Para responder a este interrogante se utilizan los resultados de una encuesta realizada por el CEDE a más de 700 rectores y 1000 docentes en diferentes sedes educativas pertenecientes y no pertenecientes al programa. Los principales temas que fueron objeto de las encuestas estaban relacionados con la capacidad institucional y gestión administrativa de las distintas sedes, la planeación, ejecución y seguimiento de los modelos implementados bajo el PER al igual que los procesos de actualización existentes en la sede educativa.

(26)

A través de una estimación probit, con pesos de acuerdo al número total de alumnos de la sede educativa, se puede observar que el éxito depende de una combinación de tres factores importantes. En primer termino, aquellas sedes educativas que reportaron haber recibido una mejor capacitación y material educativo para la implementación de los modelos tienen una mayor probabilidad de ser una sede exitosa dentro del conjunto de sedes PER. Por el contrario, la infraestructura de la sede o la presencia de proyectos pedagógicos productivos no influyen en la probabilidad o no de éxito de la sede educativa. Estos resultados proveen evidencia a favor de la posibilidad de continuación del éxito del programa. Si los encargados del PER logran que se mantenga una alta calidad en el material entregado y en las capacitaciones brindadas a los docentes, sería de esperar que el éxito encontrado en este estudio se mantengan en futuras implementaciones.

Cuadro 11

(1) Escuela PER exitosa (Solo PER)

Infraestructura Sede -0.59248

[0.36798]

Material Pedagógico 0.64171**

[0.31707]

Capacitación Modelos 0.45612***

[0.15914]

Tiene Proyectos Pedagógicos Productivos -0.18838

[0.15400]

Programa de convivencia 0.68568***

[0.15324]

Integración Comunidad (R) 0.08443*

[0.04581]

Gestión y Administración Institución (R) 1.03363***

[0.26905]

Calificación Gestión y Administración Municipal (R) -0.23957

[0.21802]

Ingreso del hogar (por miembro) (ln) 0.30602**

[0.15272]

Años de educación (Promedio padres) 0.25283***

[0.08863]

Índice de calidad de la vivienda -3.39475***

[0.83491]

Constant -4.29983***

[1.40512]

Observations 482

Standard errors in brackets

Determinantes Éxito PER