Evaluación de Impacto del Programa Beca de Nivelación Académica

(1)

Evaluación de Impacto del

Programa Beca de Nivelación

Académica

Elaborada para:

(2)

Contenidos

Objetivos del Estudio

Metodología

Revisión Bibliográfica y Experiencia Internacional Modelo de Gestión

Análisis Cuantitativo Análisis Cualitativo

Conclusiones Preliminares Recomendaciones

(3)

Objetivos del Estudio

• Identificar y sistematizar bibliografía actualizada nacional e internacional sobre retención universitaria .

• Análisis del impacto del Programa Beca de Nivelación Académica en el rendimiento, aprobación y retención de los estudiantes beneficiarios de dicho Programa cohorte año 2012.

• Describir y analizar los procesos de gestión del Programa BNA desarrollado por el MINEDUC (convocatoria a IES, postulación de estudiantes, selección de IES y becados, seguimiento del

programa, etc.).

• Opinión de distintos actores de las IES (estudiantes beneficiarios, monitores-tutores, profesionales y autoridades), sobre el diseño e implementación del Programa BNA.

• Elaborar propuestas de mejora y escalamiento (aumento de cobertura) del Programa BNA.

(4)

Metodología

• Análisis de fuentes secundarias: Revisión

Bibliográfica y Análisis experiencias internacionales • Análisis de fuentes secundarias: Estadísticas

Descriptivas, PSM, Análisis de Regresión Múltiple • Análisis de fuente primarias y secundarias del

Modelo de Gestión

• Análisis Cualitativo Actores. Entrevistas y Focus Group.

• Conclusión y recomendaciones a nivel de Diseño BNA e implementación en IES

(5)

Contenidos

Objetivos del Estudio Metodología

Revisión Bibliográfica y Experiencia Internacional

Modelo de Gestión Análisis Cuantitativo Análisis Cualitativo

(6)

Análisis de enfoques teóricos

• Teorías Psicologistas, donde el énfasis está en el auto concepto, motivación y las expectativas del estudiante al ingresar al sistema universitario, su interés vocacional y actitudes frente a la carrera; • Teorías Sociológicas (basadas en el marco

teórico que subyacen en la teoría de Durkheim de la Integración social, Una integración fallida (institucional como social) se asocia a la

deserción universitaria,

• Teorías institucionales que enfatizan los marcos normativos , programáticos y docentes de la

(7)

Evolución de los Estudios Sobre

Retención

• EE.UU: inicialmente estudios de factores propios del perfil del estudiante, especialmente carencias motivacionales y habilidades para el estudio universitario.

• Generalización de estudios en los 80 en los EE.UU. debido a dos factores: la expansión de matrícula y aumento de la heterogeneidad socioeconómica, racial y étnica de los estudiantes.

• Evidencia de mayores déficits de formación en relación a las demandas del sistema universitario.

• Ampliación de estudios a Europa y Reino Unido, por

cobertura de la educación superior por metas estatales de expansión, focalización en grupos vulnerables o sub

representados.

(8)

Técnicas Evaluativas en Uso

• Análisis de cohortes, para determinar

mantención o desgaste después de 1 año. • Evaluación no experimental, medición

antes-después , con instrumento estándar. • Diseño cuasi experimental

• Análisis estadístico multivariado • Análisis institucional comparativo • Análisis cualitativos

• De actores institucionales o De desertores

o De estudiantes secundarios

(9)

El Modelo de Tinto: una Síntesis de Enfoques

Teóricos

(10)

Revisión Experiencias Internacionales:

Programas de retención y eficacia

Tipo de iniciativa Australia Irlanda Holanda EE.UU

Sistemas de información Monitoreo de retención, acceso y participación en relación a metas nacionales Monitoreo de datos estudiantiles a través de Sistema de Records estudiantiles Monitoreo nacional de retención de minorías Intercambio experiencias Intercambio de prácticas a través de la Red de Retención Universitaria Red de intercambio de buenas practicas Financiamiento a instituciones Financiamiento a proyecto de IES para

grupos específicos Financiamiento a proyectos de IES para áreas específicas Exención de matriculas Financiamiento para proyectos específicos de IES de apoyo estudiantil

Apoyos estudiantiles Becas para grupos específicos

Apoyo financiero para retención Investigación Investigación sobre

retención y desgaste en grupos desventajados Entrevistas a desertores Flexibilidad curricular Apoyo de estudios después de 1 año

(11)

Categorización Estrategias de Intervención en Retención según percepción de eficacia

Jerarquización Experiencias de retención en

EE.UU.

Estrategias de Intervención

Centro o Laboratorio de asistencia de aprendizaje

Seminario de inducción a novatos Programas de tutorías

Intervención de consejería a grupos vulnerables

Incremento de staff de consejería

Integración de la consejería a los programas de 1 año

Centro o Laboratorio de lectura

Centro de consejería con planificación de carrera y de inserción laboral

Comunidades de aprendizaje Instrucción complementaria Cursos obligatoria de refuerzo

(12)

Emergencia de la Retención como indicador

de Eficacia

En EE.UU. Como factor de marketing y competencia universitaria

En Europa se esta instalando la necesidad de reducir la deserción como forma de solventar la crisis de

financiamiento de la educación superior por medidas de ajuste fiscal (Hovdhaugen, 2013; OCDE, 2007). En tal sentido, las tasas de retención están adquiriendo crecientemente el carácter de indicadores de

desempeño para las transferencias del gobierno central hacia las universidades

(13)

Contenidos

Revisión Bibliográfica y Experiencia Internacional

Modelo de Gestión

(14)

Análisis Modelo de Gestión BNA. Dos procesos

en paralelo

(15)

Procesos Críticos en Modelo de

Gestión

• La asignación de becas no se puede realizar antes del inicio del año académico debido a que las instituciones de educación superior elegibles para el Programa incluye a Universidades

privadas, IP y CFT, donde el proceso de postulación se realiza en marzo

• Rezago por revisión casos puntuales de apelaciones o corregir errores que pudieran cometer las IES en el ingreso de la

información.

• Firma de convenios y tramitación demora mínimo 28 días hábiles,. • Transferencia de recursos demora a lo menos 26 días

• Optimizando al máximo los procesos, no puede disminuirse a un plazo inferior a 3,5 meses, o sea mediados de julio, considerando todas las instancias administrativas por las que debe tramitarse la documentación.

(16)

Contenidos

Análisis Cuantitativo

Análisis Cualitativo

(17)

Diseño Metodológico

(18)

Fuente: Véase Bono Cabré Roser, “Diseños Cuasi-Experimentales” en http://es.scribd.com/doc/132099651/111006211920-Disenos-cuasi-1-WOP-P Diseños cuasi-experimentales Estrategia Transversal Estrategia Longitudinal

Incluye a los diseños de comparación de grupos o de

grupos paralelos Comparación estática

Incluye a los diseños que repiten medidas de la variable de

respuesta

Comparación dinámica

(19)

Universo en Estudio

A. Beneficiarios 1-3 Q 996 B. Beneficiarios 1-3 Q 145 GRUPO TRATAMIENTO 996 BD(+Encuesta) 11.972 GRUPO

CONTROL (Inc Bbic) 10.708 Beneficiarios OTROS 119 GRUPO CONTROL 3.660 Beca Bbci 7.145 Beca Bbci 63 BASE DE DATOS 4.656 (4.648 + 8 missing case)

(20)

• Los análisis realizados constataron incidencia de la

heterogeneidad de las intervenciones realizadas en

cada IES.

• Por lo anterior, a nivel global no se aprecian diferencias estadísticas concluyentes entre los grupo de tratamiento (BNA) y Control (No BNA).

• Sin embargo, si se controla la variable IES, sí se

encontraron evidencias de impacto de la BNA a

nivel Notas, Aprobación y Retención, relacionado además con los focos del PBNA en la intervención y con la satisfacción de los beneficiarios.

• Lo anterior, no obstante dada la naturaleza del diseño empleado y la información efectivamente disponible, demandará estudios con mayor

Análisis de los Datos y Resultados

METODOLOGÍA Propensity Score (PS) + Matching + ATT (Average Treatment Effect for the Treated)

(21)

Contenidos

Análisis Cuantitativo

Análisis Cualitativo

(22)

Se realizó un levantamiento de información cualitativa con cuatro grupos del actores del PBNA:

• Gestores del MINEDUC (7 entrevistas)

• Autoridades, Profesionales, Docentes y Coordinadores de las IES (26 entrevistas)

• Tutores de BNA de las IES (4 entrevistas) • Estudiantes Beneficiarios de la BNA (6 FG)

El material recolectado fue grabado, transcrito y analizado con el programa ATLAS.TI

(23)

Análisis Actores. Tutores de BNA-IES

Instancias de Coordinación Dificultades del Rol

del Tutor

Satisfacción Contrato y Remuneración

Facilitadores Función Tutor Percepción Equipamiento e

(24)

Tutores

Dificultades del Rol del Tutor

El estudiante BNA decía…¿por qué yo tengo que tener beca de nivelación académica?... si yo era

muy buen alumno en el colegio…. entonces había que explicarle cuál era el sentido, incluso discutíamos el

nombre de la beca que… para los estudiantes resultaba…. extraño ….el alumno, típico que te dice: eh, así como: “no sé nada”. Entonces, tú

dices: pero ¿cómo?

….porque están tan vulnerables que te dicen: “no sé nada, yo no sé nada”…. Bueno, ya, empecemos con

el cero, pero ese desde cero cuesta

La principal dificultad

percibida se relaciona

principalmente con el

estudiante mismo.

Se contrapone la

responsabilidad y los límites

de lo que se puede hacer para ayudar al estudiante, que a veces es refractario a

la tutoría, por diversas razones.

(25)

Tutores

Facilitadores Función Tutor

…se generaba una red donde todos queríamos

sacar adelante esto.

Sí, como ellos (LOS TUTORES) hacen las sesiones en distintos días o fechas, hay que

siempre estar hablando con ellos, y por temas específicos, entonces igual hay que

estar ordenado.

La labor del tutor se

facilita al aprovechar y

potenciar redes

horizontales y flexible en

la IES… incluso de carácter

informal

Estas redes se da acceso directo a los estudiantes

tutorados, que son seguidos de manera

permanente y hay

(26)

Análisis Actores. FG Estudiantes BNA

Observaciones

Evaluación Positiva

(27)

Estudiantes BNA Evaluación Positiva

En general la

evaluación del

programa es

positiva

…siendo que tenía tres áreas principales que era el tema académico, también el tema psicosocial, (…), el de las tutorías,

digamos

la metodología de estudio, en, no sé… en

el diario vivir… te cambia tu vida. Entonces, ante ese cambio, tener esos apoyos, yo creo que

(28)

Observaciones al

PBNA

Observaciones

pero el principal problema es la participación de jóvenes

porque nunca se van a interesar, o sea, ellos siempre

van a querer hacer una actividad recreativa, en vez de estar participando como

en…no sé, cursos,

actividades, entonces eso de la participación…

(29)

Contenidos

(30)

Conclusiones Preliminares

• El BNA tiene una implementación administrativo financiero compleja para un programa anual

• Concursabilidad anual resta sustentabilidad a efectos del programa en IES

• A la BNA le pre existen programas internos de las IES. BNA como factor complementario (principalmente en RR.HH.) • Dinámicas positivas derivadas de tutorías

• Evaluación positiva, pero critica de beneficiarios del BNA • Demanda de descentralización administrativa (selección de

beneficiarios) y financiera por parte de las IES

• Escasa evidencia de impactos cuantitativos global del PBNA • Sin embargo, al parecer las características de las IES y el

carácter que le dan a sus respectivos PBNA influye en los resultados. Controlado ese factor se encuentran indicios de impacto en algunas IES.

(31)

31 •Incorporar el análisis de cohorte en retención.

•Evaluación no experimental ex ante ex post en 1 año.

• Incorporar en el Informe de Seguimiento del BNA, una sección de Buenas Practicas.

•Clasificar las estrategias de intervención hacia los estudiantes de primer año con riesgo de deserción. •Dada las diferentes estructuras universitarias y la forma de implementar intervenciones, desarrollar una evaluación comparativa entre distintas

estrategias (ejemplo OECD, Rand Corporation) •Premiar IES con mejores indicadores de

resultados.

(32)

•Modelación de arreglos organizacionales entre

Centros de Apoyo Académico y Bienestar Estudiantil. •Formalizar un repositorio de Buenas Practicas.

•Formación de curso intensivo o diplomado en áreas como:

• Diseño de Programas de Retención • Enfoques Teóricos

• Estrategias de intervención • Técnicas Evaluativas

• Institucionalización de formación de mentores.

(33)