Las características de las instituciones de educación superior y el valor agregado

Texto completo

(1)LAS CARACTERÍSTICAS DE LAS INSTITUCIONES DE EDUCACIÓN SUPERIOR Y EL VALOR AGREGADO. Por Omar David Vanegas Virgüéz. Director David Andrés Ortiz Escobar. Jurado 1 Hernando Bayona. Jurado 2 Carolina Medina. Universidad Externado de Colombia Maestría en Economía Bogotá D.C. Colombia 11 de Diciembre del 2019.

(2) 2. Abstract This paper seeks to determine the association of different institutional factors of higher education institutions (HEI) with student's academic achievement. Data comes from Instituto Colombiano para la Evaluación de la Educación (Icfes) and from the National Education Ministry (MEN), and comprises 277.882 students and 76 universities. Ordinary Least Squares (OLS) and Hierarchical Linear Models are estimated in order to capture this association. The main results suggest that only 4.84% of the student academic achievement in mathematics is explained by the institutional characteristics of the HEIs. JEL codes: I20, I21, I23, I26, I24. Keywords: Higher education, Academic Achievement, Hierarchical linear models, Value added.. Resumen La presente investigación busca determinar la asociación entre los diferentes factores institucionales de las universidades colombianas y el rendimiento académico de los estudiantes. Se utilizan datos administrativos del Instituto Colombiano para la Evaluación de la Educación (Icfes) y el Ministerio de Educación Nacional (MEN) de un total de 277,882 estudiantes y 76 instituciones de educación superior (IES). Las estimaciones se llevan a cabo por medio del método de mínimos cuadrados ordinarios y modelos jerárquicos. Los resultados demuestran que solo el 4.84% del desempeño académico de los estudiantes en matemáticas es explicado por las características institucionales de las IES.. Códigos JEL: I20, I21, I23, I26, I24. Palabras clave: Educación superior, Desempeño académico, Modelos jerárquicos, Valor agregado..

(3) 3. Agradecimientos: Le agradezco al profesor David por guiarme en la elaboración de la presente investigación. A mis padres, Omar Ubaldo y María Ascención por el apoyo incondicional que me han brindado toda mi vida. A Sergio por enseñarme a valorar las cosas importantes de la vida. A Alejandra por creer en mí en cada momento. A Carolina, ya que la distancia no ha sido un obstáculo para nuestra amistad. A Alejandro, Angela, Andrea y Paula por ser mis compañeros investigadores..

(4) 4. 1. Introducción El aseguramiento de la calidad de la educación superior es la base para crear profesionales que puedan afrontar la globalización, además de generar una vinculación entre la investigación científica y la producción de bienes y servicios, para así lograr el desarrollo económico, social y ambiental del país (Consejo Nacional de Acreditación, 2013). Para poder garantizar unos estándares mínimos de calidad en la educación superior, es necesario tener herramientas que permitan cuantificar el desempeño de las Instituciones de Educación Superior (IES) y así tener insumos adecuados para tomar decisiones de política. Los resultados que obtienen las IES en las evaluaciones llevadas a cabo por entidades como el Consejo Nacional de Acreditación (CNA) determinan si la institución puede ser considerada de alta calidad o no. Sin importar en qué categoría se ubique la universidad, está siempre tendrá aspectos por mejorar. A lo largo de los últimos años, el gobierno de Colombia se ha centrado en el mejoramiento de la calidad de la educación. En particular, en el Plan Nacional de Desarrollo (PND) 20182022 se enfatiza la importancia que tiene la educación para promover la movilidad social y la construcción de la equidad. Con el objetivo de aumentar la calidad de la educación superior en Colombia en los próximos años, el gobierno estableció en el PND que avanzará en brindar oportunidades de acceso a una educación de calidad, nuevos recursos para inversión y funcionamiento, la implementación de un esquema de gratuidad gradual, promoción de la educación virtual y el fortalecimiento del sistema de aseguramiento de la calidad (Departamento Nacional de Planeación, 2018)..

(5) 5. En el Plan Nacional de Educación 2016-2026 el Ministerio de Educación Nacional de Colombia (MEN) presenta que el esfuerzo por instaurar un sistema de acreditación permitió que en 2016 Colombia contara con 896 programas académicos acreditados de calta calidad. Sin embargo, identifica que aún hay desafíos por enfrentar en la calidad de la educación superior, y por consiguiente propone algunos lineamientos estratégicos para enfrentarlos. De esta manera, la presente investigación se torna relevante para lograr identificar ciertas características de las IES que explican el valor agregado que brindan a sus estudiantes (Ministerio de Educación Nacional, 2017) . Los modelos de valor agregado tienen como objetivo cuantificar el aporte de las instituciones educativas al aprendizaje de los estudiantes, tomando en consideración las características institucionales e individuales. Por medio de estos varios países han logrado monitorear el desempeño de las instituciones educativas. A pesar de que varias naciones miden el rendimiento de sus estudiantes por medio de pruebas estandarizadas de manera continua, estas se utilizan para comparar los resultados de las IES (Kim & Lalancette, 2013). El informe titulado “La Educación Superior en Colombia” en el 2012 afirma que el desarrollo y uso conjunto de los exámenes Saber 11 y Saber Pro pueden hacer de Colombia un líder en la evaluación del valor agregado en la educación superior. Así mismo, el documento recomienda llevar a cabo “profundas mejoras en los exámenes Saber 11, las cuales harán mayor énfasis en las competencias genéricas y en las competencias específicas comunes y mejorarán la capacidad del sistema de evaluar el valor agregado que aportan las instituciones educativas” (OCDE & Banco Mundial, 2012, p. 224). El objetivo del presente trabajo es mostrar cuales son las características de las IES que explican el valor agregado que imparten a sus estudiantes, y a partir de esto determinar cuáles son los factores que deben ser foco de atención por parte de las IES colombianas para aumentar la calidad de la educación que ofrecen. Este estudio utiliza datos administrativos de Colombia que contienen información clave respecto a las características institucionales de las universidades, y al desempeño académico de los estudiantes antes y después de entrar a la educación superior. Esta información compilada permite calcular cual es el valor agregado promedio que aporta cada institución a sus estudiantes..

(6) 6. La unidad de observación son estudiantes de pregrado quienes completaron el 75% de los créditos académicos de la carrera y están cerca de graduarse, así como también se cuenta con observaciones a nivel de las IES. Las bases de datos del Instituto Colombiano para la Evaluación de la Educación (Icfes) permiten obtener variables demográficas, socioeconómicas, y los resultados. en las pruebas estandarizadas Saber 11 y Saber Pro de cada estudiante. Además, por medio del Modelo de Indicadores de Desempeño de la Educación (MIDE) se obtienen variables que representan el nivel de investigación, personal docente, internacionalización y la naturaleza de la IES. Debido a que los datos tienen una estructura jerárquica, la investigación lleva a cabo el cálculo del valor agregado por medio de modelos de regresión multinivel. Los resultados reflejan que, al controlar por el resultado en matemáticas en la prueba Saber 11, la correlación entre las características de las IES y los resultados del módulo de razonamiento cuantitativo del el Saber Pro disminuye significativamente. Se concluye que la variación del desempeño académico de los estudiantes de pregrado de las universidades colombianas analizadas se ve explicado en un 4,48% por la proporción de investigadores docentes, la relación docente alumno y la movilidad estudiantil de la IES en la que estudian. Si bien las IES no inciden en gran medida sobre los resultados de sus estudiantes, las variables de calidad del personal docente y la naturaleza de las IES se asocian positivamente con el rendimiento académico del estudiante. El documento está dividido en 6 partes incluyendo esta introducción. En la sección 2 se presenta un resumen de la literatura relacionada con el tema. La sección 3 expone la fuente y tratamiento de los datos administrativos utilizados. La sección 4 presenta algunas metodologías utilizadas para observar la relación entre las características de las IES y el desempeño académico de los estudiantes. La sección 5 ofrece los resultados principales. Finalmente, la sección 6 provee recomendaciones de política y unas observaciones finales. 2. Revisión de literatura A nivel internacional los modelos de valor agregado son llevados a cabo en su gran mayoría en educación primaria por la falta de datos administrativos en la educación superior. Rothstein (2010) por medio de los modelos jerárquicos argumenta que el valor agregado que los profesores aportan a sus estudiantes se ve afectado de manera significativa por los.

(7) 7. incentivos que tienen al enseñar. Lai, Sadoulet, y De Janvry (2011) al igual que Konstantopoulos y Chung. (2011) identifican que los docentes explican de manera. significativa el desempeño académico en matemáticas, lectura y ciencia de los estudiantes de primaria, y que el efecto es persistente en el tiempo. Sin embargo, encuentran que los efectos de los profesores antiguos se hacen menores en el transcurso del tiempo. La publicación del reporte hecho por James Coleman, et al. en 1966 para el Departamento de Salud, Educación y Bienestar de la Ciudad de Washington concluye que las características de los centros educativos no tienen ningún efecto sobre el desempeño académico de los estudiantes tanto de primaria, secundaria y de educación superior, después de controlar por las variables socioeconómicas. Cunha & Miller (2012) argumentan que las medidas de valor agregado como aproximaciones al desempeño de las IES sirven para incentivar el logro académico y la financiación de las universidades. Sin embargo, encuentran que cambian significativamente cuando se agregan las características de preinscripción de los estudiantes. La habilidad que posee el estudiante en diferentes áreas del conocimiento y los gustos que tiene por un determinado tema, afectan su desempeño académico a lo largo de su vida universitaria. Dichas competencias propias del estudiante usualmente son medidas a través del resultado que obtuvo en las pruebas de ingreso a la educación superior (Camacho, Messina, & Uribe, 2017; Gomez, 2015; Guarín et al., 2016; Kim & Lalancette, 2013; Melguizo, Zamarro, Velasco, & Sanchez, 2017). Por otro lado, en el análisis de valor agregado la definición de desempeño académico varía en función de la interpretación de los autores y de la disponibilidad de los datos. Por ejemplo, McCaffrey, Lockwood, Koretz, y Hamilton (2004) definen el desempeño académico como el resultado de los estudiantes en las pruebas estandarizadas realizadas al terminar la carrera. Sarmiento Espinel, Silva Arias, y Van Gameren (2015) encuentran que las características individuales de estudiantes de economía de universidades acreditadas tienen un impacto significativo sobre sus resultados, mientras que los factores familiares e institucionales no generan un impacto importante. De igual manera, Bayona-rodríguez & Sánchez (2018) encuentran que la acreditación de alta calidad a una IES aumenta en 0,2 desviaciones estándar los resultados en el Saber Pro..

(8) 8. Las características de las IES juegan un papel importante en el mejoramiento de las competencias de sus alumnos. De este modo, el Consejo Nacional de Acreditación 1 (CNA) opta por que “el examen de calidad de los programas e instituciones se haga con base en características de calidad agrupadas en grandes factores.” (Consejo Nacional de Acreditación, 2013, p. 16) Así, los factores evaluados por el CNA agrupan los elementos con los que cuenta la institución y como estos aportan al desarrollo de las actividades académicas. Los factores evaluados son: 1. Misión,. Visión. y. Proyecto. Institucional.. 6. Visibilidad. nacional. e. internacional.. 2. Estudiantes.. 7. Impacto de los egresados sobre el medio.. 3. Profesores.. 8. Bienestar institucional.. 4. Procesos académicos.. 9. Organización, administración y gestión.. 5. Investigación, creación artística y. 10. Recursos físicos y financieros.. cultural. Vale la pena resaltar que no todos los factores que evalúa el CNA son fácilmente cuantificables. Por ejemplo, la misión, visión y el proyecto institucional, procesos académicos, impacto sobre el medio y el bienestar institucional son características que normalmente se valoran por medio de métodos cualitativos. Las investigaciones que se centran en el análisis de valor agregado en Colombia se enfocan principalmente en calcular cuál es el aporte de cada programa o institución sobre el logro académico de los estudiantes. Para controlar el efecto de las características de las instituciones sobre el desempeño académico de los estudiantes, los autores agregan una variable dummy que indica si la universidad cuenta o no con acreditación de alta calidad (Balcázar & Ñopo, 2015; Gomez, 2015; Guarín et al., 2016; Melguizo et al., 2017; A. R. Saavedra & Saavedra, 2011; J. E. Saavedra, 2009).. El Consejo Nacional de Acreditación hace parte del Sistema Nacional de Acreditación, define como compromiso misional: "Contribuir con el fomento de la alta calidad en las Instituciones de Educación Superior y garantizar a la sociedad que las instituciones y programas que se acreditan cumplen los más altos niveles de calidad y que realizan sus propósitos y objetivos" - Fundamentos Estratégicos y Organización del CNA. Recuperado de: https://www.cna.gov.co/1741/article-186486.html. 1.

(9) 9. Camacho, et al. (2017) al igual que Cunha y Miller (2012) determinan que el valor agregado que aportan los programas nuevos 2 es cercano a cero cuando se controla por las características individuales de los estudiantes. Saavedra y Saavedra (2011) por medio de la adaptación de la prueba estandarizada Graduate Skills Assessment (GSA) realizada en el 2008 por el Australian Council for Educational Research (ACER) en colaboración con el Icfes, encontraron que la naturaleza de la Institución de Educación superior tiene un efecto significativo sobre las habilidades interpersonales, argumentativas y de escritura de los estudiantes. Así mismo, Hanushek (1997), Lai et al. (2011), Ome (2012) y Orjuela (2012) encuentran que las variables que se relacionan con el personal docente, afectan significativamente el desempeño académico de los estudiantes. El nivel de estudios, la experiencia, la relación docente-alumno, las habilidades pedagógicas y el nivel de publicaciones en revistas científicas son variables que explican el valor agregado aportado a los estudiantes. Ahora bien, es diferente el valor agregado que puede aportar un profesor que cursó una carrera enfocada en la educación, y que a su vez ha dirigido sus estudios a mejorar sus habilidades pedagógicas; a un docente cuyas bases provienen exclusivamente de una carrera ajena a la educación. Sin embargo, vale la pena aclarar que esto no significa que uno de los dos sea mejor que el otro, solamente son elecciones diferentes, con resultados potencialmente diferentes (Lai et al., 2011; Rothstein, 2010). La formación para la investigación, la innovación y la creación artística por parte de las IES es un factor importante al momento de determinar si un programa o institución es de alta calidad. La efectividad de los procesos de formación para la investigación, el espíritu crítico, y sus aportes al conocimiento científico determinan el nivel de los jóvenes investigadores del país (Consejo Nacional de Acreditación, 2013). Los modelos de valor agregado pueden llegar a perjudicar a las IES consideradas selectivas debido a que al recibir estudiantes con resultados altos en las pruebas estandarizadas de entrada a la educación superior se torna más difícil mejorar los resultados en las pruebas de salida. Saavedra y Saavedra (2011) no encentraron evidencia suficiente para concluir que la selectividad de una universidad se asocia de manera significativa con un mayor resultado de 2. Son aquellos en los que los primeros egresados del programa se graduaron del colegio en el 2002..

(10) 10. los estudiantes en las pruebas de salida de la universidad. Por otro lado, Juan Esteban Saavedra (2009) lleva a cabo un análisis de regresión discontinua para determinar si el proceso de admisión que hace la Universidad de los Andes tiene un efecto positivo sobre el aprendizaje de los estudiantes. Concluye que los estudiantes que logran entrar a esta universidad tienen mejores resultados en las pruebas Saber Pro y una mayor probabilidad de ser empleados. Finalmente, la visibilidad internacional con la que cuenta la institución es un factor que ha tomado relevancia en los últimos años, dado que, las nuevas carreras profesionales de algunas personas se caracterizan por no desarrollarse en un solo país. Grothus (2012) afirma que hoy en día una gran cantidad de universidades focalizan sus esfuerzos en que sus estudiantes hagan intercambios académicos, ya que, esto mejora su visibilidad internacional. Sin embargo, para los países en desarrollo esto se presenta como un problema en el sentido de que muchas veces los estudiantes no regresan a sus países de origen, por factores como el nivel salarial y las condiciones laborales. Rodríguez, Vargas, Soto, Acero y Araque (2019) estudian la relación entre las características de los docentes de las IES con los resultados los resultados de valor agregado reportado por el Icfes y el MEN entre 2014 y 2017. Por medio de bases de datos del Modelo de Indicadores de Desempeño de la Educación (MIDE) encuentran que la variable con mayor correlación son los profesores con títulos de posdoctorados. 3.. Datos. Los datos utilizados se obtienen de las fuentes administrativas del gobierno colombiano. Estos incluyen información referente a las pruebas estandarizadas realizadas por los estudiantes en dos momentos del tiempo; una antes de iniciar sus estudios universitarios y otra al culminarlos. Así mismo, se utiliza información referente a las características institucionales de las universidades. El Icfes es una entidad estatal de carácter social, vinculada al Ministerio de Educación Nacional (MEN) la cual se encarga de llevar a cabo la evaluación de la educación del país en todos sus niveles de formación. Esto lo hace por medio de las pruebas estandarizadas Saber 3 y 5 para la educación primaria, Saber 9 para la educación secundaria, Saber 11 para la.

(11) 11. educación media y Saber Pro, para la educación superior. Además de lo mencionado anteriormente, el Icfes, por medio de las bases de datos obtenidas, adelanta investigaciones sobre los factores que inciden en la calidad de la educación. Lo anterior, con el fin de brindar información relevante para el mejoramiento y toma de decisiones relacionadas con la calidad de la educación. Además de evaluar el desempeño académico en matemáticas, lectura y lenguaje (competencias genéricas), el Icfes brinda información respecto a las variables sociodemográficas y socioeconómicas de los estudiantes. Así mismo, incluye datos del colegio y la IES en la que el estudiante se encuentra matriculado. Para el caso de esta investigación se tomaron los resultados en el componente de razonamiento cuantitativo de los estudiantes que presentaron su Saber Pro entre el 2012 y el 2015. Así mismo, se toma los resultados en el componente de matemáticas del Saber 11 para los mismos estudiantes, los cuales presentaron dicha prueba entre el 2006 y el 2012. Se consideran estos módulos debido a que las competencias que brinda un manejo apropiado de las matemáticas le permite al individuo procesar información de un contexto social, cultural, político y económico, para así tener la capacidad de justificar sus opiniones a partir de consideraciones matemáticas (ICFES, 2018). Para llevar a cabo el cruce de los resultados de los estudiantes en las pruebas el Icfes dispone con una base de datos en la cual se encuentra la llave que enlaza el consecutivo del estudiante en la prueba Saber 11 y el de la prueba Saber Pro. Se debe tener en cuenta que algunas de las preguntas llevadas a cabo en un año determinado no se siguieron realizando en los periodos posteriores. Por lo cual, la investigación solamente tiene en cuenta aquellas variables que se encuentran en los periodos de análisis. El módulo de Razonamiento Cuantitativo de la prueba Saber Pro evalúa las competencias en matemáticas de los estudiantes que están pronto a graduarse de las IES sin importar la profesión en la cual se van a desempeñar. Esto se debe a que la matemática es un factor fundamental para desempeñarse de manera adecuada en escenarios de la vida cotidiana que requieren un conocimiento básico de información cuantitativa (ICFES, 2015)..

(12) 12. Por otro lado, a pesar de que la prueba de matemáticas del Saber 11 evalúe las mismas competencias que en la prueba Saber Pro (interpretación y representación, formulación y ejecución, y argumentación), su comparación permite observar el cambio en el rendimiento académico de los estudiantes. De esta manera, el resultado en la prueba Saber 11 puede utilizarse como una variable proxy de las habilidades en matemáticas que tenían antes de entrar a la educación superior. Por lo cual, se vuelve una variable control de interés para la investigación, puesto que las habilidades adquiridas antes de ingresar a la educación superior de los estudiantes pueden llegar a jugar un papel preponderante en su logro académico (Cunha & Miller, 2014; Goldstein, Huiqi, Rath, & Hill, 2000; McCaffrey et al., 2004; Ray, 2006). Finalmente, se utilizan los datos publicados por el Modelo de Indicadores de Desempeño de la Educación (MIDE) llevado a cabo por el MEN. El objetivo de este modelo es crear indicadores que den una aproximación a la calidad de las IES a partir de los sistemas de información de educación superior que existen 3. Las características de las universidades seleccionadas se dividen en cuatro categorías i) investigación, ii) planta docente, iii) internacionalización y iv) naturaleza, las variables que se encuentran dentro de estas categorías son identificadas en la literatura como factores, los cuales afectan el valor agregado que las instituciones aportan a sus estudiantes. En el Anexo 1 se pueden observar cuales son las variables dependientes y control que se utilizan en el presente estudio. La variable dependiente es el resultado en la prueba de razonamiento cuantitativo en el Saber Pro. Para poder observar claramente cuál es la relación entre las características de las IES y el desempeño académico en matemáticas, se debe controlar por las características individuales de los alumnos, sus habilidades adquiridas anteriormente (resultado en el Saber 11) y sus condiciones socioeconómicas. En el Anexo 2 se encuentran las variables explicativas de interés del estudio. De las variables que denotan el nivel de investigación de la institución como Coautorías en SCOPUS y la proporción de investigadores sobre el total de docentes, se espera una relación positiva con el desempeño académico de los estudiantes. Sin embargo, podría pensarse que al ser una Los sistemas de información son: Sistema Nacional de Información de Educación Superior (SNIES), Sistema para la Prevención de la Deserción de la Educación Superior y el Observatorio Laboral para la Educación.. 3.

(13) 13. variable que no se involucra totalmente con la enseñanza de las matemáticas podría llegar a tener una relación baja. Se espera que la relación de la variable “proporción de docentes con posgrado” con el desempeño académico del estudiante sea positiva. Esto se debe a que como afirman autores como Balcázar y Ñopo (2015), Goldhaber, Liddle, y Theobald (2013) y Kennedy (2008), entre más preparado se encuentre el docente va a generar un mayor impacto sobre el desempeño académico de sus alumnos. Así mismo, el resultado esperado para la “la relación docente-alumno” debe ser del mismo signo, debido a que entre menor sea el tamaño de las clases el estudiante tiene una atención más personalizada por parte del profesor. Por otro lado, la proporción de profesores y estudiantes que han tenido experiencias de internacionalización pueden llegar a tener una correlación positiva sobre el desempeño académico, ya que, genera nuevas perspectivas culturales y académicas sobre las personas que participan en estos programas (Aaronson, Barrow, & Sander, 2007; Canales & Maldonado, 2018; Mccaffrey et al., 2004; Ruzek, Domina, Conley, Duncan, & Karabenick, 2015). Finalmente, la variable selectividad de la IES se calcula a partir del cociente entre el número de estudiantes que presentaron el Saber Pro en el periodo del 2012 al 2015, y el número de personas que indicaron en su prueba Saber 11 que deseaban ingresar a dicha IES. Por ejemplo, 14.492 personas de la Universidad Nacional de Colombia presentaron el Saber Pro en el periodo de estudio, mientras que en la prueba Saber 11 un total de 30.714 personas indicaron que deseaban ingresar a esta universidad. A partir de esto se puede concluir que el nivel de selectividad en la Universidad Nacional de Colombia es alto, esto se debe a que de cada 10 personas que desean estudiar en ella solo la mitad logran ingresar. De la selectividad de una IES se puede esperar que tenga una correlación negativa con el desempeño académico de los estudiantes. Ya que, el esfuerzo que debe hacer la IES para aumentar el resultado del estudiante en el Saber Pro respecto a un Saber 11 es mayor a medida que el estudiante obtiene un mejor resultado en la prueba de ingreso. Finalmente, en el Anexo 3 se encuentran las estadísticas descriptivas de las variables utilizadas en la investigación. 4. Metodología.

(14) 14. Como se mencionó anteriormente una de las herramientas que permite medir la calidad de las IES son los Modelos de Valor Agregado los cuales permiten observar cual es el cambio en el desempeño académicos del estudiante desde que se vincula a la universidad hasta que se gradúa (Balcázar & Ñopo, 2015; Camacho et al., 2017; Cunha & Miller, 2012; A. R. Saavedra & Saavedra, 2011; J. E. Saavedra, 2009; Yunker, 2005). Esto significa que por medio de estos modelos se puede observar cual es el valor agregado que la universidad le suma. En la literatura se utilizan diferentes metodologías para calcular el valor agregado que aportan las IES a los estudiantes, estas suelen variar dependiendo de la estructura de datos que tiene el investigador la cual puede ser de sección cruzada 4 o longitudinal 5 (Kim & Lalancette, 2013). En la presente sección se presentan los tres principales modelos utilizados para calcular el valor agregado de las IES, de los cuales se analizan sus ventajas y desventajas para así finalmente determinar cuáles son adecuados para estimar la asociación entre las características institucionales y el valor agregado. 4.1. Modelo de regresión lineal El modelo de regresión lineal especifica el puntaje de salida como una función del puntaje de entrada y otras variables, como las características del estudiante y de la institución. Son modelos habitualmente fáciles de interpretar y de especificar, así mismo, es factible implementarlo con una base de datos de estructura de sección cruzada o longitudinal. Sin embargo, este tipo de modelos suponen que existe una relación lineal entre los puntajes promedio de las pruebas de salida y las características institucionales de las IES, por lo cual, omite que los estudiantes se agrupan en universidades, lo que genera un sesgo en la. Son las bases de datos en las cuales se lleva a cabo una prueba estandarizada a los estudiantes que están ingresando a la educación superior y a los que se encuentran por graduarse en un mismo momento del tiempo. Por ejemplo, Saavedra y Saavedra (2011) utilizan este tipo de bases de datos al emplear la prueba estandarizada de Australia Graduate Skills Assessment (GSA) realizada en 2008 por el ICFES y el instituto Australian Council for Education Research (ACER). 5 En las bases de datos longitudinales a diferencia de las de sección se toma el resultado en las pruebas estandarizadas de los estudiantes a través del tiempo. Por ejemplo, Camacho et al. (2017) toman los resultados del Saber 11 y Saber Pro para cada estudiante y estiman cual el valor aportado por las instituciones de educación superior. 4.

(15) 15. estimación del valor agregado (Kim & Lalancette, 2013). De esta manera el modelo lineal es el siguiente: 𝑦𝑦𝑖𝑖𝑖𝑖(2) = 𝛽𝛽0 + 𝛽𝛽1 𝑦𝑦𝑖𝑖𝑖𝑖(1) + 𝛽𝛽2 𝑋𝑋𝑖𝑖𝑖𝑖 + 𝛽𝛽3 𝑋𝑋𝑗𝑗 + 𝜀𝜀𝑖𝑖𝑖𝑖 (1). Donde 𝑦𝑦𝑖𝑖𝑖𝑖(2) es el resultado en razonamiento cuantitativo en la prueba Saber Pro del estudiante i de la IES j. El termino 𝑦𝑦𝑖𝑖𝑖𝑖(1) es el resultado en matemáticas en la prueba Saber. 11 del estudiante i de la IES j. Por otro lado, 𝑋𝑋𝑖𝑖𝑖𝑖 es un vector de características individuales. del estudiante i de la universidad j, entre los que se encuentra la educación y ocupación de los padres, ingresos del hogar, entre otros. Finalmente, 𝑋𝑋𝑗𝑗 es el vector de características de la IES j las cuales se encuentran en el Anexo 2. 4.2. Modelo lineal con efectos fijos. Este tipo de modelos estiman los efectos institucionales sobre el rendimiento de los estudiantes por medio un parámetro fijo. Tiene la fortaleza de reducir el sesgo creado por el los factores difíciles de observar de las IES que no son incluidos en la estimación (Kim & Lalancette, 2013; Melguizo et al., 2017). De esta manera, el modelo de efectos fijos es el siguiente: 𝑦𝑦𝑖𝑖𝑖𝑖(2) = 𝛽𝛽0 + 𝛽𝛽1 𝑦𝑦𝑖𝑖𝑖𝑖(1) + 𝛽𝛽2 𝑋𝑋𝑖𝑖𝑖𝑖 + 𝛿𝛿𝑗𝑗 + 𝜀𝜀𝑖𝑖𝑖𝑖 (2). Donde 𝑦𝑦𝑖𝑖𝑖𝑖(2) es el resultado en razonamiento cuantitativo en la prueba Saber Pro del. estudiante i de la IES j. El termino 𝑦𝑦𝑖𝑖𝑖𝑖(1) es el resultado en matemáticas en la prueba Saber. 11 del mismo estudiante i de la IES j. 𝑋𝑋𝑖𝑖𝑖𝑖 sigue siendo un vector de características. individuales del estudiante i de la universidad j. En este caso en vez de agregar los factores institucionales se incluye un parámetro 𝛿𝛿𝑗𝑗 , el cual captura el efecto de los factores de las IES. no incluidos en la regresión, que influyen en el desempeño académico de los estudiantes. Un. ejemplo de estas características de las IES difíciles de observar pueden ser su visión y misión institucional, el nivel de bienestar académico, la integralidad del currículo, la flexibilidad del currículo, entre otros. Aunque el modelo de efectos fijos permite ver cuál es el valor agregado que aporta cada una de las IES, no es pertinente para lograr el objetivo de la presente investigación ya que no.

(16) 16. permite ver cuál es la relación entre las características institucionales de las IES y el rendimiento académico de sus estudiantes. 4.3. Modelo Jerárquico Los modelos jerárquicos son útiles cuando se tiene una población que se divide en grupos que se diferencian por sus características socioeconómicas, culturales, educativas, entre otras. Para el caso del valor agregado en la educación superior se cuenta con una muestra en la cual las IES son las unidades de observación del nivel más alto, y los estudiantes son la unidad de observación del nivel más bajo. La división de los estudiantes por IES es necesaria dado a que los estudiantes de una universidad son similares entre sí, pues, cada institución atrae un tipo de estudiante con unas características socioeconómicas y un nivel intelectual determinado. Por lo cual, se espera que la correlación entre las características de los estudiantes de la misma universidad va a ser mayor que la correlación de las características de alumnos de diferentes instituciones (Hox, Moerbeek, & van de Schoot, 2018; Raudenbush & Brykm, 2002). Los modelos jerárquicos permiten analizar simultáneamente como las variables de diferentes niveles (país, departamento, municipio, institución educativa, salón de clase e individuo) afectan una variable resultado de interés. Hox, Moerbeek, y van de Schoot (2018) explican los modelos jerárquicos por medio de la teoría del “estanque de ranas”, la cual afirma que una rana común puede ser una rana pequeña en un estanque de ranas grandes, o puede ser una rana grande en un estanque de ranas pequeñas. Dicha teoría se refiere a que los individuos tienden a evaluarse a si mismos como peores estudiantes cuando se encuentran con alumnos de mayor desempeño, por lo cual, dichos sujetos podrían llegar a motivarse y tener así un rendimiento alto. Por otro lado, en caso de que el mismo estudiante se encuentre en un contexto menor o igual de inteligente al suyo puede perder confianza y tener un rendimiento académico menor. Por consiguiente, el desempeño individual de la persona depende de diferentes factores entre los cuales destacan la inteligencia de sus compañeros de clase y del campus universitario. Es importante resaltar que para calcular el valor agregado de una IES se debe tener en cuenta que los estudiantes se agrupan en aulas, programas académicos, instituciones y regiones. Esta aglomeración lleva a que el desempeño académico de los estudiantes cambie de manera.

(17) 17. significativa. Las dinámicas que se dan en un salón de clase en un programa académico como derecho de una IES de la zona caribe colombiana son totalmente diferentes a las dinámicas de un salón de clase de un programa académico de economía en la ciudad de Bogotá. Los efectos del contexto social sobre el desempeño del individuo se relacionan con las características del entorno en el cual se desenvuelve. Los modelos jerárquicos permiten tomar en consideración el agrupamiento de los estudiantes en diferentes niveles. Debido a que es imposible saber qué estudiantes pertenecían al mismo salón de clase por medio de las pruebas Saber Pro y que el número de regiones colombianas no es suficiente para llevar a cabo una estimación, se utilizan los niveles de IES y de estudiante, como se puede observar en la Figura 1. Así mismo, un problema común de los modelos jerárquicos es la muestra pequeña que tienen los niveles más altos.. Figura 1 – Estructura jerárquica de los datos. Siguiendo lo propuesto por Raudenbush y Brykm (2002) el modelo jerárquico a estimar es: Primer Nivel – Nivel de estudiante 𝑌𝑌𝑖𝑖𝑖𝑖(2) = 𝛽𝛽0𝑗𝑗 + 𝛽𝛽1𝑗𝑗 (𝑦𝑦𝑖𝑖𝑗𝑗(1) − ��) 𝑦𝑦𝚥𝚥(1) + 𝛽𝛽2 𝑋𝑋𝑖𝑖𝑖𝑖 + 𝜀𝜀𝑖𝑖𝑖𝑖. Segundo Nivel – Nivel de IES. 𝛽𝛽0𝑗𝑗 = 𝛿𝛿0 + 𝛿𝛿0𝑠𝑠 𝑊𝑊𝑠𝑠𝑠𝑠 + 𝑢𝑢𝑗𝑗 𝛽𝛽1𝑗𝑗 = 𝜑𝜑0 + 𝜑𝜑0𝑠𝑠 𝑊𝑊𝑠𝑠𝑠𝑠 + 𝑒𝑒𝑗𝑗. Donde 𝑦𝑦𝑖𝑖𝑖𝑖(2) es el resultado en razonamiento cuantitativo en la prueba Saber Pro del estudiante i de la IES j. El termino 𝑦𝑦𝑖𝑖𝑖𝑖(1) es el resultado en matemáticas en la prueba Saber. 11 del mismo estudiante i de la IES j, y �� 𝑦𝑦𝚥𝚥(1) es el resultado promedio en la prueba Saber 11. de la institución j. 𝑋𝑋𝑖𝑖𝑖𝑖 es el vector de características individuales de los estudiantes del.

(18) 18. estudiante i de la IES j. Finalmente, el vector 𝑊𝑊𝑠𝑠𝑠𝑠 hace referencia a las s características de la. IES j, las cuales son de interés para la investigación.. El modelo con diferentes variables explicativas tanto para el nivel de estudiantes y el nivel de IES se puede escribir como una sola regresión al sustituir 𝛽𝛽0𝑗𝑗 y 𝛽𝛽1𝑗𝑗 en el primer nivel. Al llevar a cabo este procedimiento obtenemos:. 𝑌𝑌𝑖𝑖𝑖𝑖(2) = 𝛿𝛿0 + 𝛿𝛿0𝑠𝑠 𝑊𝑊𝑠𝑠𝑠𝑠 + 𝛽𝛽2 𝑋𝑋𝑖𝑖𝑖𝑖 + 𝜑𝜑0 �𝑦𝑦𝑖𝑖𝑖𝑖(1) − 𝑦𝑦 �� 𝑦𝑦𝚥𝚥(1) 𝚥𝚥(1) + 𝜑𝜑0𝑠𝑠 𝑊𝑊𝑠𝑠𝑠𝑠 �𝑦𝑦𝑖𝑖𝑖𝑖(1) − �� La. primera. parte. + 𝑒𝑒𝑗𝑗 �𝑦𝑦𝑖𝑖𝑖𝑖(1) − �� 𝑦𝑦𝚥𝚥(1) + 𝑢𝑢𝑗𝑗 + 𝜀𝜀𝑖𝑖𝑖𝑖 de. la. ecuación. [𝛿𝛿0 + 𝛿𝛿0𝑠𝑠 𝑊𝑊𝑠𝑠𝑠𝑠 + 𝛽𝛽2 𝑋𝑋𝑖𝑖𝑖𝑖 + 𝜑𝜑0 �𝑦𝑦𝑖𝑖𝑖𝑖(1) − 𝑦𝑦 �� 𝚥𝚥(1) +. ��] 𝜑𝜑0𝑠𝑠 𝑊𝑊𝑠𝑠𝑠𝑠 �𝑦𝑦𝑖𝑖𝑖𝑖(1) − 𝑦𝑦 𝚥𝚥(1) contiene los coeficientes fijos del modelo, mientras que por otro lado. el segmento [𝑒𝑒𝑗𝑗 �𝑦𝑦𝑖𝑖𝑖𝑖(1) − �� 𝑦𝑦𝚥𝚥(1) + 𝑢𝑢𝑗𝑗 + 𝜀𝜀𝑖𝑖𝑖𝑖 ] contiene los términos de error aleatorio. El. termino de interacción 𝑊𝑊𝑠𝑠𝑠𝑠 �𝑦𝑦𝑖𝑖𝑖𝑖(1) − �� 𝑦𝑦𝚥𝚥(1) aparece debido al modelar la variación en la pendiente de la variable del nivel del estudiante Saber 11 con las características de las IES. (𝑊𝑊𝑠𝑠𝑠𝑠 ). Esta ecuación permite estimar de manera más eficiente el valor agregado de los estudiantes debido a la interacción entre niveles que se incluye. Finalmente, en termino 𝛿𝛿0𝑠𝑠 contiene la relación de cada característica de la IES con el valor agregado.. Llevar a cabo este procedimiento por medio de la regresión lineal múltiple conllevaría a tener estimadores ineficientes. Como se puede observar en la ecuación anterior, el termino aleatorio 𝑒𝑒𝑗𝑗 interactúa con el Saber 11 centrado en su media, lo cual genera que la varianza del error dependa de los diferentes resultados que obtuvieron los estudiantes en el Saber 11. En otras palabras, si se lleva a cabo el modelo por MCO tendrá graves problemas de heterocedasticidad. Por lo cual, al llevar a cabo el procedimiento por medio de un modelo jerárquico elimina este problema (Hox et al., 2018). El termino 𝛽𝛽0𝑗𝑗 (punto de corte) hace referencia al desempeño académico promedio de los. estudiantes de la IES j. En la Figura 2 se puede observar que en promedio la institución A aporta una mayor cantidad de valor agregado a sus estudiantes que la institución B. Por otro lado, el termino 𝛽𝛽1𝑗𝑗 (pendiente) hace referencia a la capacidad de la IES j de transformar un. resultado en el Saber 11 en un resultado diferente en el Saber Pro. Por lo cual, de la Figura 2.

(19) 19. se puede concluir que la institución A tiene mayor capacidad para transformar los resultados del Saber 11 en mejores resultados en el Saber Pro que la institución B.. Figura 2 - IES con diferentes puntos de corte y pendientes. El modelo tiene tres términos aleatorios. En el primer nivel existe un término aleatorio, 𝜀𝜀𝑖𝑖𝑖𝑖 , el que representa la desviación del Saber Pro de cada estudiante respecto a la media de su. respectiva IES. En el segundo nivel hay dos términos aleatorios: 𝑢𝑢𝑗𝑗 que representa la. desviación del Saber Pro promedio de una IES respecto al promedio general, y 𝑒𝑒𝑗𝑗 que captura la desviación de la pendiente de una IES especifica respecto a la pendiente general. Los tres. términos aleatorios asumen una distribución normal con varianzas 𝜎𝜎𝜀𝜀2𝑖𝑖𝑖𝑖 , 𝜎𝜎𝑢𝑢2𝑗𝑗 𝑦𝑦 𝜎𝜎𝑒𝑒2𝑗𝑗 ,. respectivamente (Garcés, Montes, Chica, & Alberto, 2016; Goldstein, 1999; McCaffrey et al., 2004; Raudenbush & Brykm, 2002). Por medio de los términos aleatorios se puede crear el coeficiente de correlación intraclase (ICC), 𝜌𝜌. El termino 𝜌𝜌 está definido por: 𝜌𝜌 =. 𝜎𝜎𝑢𝑢2𝑗𝑗 + 𝜎𝜎𝑒𝑒2𝑗𝑗. 𝜎𝜎𝜀𝜀2𝑖𝑖𝑖𝑖 + 𝜎𝜎𝑢𝑢2𝑗𝑗 + 𝜎𝜎𝑒𝑒2𝑗𝑗. Un 𝜌𝜌 más cercano a cero significa que las IES no contribuyen en el rendimiento académico. de los estudiantes, mientras que si 𝜌𝜌 se acerca más a uno significa que las IES inciden. significativamente en el logro académico de los estudiantes (Garcés et al., 2016; Raudenbush & Brykm, 2002). En los modelos jerárquicos los estimadores tienen una mayor eficiencia. estadística que aquellos que se calculan por medio del modelo de efectos fijos y mínimos.

(20) 20. cuadrados ordinarios. Esto es porque el modelo capta los diferentes niveles de información que hay al centrar los resultados de entrada de los estudiantes sobre la media de la institución. 5. Resultados Los resultados encontrados se presentan en dos secciones. En la primera sección se presentan los resultados del modelo de mínimos cuadrados ordinarios. En la segunda, se muestra el resultado del modelo jerárquico con diferentes aportes promedio por IES (𝛽𝛽0𝑗𝑗 ), y los. resultados del modelo jerárquico en el cual se adiciona la capacidad de transformación de los resultados por parte de la IES (𝛽𝛽1𝑗𝑗 ).. 5.1. Estimación del valor agregado a través del método de mínimos cuadrados ordinarios. En el Cuadro 1 se presenta la relación entre las características de las IES y el rendimiento académico de los estudiantes en la prueba de razonamiento cuantitativo del Saber Pro. Se incluyen dos paneles, el primero considera las variables explicativas de interés y el segundo reporta los diferentes controles utilizados en cada uno de los modelos. Cuadro 1. Resultado modelo valor agregado por mínimos cuadrados ordinarios.. VARIABLES. Coautorías en SCOPUS Investigadores Docentes Relación Docente Alumno Docentes con Posgrado Movilidad Estudiante Movilidad Docente Selectividad Constante. (1) RC Saber Pro MCO. (2) RC Saber Pro MCO. (3) RC Saber Pro MCO. (4) RC Saber Pro MCO. (5) RC Saber Pro MCO. -0.22 (0.20) 3.872*** (0.78) 3.60** (1.60) 0.02 (0.15) 0.80* (0.42) -0.04 (0.14) -0.002 (0.004) 9.66*** (0.20). -0.29 (0.19) 3.655*** (0.64) 2.26 (1.37) -0.09 (0.12) 0.12 (0.34) -0.006 (0.11) -0.008** (0.004) 9.86*** (0.19). -0.34** (0.15) 3.344*** (0.47) 3.51** (1.37) -0.04 (0.09) 0.05 (0.29) -0.04 (0.08) -0.007** (0.003) 9.50*** (0.19). -0.28*** (0.10) 2.064*** (0.39) 2.68** (1.07) -0.01 (0.06) 0.11 (0.24) -0.08 (0.05) -0.004* (0.002) 7.54*** (0.12). -0.12 (0.08) 1.312*** (0.28) 2.58*** (0.89) 0.03 (0.05) 0.84*** (0.27) -0.01 (0.06) -0.0009 (0.002) 7.27*** (0.14).

(21) 21. VARIABLES Demográficas Educación y Ocupación de los padres Variables Socioeconómicas Área del Conocimiento Punt. Matemáticas Saber 11 Universidad Pública EF por Año de Presentación Saber Pro Región de la IES Tamaño de la IES Observaciones R-cuadrado. (1) RC Saber Pro MCO. (2) RC Saber Pro MCO. (3) RC Saber Pro MCO. (4) RC Saber Pro MCO. (5) RC Saber Pro MCO. No. Sí. Sí. Sí. Sí. No No No No No. Sí No No No No. Sí Sí No No No. Sí Sí Sí No No. Sí Sí Sí Sí Sí. No No 277,882 0.168. No No 277,882 0.253. No No 277,882 0.344. No No 277,882 0.460. Sí Sí 277,882 0.466. Errores estándar robustos ajustados por clústeres en área del conocimiento entre paréntesis *** p<0.01, ** p<0.05, * p<0.1. La columna 1 presenta la relación de las característi0063as de las IES y el desempeño de los estudiantes en la prueba al no incluir ningún tipo de control. La proporción de investigadores docentes, la relación docente y la movilidad estudiantil de la IES son significativas al 1%, 5% y 10% respectivamente para explicar el resultado en el Saber Pro de los estudiantes. La columna 2 agrega controles propios del estudiante como el nivel educativo que alcanzaron sus padres, su estrato socioeconómico, el nivel del sisben en el que se encuentra y el estrato económico del hogar en el que habita. En este caso la selectividad de la universidad se asocia negativamente con el desempeño académico de los estudiantes, sin embargo, a pesar de ser significativa al 5%, su relación con el resultado en la prueba de razonamiento cuantitativo es cercana a cero. Así mismo, la proporción de docentes investigadores de la IES sigue siendo significativa al agregar los controles mencionados. La columna 3 incluye como control el área del conocimiento de la carrera que curso el estudiante. Las habilidades en matemáticas de un estudiante de un programa en el cual se enfatiza poco en la enseñanza de la materia, son distintas al estudiante que sí ha tenido que utilizar el cálculo, la trigonometría, el álgebra lineal, entre otros, para lograr formar un perfil profesional específico. Por consiguiente, se ve un cambio en los resultados de los coeficientes de interés al incluir este control. En comparación con el modelo estimado en la columna 2 se.

(22) 22. observa que las coautorías en SCOPUS y la relación docente alumno se tornan estadísticamente significativas para explicar el resultado en el Saber Pro, al 10% y 1%. Así mismo, en la columna 4 se agrega como control el resultado del estudiante en la prueba de matemáticas del Saber 11, que como ya se ha mencionado anteriormente es una variable proxy de las habilidades antes de entrar a la educación superior del estudiante en este componente. Al incluir esta variable se puede observar que la magnitud de la mayoría de los estimadores disminuye, los coeficientes de las coautorías en SCOPUS, la proporción de investigadores docentes y la relación docente alumno, reducen de manera significativa su valor respecto al modelo de la columna 3. Lo anterior, puede explicarse dado a que las habilidades de los estudiantes antes de ingresar a la educación terciaria se relacionan positivamente con su desempeño académico en el transcurso y al final de su carrera profesional (Camacho et al., 2017). Finalmente, la columna 5 exhibe el resultado del modelo de mínimos cuadrados ordinarios agregando efectos fijos de año y región de presentación del Saber Pro. Así mismo, se agregan variables control de las IES como si es pública o no y el tamaño de la misma. Tanto las coautorías en SCOPUS y la selectividad de la universidad pierden significancia estadística al momento de agregar los efectos fijos. La proporción de coautorías con investigadores internacionales de la IES no es significativa para explicar el resultado de los estudiantes en el módulo de razonamiento cuantitativo del Saber Pro. Así mismo, a pesar de no ser significativa se puede observar que se asocia negativamente con la variable dependiente, lo cual se puede explicar ya que el proceso investigativo de los docentes con autores internacionales no afecta directamente el rendimiento académico de sus alumnos. Por lo cual, podría concluirse que un aumento en una unidad (0,01) en la proporción de coautorías internacionales en SCOPUS está asociada con una disminución del 0,0012 en el resultado de los estudiantes en el Saber Pro, lo cual no es relevante. Así mismo, si la IES mejorara el indicador en cincuenta unidades (0,50) esto podría verse asociado con un aumento en 0,06 en el resultado en la prueba Saber pro de sus estudiantes (. 0,12 100. ∗ 50)..

(23) 23. La proporción de investigadores docentes está asociada positivamente con el desempeño académico de los estudiantes y es significativa estadísticamente al 1%. De esta manera, un aumento en la proporción de investigadores por parte de la Universidad de Cundinamarca (0,01283) a el nivel de la Universidad Nacional de Colombia (0,4454) está asociado con un aumento en el resultado de los estudiantes en la prueba de 0,56 puntos. Esto significa que un incremento en la proporción de investigadores de la Universidad de Cundinamarca de 43,25 unidades se asocia con que el desempeño académico de sus estudiantes aumenta en casi medio punto, el cual es considerable teniendo en cuenta que equivale a aproximadamente media desviación estándar. Al igual que la variable anterior la relación docente alumno es significativo al 1% y se asocia positivamente con el logro académico de los estudiantes en el Saber Pro. Por lo cual, un aumento de una unidad en la relación docente alumno por parte de la IES se ve asociado con un aumento en el resultado en la prueba en 0,0258 puntos. De esta manera, un aumento en la relación docente alumno de la Fundación Universidad Autónoma de Colombia (0,0127) al mismo nivel que la Universidad Externado de Colombia (0,1351) está asociado con aumento en el resultado de la prueba en 0,31 puntos o en un cuarto de desviación estándar. La proporción de docentes con posgrado no resulta significativa para explicar la variable dependiente. Sin embargo, el signo del estimador es el esperado. De esta manera, un incremento en la proporción de docentes con posgrado en una unidad se ve asociado con un aumento en los resultados en la prueba en 0,0003 puntos. La movilidad docente también obtiene el signo esperado y no es significativa estadísticamente. En este caso un aumento de una unidad en la movilidad docente está asociado con una disminución de 0,0001 puntos en la prueba Saber Pro. Por su parte la movilidad estudiantil es significativa a un 1% y su signo es el esperado. De esta manera, un incremento en el indicador de movilidad estudiantil de la Universidad Nacional Abierta y a Distancia (0,0000328) al nivel de la Universidad EAFIT (0,3682) está asociado con un aumento en el resultado de los estudiantes de 0,3 puntos, lo cual corresponde a un cuarto de desviación estandar. Finalmente, la selectividad de la IES no es significativa tanto estadísticamente como económicamente para explicar el resultado de los estudiantes en la prueba de razonamiento cuantitativo..

(24) 24. 5.2. Estimación del aporte de la IES a través de modelos jerárquicos En la figura 2 se presenta la estructura jerárquica de la Universidad Nacional de Colombia sede Bogotá frente a la Universidad de Pamplona. Son dos instituciones diferentes entre ellas por el tipo de estudiantes que recibe, la región en la que se ubican, el número de matriculados, la calidad docente, entre otros. Las líneas de tendencia indican que las dos IES difieren de dos maneras. La primera es que la Universidad Nacional contribuye en promedio un mayor valor agregado a sus estudiantes, debido a que los puntos de corte de los dos establecimientos son diferentes. La segunda diferencia entre las dos IES es que ambas tienen una capacidad diferente para transformar los resultados de los estudiantes. Al existir esta diferencia entre los resultados de los estudiantes tanto en el Saber 11 y el Saber Pro en las diferentes instituciones de Colombia es oportuno llevar a cabo un análisis multinivel con el objetivo de obtener la relación de las características institucionales con el desempeño académico de los estudiantes. En la columna 1 del Cuadro 2 se presentan los resultados estimados de la relación entre las habilidades del estudiante en matemáticas al inicio del pregrado y las características institucionales de la IES, con el resultado en el componente de razonamiento cuantitativo de las pruebas Saber Pro. Por otra parte, la columna 2 presenta los resultados del modelo incluyendo la capacidad de la IES (𝛽𝛽1𝑗𝑗 ) de transformar el puntaje de los estudiantes en el. 6. Resultados RC Saber Pro 8 10 12 14. 16. Saber 11 en uno mejor en el Saber Pro.. 0. 20. 40 60 Resultados matemáticas Saber 11. U. Nacional de Colombia Tendencia U. Nacional. 80. 100. U. de Pamplona Tendencia U. de Pamplona.

(25) 25. Figura 2. Estructura jerárquica de dos IES colombianas. Los coeficientes de las variables no cambian significativamente entre los dos modelos estimados. En el segundo modelo la relación docente alumno es significativa a un 5% para explicar los resultados de los estudiantes en la prueba de razonamiento cuantitativo del Saber Pro. Por lo cual, se puede concluir que un aumento de una unidad en la relación docente alumno está asociado con un aumento en 0,0252 puntos en el resultado del estudiante en la prueba de razonamiento cuantitativo del Saber Pro. De modo que, si una IES aumenta esta relación en 10 unidades, este cambio se vería asociado con incremento de 0,21 desviaciones estándar. Lo anterior, tiene sentido, ya que, entre mayor sea el indicador significa que las clases en las que se desenvuelven los estudiantes tienen una menor cantidad de personas; lo que genera que haya a un trato más personalizado por parte del profesor hacia sus alumnos y, por consiguiente, una influencia positiva en el rendimiento académico de los estudiantes. El intercepto del modelo es el resultado promedio de los estudiantes en la prueba Saber Pro, por lo cual, en promedio los estudiantes de todas las IES analizadas obtienen un puntaje de 8,96. Las habilidades del estudiante en matemáticas antes de ingresar a la educación superior (representadas por el resultado en el Saber 11 centrado sobre la media) son significativas a cualquier nivel. Por lo cual, un aumento del Saber 11 en una desviación estándar está asociado con un incremento en el desempeño en el Saber Pro de 0,04 desviaciones estándar. El coeficiente para la naturaleza de la universidad (Oficial = 1 / No Oficial = 0) es de 0,19, esto significa que pertenecer a una universidad oficial se relaciona con un mejor resultado en la prueba estandarizada. Cuadro 2. Resultado modelo valor agregado por estructuración jerárquica. (1) (2) Razonamiento Razonamiento Cuantitativo Saber Pro Cuantitativo Saber Pro Constante 8.96*** 8.94*** (0.165) (0.163) Nivel de Estudiante Puntaje matemáticas Saber 11 0.04*** 0.03*** (0.000171) (0.00451) Controles primer nivel Sí Sí Nivel de Institución de Educación Superior Coautorías en SCOPUS -0.11 -0.11 (0.13) (0.13) VARIABLES.

(26) 26. VARIABLES Investigadores Docentes Relación Docente Alumno Docentes con Posgrado Movilidad Estudiante Movilidad Docente Selectividad Universidad pública Varianza Estudiantes (𝜎𝜎𝜀𝜀2𝑖𝑖𝑖𝑖 ) Varianza Instituciones de Educación Superior (𝜎𝜎𝑢𝑢2𝑗𝑗 ) Varianza Pendiente IES (𝜎𝜎𝑒𝑒2𝑗𝑗 ) ICC (ρ) Observaciones Número de Grupos. (1) Razonamiento Cuantitativo Saber Pro 2.51*** (0.50) 2.31* (1.219) 0.15** (0.07) 1.34** (0.63) -0.02 (0.111) 0.0003 (0.004) 0.21*** (0.07) Efectos Aleatorios 0,724 0,046. (2) Razonamiento Cuantitativo Saber Pro 2.52*** (0.50) 2.52** (1.202) 0.16** (0.07) 1.34** (0.62) -0.03 (0.110) 0.0007 (0.004) 0.19*** (0.07) 0,72 0,046. -. 0,000031. 6,03% 277,882 76. 6,11% 277,882 76. Errores estándar entre paréntesis *** p<0.01, ** p<0.05, * p<0.1. La proporción de investigadores docentes de la IES está asociada positivamente con el logro académico de los estudiantes. De tal manera, un aumento de la proporción de investigadores docentes en la Universidad de Cundinamarca al nivel de la Universidad Nacional de Colombia está asociado con un aumento en el resultado de los estudiantes de 1,08 puntos. Se puede concluir que la proporción de investigadores docentes es relevante para explicar el desempeño académico de los estudiantes. El índice de docentes con posgrado obtiene un coeficiente de 0,16 el cual es significativo al 10%. Por lo cual, un aumento de una unidad en el índice de docentes con posgrados está asociado con un aumento en la prueba en 0,0016 puntos, lo cual es menos que el 5% de una desviación estándar. Finalmente, la movilidad estudiantil se relaciona positivamente con el resultado del estudiante en el Saber Pro. Debido a esto un aumento en el índice utilizado en una unidad se ve asociado con un aumento en el resultado en 0,0134, lo que es equivalente a 0.01 desviaciones estándar..

(27) 27. En el primer modelo la varianza de los residuos a nivel de estudiante (primer nivel), simbolizado por 𝜎𝜎𝜀𝜀2𝑖𝑖𝑖𝑖 , es igual a 0,72. Así mismo, la varianza de los residuos estimados a nivel de las instituciones, simbolizadas por 𝜎𝜎𝑢𝑢2𝑗𝑗 es igual a 0,046. Por lo que, la correlación intraclase. (ICC) calculada para el modelo es igual a 𝜌𝜌 = 𝜎𝜎𝑢𝑢2𝑗𝑗 /(𝜎𝜎𝜀𝜀2𝑖𝑖𝑖𝑖 + 𝜎𝜎𝑢𝑢2𝑗𝑗 ) = 0,0603, en consecuencia. el 6,03% de la varianza de los resultados en la prueba de razonamiento cuantitativo del Saber Pro se encuentra a nivel de las IES. Al ser el ICC cercano a cero significa que las IES no contribuyen de manera significativa al rendimiento académico de los estudiantes. En el segundo modelo jerárquico estimado la varianza de los residuos a nivel de estudiante y la de los residuos a nivel de las instituciones siguen siendo los mismos, 0,72 y 0,046 respectivamente. Por otro lado, la varianza de los residuos de las diferentes capacidades de las IES para transformar los resultados, la cual es simbolizada por 𝜎𝜎𝑒𝑒2𝑗𝑗 es igual a 0,000031.. El ICC es 𝜌𝜌 = (𝜎𝜎𝑢𝑢2𝑗𝑗 + 𝜎𝜎𝑒𝑒2𝑗𝑗 )/(𝜎𝜎𝜀𝜀2𝑖𝑖𝑖𝑖 + 𝜎𝜎𝑢𝑢2𝑗𝑗 + 𝜎𝜎𝑒𝑒2𝑗𝑗 ) = 0,0611, esto significa que el 6,11% de la. varianza de los resultados de los estudiantes en el Saber Pro son explicados por las IES. Dado lo anterior, el ICC no varía significativamente respecto al modelo jerárquico de la columna 1, por lo cual, se puede concluir que la capacidad de transformación del resultado por parte de la IES no explica significativamente el desempeño académico de los estudiantes en la prueba se razonamiento cuantitativo. 6. Conclusiones Utilizando datos administrativos de las pruebas Saber 11 y Saber Pro efectuadas periódicamente por el Icfes, junto con los indicadores de desempeño de la educación superior. calculados por el MEN, se calculó la relación entre las diferentes características institucionales de las IES con el rendimiento académico de los estudiantes colombianos en la prueba de razonamiento cuantitativo del Saber Pro. Del modelo de mínimos cuadrados ordinarios se puede concluir que a pesar de que este es un modelo utilizado para calcular frecuentemente el aporte de las IES al desempeño académico de los estudiantes, es probable que sus resultados sean incorrectos debido a que el modelo supone una relación lineal entre las diferentes variables. A pesar de ello, al igual que Camacho et al. (2017), la estimación del modelo demostró que, al controlar por las habilidades en matemáticas de los estudiantes antes de entrar a la educación superior, las.

(28) 28. características de las IES explican en menor medida el desempeño académico de los estudiantes. Así mismo, al controlar por el año de presentación, la región de origen del estudiante y el tamaño de la IES, se evidencia que la movilidad docente y la selectividad no son significativas estadísticamente para explicar el desempeño académico. Los resultados del modelo jerárquico evidencian la importancia de los docentes en el desempeño académico de los estudiantes. Del total de variables de personal docente incluidas en el modelo son significativas para explicar el rendimiento académico de los estudiantes. Sin embargo, el ICC estimado mostró que el 4.84% de la varianza total era explicada por las IES, por lo que se puede concluir que las características de las IES contribuyen una proporción baja al rendimiento académico de los estudiantes en el módulo de razonamiento cuantitativo de la prueba Saber Pro. Finalmente, las características que explican el valor agregado que ofrecen las IES a sus estudiantes son las variables de continuidad, personal docente y la naturaleza de la universidad. Para el año 2020 la educación va a ser el sector con mayores fondos del total del presupuesto general de la nación. Se van a destinar 44,1 billones de pesos en total, lo que significa un crecimiento de 11% frente a lo destinado en el año 2018 y de 6,41% en el 2019 (El Espectador, 2019). Por consiguiente, los resultados de la presente investigación son pertinentes para la formulación de políticas públicas que permitan gestionar los recursos eficientemente. Particularmente en las que estén enfocadas al aumento de la calidad educativa que ofrecen las IES. 7. Referencias bibliográficas Aaronson, D., Barrow, L., & Sander, W. (2007). Teachers and Student Achievement in the Chicago Public High Schools. Journal of Labor Economics, 25(1), 95–135. https://doi.org/10.1086/508733 Balcázar, C. F., & Ñopo, H. (2015). Broken Gears: The Value Added of Higher Education on Teachers Academic Achievement. IZA Discussion Paper Series, (January), 1–28. Bayona-rodríguez, H., & Sánchez, F. (2018). Efectos (algunos no esperados) de la Acreditación de Alta Calidad en las Universidades Colombianas. Documentos CEDE..

(29) 29. Camacho, A., Messina, J., & Uribe, J. P. (2017). The Expansion of Higher Education in Colombia: Bad Students or Bad Programs? Canales, A., & Maldonado, L. (2018). Teacher quality and student achievement in Chile: Linking teachers’ contribution and observable characteristics. International Journal of Educational Development, 60(September 2017), 33–50. https://doi.org/10.1016/j.ijedudev.2017.09.009 Coleman, J. S., Hopkins, J., Campbell, E., Hobson, C., McPartland, J., Mood, A., … York, R. (1966). Equality of Educational Opportunity, NATIONAL CENTER FOR EDUCATIONAL STATISTICS, Superintendent of Documents Catalog No. FS 5.238:38001,, https://files.eric.ed.gov/fulltext/ED012275.pdf. Washington: Department of Health, Education, and Welfare, 1–749. Retrieved from https://files.eric.ed.gov/fulltext/ED012275.pdf Consejo Nacional de Acreditación. (2013). Lineamientos para la Acreditación Institucional. 78. Retrieved from http://www.cna.gov.co/1741/articles186359_Lin_Ins_2014.pdf Cunha, J. M., & Miller, T. (2012). Measuring Value-Added in Higher Education. (September), 32. Retrieved from http://www.hcmstrategists.com/contextforsuccess/papers/CUNHA_MILLER_PAPER. pdf Cunha, J. M., & Miller, T. (2014). Measuring value-added in higher education: Possibilities and limitations in the use of administrative data. Economics of Education Review, 42, 64–77. https://doi.org/10.1016/j.econedurev.2014.06.001 Departamento Nacional De Planeación. (2018). Bases del plan nacional de desarrollo de Colombia 2018-2022. 861. El Espectador. (2019). Presupuesto de educación para 2020, el mas alto de la historia. Retrieved from https://www.elespectador.com/noticias/educacion/presupuesto-paraeducacion-el-mas-alto-de-la-historia-articulo-886482 Garcés, J. D., Montes, I., Chica, S. M., & Alberto, J. (2016). Rendimiento académico : ¿.

(30) 30. qué papel juegan los factores institucionales ? Centro de Investigaciones Económicas y Financieras: Universidad EAFIT, 41. Goldhaber, D., Liddle, S., & Theobald, R. (2013). The gateway to the profession: Assessing teacher preparation programs based on student achievement. Economics of Education Review. https://doi.org/10.1016/j.econedurev.2013.01.011 Goldstein, H. (1999). Multilevel Statistical Models. Goldstein, H., Huiqi, P., Rath, T., & Hill, N. (2000). The use of value-added information in judging school performance. Perspectives on Education Policy, 40. Retrieved from http://www.bristol.ac.uk/cmm/team/hg/full-publications/2000/using-value-addedinformation-for-school-improvement.pdf Gomez, N. (2015). Three essays on human capital and labor markets for college graduates in Colombia. Grothus, U. (2012). Academic mobility and cosmopolitan careers. In Rethinking education reshaping economies. Guarín, A., Londoño, S., Medina, C., Parra, J., Posso, C., & Vélez, C. E. (2016). Una Estimación del Efecto Sobre el Rendimeinto Académico de Asistir a una Universidad Pública o Privada en Colombia. Borradores de Economía, (968). Hanushek, E. A. (1997). Assessing the Effects of School Resources on Student Performance. Educational Evaluation and Policy Analysis, 19(2), 141–164. Hox, J. J., Moerbeek, M., & van de Schoot, R. (2018). Multilevel Analysis Techniques and Applications. In Routledge Taylor & Francis Group. https://doi.org/10.1192/bjp.111.479.1009-a ICFES. (2018). GUÍA DE ORIENTACIÓN SABER PRO: Módulos de competencias genéricas. Gobierno de Colombia. Instituto Colombiano para la Evaluación de la Educación - ICFES. (2015). Guías - Módulo de Razonamiento Cuantitativo Saber Pro. 1–16. Kennedy, M. M. (2008). Sorting out Teacher Quality. Source: The Phi Delta Kappan,.

(31) 31. 90(1), 59–63. Kim, H., & Lalancette, D. (2013). Literature Review on the Value-Added Measurement in Higher Education. OECD. Retrieved from https://www.oecd.org/education/skillsbeyond-school/Litterature Review VAM.pdf Konstantopoulos, S., & Chung, V. (2011). The Persistence of Teacher Effects in Elementary Grades. American Educational Research Journal. https://doi.org/10.3102/0002831210382888 Lai, F., Sadoulet, E., & De Janvry, A. (2011). The Contributions of School Quality and Teacher Qualifications to Student Performance: Evidence from a Natural Experiment in Beijing Middle Schools Performance Evidence from a Natural Experiment in Beijing Middle Schools. Source: The Journal of Human Resources, 46207138(1), 123–153. Retrieved from http://www.jstor.org/stable/25764806 Mccaffrey, D. F., Lockwood, J. R., Koretz, D., Louis, T. A., Lockwood, J. R., & Louis, T. A. (2004). Models for Value-Added Modeling of Teacher Effects Assessment Special Issue ( Spring , 2004 ), pp . 67-101 Published by : American Educational Research Association and American Statistical Association Stable URL : https://www.jstor.org/stable/3701307 REFE. 29(1), 67–101. McCaffrey, D. F., Lockwood, J. R., Koretz, D. M., & Hamilton, L. S. (2004). Evaluating Value-Added Models for Teacher Accountability. In RAND Corporation. https://doi.org/10.1002/jgrd.50767 Melguizo, T., Zamarro, G., Velasco, T., & Sanchez, F. J. (2017). The Methodological Challenges of Measuring Student Learning, Degree Attainment, and Early Labor Market Outcomes in Higher Education. Journal of Research on Educational Effectiveness, 10(2), 424–448. https://doi.org/10.1080/19345747.2016.1238985 Ministerio de Educación Nacional. (2017). Plan Nacional de Educación 2016 -2026. In Plan Nacional de Educación 2016 -2026. Retrieved from http://www.plandecenal.edu.co/cms/media/herramientas/PNDE FINAL_ISBN web.pdf.

(32) 32. OCDE, & Banco Mundial. (2012). La Educación Superior en Colombia. https://doi.org/http://dx.doi.org/10.1787/9789264180710-es Ome, A. (2012). Meritocracia en la carrera docente: evidencia para Colombia. 138–163. Retrieved from http://www.icfes.gov.co/investigacion/component/docman/doc_download/145estudios-sobre-calidad-de-la-educacion-en-colombia Orjuela, J. (2012). Estudios sobre calidad de la educación en Colombia. Raudenbush, S. W., & Brykm, A. S. (2002). Hierarchical Linear Models. Sage Publications. Ray, A. (2006). School value added measures in England. A paper for the OECD Project on the Development of Value-Added Models in Education Systems. Department for Education and Skills, (October). Retrieved from http://scholar.google.com/scholar?hl=en&btnG=Search&q=intitle:School+Value+Add ed+Measures+in+England#0 Rodríguez, P. O., Vargas, M. G., Soto, I. F., Acero, J. G., & Araque, E. R. (2019). The teachers factor in the value-added results of Colombian higher education institutions. Proceedings of the LACCEI International Multi-Conference for Engineering, Education and Technology, 2019-July(July), 24–26. https://doi.org/10.18687/LACCEI2019.1.1.173 Rothstein, J. (2010). Teacher Quality in Educational Production: Tracking, Decay, and Student Achievement TEACHER QUALITY IN EDUCATIONAL PRODUCTION: TRACKING, DECAY, AND STUDENT ACHIEVEMENT*. Source: The Quarterly Journal of Economics, 125207138(1), 175–214. Retrieved from http://www.jstor.org/stable/40506280 Ruzek, E. A., Domina, T., Conley, A. M. M., Duncan, G. J., & Karabenick, S. A. (2015). Using Value-Added Models to Measure Teacher Effects on Students’ Motivation and Achievement. In Journal of Early Adolescence (Vol. 35). https://doi.org/10.1177/0272431614525260.

(33) 33. Saavedra, A. R., & Saavedra, J. E. (2011). Do colleges cultivate critical thinking, problem solving, writing and interpersonal skills? Economics of Education Review, 30(6), 1516–1526. https://doi.org/10.1016/j.econedurev.2011.08.006 Saavedra, J. E. (2009). The Learning and Early Labor Market Effects of College Quality: A Regression Discontinuity Analysis. (August), working paper. Sarmiento Espinel, J. A., Silva Arias, A. C., & Van Gameren, E. (2015). Quality differences of higher education and its determinants in a less-developed country. Journal of Higher Education Policy and Management, 37(2), 204–221. https://doi.org/10.1080/1360080X.2015.1019118 Yunker, J. A. (2005). The dubious utility of the value-added concept in higher education: The case of accounting. Economics of Education Review, 24(3), 355–367. https://doi.org/10.1016/j.econedurev.2004.06.003.

(34) 34. Anexos Anexo 1. Variables dependientes y control del estudio. Variable Resultado Razonamiento Cuantitativo Saber Pro Resultado en Matemáticas Saber 11 Mujer Estado civil. Educación del padre. Educación de la madre. Ocupación del padre. Ocupación de la madre. Descripción Fuente Variable dependiente Variable continua a nivel de estudiante que se varia en un intervalo de 0 a 16 (no hay Icfes – Saber Pro un puntaje máximo acotado). Habilidades obtenidas anteriormente por el estudiante Variable continua a nivel de estudiante que Icfes – Saber 11 varía en el intervalo 0-100. Variables control Toma el valor de uno cuando es mujer y el Icfes – Saber Pro valor de creo cuando es hombre. Tres variables binomiales que indican si el estudiante es casado, separado o viudo. El Icfes – Saber Pro grupo base de estas variables son los estudiantes que son solteros. Grupo de variables binomiales las cuales representan el nivel académico alcanzado Icfes – Saber Pro por el padre (primaria, secundaria, técnico y tecnológico, profesional o de posgrado). Grupo de variables binomiales las cuales representan el nivel académico alcanzado por la madre (primaria, secundaria, técnico y tecnológico, profesional o de posgrado). Grupo de variables binomiales las cuales representan la ocupación alcanzado por el padre (independiente, empleado, pensionado o actividades del hogar). Grupo de variables binomiales las cuales representan la ocupación alcanzado por la madre (independiente, empleada, pensionada o actividades del hogar).. Tipo Variable continua. Variable continua Variable discreta Variables discretas. Variables discretas. Icfes – Saber Pro. Variables discretas. Icfes – Saber Pro. Variables discretas. Icfes – Saber Pro. Variables discretas.