r .
. '
•
17
Informe Final sobre la Evaluación, Acreditación
y
Categorización de las Universidades y
Escuelas
Poi itécn icas
Universidad Técnica Lui
s Vargas Torres
de Esmeral
das
CEAACES
,
Indice general
Antecedentes Modelo Conceptual :\1odelo de evaluación Ac-ademia . . . . Eficienc-ia Acarl~mica Investigación . Organización . Infraestructura Gráficos modelo . . . Variables de evaluaciónMetodología del proceso de evaluación institucional Instrumentos de Evaluación . . . .
Soportf' TPcnológico . . . . . . . Levantamiento y validación de la información Organización de equipos mnlticli;,ciplinarios Procesos de verificación de la información . Análisis de Datos y Clasificación de las lES Análisis y Resultados
Datos de la Institución de Educación Superior . IndkArlores de la Institución rl<' Educación Superior Acaci<'mia . . . . Formación Posgrado Rernuneraciom•s TC Doctores TC Posgrado en fonnación Docencia mujeres . . . EficiPncia académica . . . .
Eficiencia terminal pregrado EficienciA tPrminal posgrado . Investigación . . . . . .
Distribución en el país . . Libros reYisados por pares Organización . . . . . Calidad de gasto J nfnwstructura . . . . 1 5 5 6 6 6 7 7 7 13 18 19 19 19 19 20 21 26 ~ 26 28 30 30 30 32 32 32 33 33 33 34 34 36 36 36 37
.
.
••
•
... ,,_ ... , ... o-.·• ... "<ICJOo••·-,. -·~···Participación en el sistema .
l'i úmero de <'Studiantes . .
Acreditación y Categorización Análisis estadístico directo . . .
Análisis de conglomerados Recomendación . . . .
A. Fichas técnicas
18
.
Uuiven;idad Técnica Luis Vargas Torres de Esmeraldas 38 39 41 41 42 43 45 B. Pesos globales de los indicadores del modelo de evaluación multicriterio 96
,
Indice de tablas
l. Definición de las variables del modelo. l. Definición de las variables del modc•lo. l. Definición df' las va.riahlPs dPl modelo. l. Definición de las variables del lllodelu. l. Definición de las variables del modelo. 2. Datos de las Wl.riable:;, cuantitativas. 2. Datos de las variables cuantitativas. 3. Variables cualitatinl.'l. . .3. Variables cualitativas. . .
11. Valores de los indicadores. 4. Valores de los indiradorf's. 5. Criterios lES. . . .. . . .
6. Grupos de desempeño ~Iétodo de Conglomerados.
B.l. Pesos absolutos de los indicadores del Modf'lu de evaluación multirriterio. B.l. Pesos absolutos de Jos indicadores del ~fodclo de evaluación multicriterio.
13 14 15 16 17 26 27 27 28 28 29 41 43 96 97
f
,
lndice de figuras
l. 2. 3. 4. :J. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. A.l. A.2. A.3. AA. A.5. A.6. A.7. Criterios de evaluación. Criterio Academia. . . . Criterio Eficiencia Aradémica .. Criterio Investigación. .Criterio Organización. . . . . . Criterio Infraestructura. . . . . Ejemplo función de utilidad no lineal. Ejemplo función de utilidad lineal. . .
Ejemplo función de utilida.rl para un indirador rualitativo. Función de complejidad de la gestión. . . . . Gráfiro de barras del iudicador formación posgrarlo.
Histograma de remuneraciones tiempo completo en todo el país .. Remuneraciones de los docentes a tiempo completo.
Gráfico de barras del indicador rloctores TC.
Gráfico de barras del indicador posgrado en formación . . Gráfico ele harr11.c; riel inrlicador rlocencia mujeres . . . Gráfico de barras del indicador eficiencia terminal pregrado. Gráfico de barras del indicador eficiencia terminal posgrado.
Producción científka comparativa entre universidades periodo 2010-2012. Impacto porcentual del número de publicaciones en el país.
Porcentaje del número de publicaciones en el país. . . . . Gráfico de barmc; del indicador libros revisados por pares. Gráfico de barras del indicador calidad de gasto.
Gráfico de barras del indicador calidad de aulas. Gráfico de barras del indicador oficinas TC. . . . Porcentaje de Ph.D. de la lES a uivel uacioual 2012. Porcentaje de Ph.D. TC de la lES a nivel nacional 2012 Porcentaje de docentes TC de la lES a nivel nacional 2012.
Porcentaje de C'Stndiantes presenciales de la lES a nivel nacional 2012. Porcentaje de estudiantes semipresenciales de la IES a nivel nacional 2012. Porcentaje de estudiantes a distancia de la lES a nivel nacional 2012 .. Resultado método de análisis directo. . . . . . . . . . . . . . . . Resultado método de conglomerados. se excluyen las lES categoría A. Estudiantes por docente TC
Horas-clase docentes TC Escalafón! . . . . . . Evaluación Formación posgrado Horas-clase .\llT /TP Concurso . . . . 7 8 9 10 11 12 22 22 23 21J 30 31 31 32 32 33 33 34 34 35 35 36 36 37 37 38 38 39 39 40 40 41 42 46 47 48 49 51 52 53
A.8. Espacio para estudiantE-s .
A.9. Libros . . . .
A.lO.Conectividad . . .
A.1l.Calidad del gasto .
A.12.Acción afirmativa .
A.13.Libros revisados por pares A.14.Planificación de la investigación A.l5. Transparencia financiPra A.1G.Oficiuas TC . . .
A.17.0ficinas l\IT/TP . . . .
A.18.Calidad de aulas . . . .
A.19.Eficiencia terminal pregrado A.20.Eficiencia tcrmin;d posgrado .
A.2l.Remuneración l\IT /TP .
A.22.Doclores TC .
A.23. Titularidad . . . .
A.24.Titularidad TC . .
A.25.Remuneración TC
A.26.Uso del seguimiento a graduados
A.27.Rmdición anual de cuentas
A.28.Investigación regional A .29. Proclueeión científica . . . .
A.30.Programas de vinculación .
A.3l.Tasa de retención inicial pregrado .
A.32.Admisión a 0studios d0 pregrado
A.33.Direcciúu mujeres . . . .
A.34.Doccncia mujeres . . . .
A.35.Presupucsto de programas de vinculación
A.36.Consultas por usuario . . . .
A.37.Porcf>nt.aje de profesores TC . . .
A.38.Admisión a estudios de posgrado
A.39.Régimen académico . . .
A.40.Ética ~-responsabilidad A Al. Innovación teeuológica . A.42.Cobertura a estudiantes
A.43.Información para evaluación
A.44.Posgrado eu formación A..t5.Cestióu de biblioteca .
A.46.Espacios ele bienestar .
Universidad Técnica Luis Vargas Torres de Esmeraldas
54 55 56 57 58 59 60 61 62 63 64 66 68 69 70 71 72 73 74 75 76 78 79 80 81 82 83 84 85 86 87 88 ~ 89 90 91 92 93 94 95
'
Antecedentes
Los intentos fallidos para afrontar el deterioro académico del sistema de educación superior y enrumbar a la universidad hacia la excelencia, registrados desde hace veinticuatro aiios1 (década de los 80 y 90) en el Ecuador, se explican por la ausencia de una política pública de educación superior y la falta total de voluntad estatal para garantizar su calidad, así como una pasividad y una autocomplacencia inaceptables de las propias instituciones universitarias.
La Asamblea Constituyente del aiío 2007, marca el inicio de un proceso de evaluación de la calidad de la educación superior inédito en la historia del país, que en esas circunstancias resultaba por demás relevante y oportuno. Por ello, cuando el 22 de julio de 2008 la Asamblea Nacional Constituyente emitía el Mandato Constituyente No. 14 que derogaba la Ley 130 de creación de la Universidad Cooperativa de Colombia (UCCE) y ordenaba al CONEA elaborar un informe técnico sobre el nivel de desempeiio institucional de Jos establecimientos de educación superior, a fin de garantizar su calidad, propiciando su depuración y mejoramiento2, se estaba dando una seiíal inequívoca al país de la voluntad política de ese nuevo Estado que estaba emergiendo del proceso constituyente, de impulsar un giro radical en el campo de la educación superior, íntimamente vinculado al aseguramiento de su calidad y enmarcado en una orientación estratégica: el cambio de matriz productiva del país y la constrncción de la sociedad del Buen Vivir3.
La ejecución del Mandato 14, culminó con la entrega de un informe a la Asamblea Nacional el 4 de noviembre de 2009. Este proceso de evaluación permitió conocer la situación de la universidad ecuatoriana, evidenciándola como "un conjunto fragmentado por múltiples brechas: académica, democrática, iuvestigativa, tecnológica"; brechas que a su vez, expresaban fenómenos como la ausencia de comunidades académicas, la precarización de la docencia, la debilidad o ausencia de investigación científica, entre otros aspectos relevantes. Estos resultados fueron socializados a la ciudadanía y se tradujeron en decisiones políticas de consecuencias para las universidades. De acuerdo al desempeño éstas fueron clasificadas en cinco categorías: A. 8, C, D y E, siendo la A, la de mejor desempei'io y la E la de más bajo desempeño. Además, se formularon varias recomeudacioues de política pública que fuerou recogidas por la Hueva Ley Orgánica de Educación Superior (LOES) emitida el 12 de octubre de 2010, tales como la depuración de las 26 UIIÍversidades categoría E, la evaluación y eventual supresión de las 145 extensiones y centros de apoyo registrados, la regulación de la caótica oferta académica, el desarrollo de un sistema integral de carrera del/a docente e investigador/a, la
1 En 1989 se realizó la primera autoevaluación universitaria de las 21 universidades existentes hasta entouces. proceso que
no se tradujo en ninguna decisión de cambio institucional. La nueva Constitución de 1998 ordenaba "asegurar los objetivos de la calidad" estableciendo un "sistema autónomo de evaluación y acreditación" que se materializaría el 11 de septiembre de 2002, con la emisión del Reglamento General que creaba el Consejo Nacional de Evaluación y Acreditación (CONEA). Una de disposiciones de dicha norma estipulaba que en los cinco años siguientes a la instalación del CONEA "todas las universidades y escuelas politécnicas deberán completar sus procesos de acreditación" (RO No. 666, 19-09-2002), sin embargo, hasta el 11 de diciembre de 2008 solo se había acreditado a 5 de las 71 universidades que registraba el sistema (7 %).
2Las razones para derogar la ley de creación de la UCCE apelaban a las "irregularidades permanentes'" probadas por el CONESUP "en las que ha incurrido y sigue incurriendo", así como al deber de la Asamblea de "velar por la transparencia del sistema educativo" y para que éste sea "del más alto nivel académico de tal manera que permita contribuir al desarrollo humano y científico del país" (ANC, Mandato Constituyente No. 14, julio 22, 2008.
3Sobre la relación entre la transformación de la educación superior y el nuevo modelo económico-social que impulsa el proceso constituyente, véase el Plan Nacional del Buen Vivir (2009-2013). También René Ramíre:t., Socialismo del Sumak Kawsay o Biosocialismo Republicano. Quito: SENPLADES, 2010.
..
.
· CSI!CeS
·-·..
.. . ~·" " . , ... 1" . 011 Universidad Técnica Luis Vargas Torres de Esmeraldas
garantía de igualdad de oportwlidacles y la promoción de la investigación científica y el aseguramiento de su pertinencia social. entre otras (COI\EA. 2009:16-30).
La ejecución de todas estas recomendaciones. constituidas en mandatos de la nueva LOES, estarían a cargo de una nueva institucionaliciad creada por la misma normal Así. el 29 de agosto cie 2011, empezaría a funcionar el Consejo de Evaluación. Acreditación y Aseguramiento de la Calidad de la Educación Superior (CEAACES)5, entidad que reemplazaría al CONEA y que sería. desde entouces, la encargada de ejecutar lo
estatuido por dicha ley.
La tarea principal que asumió el naciente CEAACES fue cumplir. pese a lo estrecho del plazo, con la Disposición Transitoria Tercera de la LOES que ordenaba la <'Valuación dt' ]a¡.¡ 26 universidades ubicadas en la categoría ''E" "dentro de los 18 meses posteriores'· a su promulgación. Sobre las bases epistemológicas y metodológicas del modelo del :Yiandato 14. el CEAACES diseñó un "ambicioso modelo de evaluación" constituido por dos componentes: a) evaluación del E'ntorno dE' aprendizaje (desempeño institucional): y b) evaluación de los resultados de aprendizaje, con la aplicación de un examen a las y los estudiantes del último año6, un elemento nuevo introducido en esta evaluación y que sería aplicado a 16 carreras de las 26 universidades "E'' y en 17 de las 24 provincias del país. La ejecución de esta evaluación a estas universidades se realizó en el primer trimestre del 2012.
Los resultados, que SE' hicieron públicos el 12 de abril de 2012, detectaron múltiples y alarmantes carencias en lo referente al desempeii.o institucional de estas universidades: porcentajes muy bajos de profesores a tiempo completo. al igual que de docentes amparados por un escalafón. ausencia casi absoluta de procesos de selección del personal académico por concursos de merecimientos. falta de auspicio para programas de actualización, profesores a tiempo completo con varios centenares de estudiantes bajo su responsabilidad para tutorías y supervisión de prácticas, muchas universidades sin un solo doccmt<' con doctorado o Ph.D. y la mayoría con números muy bajos, ausencia absoluta de investigación, existencia de varias universidades que no registraban ni siquiera una publicación anual y otrac; que registraban publicaciones de dudosa originalidad: situación desastrosa en cuanto al estarlo dE' la.'i hibliotE>cas y un acervo bibliotecario insuficiente. ausencia de cogobierno estudiantil a pesar de que la LOES obliga a ello. ausencia de estructura curricular coherente en las carreras, entre muchas otras carE'ucias que ya son de dominio público 7.
Los resultados de los exámenes aplicados a estudiantes a punto de cuhninar su carrera fueron igualmente alarmantes. Tanto los resultados en la.c; diferentes carreras examinada.<; cuanto los resultados del examen de competencia.<; generales fueron muy insuficientes. Este último dejó al descubierto una población estudiantil con grandes dificultades a la hora de leer un texto y procesar de allí ideas matrices. argumentos. relaciones causales. etc.
Sobre la base de los resultados de evaluación, el CEAACES categorizó a las 26 universidades categoría ·'E" en tres grupos: a) "aceptable", en la que se ubicaron tres universidades que podían mantenerse en el sistema: 4 Los organismos que rigen el Sistcrnu <.le Educación Superior (SES) son: el Consejo de Educación (que reemplaza al CONESUP): el C8AACF:S; la SF::>IESCYT (organismo coor<.lina<lor del SES con la Función Ejecutiva); y dos organismos de consulta: la Asamblea del SES y los Comités Regionales Consultivos de Planificación <.le la Educación Superior (LOES. Capitulo 11, 2010).
5La hase legal del CF:AACES es la LOES (Art. 175); el Decreto Ejecutivo 850 del 11 de R.gosto de 2011 y la Resolución No.
PLE-CNE-3-22-8-2011 del 22 de agosto de 2011 del Consejo l\acional Electoral. designando los miembros del C8AACES. El 29 de agosto de 2011 se realizó la primera reunión del Consejo. Véase CEAACES, Oficio Circular l\o. OlG-SG-"012, del 9 de octubre de 2012 ('"'"· ceaaces. gob e e).
6Esta sección está basada en el artículo de Guillaume Long, ex Presidente del CEAACES, titulado 'Suspendida por falta de calidad'. El cierre de 14 universidades en Ecuador". En CEAACES, "Suspendida por falta de calidad". El cierre de catorce
,
....
.
••
•
Universidad Técnica Luis Vargas Torres de Esmeraldas
b) "parcialmente aceptable'·, en la que se situaron ocho universidades, sujetas a "ciertas interdicciones"8; y e) ·'no aceptable", en la que se ubicaron 14 universidades que fueron suspendidas definitivamente9. El cierre de estas catorce universidades significó que sus 43.000 estudiantes (7, 5% de la población estudiantil total del país) debieron acogerse al Plan de Contingencia diseñado por el CES, para continuar sus estudios10. Con el cierre de estas universidades, el sistema de educación superior quedaría conformado por 57 instituciones, dando inicio a un proceso de depuración del sistema ordenado por la LOES.
Sin duda, estas decisiones marcaron un hito en la historia universitaria ecuatoriana, confirmando una vez más el compromiso del Estado con el mejoramiento de la calidad de la educación superior. compromiso que, cabe señalar, ha tenido que sortear presiones, intimidaciones, acosos, demandas, e inclusive acciones delincnenciales, pero que tamhién ha tenido el apoyo político del Ejecutivo, y, sobre todo, de la opinión pública
que ha visto representados sus intereses colectivos en las decisiones duras, pero firmes y justas asumidas por el CEAACES, sobre la baso de procesos absolutamente técnicos y transparentes.
Una vez cumplida la Disposición Transitoria Tercera, el CEAACES se abocaría al cumplimiento de la Disposición Transitoria Quinta de la LOES que ordenaba la depuración de "sedes, extensiones, programas, paralelos y otras modalidades de similares características" que registren las lES fuera de su sede o domicilio principal. A esta tarea se dedicaría parte del 2012 y el primer cuatrimestre del 2013. tiempo en el que se ejecutó la evaluación de 86 extensiones universitarias en todo el país. sustentada en un modelo de evaluación técnicamente diseñado11
. Los resultados de esta evaluación, presentada al país en abril de 2013, arrojaron la siguiente clasificación: a) 2 extensiones "aprobadas" al cumplir "satisfactoriamente los parámetros de calidad": b) 21 "condicionadas", al cumplir parcialmente dichos parámetros; e) 19 "fuertemente condicionadas". con
débil cumplimiento de parámetros por lo que ·'tendrán restricciones en el funcionamiento de carreras que pongan en peligro la salud y la seguridad pública"; y d) 44 extensiones "no aprobadas" por no cumplir con
los parámetros mínimos de calidad, por lo que "no podrán recibir nuevos estudiantes".
En cumplimiento con la Disposición Transitoria Vigésima de la Constitución (2008) y la Disposición Transitoria Primera de la LOES que la recoge, el año 2012 el CEAACES enfrenta uu nuevo reto tan importante como los anteriores, que es la evaluación y categorización de las universidades y escuelas politécnicas de todo
el sistema de educación superior, tal cual lo ordena la LOES, luego de transcurridos 5 años desde la última
evaluación institucional (CONEA del aüo 2008).
En este nuevo proceso de evaluación, el CEAACES utiliza estándares más rigurosos, poniendo especial énfasis en aspectos como la investigación, procesos académicos y actividades de gestión. Para ello se crea un modelo que evalúa el Entorno de Aprendizaje de las instituciones de educación superior. dejando de lado la
evaluación de !m; Resultados de Aprendizaje por considerar que es más pPrtinente su inclusión en el proceso de evaluación y acreditación de carreras que está en marcha. El modelo de evaluación institucional aborda a las instituciones de educación superior como una unidad académica estructurada y funcional, alrededor de
cinco criterios: academia, eficiencia académica, iuvestigacióu, organización e infraestructura.
La versión preliminar del modelo de evaluación fue socializada a la comunidad universitaria a finales de octubre de 2012, propiciando nn proceso participativo con los actores de la educación superior del país, cuyos
8" . . . no podían matricular a nuevos estudiantes en modalidades a distancia ni en rentros de apoyo y extensiones CJIIP f11ncionen
en convenio con colegios, institutos y otras lES o en carreras con bajo promedio en los exámenes del CEAACES del 4 de marzo de 2012" (Long,2013:19).
9La Universidad lntercultural de las Nacionalidades y Pueblos Amawtay \Vasi, que formó parte del grupo de las 26
universidades categoría "E" planteado por al :vlandato 14, no fnp categorizada en este proceso de evaluación dehido a una sentencia de la Corte Constitucional "acerca de la necesidad de respetar su cosmovisión y aplicar criterios interculturales en
las políticas públicas que le atañen, en apego al Convenio 169 de la Organización Internacional del Trabajo (OIT)", debiendo
sujetarse, hasta el 12 de abril del 2013, a un nuevo proceso de evaluación {Long, 20I:i:l!J).
10 Sobre la ejecución y los resultados del plan de contingencia véase el artículo de Claudia Bailas y Luis ~lartínez en op cit., CEAACES, 2013 (en prensa).
11 Para un detalle del modelo de evaluación de extensiones véase los informes de evaluación de las extensiones universitarias en la página web del CEAACES (www ceaaces.gob.ec).
•
•
•
Universidad Técnica Luis Vargas Torres de Esmeraldas
aportes fueron recogidos. analizados e incorporados, en la medida de lo posible, en la versión final del modelo, presentada a las lES en febrero de 2013.
La información de base para la evaluación fue recogida por la SENESCYT. a través del Sistema Nacional de Información rle la. Educación Superior rlcl Ecuador (SNIESE). Una diferencia cualitativa importante que caracterizó este proceso de evaluación. fue la utilización de una plataforma informática creada por el CEAACES para el levantamiento de información complementaria y de las evidencias. Las funcionalidades implementada.<; en esta herramienta. informática permitieron facilitar el trabajo de verificación de los evaluadores externos. así como el procesamiento de datos y el cálculo de los indicadores por parte del equipo técnico del CEAACES.
Entre el 29 de abril y el 17 de mayo de 2013 se llevó a cabo la primera etapa del proceso de evaluación, - . que consistió en la verificación de la información con base en las evidencias por parte de lo:-; evaluadores externos. La segunda etapa de la evaluación institucional se desarrolló entre el 20 y el 31 rle mayo de 2013,
cuando todas las instituciones de educación superior fueron visitadas por los equipos de evaluadores externos, con la finalidad de reforzar el análisis documental de la etapa anterior y evaluar su infraestructura. En un tercer momento del proceso y con el fin de garantizar la transparencia y calidad de la evaluación, el equipo técnico del CEAACES realizó un riguroso proceso de validación interna de la evaluación, que consistió en la aplicación de métodos estadísticos que permitieron cruzar la información para verificar su consistencia.
Tal como se prevé en el artículo 16 del Reglamento para la Evaluación Externa de las Instituciones de Educación Snperior 12• los resultado:-; preliminares rle eRte proceso se dieron a conocer a carla institución en el Informe Preliminar de la Evaluación Institucional de Universidades y Escuelas Politécnicas enviado por el CEAACES, el que. como parte del debido proceso reglamentado por el CEAAES, estaba sujeto a rectificaciones, siempre que la lES lo solicite y presente el sustento suficiente para ello. Este mismo reglamento. artículos 18 y 19, prevé dos instaucias adicionales de rectificación en el deLido proceso: la apelación y la audiencia pública, mcrliantc 1M cuales las instituciones podían presentar sus argumentos para solicitar la rectificación de sus resultados de eV'dluación. Casi la totalidad de universidades hicieron uso de estos instrumentos legales y se acogieron a una o a las dos instancias previstas, adjuntando nueva evidencia y datos.
Finalmente. una vez procesados los datos y revisada la evidencia adicional presentada por las lES en las diferentes instancias del debido proceso. los resultados finales de la evaluación fueron incorporados en el
-~,
2
\. \.;
...
Modelo Conceptual
Mo
d
elo
d
e eva
lu
aci
ó
n
A partir de lo expuesto. el presente informe tiene la finalidad de exponer los resultados de la evaluación realizada a la Universidad Técnica Luis Vargas Torres de Esmeraldas, en base a los cuales se determina el grado de cumplimiento de los parámetros de calidad establecidos por el CEAACES.
Para la evaluación del Entorno de Aprendizaje de las instituciones de educación superior, se desarrolló el modelo utilizando una metodología de decisión multicriterio.
Se consideraron cinco criterios, de los cuales se desprenden subcriterios y los indicadores relevantes que permitirán evaluar a la institución. El modelo de evaluación institucional aborda a las Instituciones de Educación Superior como una unidad académica estructurada y funcional, alrededor de los cinco criterios que sirven de soporte para la articulación de los procesos académicos, la investigación y las actividades de gestión (Ver figura 1). Estos criterios, en la estructura de evaluación, son:
l. Academia,
2. Eficiencia Académica, 3. Investigación,
4. Organización e, 5. Infraestructura
Asegurar la calidad de la educación superior es el objetivo principal del proceso de evaluación, el cual se descompone sucesivamente en objetivos parciales y de menor nivel, configurando una estructura de tipo arborescente en la que los elementos de cada nivel jerárquico pueden ser vistos como los medios para alcanzar objetivos definidos por el nivel jerárquico superior.
Las siguientes propiedades sirvieron de soporte para la definición de la estructura de evaluación (Saaty, 1985; Keeney, 1993 y Kirkwood, 1997) en [CO.:'-IEA. 2009]:
(a) Exhaustividad. La eslructura jerárquica de evaluación debe ser completa en el sent.ido de que los elementos de cada nivel de la jerarquía, considerados conjuntamente como un grupo, deben cubrir adecuadamente todos los criterios necesarios para evaluar el grado de cumplimiento del objetivo de la evaluación.
(b) No redundancia. Esta propiedad implica que no debe eú;tir supcrposJCJOn entre los elementos de la estructura, con el fin de evitar una 'doble contabilidad' de los atributos del objeto de evaluación. La.'l propicdarles de exhanstivirlarl y no redunrlancia significan que los elementos de nna estructura de evaluación deben ser ·colectivamente exhaustivos y mutuamente exclusivos'. Esto supone que cada nivel de la jerarquía, considerado como un todo, debe iucluir !.odas las consideraciones necesarias para la
.
••
•
Universidad Técnica Luis Vargas Torres de Esmeraldas
evaluación ( exhaustividad colectiva) y que ninguna consideración adicional puede ser incluida en más de un elemento (exclusividad mutua).
(e) Operatividad. Una estruct.ura de evaluación operativa es aquella que tiene significado para todas las partes implicadas en la evaluación. Tres preocupaciones han sido consideradas en la definición ele la estructura jerárquica: i) la utilidad de los elementos considerados en la estructura para alcanzar los objetivos de la evaluación: ii) su significarlo. de tal manera que sean clarru; las implicaciones de los objetos evaluados respecto a los criterios de la evaluación; y iii) claridad en el contenido y alcance de los criterios con el fin de facilitar d diálogo.
(d) Economía. Es altamente deseable que el ntÍmero de elementos que componen la estructura de evaluación sea mínimo con el fin ele facilitar el manejo y análisis de la estructura.
El modelo propuesto contempla disposiciones de la LOES y de otras normativas jurídicas; en este sentido, el concepto de calidad es un término de referencia de carácter comparativo en el que el valor de una variable se utiliza con respecto a un patrón de referencia previamente determinado. En las secciones siguientes se presenta un resumen del significarlo y alcance ele los ciuco criterios que sustentan la evaluación del Entorno de Aprendizaje de las lES.
Academia
El criterio Academia (Figura 2), alude a las condiciones fundamentales para el ejercicio de una docencia universitaria de calidad, tomando en cuenta que la docencia universitaria debe constituirse en una verdadera comunidad científica, profesional o artística, con autoridad, reconocimiento, legitimidad. dedicación y debida protección en su medio. El modelo de evaluación parte de la idea. según la cual, la calidad de la enseñanza impartida en las Instituciones de Educación Superior está relacionarla con la formación académica de los docentes, su tiempo de dedicación. su institucionalización. los derechos de los docentes y condiciones de vinculación con la universidad. Este criterio tiene tres snbcriterios: Posgrado, Dedicación y Carrera Docente.
Eficiencia Académica
El criterio Eficiencia Académica 13 (Figura 3). permite determinar las tasas de retención y eficiencia terminal que las Instituciones de Educación Superior obtienen como resultado de las estrategias establecidas para sostener y acompañar a sus estudiantes tlurante todo el proceso educativo. Este criterio surge de la idea de que las lES son responsables por el a.compaii.amiento de sus estudiantes desde las instancias de nivelación hasta después que hayan culminado la totalidad de sus créditos y estén listos para iniciar con sus trabajos de titulación. El criterio tiene los indicadores: Eficiencia terminal pregrado, Eficiencia terminal posgrado, Admisión a estudios de pregrarlo. Admisión a estudios de posgrado y Tasa de rctC'nción inicial prcgrado.
Investigación
El criterio Investigación (Figura 4), dentro del modelo de evaluación institucional, permite establecer el nivel que las Instituciones de Educación Superior han alcanzado en la generación de nuevo conocimiento a través de la investigación científica, lo cual constituye una de sus principales actividades. De la misma manera, este criterio permite establecer los niveles de publicación que sus investigaciones hau teuido y su aceptación en las distintas comunidades científicas. Este criterio tiene cuatro indicadores: Planificación de la investigación. Investigación regional, Producción científica y Libros revisados por pares.
1
..
..
CQ1011,0IIt 1-<,.t: t" I.C~H ·~.o·•~_.u .. •tor~
Oti.OU, 8001C.. .~lo:"H..e.-
oP~-Organización
\ v
2
3
Universidad Técnica Luis Vargas Torres de Esmeraldas
En términos de Organización (Figura 5), el marco conceptual del presente modelo mira a la Institución de
Educación Superior como un sistema que ofrece las condiciones necesarias para llevar a cabo las actividades académicas en un entorno adecuado, con énfasis en la estandarización de competencias. Si la institución de educación superior como unidad académica agrega el enfoque de la educación superior como un derecho
y un bien público, y a esto se suma la disposición legal que establece que las universidades y escuelas
politécnicas son instituciones sin fines de lucro, entonces la Organización exige de las lES: responsabilidad
social en asignación y uso de sus recursos, impacto de los programas de vinculación, manejo transparente de la información, calidad del gasto y aplicación de las normativas. Los cuatro subcriterios asociados son:
Vinculación con la colectividad, Transparencia, Gestión interna y Reglamentación.
Infrae
s
tructura
El criterio Infraestructura (Figura 6), permite abordar las condiciones que ofrecen las instituciones de
educación superior para la realización del trabajo académico. Este criterio está focalizado en la funcionalidad
y características de las instalaciones y facilidades de los espacios pedagógicos considerados como esenciales
para ayudar a los docentes y estudiantes en el desarrollo de los procesos de enseñanza y aprendizaje. Los subcriterios: Bibliotecas, TIC y Espacios docentes, y los indicadores: Calidad de las aulas y Espacios de bienestar, permiten evaluar la adecuación de la Infraestructura a las necesidades académicas.
.
.
..
Universidad Técnica Luis Vargas Torres de Esmeraldas
Figura 2: Criterio Academia.
'<)ltU.G tllll IVO!I.~..C c.,_ ~(JI) •.o,c ·~ • •l-1""0\II"""•D
o.-•<•.a"'~-•-t.,.oO<row•-..-\. '.J .
Universidad Técnica Luis Vargas Torres de Esmeraldas
Figura 3: Criterio Eficiencia Académica.
Eficiencia Académica
..
..
cooaces
Gniversidad Técnica Luis Vargas Torres de Esmeraldas
' ·~
2
5
.
...
ceeaces
Universidad Técnica Luis Vargas Torres de Esmeraldas
.
••
•
Universidad Técnica Luis Vargas Torres de Esmeraldas
o
.
•
•
•
•• -<••co, • ... ,_,.,....,. •.
.,,,., •oo• ••• . ...,,.,....,. Universidad Técnica Luis Vargas Torres de Esmeraldas
Variables de evaluación
A continuación se presentan las seseuta y ocho variables del modelo de evaluación del Entorno de
Aprendizaje de las institucioues de educacióu superior, las que fueron utilizadas en la construcción de los
indicadores (Ver anexo A). La definición de las variables se muestra en la tabla141:
Variable
Total docentes
Docentes TC
Docentes TP /YIT
Total MSc
Total Ph.D.
Formación :YISc
Formación Ph.D.
Sin PH.D.jMSc
Tabla 1: Definición de las variables del modelo.
Tipo Cuantitativa Cuantitativa Cuantitativa Cuantitativa Cuantitativa Cuantitativa Cuantitativa Cuantitativa Definición
I\úmero total de docentes que ejercieron la
docencia en el año 2012 en la lES.
~ úmero de docentes con dedicación a tiempo
completo que ejercieron la docencia en el año
2012 en la lES.
:-.lúmero de profesores a tiempo parcial y medio
tiempo que ejercieron la docencia en el año 2012
en la lES.
N úrncro total de docentes con título de maestría.
I\úmero total de docentes con título de Ph.D.
Total de docentes que están cursando una
maestría.
Total de docentes que están cursando un Ph.D.
Total de docentes QHP no tienen Ph.D. ni maestría.
TC Ph.D. Cuantitativa Total de profesores a tiempo completo, con título
de Ph.D.
Total Estudiantes Cuantitativa ~úmero total de estudiantes.
Estudiantes Cuantitativa Total de estudiantes presenciales. presenciales
Estudiantes semi Cuantitativa Total de estudiantes semi presenciales. presenciales
Estudiantes
distancia
Cuantitativa Total de estudiantes a distancia.
Horas clase TC Cuantitativa Promedio de horas clase dictadas por los profesores a tiempo completo durante el año
2012.
Horas
TP/MT
clase Cuantitativa Promedio de horas clase dictada . ., por los profesores a tiempo parcial o medio tiempo durante el año 2012.
Total titulares Cuantitativa ~úmero total de profesores titulares.
TC Titulares Cuantitativa ~úmero total de docentes a tiempo completo que fueron titulares.
14Para el caso de insLituciones qne ofertan únicamente carreras de grado este criterio considera los indicadores de: Eficiencia
terminal pregrado. Tasa retención inicial pregrado y Admisión a estudios de pregrado; para las instituciones que oferLan
únicamente programas de posgrado este criterio considera los indicadores: Eficiencia terminal posgrado y Admisión a estudios de posgrado.
..
'.
...
ceeaces
(.,.. • - ... y ... ~ ... , , ~ ... """•••• "".,. , .... o·.-·•·..,011 Universidad Técnica Luis Vargas Torres de Esmeraldas
Tabla 1: Definición de las variables del modelo.
Variable Tipo Definición
Titulares período Cuantitativa :\úmero de designaciones de docentes titulares
realizadas en el período de análisis (2011-2012).
Titulares Cuantitativa :\úmero de de!>iguacioues de docentes titulares concurso que han sido realizadas como consecuencia de
concursos públicos de méritos y oposición.
Remuneración Cuantitativa Promedio de las remuneraciones de docentes a
TC tiempo completo en el año 2012
Remuneración Cuantitativa Promedio de las remuneraciones por hora de Jos
MT /TP docentes a medio tiempo y tiempo parcial en el periodo 2012.
Dirección Cuantitativa Número de docentes con cargos académicos directivos.
Mujeres dirección Cuantitativa ~úmero de docentes mujeres en cargos
académicos directivos.
Mujeres titulares Cuantitativa ~úmero de docentes titulares mujeres.
Total Cohorte Cuantitativa :\úmero total de estudiautes que ingresaron al
pregrado primer nivel de estudios hace t+ 1.5 años atrás.
Graduados pregrado
Cuantitativa ~úmero total de estudiantes graduados en pregrado.
Total Cohorte Cuantitativa 1\úmero total de estudiantes que han ingresado
posgrado al primer nivel de estudios de posgrado hace
t+ 1.5 años atrás. Graduados posgrado Estudiantes admitidos 2010 Estudiantes matriculados 2012 Publicaciones Latindex Publicaciones seminarios Publicaciones indexadas Libros Proyectos vinculación
Cuantitativa :\ úmero total de e..<>tudia.ntes graduados posgrado.
Cuantitativa :\ úmero total de estudiantes que fueron
admitidos durante el ailo 2010.
Cuautitativa 1\úmero total de estudiantes que se encuentran
matriculados en el año 2012 y que fueron
admitirlos en f'l 2010.
Cuantitativa Número total cir artículos publicados en LATI:-.lDEX.
Cuantitativa Número total de artículos presentados en
seminarios.
Cuantitativa :'Júmero total de artículos publicados en revistas
indexadas en Scopus o en ISI Web of Knowledge.
Cuantitativa :\ úmero de libros revisados por pares publicados
en el período 2010-2012.
Cuantitativa ::-.1 úmero de proyectos de vinculación con la
~
-.
••
•
·.
,
_
2
7
~~-...:c .. . - """'"'t-"~" ..
. . . . u.-~J.It\.o•(• . . · - Universidad Técnica Luis Vargas Torres de Esmeraldas
Tabla 1: Definición de las variables del modelo. Variable Presupuesto Presupuesto ejecutado remuneración administrativos Presupuesto ejecutado remuneración docentes Espacio bibliotecas Libros impresos Número de ingresos bibliotecas Total esturliantes
pregrado último aüo
Tipo Definición
Cuantitativa Promedio del presupuesto ejecutado en 2011 y
2012.
Cuantitativa Presupuesto ejecutado en remuneraciones a empleados administrativos año 2012.
Cuantitativa Presupuesto ejPcntado en remuneraciones a docentes año 2012.
Cuautitativa ~úmero de sitios de trabajo para estudiantes en bibliotecas.
Cuantitativa ~úmero de libros impresos en la biblioteca.
Cuantitativa N úrnero de ingresos a las bibliotecas virtuales certificados por los proveedores de las bibliotecas.
Cuantitativa "úmero total de estudiantes del último año de pregrado.
Total estudiantes Cuantitativa 1\'úrnero total de estudiantes de posgrado. posgrado Ancho de banda Total empleados Edificaciones Edificaciones con cobertura inalámbrica Total aulas
Cuantitativa Suma de anchos de banda contratados por la lES en kbps.
Cuantitativa ~úmero total de empleados. Cuantitativa ~úmero total de edificaciones.
Cuantitativa Número total de edificaciones con cobertura inalámbrica.
Cuantitativa ]\' úmero total de aulas de la lES. Aulas
facilidades
con Cuantitativa 1\' úmcro total de aulas que ofrecen facilidades para las actividades de enseiíanza-aprendizaje. Puestos TC
Puestos :MT /TP Innovación tecnológica
Cuantitativa 1\'úmero total de puestos de trabajo asignados a docentes a tiempo completo.
Cuantitativa ':'\ úmero total de puestos de trabajo asignados a docentes a tiempo parcial y medio tiempo.
Cuantitativa Valoración del número ele procesos académicos
de la lES que se encuentran automati:.~ados,
con el fin de brindar un mejor servicio a los estudiantes y comunidad universitaria en general pero, sobre todo, aquellos que sean uu aporte para el mejoramiento de la educación.
.•
.
·
·
~
-·
,.,_ .. _.::~'-·
. . . . , ""li.)IO.&l' . . . Variable Escalafón 1 Evaluación Admisión pregrado Admisión posgrado Planificación investigación Uso delUniver:,;idad Técnica Luis Vargas Torres de Esmeraldas
Tabla 1: Defiuición de las variables del modelo. Tipo Cualitativa Cualitativa Cualitativa Cualitativa Cualitativa Cualitativa Definición
Valoración de la existencia y aplicación de reglamentos que definen las responsahilirlarles y promociones de los docentes de acuerdo a su desempeño en relación con: docencia. investigación. gestión, vinculación con la colectividad y asesoría a los estudiantes: de acuerdo con su categoría en el escalafón y su dedicación.
Valoración de la evaluación docente.
Valoración de la existencia de un procedimiento de admisión a estudios de pregrado que permite identificar el nivel de aptitud que poseen los estudiantes para iniciar los estudios.
Valoración de la existencia de un procedimiento de admisión a estudios de posgrado que pennile identificar el nivel de aptitud, competencias y de:;trezas quc poseen los estudiantes para iniciar los estudios.
Valoración de la existencia de líneas y políticas institucionales de investigación y de un plan de investigación que se encuentre enmarcado en el plan estratégico, el que debe estar vinculado con el Plan Nacional de Desarrollo (de acuerdo a la Disposición General Quinta de la LOES). seguimiento a
Valoración de la existencia de procesos para el segunmento a graduados y el uso de la infonnacióu de un sistema informático de seguimiento, para la retroalimentación de aspectos acarlémicos de la lES.
graduados
Rendición anual de cuentas
Transparencia financiera
Cualitativa
Cualitativa
Valora si el Rector, en su rendición anual de cuentas del período 2011. informa a la comunirlad universitaria el grado de cumplimiento de cada uua de las actividades del PEDI y POA. En ca.c;o rlc que éstos hayan tenido variaciones, los motivos por los que se procedió a reformularlos.
Valora si la gestión financiera de la lES está en base a un presupuesto elaborado en forma transparente. Esto requiere la rendición de cuentas de cuestiones financieras al CES (tra&paso de patrimonio, reinversión de excedentes, estados financieros). y la publicación
,-.
.
.
••
•
\.
.., ·oo.qe,.,_.,o<c: .. ~( ... ..,~-• ##'•"~"''.... t."*'~"' •. AtO.••·- Universidad Técnica Luis Vargas Torres de Esmeraldas
Tabla 1: Definición de las variables del modelo. Variable Ética responsabilidad y Tipo Cualitativa
Información para Cualitativa
evaluación
Régimen Cualitativa
académico
Acción afirmativa Cualitativa
Gestión bibliotecas Espacios bienestar de Cualitativa de Cualitativa Definición
Valoración de la existencia de una instancia
encargada de establecer las políticas y la
normativa que regule el comportamiento
de cada uno de los integrantes de la
comunidad universitaria (estudiantes, docentes,
trabajadores), en un marco de ética y
responsabilidad. Esta unidad puede ser un
Comité de Ética, Tribunal de Disciplina,
etc. Además, se evalúa la administración y
aplicación de la normativa creada para el efecto.
Valoración de la calidad de la información que la
lES proporciona al CEAACES para los procesos
de evaluación y acreditación, en función de
las variables del modelo, que han podido ser
verificadas sin inconvenientes, con base a la
información y evidencias presentadas por la lES. Valoración de la existencia de una normativa
aprobada para los procesos académicos, en la que
se determinen obligaciones y responsabilidades,
tanto de docentes corno de estudiantes.
Valoración de la práctica de políticas de acción
afirmativa para el acceso de estudiantes y la
nominación de autoridades, docentes, empleados y trabajadores.
Valoración de la existencia de una aplicación
informática que ayude a la gestión sistemática
y ordenada del registro y movimiento
bibliotecario.
Valoración de las instalaciones de la lES, el
espacio físico para el desarrollo de actividades
académicas y los lugares de encuentro y
socialización de la comunidad universitaria
(actividades culturales, sociales, deportivas,
de alimentación y recreativas), con ba.'lc en
estándares de calidad previamente definidos.
Fuente: CEAACES
Metodología del proceso de evaluación
institucional
Con el fin de llevar a cabo la evaluación institucional. el CEAACES estableció una metodología y
procedimientos que se pueden describir en los signientt>S componentes: el primero. tiene que ver con el cumplimiento por parte de las lES de la LOES. cuyo plazo fue diciembre 2012. denominado cumplimiento
de la normativa; y el otro, cuyo alcance se enmarca en la evaluación de los criterio generales definidos en el modelo: Academia. Eficiencia Académica, Investigación. Organización e Infraestructura, denominado
Evaluación Global. El proceso se ejecutó en las siguientes etapas generales:
(a) Diseño del modelo de evaluación e instrumentos de apoyo, que se llevó a cabo de abril a septiembre de 2012.
El producto de esta etapa es el modelo de evaluación institucional que fue socializado en primera instancia en octubre de 2012, entregando una versión definitiva en febrero de 2013: se incluyeron, además, los
instrumentos complementarios: fichas técnicas, matrices de evidencias. gnías y formularios de verificación.
(b) Diseño y construcción de la herramienta informática que soportó el proceso de evaluación, que se llevó a cabo de enero h11sta jnlio de 2013. El producto de esta fase es el Sistema GilES.
(e) Levantamiento de información. tanto desde el S~IESE como desde las lES al sistema GilES, que se llevó a cabo entre enero y octubre 2013. El producto de esta fasP Ps la hasP de datos de información de las
lES. así como las evidencias que respaldan la misma.
(d) Evaluación documental en la que se analizaron todas las evidencias documentales entregadas por las lES y se evaluaron las variables relacionadas con los criterios: Academia. Eficiencia Académica, Investigación y Organización: se llevó a cabo entre abril y mayo de 2013.
(e) Evaluación in situ que se efectuó en mayo de 2013. y consistió en la valoración y evaluación del criterio de
Infraestructura. ~o obstante. durante la visita in situ también se validaron y evaluaron otras variables, y se recolectaron evidencias adicionales entregadas por la lES.
(f) Revisión de información. la que consistió en la revisión de la valoración y eV'alnación del proceso documental
y de la visita in situ; se llevó a cabo entre mayo y agosto de 2013. El producto de las etapas de evaluación documental, visita in situ y revisión d<' información, fn<' d Informe Preliminar de Evaluación Institucional.
(g) Etapa de Rectificación. que consistió en una re-evaluación de variables a pedido de las lES, a partir de
nueva evidencia: esta S<' llevó a cabo entre agosto y octubre de 2013. El producto de esta fase fue el
Informe de Rectificación.
(h) Etapa de Apelaciones y Audiencias que consistió en una nueva evaluación de las variables a pedido de
2
9
..
.
·
ceaaces
IOfo'.t ... ~ ... <( ... ~4.ol.' .. of••tL>o<a(.o. gi.:JM .\1< "1'"'0. ,_._,. Universidad Técnica Luis Vargas Torres de Esmeraldas
Instrumentos de Evaluación
Para la ejecución de la evaluación institucional el CEAACES elaboró los siguientes instrumentos técnicos: (a) Ficha Técnica: documento que contiene la definición del indicador. su objetivo de evaluación y el período
de evaluación.
(b) .Matriz de Evidencias: documento que contiene la descripción de las variables mediante las cuales se calculan los indicadores, así como de las evidencias asociadas a cada variable.
(e) Guía de evaluacióu: documento que contiene la descripción del procedimiento para la verificación de cada variable en función de las evidencias establecidas.
( d) Formulario de Verificación: documeuto que se utilizó eu la visita in situ para hacer el levantamiento de variables que se valoraron mediante muestras para poblaciones mayores a 100.
Soporte Tecnológico
El CEAACES. con la finalidad de asegurar el correcto desarrollo rle los procesos de evaluación, ha incorporado un sistema informático para garantizar la calidad de información, así como su transparencia e imparcialidad. El Sistema de Gestión de la lnforma.ción de las Instituciones de Educación Superior (GilES), fue creado. entre otros propósitos, con el fin de que la revisión de los pares evaluadores sea exhaustiva y no aleatoria o circunstancial.
A través de este sistema, las instituciones han tenido la posibilidad de acceder a su información en la fase de rectificaciones, y así tener un mayor conocimiento del estado de su evaluación; asimismo, en el ingreso de información, el CEAACES acompañó a la.s instituciones durante todo el proceso, con la colaboración de técnicos de la Dirección de Evaluación y de técnicos informáticos.
El CEAACES está comprometido en mejorar su sistema de información; y en un futuro inmediato, interactuar directamente con los sistemas de cada institución. La transparencia en los procesos de evaluación es fundamental para su correcto desarrollo y para ello el apoyo tecnológico es primordial; por eso, es importante que las instituciones de educación superior garanticen al CEAACES la calidad de la información presentada. El CEAACES, por otro lado, acompañará a las instituciones en el mejoramiento continuo de la calidad de su información.
Levantamiento
y
validación
de
la
información
El CEAACES, de acuerdo a lo establecido por el artículo 183 de la LOES. tomó eu primera instancia corno fuente de datos el Sistema I'íacional de Información de la Educación Superior del Ecuacior (S IESE). El proceso de evaluación se inició cuando las lES subieron la información correspondiente al SNIESE; no obstante, al ser esta información validada y depurada por el CEAACES, se determinó que ésta carecía de calidad y completitud; razón por la cual, en acuercio con la SENESCYT, se toma la decisión de levantar información complementaria desde el CEAACES, a través del sistema GilES.
Organización
de equipos multidisciplinarios
La selección y contratación de evaluadores externos se llevó a cabo considerando, por un lado, la naturaleza de la información a ser analizada y el tamaüo de las lES y, por ot.ro, el perfil profesional del par evaluador,
así como su género. Los pares evaluadores fueron capacitados sobre el modelo, instrumentos y la aplicación iufonnát.ica.
.
••
•
Universidad Técnica Luis Vargas Tones de Esmeraldas
Bu cando fortalezas específicas en todas las áreas. se organizaron para la fase de revisión documental y la visita in situ. 14 equipos de pares evaluadores conformados por: un especialista financiero, un abogado. un especialista informático y tres académicos: adicionalmente. y en forma transver al, se conformó un equipo de investigadores que evaluaron de manera exclusiva las variables relacionadas con el criterio de Investigación
y Vinculación con la Colectividad, y un equipo de abogados que validaron el cumplimiento de la LOES por parte de las lES. cuyo plazo referencial fue diciembre 2012. Durante las etapas de Rectificación. Apelaciones y Audiencias se contó con siete equipos de trabajo: cinco equipos de evaluación conformados por pares evaluadores académicos y técnicos del CEAACES, un equipo de investigadores y nn equipo de abogados.
Procesos
de verificación d
e
la inform
aci
ón
Para llegar a obtener la información validada de las variables del modelo que se presentan en este informe -y que fueron utilizadas en el cálculo de indicadores, el CEAACES estableció el siguiente procedimiento:
l. Revisión. análisis y depuración de la información proporcionada por las lES al SNIESE.
2. Revisión y verificación documental de la información y evidencias enviadas por las lES, por parte de los evaluadores externos.
3. Preparación de la información para la VISita in situ de los evaluadores externos, con base en la información de las lES y la verificación documental.
4. Visita in situ de los evaluadores externos.
5. Validación de los datos evaluados por parte de un equipo técnico del CEAACES. a través de la revisión por muestreo de la información entregada por los evaluadores externos y de las evidencias presentadas por las lES.
6. Elaboración del ·'Informe preliminar de evaluación institucional"', en el que se presentan los V!l.lores verificados de cada una de las variables, con base en la revisión de las evidencias e informes del equipo de evaluación externa del CEAACES.
7. Recepción de solicitudes de retificación de los datos preliminares presentadas por las IES.
8. Análisis de las solicitudes de retificación y elaboración del "Informe de la etapa de retificación de la evaluación institucional".
9. Recepción de solicitudes dr apelación de los datos presentadas por las lES.
10. Análisis de las solicituues de apelación y elaboración del ··Informe de la etapa de apelación de la evaluación institucional"'.
11. Recepción de solicitudes de audiencia pública presentadas por las lES.
12. Análisis de las solicitudes de modificación de variables hechas en audiencia pública.
13. Construcción de la base de datos final que fue utilizada para el cálculo de los indicadores para la posterior ejecución del modelo de evaluación multicriterio15.
15
Existen tres modelos de evaluación: grado, posgrado, y el modelo de grado y posgrado; dependiendo de la oferta académica
J
o
..
.
..
ceeE!CeS
Universidad Técnica Luis Vargas Torres de Esmeraldas
Análi
s
is d
e
Datos
y
Clasificación d
e
la
s
l
E
S
Aná
li
sis M
ul
tic
rit
e
ri
o
Uno de los pilares de la evaluación de las lES desde el Mandato 14, ha sido el análisis multicriterio. Evaluar el sistema de educación superior requiere tomar en cuenta de forma integral todos los aspectos que contemplan la realidad uuiversitaria ecuatoriana.
El análisis multicriterio SP. basa en la teoría de la decisión: desde siempre, tomar decisiones ha sido una ardua labor que ha llevado a filósofos, pensadores y científicos a pensar en formas de desarrollar técnicas, métodos y formas lógicas de pensamiento que nos permitan escoger la opción óptima; como lo dicen Franklin y Loyola en [r i~uPira C>t <l •• 2005]. tomar decisiones se basa en comparar, clasificar y calificar,
sea en atributos o en características, para escoger la mejor opción dadas todas las posibilidades . El análisis multicriterio ha sido desarrollado y fundamentado técnicamente a partir de su uso en decisiones en economía, en dinámica social y política, en optimización dP. recursos y del uso de energías rm10vahlcs, entre otros
[Fig u n1 ct al. 200:>, "\l<1t l'u. 2012]. Una de las principales razones para utilizar el análisis multicriterio es que nos permite calificar opciones de una manera más objetiva [Wwrzhicki 2010]. Para el caso de la evaluación institucional el CEAACES decidió utilizar el modelo de análisis multicriterio corno la metodología analítica para la toma de decisiones. El método se justifica en las siguieutes consideracioues ¡;.Iat('O. 21Jl2]:
l. Permite investigar e integrar intereses y objetivos de múltiples actores dado que la entrada de información cualitativa y cuantitativa de cada actor es tomada en cuenta en forma de criterios y factores de peso. 2. Trata con la complejidad de la configuración de los múltiples actores proveyendo información resultante
que es fácil de compartir con los actores del proceso. Esta facilidad radica en c¡ue los resultados son comparables entre sí y consistentes con los datos de eutrada, que son los indicadores, a través de las funciones de utilidad: además de que el formato de salida de los resultados medidos está dado en uua escala de O a 100.
3. Es bien conocido y aplicado como método de alternativas de valoración que incluye diferentC'~'i versiones de los métodos desarrollados e investigados del problema específico y de su contexto.
4. Es un método que permite la objetividad y la inclusión de diferentes percepciones e intereses de los actore:; :;in mayor consumo de energía y costo intensivos.
Por tanto, esta metodología permite tomar en cueuta los pros y los contras de diversos aspectos de la realidad universitaria ecuatoriana, que ahora considera a la educación superior como un bien público trascendental, con Jos propósitos y exigencias de la sociedad. La inclusión de este aspecto permite definir una estructura de evaluación completa, articulada alrededor de un eje fundamental: la calidad como el cumplimiento de estándares mínimos y :;intetizados bajo el entorno de aprendizaje.
Para la clasificación de las lES se consideró la siguiente metodología:
• Se desarrolla un modelo multicriterio. donde se decide cuáles so11 los principales criterios que van a ser evaluados, luego se decide qué indicadores se van a medir y se desarrolla el cálculo de cada indicador. Cuando los criterios abarcan conceptos más complejos, es necesario desarrollar 1:mbcriterios que, a través de sus respectivos indicadores, pennitan una medición más precisa a través de esta desagregación. • A partir de los indicadores se diseííau las guías de verificación in situ y se determinan las variables que
se van a solicitar a las lES.
• Los elatos se recolectan a través de nna aplicación informática diseüada para cargar información a través de una plataforma en lí11ea, dependiendo del tipo de información. Los datos se cargan al sistema por los funcionarios de las diferentes instituciones de educación superior o por los pares evaluadores. El sistema cuenta además con módulos c¡ne pt>rmiten la verificación técnica y la evaluación por parte de los pares. El sistema diseñado para la evaluación es el sistema GilES.
.
••
•
Universidad Técnica Luis Vargas Torres de Esmeraldas
• Se diseñan la.<; funciones de utilidad (Ver figuras 7. 8. 9 y Anexo A.). que son funciones cuyo dominio se
define según los intervalos en los que varían los valores de un indicador y cuyo rango de utilidad es el
intervalo O a l. Este proceso permite agrupar los diversos indicadores para poder hacerlos comparables
entre ellos.
Figura 7: Ejemplo función de utilidad no lineal.
1. 0-0, 8-u
0,6-"'
~ 50, 4-0, 2-0, 0---, o 20 '1 40 1 60 Porcentaje de profesores TCFigura 8: Ejemplo función df' utilidad lineal.
1,0-0. 8-u 0,
6-~
5 0 ,4-0, 2- 0,0-1 o 25 1 50 1 75 1 Dirección mujeres 1 100• Se define qué indicadores tienen más relevancia dentro de los subcriterios.
• Se asignan pesos (Ver Anexo B) relativos por cada criterio. luego para los subcriterios y finalmente para
los indicadores que componen la evaluación.
• Una vez que se han recogido los valores de las variables se procede al cálculo de los indicadores y se
alimenta el modelo con los datos.
• Dado que todas las funciones de utilidad están estandarizadas entre O y 1, e puede realizar la suma
ponderada entre las utilidades de cada indicador para obtener la valoración de los snbcriterios: luego
31
.
.
..
·
cmEIC:eS
•• ""''"'"""e',., .. ,.,(• ...aOII_._-.-.:..,,~,_. ""'•w .... "'oo.,.,.,. Universidad Técnica Luis Vargas Torres de Esmeraldas
Figura 9: Ejemplo función de utilidad para un indicador cualitativo.
Cumplimiento _ Total Cumplimiento Pa rcial-Cumplimiento_ 1 Deficiente
,
-
--
,
0.0 0.2 1 0.5 Utilidad 1 1 0,8 1,0M
étodo
de
análisis
directo para
la
clasificación de
las
lES
Con base en la calificación final, las lES son categorizadas tomando en cuenta niveles mm1mos de desempeño para cada categoría. La elección de estos umbrales de desempeño puede responder a consideraccioncs
de caracter normativo; la elección puede también ser resultado del uso de la información proveniente de la
distribución empírica de la calificación final de las lES a través del uso de estadísticos, especialmente de
tendencia central y dispersión; o puede responder a ambas consideraciones técnicas. Dado que este análisis es
consecuencia de la comparación directa de las puntuaciones de las insiit.uciones frente a umbrales establecidos,
este método será llamado en lo posterior ":Método de análisis estadístico directo".
Método de
anális
is
de conglomerad
os
para la
clasificación de las
lES
Agrupar es una de las labores que es intrínseca de la actividad humana; formar o determinar grupos
de personas de animales, o de cualesquiera objetos es algo colidiauo y común, pero en el siglo XVIII se
empezó a realizar esta labor a nivel profesional. En 1737 Carl von Linné realizó una agrupación de animales con características iguales [EH•rit t 1'1 al. 20 11]. Una de las principales razones para realizar grupos es que
los elementos que pertenecen a un mismo grupo comparten características similares de tal manera que
al agruparlos su estudio sea más sencillo. Según Cormack (1971) y Gordou (1999), un conglomerado se
puede definir como un grupo que es homogéneo y aislado de otros elementos; es decir, ellos plantean que los conglomerados dependen de la cohesión de las características evaluadas [hPrit t el al 2011]. El análisis
de conglomerados ha sido utilizado como un mecanismo de estudio de galaxias en astronomía y astrofísica;
en la psiquiatría ha permitido el estudio de pacientes que comparten características similares; en el estudio del clima se ha utilizado como un método estadístico que permite estudiar el comportamiento de ciertas estaciones similares, entre otras aplicaciones [Evcntt < t ,d .. 201
1].
Al igual que las aplicaciones anteriores,este método es pertinente para el estudio del sistema de educación superior, donde se requiere clasificar a las
lES con características similares según el punt.aje global de desernperio.
Siguiendo este procedimiento, se ha realizado un agrupamiento de las lES, donde se compara la distancia
entre sus puntajes globales, y se distinguen los diferentes grupos a través de un diagrama de árbol o
dendograma, que constituye una de las principales herramientas utilizadas en el n.nálisis de conglomerados,
eu el cual se logra visuali:.~ar las diferencias entre los grupos. En el mélodo utilizado para la comparación de
las lES. es el método del vecino más próximo con distancia euclídea 16.
.
...
ceeaces
"""0l0t• .... , .. _, .. '·· ... . .ll+~tA.OlOOIIi.Af ... tA;_ . . _ Universidad Técnica Luis Vargas Torres de Esmeraldas
Finalmente, a través del dendograma se puede escoger el número de conglomerados o clusters que determinarán la clasificación de las lES.
Función de
complejidad
de la
gestión
La evaluación considera la complejidad de la gestión como un parámetro importante a considerarse para la categorización de las universidades y escuelas politécnicas. Se asume un crecimiento no lineal de la complejidad de la gestión de las lES en relación al tamaño de las mismas (Ver figura 10).
Existen algunas razones que respaldan es la consideración. En primer lugar, toda organización ve disminuida su flexibilidad de acción y su capacidad de adaptación conforme aumenta su tamaño; en el caso de las instituciones de educación superior. este efecto se manifiesta en la dificultad que presentan las lES con mayor número de estudiantes al momento de adaptarse a la nueva normativa que regula el sistema. Por ejemplo, a una institución con una planta docente pequeña le es más fácil captar talento humano disponible y transformar esta mejora en nn incremento porcentual mayor que en el caso de una institución grande. De la misma manera, un incremento en el acervo bibliográfico o en la disponibilidad de infraestructura adecuada es más costosa y dificil de lograr cuando se trata de grandes lES.
Por otro lado, la gestión académica y administrativa se dificulta a medida que las instituciones demandan una línea de mando más compleja y extensa; esto se manifiesta en la dificultad que encuentran las instituciones grandes para planificar centralizadamente la gest.ión académica y además mantener un sistema de información único.
Finalmente, desde el punto de vista de la investigación científica. existen razones para que las instituciones busquen alcanzar tamaños adecuados en su planta docente. Para ilustrar, la investigación científica requiere qne los equipos de investigación alcancen dimensiones apropiadas; es decir. la masa crítica de investigadores necesarios para obtener resultados importantes. Adicionalmente. la investigación científica moderna requiere de la conformación de equipos multidisciplinarios, imprescindibles para la resolución de problemas actuales.
