Monterrey. Nuevo León a 4 de Mayo del 2012
INSTITUTO TECNOLÓGICO Y DE ESTUDIOS SUPERIORES DE MONTERREY P R E S E N T E .
-Por medio de la presente hago constar que soy autor y titular de la obra denominada 'Indicadores de Evaluación Institucional para Programas Académicos en Linea', en los sucesivo LA OBRA en virtud de lo cual autonzo a el Instituto Tecnológico y de Estudios Superiores de Monterrey (EL INSTITUTO) para que efectúe la divulgación, publicación, comunicación pública, distribución, distribución pública, distribución electrónica y reproducción, asi como la digitalización de la misma, con fines académicos o propios al objeto de EL INSTITUTO
El Instituto se compromete a respetar en todo momento mi autoría y a otorgarme el crédito correspondiente en todas las actividades mencionadas anteriormente de la obra
De la misma manera, manifiesto que el contenido académico, literario, la edición y en general cualquier parte de LA OBRA son de mi entera responsabilidad, por lo que deslindo a EL INSTITUTO por cualquier violación a los derechos de autor y/o propiedad intelectual y/o cualquier responsabilidad relacionada con la OBRA que cometa el suscrito frente a terceros
Indicadores de Evaluación Institucional para Programas
Académicos en Línea -Edición Única
Title Indicadores de Evaluación Institucional para Programas Académicos en Línea -Edición Única
Authors Maribel Castañeda Muñoz
Affiliation Tecnológico de Monterrey, Universidad Virtual Issue Date 2012-02-01
Discipline Ciencias Sociales / Social Sciences
Item type Tesis
Rights Open Access
Downloaded 18-Jan-2017 10:23:30
Universidad Virtual
Indicadores de Evaluación Institucional para Programas Académicos en Línea
Tesis que para obtener el grado de:
Maestría en Administración de Instituciones Educativas con acentuación en Educación Superior
Presenta:
Maribel Castañeda Muñoz, A01004373
Asesor tutor:
Mtra. Diana Bolaños Alonso
Asesor titular:
Dr. Juan Manuel Fernández Cárdenas
2
Dedicatorias
A mis padres que con su ejemplo de tenacidad y perseverancia y con una sólida formación moral, me han impulsado para alcanzar las metas que me he propuesto en la
3
Agradecimientos
Al Instituto Tecnológico y de Estudios Superiores de Monterrey, en especial a la Universidad Virtual, quien me proporcionó los elementos teóricos para mí desarrollo profesional.
A la Universidad Pedagógica Nacional Unidad 213 de Tehuacán, Puebla, en especial a su director Lic. Tito Mora Reyes, por todas las facilidades e impulso para el desarrollo no sólo de este estudio, sino de la experiencia práctica que permitió sustentar el proyecto.
Al Lic. Manuel Mora Terrazas, coordinador del Comité de Educación, Artes y Humanidades de los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES) por el apoyo para contactar a los expertos que fungieron como jueces en este estudio.
4
Resumen
Este documento presenta los hallazgos principales de un trabajo de investigación dirigido al desarrollo de un conjunto de indicadores para la evaluación de un programa académico en línea. La revisión de una serie de metodologías y sistemas de indicadores de
organismos evaluadores y acreditadores de la educación superior en México, propician el interés por desarrollar indicadores de evaluación para programas académicos en línea, dado que se encontró un vacío en este rubro en el análisis de las metodologías señaladas. Asimismo la expansión de la educación virtual o en línea, motiva la necesidad de crear sistemas de indicadores que den cuenta de los resultados de los programas académicos en esta modalidad. Para el desarrollo de los indicadores, se revisó la literatura al respecto y se propuso un primer listado, para posteriormente evaluar este sistema de indicadores por parte de expertos en el área, considerando cuatro dimensiones: claridad, utilidad,
5
Tabla de Contenidos
Resumen 4
Introducción 8
Capítulo 1 Planteamiento del Problema
Antecedentes 11
Definición o Planteamiento del Problema 14
Objetivos 16
Justificación 17
Limitaciones del Estudio 19
Capítulo 2 Marco Teórico
Elementos Relacionados con la Educación a Distancia 21 Marcos de Referencia para la Evaluación de Programas Académicos en
Línea
35
Construcción de Indicadores en la Evaluación Educativa 45
Capítulo 3 Metodología
El enfoque de la Investigación 53
Participantes 56
Instrumentos 59
Procedimiento de la Investigación 61
Estrategia de Análisis de Datos 63
Capítulo 4 Resultados
Resultados del Instrumento para la Evaluación de Indicadores Resultados de las Entrevistas
Discusión de resultados por indicador
6
Capítulo 5 Conclusiones
Listado final de indicadores Discusión de los resultados Validez Interna
Alcances y Limitaciones Implicaciones Educativas
Sugerencias para estudios futuros Conclusión
98 102 103 105 106 109 111
Apéndices 113
Referencias 121
7
Índice de Tablas
Tabla 1. Categorías, criterios y subcriterios del Marco de Referencia del
PNPC. 40
Tabla 2. Opinión promedio de los jueces sobre los indicadores para cada dimensión propuesta.
66
Tabla 3. Opinión que más se repite sobre cada indicador de acuerdo a las dimensiones
73
Tabla 4. Categorización de comentarios con respecto a algunos indicadores Tabla 5. Discusión de resultados por indicadores.
79 88
8
Introducción
El presente estudio de corte descriptivo cualitativo tiene como objetivo construir un sistema de indicadores que permitan evaluar un programa académico ofertado en la modalidad en línea, particularmente programas ofertados en Educación Superior.
La revisión de la literatura, en particular algunos sistemas de indicadores para evaluar programas académicos, y algunas experiencias del autor con respecto a la evaluación de programas académicos, motivan el interés por el desarrollo de un sistema de indicadores para evaluar programas académicos no presenciales, que se ofertan en la modalidad e-learning o en línea, dado que se encontró que la evaluación de dichos
programas no es aún una constante al menos en México, donde los principales
organismos acreditadores de la educación superior, como aquellos regidos por el Consejo para la Acreditación de la Educación Superior (COPAES), no contemplan dentro de sus metodologías, la evaluación de este tipo de programas.
Por otra parte, la revisión de la literatura da cuenta de la expansión de la educación en línea, por lo que se aprecia la necesidad de contar con instrumentos de evaluación que permitan retroalimentar el desarrollo de los programas académicos ofertados en esta modalidad, en aras de asegurar la calidad del proceso formativo.
9 considerando las diferencias que puedan existir frente a los programas ofertados
presencialmente.
Por otro lado, se enfatiza la necesidad de contar con dicho sistema de indicadores, como un medio de asegurar que la evaluación se realice con fundamento en información confiable y objetiva y que dicho proceso de evaluación sea viable y más accesible al contar con indicadores claros de lo que debe evaluarse.
El desarrollo del sistema de indicadores contempla su aplicación para aquel contexto donde se oferte un programa académico en línea, sin embargo se tomó como referencia en este estudio, la necesidad de desarrollar un sistema de indicadores considerando la implementación de la modalidad en línea de la Licenciatura en
Intervención Educativa en la Universidad Pedagógica Nacional Unidad 213 de Tehuacán.
Para la construcción de dicho sistema se llevó a cabo una revisión de la literatura tanto en lo que respecta a los indicadores propuestos por otros sistemas de indicadores para evaluar programas académicos, como en lo referente a la metodología para la
construcción de esos sistemas de indicadores. En esta revisión se halló que la metodología para construir indicadores no es suficientemente explícita, incluso las fuentes de
10 Con el apoyo de estos expertos se realizó un listado final de indicadores, basado en la codificación de respuestas sobre sus opiniones; por lo que la estructura general de este estudios se compone de cinco capítulos, en el primero se muestra el planteamiento del problema con respecto al vacío encontrado en lo referente a la construcción de
sistemas de indicadores que den cuenta de la Educación en línea, se presentan lo objetivos de manera más amplia y la justificación del estudio.
En el capítulo dos se presentan los referentes teóricos que sirvieron de base para la conformación de este estudio; dicho capítulo hace alusión a los sistemas de indicadores encontrados que se aplican en otros contextos para evaluar la educación en línea, así como a los referentes teóricos encontrados sobre la metodología utilizada para la construcción de indicadores.
En el capitulo tres se presenta la metodología utilizada en este estudio para la conformación de los indicadores, donde se incluyen los participantes y las fases del estudio, los instrumentos utilizados, así como la codificación y análisis de resultados.
En el capítulo cuatro se presentan los principales hallazgos derivados de los instrumentos de investigación utilizados y por último en el capítulo cinco se presentan las
11
Capítulo 1: Planteamiento del Problema
Antecedentes
El desarrollo de las tecnologías de la información y comunicación (TIC’s) por una parte y la necesidad de encontrar formas alternativas de instrucción a la modalidad
presencial, han tenido un impacto profundo en la educación, donde destaca el desarrollo de nuevas vías y formas de instrucción y de enseñanza-aprendizaje. En este sentido, hace varios años aparece la denominada Educación a Distancia, sobre todo en los contextos universitarios.
De acuerdo con Casas (1982):
El término educación a distancia cubre un amplio espectro de diversas formas de estudio y estrategias educativas, que tienen en común el hecho de que ellas no se cumplen mediante la tradicional contigüidad física continua, de profesores y alumnos en locales especiales para fines educativos; esta nueva forma educativa incluye todos los métodos de enseñanza en los que debido a la separación existente entre estudiantes y profesores, las fases interactiva y pre-activa de la enseñanza son conducidas mediante la palabra impresa y/o elementos mecánicos o electrónicos.
En México en particular la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES), reportaba en 2003 que casi un 39% de las
universidades afiliadas tenía implantada la modalidad de Educación a distancia, y más de un 50% tenía el proyecto para establecerla en los próximos cinco años, (ANUIES, 2003).
12 La tendencia en esta modalidad educativa se orienta así hacia la instrucción
mediante el uso de Internet, con el advenimiento de éste, ha aparecido el llamado aprendizaje en línea o en inglés el llamado e-learning.
Rosenberg (2001,pp.28-29).), define el e-learning o aprendizaje electrónico
“como el uso de las tecnologías basadas en internet para proporcionar un amplio
despliegue de soluciones a fin de mejorar la adquisición de conocimientos y habilidades”,
Un caso particular de implementación de la educación a distancia bajo las características de esta quinta generación que menciona Taylor (2001), ha sido la
Universidad Pedagógica Nacional, pues en el año 2010 uno de sus principales programas académicos, la Licenciatura en Intervención Educativa, comenzó a ofertarse en línea.
Particularmente la Unidad UPN 213 de la ciudad de Tehuacán, Puebla implementó la modalidad en línea de la LIE en el año 2010 que ingresó la primera generación, sin embargo tanto el diseño de los cursos como la plataforma mediante la cual se despliegan los mismos, no son propios de la universidad, y asimismo los profesores no recibieron la capacitación suficiente para el desarrollo de las actividades propias del programa.
Cabe señalar que los profesores no tienen experiencia en educación en línea pues la mayor parte de ellos son profesores de educación básica que se han actualizado y capacitado para impartir clases en Educación Superior, sin embargo no se han formado pertinentemente para la educación en línea.
Este caso particular, motiva el interés por desarrollar un modelo de indicadores que sirvan como referencia para evaluar un programa académico en línea como el
mencionado anteriormente, pues es necesario conocer la forma en la que está operando el programa y si éste está cumpliendo con los propósitos formativos para los que fue creado, teniendo en cuenta los antecedentes mencionados anteriormente. De este modo el
13 Estos planteamientos configuran la tendencia en aumento de la instrucción en línea, por lo que al igual que en otras modalidades de educación, aparece la necesidad de confirmar si los actuales programas académicos que se ofertan en esta modalidad
especialmente en el nivel superior, poseen la calidad necesaria a fin de cumplir los objetivos para los que han sido diseñados.
De acuerdo con Franklin, Peat, Lewis & Sims, (2001) aún tenemos mucho que aprender acerca de los ambientes de aprendizaje en línea, como lo han demostrado los estudios llevados a cabo, para conocer los impactos positivos y negativos en términos de efectividad y alcance de los objetivos.
Asimismo Sims, Dobbs y Hand (2002) mencionan que es aún más crítico que los proyectos de aprendizaje en línea implementen procesos de control de calidad para asegurarse de que los estudiantes son capaces de participar en un discurso colaborativo efectivo.
A este respecto y para poder implementar medidas que aseguren el control de la calidad de este tipo de enseñanza, es necesario emplear la evaluación de los mismos, sin embargo cualquier evaluación precisa primero de indicadores para poder llevarla a cabo, por lo que el primer esfuerzo en la consecución de la calidad de los programas
académicos ofertados en línea, lo constituye la construcción de indicadores que den cuenta de los principales procesos para el logro del éxito académico y de la calidad de los mismos.
14 Por otra parte, Auki y Pogroszewski, (1998), en ANUIES (s.f.), mencionan que para crear un medio ambiente exitoso para el aprendizaje a distancia, son necesarios varios servicios de apoyo a estudiantes y miembros de la facultad, mismos que son incorporados, en un plan integral de universidad virtual.
Estos planteamientos llevan a destacar el hecho de que para evaluar programas académicos en línea deben desarrollarse indicadores que tomen en cuenta elementos no solamente del programa de formación tales como el currículo, la evaluación del proceso enseñanza-aprendizaje, sino que deben incorporarse los recursos tecnológicos pero sobre todo aquellos relacionados con el soporte institucional para la operación del programa, por ejemplo la manera en que se inserta el programa en línea con los objetivos
académicos institucionales, así como la infraestructura humana y financiera.
De esta manera es necesario desarrollar indicadores de evaluación de programas académicos en línea, con la característica de ser integrales, esto es tomando en cuenta todos los elementos relevantes para la operación y calidad del programa y conectando los resultados de la evaluación con los procesos de planeación que aseguren la continuidad y mejoramiento del programa.
Definición o Planteamiento del Problema
Teniendo en cuenta la tendencia al aumento del e-learning, se desprende la
necesidad de desarrollar indicadores de evaluación de los programas académicos que se ofertan en línea, para conocer los resultados de los mismos y como una forma de
retroalimentación sobre el mismo programa y la calidad de los servicios prestados, en un contexto donde el concepto de calidad ha tomado fuerza en los últimos años.
Si bien el aprendizaje en línea ha aumentado considerablemente en los últimos años, el estado del arte de la construcción de indicadores para evaluar este tipo de instrucción se encuentra aún en desarrollo sobre todo en aquellos contextos
15 Martínez (2005) menciona que la metodología para diseñar indicadores educativos no está suficientemente sistematizada o codificada, pero sobre todo para su construcción debe seguirse una metodología específica, que también varía dependiendo del fenómeno educativo que se quiera evaluar y del contexto en el que se lleve a cabo la evaluación educativa.
En este sentido es necesario contar con indicadores específicos para evaluar un programa ofertado en línea teniendo en cuenta sus particularidades y el contexto en el que se va a llevar a cabo la evaluación, pues se requiere retroalimentación sobre el mismo programa pero a su vez como lo menciona la UNESCO los datos estadísticos
comparativos y los indicadores son indispensables en el contexto de una tendencia prevaleciente hacia la globalización (UNESCO, 2001)
Estos planteamientos configuran el interés por conocer cuáles son los indicadores pertinentes para evaluar un programa académico en línea en términos de su calidad. De ahí surge el interés por desarrollar una propuesta de indicadores de evaluación, tomando como referencia un caso en particular de implementación de la modalidad en línea en el aprendizaje, como lo es la Universidad Pedagógica Nacional (UPN) quien desde sus inicios ha llevado a cabo actividades académicas en donde la educación a distancia ha estado presente, transitando por diversas modalidades, hasta culminar en la cuarta y quinta generación de lo planteado por Taylor, (2001). En particular en la Unidad 213 de la UPN, comenzó a operar a partir del año 2010, la Licenciatura en Intervención
Educativa (LIE), en la modalidad en línea. .
Estos elementos llevan a plantear la necesidad de desarrollar e implementar indicadores de evaluación de la modalidad en línea de la LIE, que permitan
retroalimentar la operación del programa, para conocer si este es viable, si los servicios ofrecidos son los adecuados y si existen las condiciones necesarias para el desarrollo de esta modalidad de enseñanza.
16 programa académico en línea, tomando como referencia las prácticas llevadas a cabo en otras universidades, así como las que se llevan a cabo a nivel internacional por
organismos especializados en la materia.
Por estos motivos este proyecto de investigación pretende dar respuesta a las siguientes interrogantes:
¿Cuáles son los indicadores necesarios para evaluar un programa académico en línea
¿Cuáles son las condiciones de infraestructura tecnológica, física, financiera y humana, para llevar a cabo la operación del programa educativo en esta modalidad?
Objetivos
Objetivo General
Desarrollar un sistema de indicadores de evaluación para un programa académico modalidad en línea, que sirva para la toma de decisiones y gestión que asegure la
operación del programa con estándares de calidad, en particular para la LIE en línea en la unidad 213 de la UPN.
Objetivos Específicos
Definir las áreas prioritarias del programa a ser evaluadas, en función de la pertinencia de la información para la operación del programa.
17
Justificación
Cómo se mencionó anteriormente, aunque brindar cursos es el elemento central de una modalidad en línea o virtual, no es el único elemento, pues para poder operar un programa de esta naturaleza como en cualquier otro se requiere una infraestructura de soporte al mismo, que pasa desde la asignación de un presupuesto para el programa, contar con un profesorado asignado, el cual también debe cumplir ciertos criterios de formación y experiencia profesional, es necesario el diseño mismo de los cursos, que no puede darse sin antes contar con un modelo educativo e intenciones pedagógicas claras, que a su vez se inscriban en la misión y visión institucionales de la universidad que desarrolla esta modalidad.
Son necesarios también los servicios administrativos de apoyo a estudiantes y profesores que garanticen la legalidad de los servicios educativos prestados y por
supuesto contar con la infraestructura tecnológica para poder operar el programa, que no solo contempla la plataforma educativa y sus características que hagan más eficiente y amigable la operación del curso, sino los demás requerimientos tecnológicos como la conectividad, servidores, expertos en tecnología, etc.
De estos planteamientos se desprende que las modalidades en línea no pueden soslayarse de la operación institucional como tal, son parte de la misma organización y como tal comparten sus procesos académicos, administrativos y de gestión. De ahí que cuando se evalúa un programa, no solamente debe contemplarse el aspecto curricular formativo de los estudiantes, sino todo aquello que está detrás de la operación de ese programa.
18 Por este motivo, es necesario dar un salto de la mera evaluación curricular en ambientes de aprendizaje en línea, a la evaluación de la institución para operar el programa, que contemple lo ya mencionado, infraestructura humana, tecnológica, financiera, física y los procesos y procedimientos académicos, administrativos y de gestión que permitan poner en marcha ese programa y no solo mantenerlo, reestructurarlo si es necesario, y para ello debe contarse con información apropiada producto de
evaluaciones sistemáticas y continuas que formen parte de la gestión de la institución.
Por otra parte, según datos de la Secretaría de Educación Pública, la cifra
aproximada de población en programas abiertos y semiescolarizados alcanzó los 813312 alumnos, donde destaca que la mayor parte de esta población se encuentra en el nivel de bachillerato, (SEP, 2008).
Estos datos configuran la tendencia en aumento de la educación en línea tanto en lo referente a licenciaturas y posgrados, como en los cursos de formación continua y capacitación para el trabajo.
Por estos motivos es necesario plantear más iniciativas de investigación sobre la calidad de estos programas, tanto en la experiencia educativa propiamente dicha, esto es el rendimiento de los alumnos en este tipo de educación, así como de las características que pueden presentar las instituciones educativas para hacer frente al reto de desarrollar la educación a distancia.
19 Para llevar a cabo los propósitos de esta investigación será necesario tomar como referencia las iniciativas de estandarización de los criterios de evaluación de los
programas en línea, que se desarrollan en otros contextos especializados, pero a su vez estudiar en profundidad las particularidades de cada institución para la operación de este tipo de programas.
Limitaciones del Estudio
El fenómeno abordado por esta investigación es muy complejo, por lo que como en cualquier otro estudio, existen limitaciones respecto de sus objetivos y alcances. La primera limitación de este estudio está relacionada con su modalidad, pues al ser un estudio de corte cualitativo los resultados arrojados podrán tomarse como referencia pero no generalizarse como tal a otros contextos.
Asimismo en cuanto a los límites temporales, este estudio es de corte transversal por lo que se llevará a cabo la investigación en un tiempo determinado.
Aunado a ello, este estudio pretende investigar los principales indicadores
relevantes para llevar a cabo la evaluación del programa académico mencionado, pero no se trata de una evaluación como tal de un programa educativo, sino de la sistematización de la información relevante para llevar a cabo la evaluación, la cual constituirá
posteriormente el resultado de la construcción de estos indicadores.
21
Capítulo 2: Marco Teórico
Elementos Relacionados con la Educación a Distancia Modalidad en Línea
En este apartado se presentan una serie de elementos que según los autores
consultados se deben tener en cuenta cuando se habla de educación a distancia.
En primer lugar se destaca nuevamente la importancia del aprendizaje mediado
por la tecnología o e-larning, pues para Peters (2002), citado en Rizo (2006), la razón
principal del creciente interés en la educación a distancia, se debe a los avances que se
están dando en las telecomunicaciones, los cuales hacen posible una serie de ventajas
logísticas y pedagógicas, entre las que menciona: entrega rápida de información a
cualquier hora y en todas partes, gran posibilidad para el aprendizaje autónomo, mayor
interactividad, orientación hacia el alumno e individualización.
De esta manera los ambientes virtuales demandan de acuerdo a Herrera, (2003),
citado en Rizo (2006):
a) Un ambiente socioconstructivista, centrado en el alumno y centrado en los medios
b) Un acceso a gran variedad de fuentes de información
c) Puntualizar la responsabilidad y el compromiso de los alumnos
d) Fomentar el autoaprendizaje
e) Propiciar un cambio en los roles de los maestros (colaborador, guía, facilitador,
planificador)
f) La promoción de aprendizajes significativos: aprender a ser, aprender a hacer, aprender
22 Ahora bien existen algunos elementos muy puntuales que caracterizan la
educación a distancia o en línea y que deben ser tenidos en cuenta en cualquier propuesta
que se haga con referencia a esta modalidad educativa.
Elementos Relacionados con el Centro o Institución Educativa.
Sosa (2006) encontró que la institución educativa, requiere del empleo de la
administración para un adecuado funcionamiento organizacional que garantice su
desarrollo y crecimiento, razón por la cual, es necesario sustentar su creación en un
modelo estructural de planeación que ofrezca certeza a las acciones presentes y futuras en
un periodo previamente establecido.
En este sentido y utilizando como referencia la creación de un centro de educación
a distancia, propone utilizar la planeación estratégica como un elemento fundamental de
soporte de las actividades de educación a distancia, propone entonces:
1.-Revisar y ajustar las estrategias, con la finalidad de diseñar y establecer un programa
de planeación que proporcione una guía de acción para el personal involucrado
(autoridades, docente y usuarios); estableciendo objetivos, metas, estrategias y
procedimientos que favorezcan el aprovechamiento de los recursos técnicos, humanos y
materiales a su disposición, para reafirmar las fortalezas de la institución, disminuir sus
debilidades, generar oportunidades y evitar las amenazas que el tiempo trae consigo, e
incluso, ir un paso más allá al buscar cómo dar lugar a un futuro deseado y crear formas
innovadoras de acción en un campo tan competitivo como lo es la educación.
2.-Utilización de la información disponible; al respecto se plantea la necesidad de utilizar
23 cono sustento el análisis FODA aplicado en la institución, el cual, muestra las
condiciones en que opera el centro educativo; mismas que pueden retomarse como
referencia comparativa para saber si los objetivos propuestos de manera inicial a la fecha
se han realizado y, si los propósitos realmente cumplen las expectativas de la institución.
3.-Establecer una planeación estratégica, entendiendo el concepto de estrategia como el
desarrollo y aprovechamiento de la capacidad interna para enfrentar distintos retos; como
respuesta o anticipación a los cambios del medio ambiente; como la visión de largo plazo
o como el reto que resulta de preguntar ¿En qué lugar estamos? y ¿En qué lugar
deberíamos estar?
Por su parte Alva (2006) en un estudio sobre la adopción de una modalidad de
educación a distancia en un centro educativo, subraya la necesidad de que los docentes
deben ser actores, motores y promotores de los procesos de cambio y no limitarse a ser
sólo ejecutores de procesos dirigidos desde arriba. Un cambio dirigido desde arriba y no
planeado considerando las necesidades de los docentes, está destinado a la resistencia,
situación que si bien puede ser reforzadora en el proceso, bien puede ser motivo de que se
venga a bajo si la planeación no es bien elaborada o si el cambio no es lo suficientemente
flexible para resistir los embates de la resistencia y de los inesperados del proceso.
Asimismo señala la necesidad de un cambio de forma y no de fondo, ya que
cuando se adopta un esquema de educación a distancia o en línea, además de que los
docentes deben adquirir nuevas destrezas en el manejo de los recursos tecnológicos, se
24 entender para poder dimensionarlo en el contexto del cambio de modalidad educativa y
adquirir de igual forma, los conocimientos que les permita hacer frente a este.
Fullan y Stiegelbauer (2000) en Alva (2006) mencionan la necesidad de que los
actores, más aún, los encargados de llevar a la práctica el cambio, sean partícipes de su
planeación, ya que si los actores son partícipes en la elaboración de la planeación, éstos se
verán comprometidos con el cambio.
Elementos Relacionados con las Habilidades y Características del Aprendiz.
En la investigación realizada por Rizo (2006) se encontró que algunos de los
factores principales que influyen en el desempeño en cursos de posgrado en la modalidad
en línea son: tener buenas competencias para manejar las herramientas tecnológicas,
administrar bien el tiempo, la motivación y el propio interés por aprender, buen diseño
instruccional del curso y que, tanto alumnos como tutores asuman su responsabilidad y
los nuevos roles que el formato virtual demanda.
En particular respecto de las características de los aprendices se debe tener en
cuenta que generalmente para aprendices adultos, mayores de 35 años, que no crecieron
con las nuevas tecnologías, las computadoras causan ansiedad. Por lo que es importante
considerar este factor en las prácticas en línea, además de tener en cuenta la necesidad de
prepararse en las habilidades para el nivel del curso, desarrollar un estilo propio de
aprendizaje en línea y una interacción efectiva con el grupo (Merril, 2004 ), en Rizo
25 Se enfatiza entonces la necesidad de tomar en cuenta las características y
necesidades del aprendiz desde el diseño instruccional de los cursos y en general de los
servicios que se ofrecen como parte de la Educación en Línea.
En una investigación realizada por Cañon (2007) sobre los resultados de la
impartición de un Diplomado de Maestro Virtual se encontró que se debe tomar en cuenta
las características del aprendiz en el proceso educativo, atendiendo características
cognitivas, además de buscar estrategias para estimular los conocimientos previos y la
construcción de nuevos conocimientos y propiciar motivación; tener en cuenta el aspecto
psico-socio-afectivo; la edad, los intereses y el uso adecuado de los medios y tecnologías
requeridos para facilitar el aprendizaje de la asignatura, además de reconocer hábitos de
estudio y de dominio del Internet.
Rizo (2006) enfatiza los siguientes elementos a tomar en cuenta respecto del
aprendiz en un proceso de aprendizaje modalidad en línea:
1) En relación a la habilidad que debe tener el estudiante con la computadora y las
herramientas tecnológicas, es de suma importancia que inicie con alto grado de
práctica en saber navegar por Internet y usar paquetes de software como el Office,
además de saber usar la Plataforma tecnológica a través de la cual se lleva a cabo
el curso, y saber hacer búsquedas en la Biblioteca Digital.
El conocimiento y dominio de las herramientas tecnológicas dan seguridad al
26 2) Evaluar la posibilidad de dar un curso de inducción a los aspirantes, en el que se
instruya sobre el manejo de la plataforma tecnológica y la biblioteca digital; y se oriente e
informe sobre lo que es el trabajo colaborativo y las características que tiene un ambiente
virtual de aprendizaje.
3) Para que el alumno no se sienta tan solo en el proceso de aprendizaje virtual, y ayudar
a mejorar el estilo de comunicación en los foros, se recomienda contemplar el siguiente
punto: “conocer cómo son físicamente las personas con quienes se está manteniendo un
intercambio de conocimientos y experiencias”, porque esto proporcionaría un panorama
diferente en la comunicación escrita que se tiene con los compañeros y maestros en los
foros.
Elementos Relacionados con las Características y Habilidades de los Docentes o Tutores
Según Ochoa (2006) los profesores son actores determinantes del proceso
enseñanza aprendizaje, ya que son facilitadores y planificadores de las experiencias
educativas, por lo tanto, necesitan una permanente actualización de sus capacidades.
Si quieren enseñar con éxito en el mundo actual, deben adquirir nuevos conocimientos y
adoptar nuevos métodos de instrucción que les permitan desarrollar al máximo el
potencial de sus alumnos y estimular en ellos habilidades necesarias para adaptarse y
vivir en la sociedad actual.
Por su parte Rizo (2006) enfatiza la necesidad de que se evalúen las habilidades
27 nuevos roles que deberá asumir y desempeñar. Considerando la importancia que tienen
sus respuestas a tiempo y de calidad, y la responsabilidad de estar consciente de las
necesidades que un estudiante adulto y virtual tiene. Es de gran trascendencia el
monitoreo de la participación del maestro en el proceso educativo virtual.
Por su parte Chiprés (2006) menciona que la capacitación debe darse por niveles
de aprendizaje, puesto que no todos los maestros presentan las mismas deficiencias en el
uso de la computadora. El adquirir habilidades tecnológicas permitirá a los docentes
trabajar con actividades que hagan uso de la Internet de una manera más relajada y con
seguridad en sí mismos en el aula al aprender a utilizar herramientas de comunicación
basadas en Internet, tal como el correo electrónico o chats en tiempo real. Además de lo
anterior, surge la necesidad de capacitar a los docentes en el diseño de sus planeaciones y
avances programáticos incluyendo las estrategias de enseñanza que hagan uso de la
Internet así como también capacitarlos en la correcta aplicación de dichas estrategias en
sus clases.
Es importante además señalar la importancia de que se capacite a los docentes en
el manejo de bases de datos, ya que en la investigación realizada por Legaspi (2006) uno
de los principales hallazgo es que los docentes no conocen las bases de datos electrónicas
y por lo tanto no las utilizan. Enfatiza la necesidad de capacitar a los docentes en el
ámbito de la recuperación de información electrónica, así como realizar estudios
comparativos sobre el efecto e impacto en la práctica docente del uso de las bases de
28
Elementos Relacionados con el Diseño Instruccional.
Bermudez (2007) propone las siguientes sugerencias para el diseño instruccional
de cursos a distancia mediados por computadora:
• Procurar que exista evidencia dentro de la plataforma tecnológica de todas las
interacciones entre alumnos, profesores y contenido, independientemente si estas
interacciones son sincrónicas o asincrónicas.
El paradigma constructivista considera que las interacciones entre los participantes
de un curso con los contenidos del mismo, son de especial importancia para la
construcción de aprendizajes significativos (Díaz- Barriga y Hernández, 2001).
Planear distintas modalidades de participación en los foros de discusión, que son
de naturaleza asincrónica: (1) Con la participación de docentes o invitados
expertos, (2) Sin ninguna participación de docentes o (3) un punto intermedio en
donde el o los profesores intervengan esporádicamente como moderadores. Estas
modalidades de participación tienen como objetivo promover la existencia de una
mayor variedad de tipos de interacción encontrados en las actividades
instruccionales evaluadas en el curso.
Planear distintas modalidades de participación sincrónica aprovechando los radio
chats, como una valiosa posibilidad de interacción en donde el alumno puede
tener respuesta inmediata a sus inquietudes o enriquecer la clase con sus
aportaciones y experiencias.
Generar espacios de interacción por grupos de trabajo, en donde quede evidencia
29 Por su parte Teeler y Gray, (2002) en Chiprés (2006) mencionan que antes de diseñar
una estrategia de enseñanza haciendo uso de la Internet, es necesario definir los objetivos
que se quieren alcanzar. Un primer paso consiste en dar respuesta a las siguientes
preguntas:
¿Qué se desea que los alumnos aprendan?
¿Cuál es la razón para realizar una actividad con la Internet en vez de con otra
herramienta?
¿La actividad será usada también con alumnos de otro nivel?
¿Cuánto tiempo se pretende que dure la actividad, una clase, varias clases, todo el
año escolar?
Aunado a esto, para lograr una enseñanza efectiva que haga uso de las herramientas
que ofrece la Internet se deben considerar estrategias de instrucción que mejoran la
experiencia de aprendizaje, tales como el aprendizaje colaborativo, el pensamiento
crítico, el aprendizaje significativo, el desarrollo de habilidades individuales, entre otras.
(Chiprés, 2006).
Por su parte Acuña (2007) habla de las características que deben tener las
actividades en línea para que promuevan el aprendizaje significativo, estas son:
• Tienen que diseñarse tomando en cuenta los intereses y el contexto de los estudiantes.
• Deben contener foros de discusión sobre temas que intereses a los estudiantes.
• Asegurar una asistencia técnica de calidad para el diseño instruccional.
• Deben contener alternativas para que el estudiante tenga acceso a más información que
30 • Es necesario que contengan actividades interactivas en la plataforma que posibiliten al
estudiante la toma de decisiones.
Elementos Relacionados con la Plataforma Tecnológica y la Página del Curso.
Bermudez (2007) de acuerdo con su investigación presenta una serie de
sugerencias para el diseño de la página del curso:
Accesibilidad. La información contenida en el curso deberá estar disponible y ser fácil de
utilizar por los usuarios, para lo cual es necesario conocer al usuario al que está dirigido y
satisfacer sus necesidades de información y preferencias de navegación.
Precisión/Validez. La información del curso debe ser cuidadosamente escrita para evitar
confusiones o equivocaciones posteriores. Se recomienda cuidar que las fechas y la
información relevante no estén confusas o equivocadas.
Autoría/Origen. La autoría de la información contenida en el curso deberá ser dada a
conocer en todos los segmentos de información, para que los alumnos estén en
posibilidad de ampliar información sobre su obra.
Claridad. La información deberá estar redactada de forma clara, en segmentos de
información cortos de fácil lectura, sin palabras o frases innecesarias o repetitivas, y
presentada en un orden lógico, resaltando los aspectos más relevantes, para reducir la
saturación de información.
Actualidad. La fecha de la última actualización de la información, contenida en el curso,
31 conozca la vigencia de la información; así mismo, para que los administradores del curso
hagan las debidas actualizaciones.
Profundidad/Alcance. El curso deberá proveer el suficiente detalle de información para
cada actividad; así, el alumno tendrá la información completa y estará en posibilidad de
realizar sus actividades sin necesidad de ayuda, favoreciendo el autoaprendizaje.
Dinamismo. El curso deberá dar opción a los usuarios para manipular la presentación del
contenido. Además, la información debe carecer de imágenes estridentes o con
movimiento que distraigan la atención y que por consecuencia retarden el acceso a la
información, es decir, que hagan más lento el proceso de apertura de una página.
Tapscott (1998), en Ochoa (2006) señala que al utilizar plataformas de aprendizaje
basadas en la tecnología, el alumno puede ir paso a paso por el material que esta
estudiando, se puede detener y revisar aspectos que no haya entendido o comprendido del
todo o simplemente puede pasar rápidamente el material que ya crea dominar, creando
fluidez, no solo estudiando los medios, sino utilizándonos para hacer otras cosas.
Por otra parte Según Marqués, (1999) en Ochoa (2006) las páginas Web deben
tener 7 elementos pedagógicos básicos para cumplir con los criterios de calidad:
adaptabilidad, adaptación al destinatario, ser atractiva, finalidad formativa, flexibilidad e
interactividad, proporcionar información y funcionar como un modelo de aprendizaje
32 Por su parte Guevara (2008) en su investigación encontró que el hecho de apoyar
el aprendizaje con dispositivos móviles favorece la independencia y movilidad del
estudiante. El aprendizaje apoyado en el uso de dispositivos móviles en una sociedad
contemporánea, implica un acercamiento a la sabiduría de la dinámica social
incorporando aprendizajes que sirvan para apoyar a los usuarios inmersos en entornos
altamente competitivos para producir sabiduría y no simple conocimiento. Esa sería la
verdadera utilidad del uso de dispositivos móviles para apoyar los aprendizajes.
Por otra parte Bermudez (2007) presenta las sugerencias para el diseño de la
interacción de los usuarios con la plataforma tecnológica:
Metáfora. Utilizar en lo posible metáforas de navegación que sean ampliamente utilizadas
en Internet o tan sencillas que efectivamente puedan ser asimiladas de inmediato por
todos los usuarios. Esto reducirá el tiempo que utilicen los alumnos para familiarizarse
con la forma de navegación de la página del curso.
Navegación. Los usuarios pueden navegar en estructuras de navegación complejas
siempre que mantengan una lógica y que no lleven a callejones sin salida (Web Style
Guide, 2004). Este esquema de navegación es coincidente con el paradigma
constructivista porque permite al alumno explorar libremente los contenidos de su interés,
favoreciendo la autoregulación para el aprendizaje, dando a los alumnos la oportunidad
de explorar y descubrir la información por sí mismos (National Research Council, 2001).
Diseño del contenido. Los documentos del curso deben seguir los lineamientos de la
mayoría de la información diseñada para consultarse en Internet, deben ser documentos
33 recomienda un tamaño máximo equivalente a dos hojas impresas (Web Style Guide,
2004).
Facilidades de búsqueda. El curso deberá proveer acceso a la búsqueda unidimensional o
múltiple, cuando sea necesario apoyar las actividades del alumno.
Facilidad de impresión. Se recomienda añadir una versión para impresión del contenido
del curso.
Ayuda en línea. Se recomienda que la ayuda en línea para usuarios permanezca siempre
visible.
Diseño visual. Se recomienda mantener un equilibrio entre la información y la
distribución de espacios en blanco, evitando la saturación de información. Se recomienda
mantener congruencia en la apariencia de las páginas, utilizando un patrón de uso de
tamaños y fuentes permitidas de letra, uso de colores e imágenes que apoyen la sensación
de consistencia entre todo el contenido del curso.
Consistencia y estándares. Utilizar siempre las mismas palabras, situaciones o acciones
para indicar o representar las mismas cosas, para evitar que el usuario se pregunte si
diferentes palabras significan lo mismo. Se sugiere también utilizar el mismo modo de
navegación de una página a otra, para evitar que el usuario tenga que aprender cómo
acceder a la información de cada segmento. Así mismo, conservar una congruencia en
el diseño de cada icono utilizado.
Otros Elementos a Tomar en Cuenta
Por ultimo y aparte de los elementos anteriormente mencionados se destacan los
34 Chiprés (2006) menciona que para que un proyecto relacionado con el uso de
Internet en sus estrategias de enseñanza, logre cumplir sus objetivos, es indispensable
que se aplique en espacios que permitan llevar a cabo un proceso de
enseñanza-aprendizaje adecuado, para lo cual es necesario tomar en cuenta también aspectos tales
como el espacio físico y los recursos humanos y tecnológicos adecuados.
Además es importante construir una comunidad donde el contenido, el currículum
y las herramientas sean actuales y relevantes y donde la instrucción se adapte a las
necesidades individuales de cada estudiante, cumpliendo así con la visión y necesidades
35
Marcos de Referencia para la Evaluación de Programas Académicos en Línea
Una vez que se ha hablado de las características en general de la educación a
distancia y algunos elementos que deben tomarse en cuenta, es necesario referirse a los
marcos de referencia existentes para la evaluación de programas académicos en línea, que
sirvan como punto de partida y referencia para la construcción de un conjunto de
indicadores como el que se propone como parte de este estudio.
La Educación a Distancia apareció hace más de dos décadas, en parte motivada por la necesidad de encontrar formar alternativas de instrucción a la modalidad presencial para aquellos usuarios que por sus características no podían asistir a los centros de
enseñanza.
Este movimiento de educación a distancia ha recorrido distintas fases en las cuales las características del modelo y la vía de instrucción han cambiado. Siguiendo a Taylor (2001), la educación a distancia ha evolucionado a través de cuatro generaciones, la primera, el modelo de correspondencia, basada en la tecnología impresa, la segunda el modelo multimedia, basado en la tecnología impresa, audio y video, la tercera, el modelo de teleaprendizaje, basado en aplicaciones de la tecnología de telecomunicaciones, para proveer oportunidades de comunicación sincrónica, y la cuarta de ellas que se basa en la transferencia en línea vía Internet, emergiendo la quinta generación basada en una mayor explotación de las nuevas tecnologías.
Es útil referirse a las características de esta quinta generación en educación a distancia, como marco referencial de lo que constituyen hoy en día los programas académicos en línea. La quinta generación de la educación a distancia es esencialmente una derivación de la cuarta generación que pretende capitalizarse sobre las características de Internet y de la web y se trata de un modelo de aprendizaje flexible e inteligente,
36 Sobre las características de este modelo, surge el denominado e-learning o
aprendizaje electrónico o en línea, tanto en el contexto de las organizaciones productivas, como una forma de capacitar a su personal, como en el contexto de la educación superior, creándose programas académicos a través de esta modalidad.
Rosenberg, (2001, pp.28-29) define el e-learningo aprendizaje electrónico “como
el uso de las tecnologías basadas en internet para proporcionar un amplio despliegue de soluciones a fin de mejorar la adquisición de conocimientos y habilidades”,
El mismo autor menciona que se deben cumplir tres criterios para poder aplicar correctamente el término:
Que se produzca en red, lo que permite una actualización inmediata, almacenamiento y recuperación, distribución y capacidad de compartir los contenidos y la información.
Que llegue al usuario final a través de un ordenador, utilizando estándares tecnológicos de Internet.
Que esté centrado en la visión más amplia de soluciones para el aprendizaje que van más allá de los paradigmas tradicionales de formación.
Por otra parte, en un estudio realizado por la Organización de Estados
Iberoamericanos, se menciona que la llegada de Internet y sus múltiples herramientas (correo electrónico, listas de distribución, chat, blogs, news, wikis) dan un nuevo
significado y poder a la educación a distancia, generando la posibilidad de enseñar y aprender a través de la red, (OEI, 2009).
37 Al respecto Rubio (2003) citando a González (2000) menciona que desde su irrupción en el mundo educativo y formativo, el e-learning ha generado importantes
expectativas no solo de carácter pedagógico, sino también de carácter social y económico, lo que unido al creciente interés por la calidad educativa en cualquiera de sus
manifestaciones y ámbitos, hace que se imponga la necesidad de desarrollar modelos de evaluación adecuados al objeto y a los distintos contextos en los que se produce.
Fainholc (2004, p.2) menciona que:
Hoy existe una extensa más que intensa proliferación y producción de programas de educación a distancia sin una reflexiva o profunda evaluación de los mismos, por lo cual es necesario imaginar y establecer criterios como filtros para contrastar que son
propuestas educativas confiables y de calidad en la práctica.
Por otra parte, la Organización de Estados Iberoamericanos, menciona que en los últimos años ha crecido la educación a distancia, principalmente la Educación Virtual, por lo que esto supone un desafío para el aseguramiento de la calidad, debido a que no existe suficiente normativa en este campo y es necesario establecer parámetros de calidad, tanto en el terreno educativo como en el ámbito tecnológico (OEI, 2009).
Al respecto, existen ya iniciativas que pretenden abordar la evaluación de programas académicos en línea. Sangrá (2001) citado en Rubio (2003) menciona que hasta el momento se puede hablar de dos grandes tendencias en relación a las prácticas para evaluar la calidad de las instituciones y de los proyectos que utilizan el e-learning.
Estas tendencias son el enfoque parcial que se centra principalmente en alguno de los siguientes aspectos: la actividad formativa, los materiales de formación, las plataformas tecnológicas y la relación coste/beneficio. Por otra parte en el enfoque global se tiene presente el conjunto total de elementos que intervienen en una solución e-learning. En
38 En este contexto cobran importancia los modelos de evaluación globales, pues si bien es importante evaluar la calidad de la actividad formativa, como lo mencionan Auki y Pogroszewski, (1998), en ANUIES (s.f.), para crear un medio ambiente exitoso para el aprendizaje a distancia, son necesarios varios servicios de apoyo a estudiantes y
miembros de la facultad, mismos que son incorporados, en un plan integral de universidad virtual.
Por estos motivos surge el interés y la necesidad de investigar en qué medida las Instituciones de Educación Superior (IES) en México, que ofertan educación a distancia en línea, tienen integrados programas institucionales de evaluación con indicadores claros, que permitan conocer tanto si el programa en su totalidad cumple los objetivos para los que ha sido propuesto, como si existe el ambiente institucional adecuado que dé soporte a dicho programa y si existe un medio sistemático de información que permita a las instituciones tomar decisiones al respecto de los programas ofertados y su calidad.
En este sentido, Valenzuela y Ramírez (2009) mencionan que en muchas instituciones se llevan a cabo evaluaciones “puntuales”, a veces simplemente para cumplir con registros estadísticos que se le solicitan a la institución; y a veces por un deseo de contar con una acreditación como institución o en alguno de sus programas. Sin embargo estas evaluaciones no se llevan a cabo de una manera continua en que se aprecie un vínculo claro con los procesos de toma de decisiones y de gestión.
A este respecto, surge la necesidad de desarrollar modelos de evaluación de los programas de educación en línea, que contemplen indicadores no solo del propio programa, sino a nivel institucional. Algunas razones para el desarrollo de este tipo de modelos son:
En primer lugar y de acuerdo con los autores mencionados, las evaluaciones que se llevan a cabo en ocasiones en las instituciones no están integradas a un modelo de toma de decisiones y gestión.
39 En tercer lugar, aún los mismos modelos e iniciativas de evaluación de los programas en sí mismos, son escasas aún en el contexto mexicano.
En otros contextos, diversas organizaciones se encuentran ya trabajando en esta materia y deben incluirse como referencia para las iniciativas que se desarrollen en México. Un ejemplo de ello es la Southern Association of Colleges and Schools de los
Estados Unidos, con larga tradición en la acreditación de instituciones educativas, que propuso en 2000 un documento de las mejores prácticas relacionadas con la evaluación y acreditación de programas en línea, las cuales se dividen en cinco componentes cada uno de los cuales se refiere a un área particular de la actividad institucional relevante para la educación a distancia. Las categorías son:
1. Contexto Institucional y Compromiso
2. Curriculum e Instrucción
3. Apoyo al profesorado
4. Apoyo al estudiante
5. Evaluación y asesoramiento. (SACS, 2000).
Dentro de esta misma línea de buena prácticas de la evaluación del e-learning, la Michigan Virtual University ha desarrollado su guía de buenas prácticas y desarrollado
los estándares para la calidad de los cursos en línea, agrupados en cuatro categorías: estándares de tecnología, de utilización, de accesibilidad y estándares de diseño instruccional (MVU, 2002).
40 Una iniciativa de evaluación de la educación a distancia que cobra particular
importancia en el contexto latinoamericano, la constituye el Instituto Latinoamericano y del Caribe de Calidad en Educación Superior a Distancia, (CALED) que se constituyó en 2005, y que tiene entre sus objetivos desarrollar las bases para un sistema de acreditación y estándares de calidad para programas de educación superior a distancia en América Latina y el Caribe. El CALED propone un conjunto de indicadores de evaluación divididos en procesos facilitadores como el liderazgo y estilo de gestión, política y estrategia, desarrollo de las personas, recursos y alianzas, destinatarios y procesos educativos; y por otra parte resultados, de destinatarios y procesos educativos, resultados del desarrollo de las personas, resultados de sociedad y resultados globales, (CALED, 2009).
En el contexto mexicano, el Consejo Nacional de Ciencia y Tecnología (CONACYT) recientemente publicó una convocatoria (enero 2011) para la integración de los
posgrados a distancia dentro del Padrón Nacional de Posgrados de Calidad; por lo que constituye una referencia importante en cuanto a los indicadores deseables a evaluar y que deberá tomarse en cuenta para el desarrollo de un modelo de indicadores de evaluación institucional para programas académicos en línea.
[image:42.612.103.552.544.704.2]El marco de referencia para la evaluación de los programas de posgrado considera las siguientes categorías y criterios:
Tabla 1 Categorías, criterios y subcriterios del Marco de Referencia del PNPC (CONACYT, 2011).
Marco de Referencia
Categoría Criterio Subcriterio
1) Estructura del
Programa 1. Plan de Estudios 1.1Justificación del Programa 1.2Objetivos y metas
1.3Perfil de ingreso
1.4Perfil de egreso
41
1.6Mapa curricular
1.7Actualización del plan de estudios
1.8Opciones de graduación
1.9Idioma
2. Proceso de enseñanza-aprendizaje
2.1Flexibilidad curricular
2.2Evaluación del desempeño académicos de los estudiantes
2) Estudiantes 3. Ingreso de
estudiantes 3.1 Selección de estudiantes
4. Trayectoria escolar
5. Movilidad de
estudiantes 5.1Becas mixtas 5.2Co-dirección de tesis
5.3Cursos con valor curricular
5.4Participación en eventos académicos
6. Tutorías y/o asesorías
7. Dedicación exclusiva de los estudiantes al programa
3) Personal académico
8. Núcleo académico básico
8.1 Perfil del núcleo académico básico
8.2 Tiempo de dedicación
8.3 Distinciones académicas
8.4 Organización académica
8.5 Programa de superación
8.6 Evaluación del personal académico
9. Líneas de generación y/o aplicación del conocimiento
9.1 Congruencia de las líneas de generación y/o aplicación del conocimiento
9.2 Participación de los estudiantes
4) Infraestructura 10.Espacios y
equipamiento 10.1 Aulas
10.2 Espacios para profesores y estudiantes
11.Laboratorios y talleres 11.1 Espacios, equipos y servicios
42
11.3 Programación y utilización
12.Información y documentación
12.1 Biblioteca e instalaciones
12.2 Acervos y servicios
13.Tecnologías de Información y Comunicación
13.1 Equipo e instalaciones
13.2 Redes
13.3 Atención y servicios
5) Resultados 14.Trascendencia, cobertura y evolución del programa
14.1 Alcance y tendencia de los resultados del programa
14.2 Cobertura del programa
14.3 Evolución del Programa
15. Pertinencia del
programa 15.1 Satisfacción de los egresados 15.2 Proyección
16. Efectividad del posgrado
16.1 Eficiencia terminal y de graduación
17. Contribución al
conocimiento 17.1 Investigación y desarrollo 17.2 Tecnología e innovación
17.3 Dirección de tesis
17.4 Publicación de resultados
17.5 Participación de estudiantes y profesores en encuentros académicos
17.6 Retroalimentación de la investigación y/o del trabajo profesional al programa
6) Cooperación con otros actores de la sociedad
18. Vinculación 18.1 Beneficios
18.2 Cooperación académica
19. Financiamiento 19.1 Recursos aplicados a la vinculación
19.2 Ingresos extraordinarios
Plan de Mejora
43 metodología utilizada por los Comités Interinstitucionales para la Evaluación de la
Educación Superior, (CIEES) de México, quien lleva a cabo evaluaciones de programas académicos de nivel superior.
La metodología de CIEES incluye 11 categorías de indicadores para programas académicos en línea. Las categorías son:
Normatividad y políticas generales.
Planeación-evaluación
Modelo educativo y plan de estudios
Alumnos
Personal académico
Servicios de apoyo a los estudiantes
Instalaciones, equipo y servicios
Trascendencia del programa
Productividad académica
Docencia
Investigación
Vinculación con los sectores de la sociedad
Aplicación de la plataforma tecnológica
44 Portal
Introducción al programa educativo
Curso de inducción a la plataforma tecnológica
Objetivos
Redacción y Presentación
Diseño de la Interfaz
Uso de la Interfaz
Efectividad del diseño de la interfaz
Herramientas de interacción y colaboración
Actividades de aprendizaje
Evaluaciones en línea
Fuentes de Información
Retroalimentación a los estudiantes
Ayuda operacional
Ingreso subsecuente al curso
45 Para llevar a efecto la construcción de indicadores es necesario por tanto, referirse a la metodología necesaria y al estado del arte de la construcción de indicadores en la evaluación educativa, como guía referencial para el desarrollo de esta propuesta. En el siguiente apartado se abordarán algunas iniciativas de construcción de indicadores para evaluar la educación superior, que sirven como marco referencial.
Construcción de Indicadores en la Evaluación Educativa
Antes de referirse a la metodología para la construcción de indicadores educativos es necesario definir lo que constituye este término. Según Wyatt (1999) en Martínez (2005) un indicador es una estadística sintética (summary) sobre el estado actual de un
sistema educativo. En este sentido, en el ámbito educativo, un indicador servirá para proporcionar un indicio sobre algún aspecto relevante del proceso educativo que pretenda evaluarse.
Por otra parte, el Special Study Panel on Indicators (1991) define un indicador
como una estadística que mide el bienestar colectivo y destaca la utilidad de los mismos ya que a diferencia de otras estadísticas, un indicador debe ser relevante para la toma de decisiones, en función de ciertos problemas; debe ofrecer información sobre un rasgo significativo del sistema al que se refiere y generalmente incluye algún estándar contra el cual pueda juzgarse si hay progreso o retroceso.
En este contexto es útil referirse a lo indicado por Martínez (2005) para quien el uso de indicadores se relaciona con un esfuerzo por concretar nociones abstractas o por cuantificar lo cualitativo, ya que el término indicador es parte de la trilogía del proceso de
operacionalización: variables, dimensiones e indicadores. El autor menciona que hay muchas variables en el ámbito educativo que no pueden medirse directamente y deben encontrarse sustitutos o indicadores de ellas.
46 de un sistema educativo por lo que resulta más conveniente hablar de sistemas de
indicadores, que de un indicador en particular.
Para la construcción de indicadores debe seguirse una metodología específica, que sin embargo también varía dependiendo del fenómeno educativo que se quiera evaluar y del contexto en el que se lleve a cabo la evaluación educativa.
Martínez (2005) propone una metodología para el diseño de un sistema de indicadores educativos, dividida en las siguientes etapas:
1) Elaboración del listado de indicadores
Un sistema educativo comprende un gran conjunto de objetos empíricos, los cuales no pueden aprehenderse en su totalidad, se deben construir objetos teóricos conformados por ciertas dimensiones de los objetos empíricos, que son de especial interés dado el propósito de evaluación de la calidad del sistema educativo.
Para pasar del objeto empírico al teórico se debe precisar la noción de calidad, la cual tampoco puede reducirse a una dimensión sino que debe incluir al menos: relevancia, eficacia interna y externa, impacto, eficiencia y equidad. En este marco, el sistema de indicadores debe considerar insumos, procesos y productos, así como recursos y necesidades del contexto.
Establecida la estructura del sistema se elabora un primer listado de posibles indicadores, debidamente articulados entre sí.
2) Desarrollo de cada indicador
Se deben precisar al menos los siguientes puntos: Nombre
Definición
Explicación: ubicación del indicador en el conjunto del sistema Fuentes de obtención de la información de base
Fórmula de cálculo y criterios para su estimación Desagregaciones posibles
47 3) Jueceo inicial
Someter el sistema de indicadores a un cuidadoso escrutinio, mediante un procedimiento de jueceo entre expertos en los temas cubiertos, usuarios especializados y usuarios de base, para valorar el grado en que cada indicador satisface los criterios de calidad aplicables, las cuales son al menos:
Validez Confiabilidad Comparabilidad Estabilidad temporal
Actualidad de la información obtenida Sensibilidad
Factibilidad de implementación Importancia
Utilidad Claridad
Debe valorarse la calidad del conjunto de indicadores como tal juzgando si comprende de manera suficiente y equilibrada todos los aspectos importantes del objeto de estudio, esto es cobertura, balance y parsimonia.
4) Prueba piloto o primera aplicación
Aplicar el sistema alimentándolo con la información necesaria, realizando procesos de depuración y cálculo para obtener los primeros valores de cada indicador.
Posteriormente el sistema operará con dos procesos adicionales: Refinamiento permanente de los indicadores
48 En este sentido es importante retomar lo mencionado por Salmi (2003) en UNESCO-CEPES (2003), quien hace referencia a tres temas importantes en el desarrollo de
indicadores:
Tratar con indicadores, no es sólo una actividad técnica, sino que envuelve una importante dimensión política
Los indicadores no deben ser vistos como una amenaza
Existe la necesidad de hacer buen uso de los indicadores en la planeación, administración y seguimiento
El autor remarca también la importancia de preguntarse qué se quiere medir y para qué propósito, en el desarrollo de indicadores.
Por otra parte, según el Instituto Nacional para la Evaluación de la Educación (INEE, 2006), de México, la construcción de un conjunto completo y rico de indicadores para evaluar un sistema educativo, implica poner en marcha procesos para obtener información adicional, en este sentido la tarea de recabar información y construir indicadores resulta muy laboriosa, sin embargo este es el elemento que da unidad al conjunto del sistema de evaluación.
A nivel internacional existen desde hace varios años diversas iniciativas de construcción de indicadores para evaluar la calidad de la educación superior desde diversas perspectivas; estas iniciativas se han capitalizado en proyectos específicos que pretenden construir sistemas de evaluación equiparables a nivel internacional, a fin de encontrar métodos que permitan comparar la eficiencia de un sistema educativo a otro.
En este sentido, una de las iniciativas más influyentes a nivel internacional en la construcción de indicadores educativos, la constituye la que ha llevado a cabo la
Dirección de Educación de la Organización para la Cooperación y el Desarrollo
49 documento es producto del esfuerzo de expertos e instituciones que trabajan en el
proyecto de Indicadores de los Sistemas Educativos (INES) de la misma organización, OCDE, (2010).
Los indicadores presentados en este documento necesitan responder a problemas educativos con una alta prioridad en las agendas educativas nacionales y que al mismo tiempo puedan ofrecer una perspectiva de comparación internacional que permita ofrecer valor agregado al análisis y evaluación nacionales, OCDE, (2010).
En este marco de construcción de indicadores es importante hacer mención a la distinción que se hace entre indicadores simples, indicadores de desempeño e indicadores generales. Siguiendo a Cave, Hanney, Henkel and Kogan (1997), citados en UNESCO (2001), las definiciones de estas tres clases de indicadores son:
Indicadores simples: se expresan usualmente en forma de cifras absolutas y tienen la intención de proveer una descripción relativamente imparcial de una situación o proceso.
Indicadores de desempeño: difieren de los indicadores parciales en el hecho de que implican un punto de referencia, por ejemplo un estándar, un objetivo, una evaluación o una comparación y son por lo tanto relativos más que absolutos en su carácter.
Los indicadores generales, son derivados de fuera de la institución y no son indicadores en sentido estricto, frecuentemente son opiniones, resultados de encuestas o estadísticas generales.
50 informar a quienes desarrollan políticas al respecto, y contribuir a la rendición de cuentas de la educación superior, UNESCO (2001).
Ahora bien es necesario tomar en cuenta algunas de las características o criterios que a su vez deben poseer los indicadores educativos, en este sentido el Instituto Nacional para la Evaluación de la Educación (INEE, 2006), de México sigue un marco conceptual contenido en el Sistema de Evaluación de la Política Educativa (SEPE), y que está regido por cuatro criterios generales para los indicadores:
Pertinencia: se refiere a la validez de constructo, esto es la capacidad del indicador de medir efectivamente el referente empírico del concepto de interés
Sensibilidad: capacidad de registrar variaciones significativas en el fenómeno medido
Relevancia: capacidad para proveer información sobre los problemas sustantivos del sistema educativo y ser útil para la toma de decisiones
Viabilidad: posibilidad de contar con la información necesaria para la construcción del indicador
Por otra parte, en un estudio titulado Indicadores Estratégicos para la Educación Superior en el Siglo XXI, diversos expertos se refieren a las características que deben poseer los indicadores en la evaluación de la educación superior. Lievesley (2003) en UNESCO-CEPES (2003) sugiere que los indicadores deben ser: a) realistas, b) medibles, c) orientados al cambio, d) relevantes, e) universales y f) coherentes.
Por último son de resaltar algunos de los requerimientos que deben tener los indicadores educativos de acuerdo al estudio citado:
Requerimientos relacionados con el usuario
Un indicador debe medir el fenómeno al que se refiere
Deben ser fáciles de entender por todos los usuarios
