ESTUDIO DE LOS CRITERIOS DE EVALUACIÓN EN EL PROGRAMA DE EVALUACIÓN INSTITUCIONAL (PEI) DE LA ANECA PARA LAS
TITULACIONES EN EL AMBITO DE LA INGENIERÍA INDUSTRIAL
García-Cascales, M.S (p) ; Gómez-López, M.D; Lamata, M.T.
Abstract
Since the academic year 2004/2005 the National Agency for the Evaluation of the Quality and Accreditation (ANECA), as part of its evaluation activities has established a procedure for evaluating both teaching and institutions, by means of the Institutional Evaluation Programme (PEI). This programme has three phases: Self-Assessment, External Assessment and Improvements Plan.
In this communication we shall focus on the external assessment phase for qualifications in the field of Industrial Engineering and specifically on the phase of determining the criteria and sub-criteria to consider. To this end a questionnaire based on the Analytical Hierarchical Process (AHP) was sent to the ANECA assessors. In these surveys, linguistic labels were employed to determine the weights of the evaluation criteria of the qualifications, with a distinction being made between the scientific field of the teaching and general weights.
Keywords: Qualification evaluation, weighted criteria, Analytical Hierarchical Process (AHP)
Resumen
Desde el curso 2004/2005 la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) dentro de sus actividades ha establecido un procedimiento para la evaluación de enseñanzas e instituciones, mediante el Programa de Evaluación Institucional (PEI), el cual consta de tres fases: Autoevaluación, Evaluación Externa, y Plan de Mejoras.
En esta comunicación nos vamos a centrar en la fase de la evaluación externa para las titulaciones en el ámbito de la Ingeniería Industrial y en concreto en la fase de determinación de los criterios y subcriterios de ponderación. Para ello se envió una encuesta a los evaluadores de la ANECA, basada en el Proceso Analítico Jerárquico (AHP). En estas encuestas se utilizaron etiquetas lingüísticas para determinar el peso de los criterios en la evaluación de las titulaciones, distinguiendo entre el campo científico de las enseñanzas técnicas y la ponderación general.
Palabras clave: Evaluación de las titulaciones, criterios de ponderación, Proceso Analítico Jerárquico (AHP)
1. Introducción
La Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) [1] es una fundación estatal creada el 19 de julio de 2002, en cumplimiento de lo establecido en la LOU [8]. ANECA tiene como misión: contribuir a la mejora de la calidad del sistema de educación superior, mediante evaluación, certificación y acreditación de enseñanzas, profesorado e instituciones.
Las funciones de la ANECA son:
• Potenciar la mejora de la actividad docente, investigadora y de gestión de las universidades
• Contribuir a la medición del rendimiento de la Educación Superior conforme a procedimientos objetivos y procesos transparentes
• Proporcionar a las Administraciones Públicas información adecuada para la toma de decisiones
• Informar a la sociedad sobre el cumplimiento de objetivos en las actividades de las universidades
Dentro de las actividades de evaluación de la ANECA se encuentra el programa de Evaluación de Enseñanzas e Instituciones y dentro de este se encuentra el Programa de Evaluación Institucional (PEI)
1.1. Programa de Evaluación Institucional (PEI)
El principal objetivo del Programa de Evaluación Institucional (PEI) [2] es facilitar un proceso de evaluación para la mejora de la calidad de las enseñanzas conducentes a la obtención de títulos universitarios de carácter oficial y validez en todo el territorio nacional, a través de su autodiagnóstico y de la visión externa que aportan expertos. Así mismo, mediante el desarrollo de este programa, se pretende promover procesos de evaluación que favorezcan el establecimiento o la continuidad de procesos de garantía de calidad en las enseñanzas, así como proporcionar información a los estudiantes y sus familias, al conjunto de la sociedad, a los gobiernos de las universidades y a las administraciones públicas sobre la calidad de las enseñanzas universitarias y sus planes de actuación.
La evaluación institucional consta de tres fases:
• Autoevaluación: la unidad evaluada, a través del Comité de Autoevaluación, describe y valora su situación respecto a los criterios establecidos, identificando inicialmente aquellas propuestas de mejora a partir de las cuales se elaborarán los planes de actuación que deberán ponerse en marcha una vez concluido todo el proceso. El resultado es el “Informe de Autoevaluación”.
• Evaluación externa: un grupo de evaluadores externos a la unidad evaluada, nombrados por la ANECA, y bajo las directrices y supervisión de la misma, analiza el Informe de Autoevaluación, tanto a través de un estudio documental, como por medio de una visita a la unidad evaluada, emite sus recomendaciones y propone mejoras.
El resultado de esta fase es el “Informe de Evaluación Externa”.
• Plan de Mejoras: se recogen los principales resultados del proceso de evaluación.
En esta fase se lleva a cabo el plan de mejoras de la unidad, en el que se relacionan las acciones de mejora detectadas en la fase de autoevaluación, y se determinan las tareas a realizar para la consecución de las mismas, así como los responsables, los recursos implicados y los plazos para su implantación. Del mismo modo, se identifican los indicadores de seguimiento de las acciones detectadas así como los beneficios esperados de las mismas.
Figura 1: Criterios, subcriterios e indicadores del PEI
El PEI que propone la ANECA está basado en 6 criterios [2] referidos a los aspectos más relevantes a valorar durante el proceso de evaluación de la enseñanza: Programa Formativo, Organización de la Enseñanza, Recursos Humanos, Recursos Materiales, Proceso Formativo y Resultados. Dichos criterios abarcan los principios de calidad total reconocidos internacionalmente.
El análisis de estos criterios ayuda a realizar un diagnóstico de situación de la enseñanza evaluada. Cada criterio se desagrega en uno o más subcriterios de diferentes niveles. De igual modo, se presentan los indicadores que servirán para medir el cumplimiento de cada uno de ellos. (Figura 1)
2. Objetivos del trabajo
En esta comunicación nos vamos a centrar en la fase de evaluación externa para las titulaciones en el ámbito de la Ingeniería Industrial según el Libro Blanco de las Titulaciones de Ingeniería Rama Industrial [3], el cual incluye la siguiente relación de universidades participantes (Tabla 1) y de titulaciones (Tabla 2).
RELACION DE UNIVERSIDADES
Universidad Alfonso X el Sabio Universidad de Mondragón Universidad Antonio Nebrija Universidad Nacional de Educación a
Distancia
Universidad de Cádiz Universidad de Navarra Universidad de Cantabria Universidad de Oviedo Universidad Carlos III de Madrid Universidad del País Vasco Universidad de Castilla la Mancha Universidad Politécnica de Cartagena
Universidade de la Coruña Universitat Politècnica de Catalunya Universidad Europea de Madrid Universidad Politécnica de Madrid
Universidad de Extremadura Universitat Politècnica de València Universitat de Girona Universidad Pontificia Comillas de Madrid Universidad de Huelva Universidad Pública de Navarra
Universidad de Jaén Universidad de Salamanca Universitat Jaime I Universidad de Sevilla Universidad de la Rioja Universidad de Valladolid Universidad de las Palmas de Gran Canaria Universidad de Vigo
Universidad de León Universidad de Zaragoza Universidad de Málaga Universidad Miguel Hernández Tabla 1: Relación de Universidades participantes en el Libro Blanco de las Titulaciones de Ingeniería
Rama Industrial
RELACIÓN DE TITULACIONES Ingeniero industrial
Ingeniero químico
Ingeniero en automática y electrónica industrial Ingeniero de materiales
Ingeniero en electrónica Ingeniero en organización industrial
Ingeniero en sistemas de defensa
Ingeniero técnico industrial especialidad en electrónica industrial Ingeniero técnico industrial especialidad en electricidad
Ingeniero técnico industrial especialidad en mecánica Ingeniero técnico industrial especialidad en química industrial
Ingeniero técnico industrial especialidad en textil Ingeniero técnico en diseño industrial
Tabla 2. Relación de titulaciones participantes en el Libro Blanco de las Titulaciones de Ingeniería Rama Industrial
En este marco el objetivo principal de este trabajo es centrarse en la fase de determinación del peso de los criterios y subcriterios en la evaluación de las titulaciones del ámbito de la Ingeniería Industrial, distinguiendo entre el campo científico de las enseñanzas técnicas y la ponderación general.
3. Metodología
El estudio realizado se ha basado en un cuestionario diseñado al efecto y que fué enviado por la propia ANECA a los expertos que esta ha determinado como evaluadores de la misma. El cuestionario ha sido elaborado en Microsoft Excel y fue enviado/respondido vía correo electrónico.
El cuestionario diseñado tiene dos partes claramente diferenciadas, la primera se ha realizado en base a la estructura jerárquica de los criterios y subcriterios (Figura 1), utilizando para ello la metodología AHP [9,10], desarrollada por Saaty y ampliamente aceptada por la comunidad científica.
La encuesta consta de dos fases:
Primero se pregunta si todos los criterios/subcriterios tienen el mismo peso, si es así se pasa al siguiente nivel. En cambio, si no tienen el mismo peso, se continuará con la siguiente pregunta del cuestionario en la que se consulta por el orden de importancia de los criterios/subcriterios y finalmente utilizando las etiquetas lingüísticas definidas por Saaty [9], se comparan los criterios/subcriterios del mismo nivel teniendo en cuenta el orden establecido previamente. Puede verse un ejemplo de esta parte del cuestionario en la Figura 2. Para no realizar un cuestionario excesivamente largo se planteó este solo para los criterios y subcriterios de primer y segundo nivel, considerando para el tercer nivel una distribución homogénea de los pesos.
Figura 2: Ejemplo de pregunta de la primera parte del cuestionario
Figura 3: Ejemplo de la pregunta de la segunda parte del cuestionario
La segunda parte del cuestionario se basa en la encuesta semicuantitativa de la Evaluación de la Enseñanza dentro del protocolo para elaborar el Informe de Evaluación Externa desarrollado por la ANECA, en el que se utilizan las siguientes etiquetas: A: Excelente, B:
Bueno, C: Regular, D: Deficiente. Para la valoración de cada una de estás etiquetas se utilizó un intervalo de [0, 10]. Se puede ver un ejemplo en la figura 3
3.1. El método AHP con números difusos
En determinados casos es difícil trabajar con los valores exactos de los pesos, como es el caso del ejemplo que nos ocupa. Muchas veces la información de la que se dispone no está
definida por un valor numérico sino que esa valoración es lingüística, bien porque no se quiera expresar en otros términos bien porque el decisor prefiera usar variables lingüísticas, por lo que consideraremos números difusos y extenderemos el método AHP para este tipos de datos.
Desde que Zadeh [12] introdujo el concepto de conjunto difuso y como consecuencia siguió y extendió el concepto de variable lingüística, la proliferación del uso de la lógica difusa ha sido extraordinaria. Nosotros estamos interesados en el papel de las variables lingüísticas y su relación con los números difusos triangulares.
Por variable lingüística, Zadeh y Kacprzyk [13,14], queremos entender una variable cuyos valores son palabras o sentencias en lenguaje natural o artificial. Por ejemplo, Edad es una variable lingüística si sus valores son lingüísticos en vez de numéricos, es decir, joven, no muy joven, muy joven, bastante joven, viejo, no muy viejo, y muy viejo, etc, en vez de los números como 20, 21, 22, 23, …
Definición.1: Una variable lingüística se caracteriza por una quíntupla
{
X T X U G M;( )
; ; ;}
(1)en la que:
1. X es el nombre de la variable,
2. T x( ) es el conjunto de términos de X , esto es, la colección de sus valores lingüísticos, 3. U es el universo de discurso,
4. G es una regla sintáctica para la generación de los elementos de T x( ) y
5. M es una regla semántica para la asociación de los significados con los valores lingüísticos de X .
En nuestro caso, identificamos la variable lingüística con un conjunto difuso, Bellman y Zadeh [4], Delgado et al [5] y Kacprzyk y Yager [7].
La teoría de los conjuntos difusos introducida por Zadeh [11] trata de modelizar aquellos problemas que son vagos, imprecisos e inciertos; esta herramienta ha sido utilizada para modelar sistemas complejos que pueden controlarse por los humanos pero que son difíciles de definir con precisión. Una colección de objetos X (universo de discurso) contiene un conjunto A que se describe mediante una función de pertenencia fA con valores en el intervalo [0,1].
fA: X→[0,1] (2)
Así, un conjunto A puede representarse como A=
{
fA( )
x x; ∈X}
, siendo fA la función de pertenencia. En este trabajo, con el soporte de la teoría de conjuntos difusos, utilizaremos los números difusos triangulares, que se parametrizan por tripletas, para representar la importancia de los criterios.Definición 2: Un número real difuso A se describe como un subconjunto difuso de la recta real R a través de la función de pertenencia fA que posee las siguientes propiedades:
(a) fA es una aplicación continua de R en el intervalo cerrado [0,1]
(b) fA(x)=0, para todo x ∈(-∞,a].
(c) fA es estrictamente creciente en [a,b]
(d) fA(x) =1, para todo x∈ [b,c]
(e) fA es estrictamente decreciente en [c,d]
(f) fA(x)=0, para todo x∈ [d, ∞) donde a,b,c y d son números reales.
Definición 3: El número difuso A será triangular si su función de pertenencia fA está dada por:
( )
− ≤ ≤
−
= − ≤ ≤
−
⎧⎪
⎪⎪
⎨⎪
⎪⎪⎩
, ,
, ,
0, ,
A
x a
a x b
b a x c
f x b x c
b c
en otro caso
(3)
donde a,b y c son números reales. En esta fórmula, c y a son respectivamente, los valores superior e inferior del soporte de A, y b es un punto interior al soporte. El número difuso triangular se denota como (a,b,c) y se representa como en la figura 3.
Figura 3: Representación de un número difuso
Las operaciones para los números difusos positivos (son los que nosotros utilizamos en este problema) son como se citan en García-Cascales y Lamata [6]. Sean A
% y B
% dos números triangulares difusos parametrizados por las tripletas (a1,b1,c1) y (a2,b2,c2) respectivamente, entonces:
• Suma de números difusos: A⊕ =B [a1+a b2, 1+b c2, 1+c2]
% % (4)
• Resta de números difusos: A− =B [a1−c b2, 1−b c2, 1−a2]
% % (5)
• Multiplicación de números difusos: ⊗ =A B [a1×a b2, 1×b c2, 1×c2]
% % (6)
• División de números difusos: ÷ =A B [a1÷c b2, 1÷b c2, 1÷a2]
% % (7)
Numero difuso Función de pertenencia Figura
( )
≡
1% 1,1,1 Igualmente importante
( )
≡ − +
3,5,7% % % x 1, ,x x 1
Moderadamente más importante Más importante
Mucho más importante
( )
≡
9% 8,9,9 Extremadamente más importante
Tabla 3: El significado de la importancia relativa para una escala difusa y su representación De este modo, todos los elementos del cuestionario planteado se representarán mediante números difusos triangulares. El significado de los números difusos correspondientes a las etiquetas definidas por Saaty [9] 1%, 3% , 5% , 7% y 9% se definen en la tabla 3. Un número difuso A, representa el significado “alrededor de A”.
4. Conclusiones
El problema de la obtención de los pesos de los criterios y subcriterios es difícil de valorar.
En términos generales y en la evaluación de las titulaciones del ámbito de la Ingeniería Industrial en particular, es difícil determinarlos mediante valores exactos.
Para los evaluadores/expertos es más sencillo expresar su conocimiento mediante etiquetas lingüísticas en lugar de mediante valores numéricos, por lo que es preferible plantear un cuestionario para la extracción del conocimiento de los expertos en el que se utilicen como respuestas variables lingüísticas. Estas variables lingüísticas se han modelizado mediante números difusos triangulares a partir de una metodología ampliamente aceptada por la comunidad científica como es el Proceso Analítico Jerárquico; en concreto y en el caso que nos ocupa, mediante la utilización de números difusos.
Una vez recopilada la información de los cuestionarios contestados por los expertos el siguiente paso es ver como se agrega esta información y en que momento debe hacerse para la obtención del peso de los criterios y subcriterios en la evaluación de las titulaciones, que en nuestro caso se restringe al ámbito de la Ingeniería Industrial.
Referencias
[1] Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) http://www.aneca.es
[2] Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) (2007). Programa de Evaluación Institucional. Anualidad 2006/2007. Guía de evaluación externa 2007 http://www.aneca.es/active/active_ense_pei0607.asp
[3] Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). Libro Blanco de Titulaciones de Grado de Ingeniería de la Rama Industrial (Propuesta de las Escuelas
Técnicas Superiores de Ingenieros Industriales) http://www.aneca.es/activin/activin_conver_LLBB.asp
[4] Bellman, R.E., Zadeh, L.A.,. Decision-making in a fuzzy environment. Management Sci., 17, 1970 pp141-164.
[5] Delgado, M. , Verdegay, J.L., Vila, M.A.,. Linguistic decision making models. International Journal of Intelligent Systems, 7, 1992, pp 479-492.
[6] García-Cascales, M.S y Lamata, M.T. A modification to the index of Liou and Wang for ranking fuzzy number. International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems vol 15 nº4 2007 pp 411-424.
[7] Kacprzyk, J., Yager, R.R.,. Linguistic summaries of data using fuzzy logic. International Journal of General Systems. 30, 2, 2001 pp 133-154.
[8] Ley Orgánica de Universidades (LOU) Ley Orgánica 6/2001 de 21 de Diciembre, Boletín Oficial del Estado, 2001.
[9] Saaty.T.L. The Analytic Hierarchy Process. Macgraw Hill. 1980
[10] Saaty.T.L. Group Decision Making and the AHP. Springer Verlag. New York. 1989 [11] Zadeh, L.A. Fuzzy sets, Information and Control vol 8, 1965 pp 338–353.
[12] Zadeh, L.A. The concept of a linguistic variable and its application to approximate reasoning: Part 1. Information Sciences. Vol 8, 1975, pp 199-249
[13] Zadeh, L.A, Kacprzyk, J. (eds) Computing with Words in Information / Intelligent Systems 1. Foundations. Studies in Fuzziness and Soft Computing, Physica-Verlag (Springer-Verlag), Heidelberg and New York. Vol. 34 1999.
[14] Zadeh, L.A, Kacprzyk, J. (eds) Computing with Words in Information / Intelligent Systems 2. Applications. Studies in Fuzziness and Soft Computing. Physica-Verlag (Springer-Verlag), Heidelberg and New York. Vol. 33 1999.
Agradecimientos
A la ANECA por habernos facilitado el envío del cuestionario a los evaluadores en el que se ha basado este trabajo. Este artículo se ha elaborado bajo los proyectos, TIN2005 - 08404 - C04-01, que está financiado por la DGICYT así como por el de referencia TIC-00129-JA de la Junta de Andalucía.
Correspondencia(Para más información contacte con):
Mª Socorro García Cascales
Dpto Electrónica, Tecnología de Computadoras y Proyectos. Universidad Politécnica de Cartagena.
C/ Dr. Fleming s/n, 30202 Cartagena Murcia (España).
Phone: +34 968 32 65 74 Fax: + 34 968 32 64 00
E-mail: [email protected]
