CARMEN
PÉREZ
ESPARRELLS
PROFESORA
TITULAR
DE
ECONOMÍA
APLICADA
DEPARTAMENTO DE ECONOMÍA Y HACIENDA PÚBLICA UNIVERSIDAD AUTÓNOMA DE MADRID
LOS
RANKINGS
UNIVERSITARIOS:
LOS
RANKINGS
UNIVERSITARIOS:
SUS
BENEFICIOS
Y
SUS
BENEFICIOS
Y
PATOLOG
PATOLOG
Í
Í
AS
AS
BENICASIM,
6,
7
Y
8
DE
JULIO
DE
2011
BENICASIM,
6,
7
Y
8
DE
JULIO
DE
2011
¿
¿
Miden
Miden
bien
bien
los
los
rankings
rankings
la
la
calidad
calidad
de
de
las
universidades
espa
¿
¿
Miden bien los
Miden bien los
rankings
rankings
la calidad de las
la calidad de las
universidades espa
universidades espa
ñ
ñ
olas?
olas?
Í
Í
NDICE
NDICE
Introducción
 ¿Existen diferentes “ligas”?
El
diagnóstico
de
las
universidades
españolas
en
los
rankings
internacionales
¿Cómo evalúan los rankings internacionales?
Los
“rankings” y
la
situación
europea
Los
“rankings” y
la
situación
española
Algunas
políticas
en
función
del
territorio
¿Qué estrategias o “palancas” pueden mejorar la posición de las universidades españolas?
¿De arriba abajo o de abajo a arriba?
Desde
la
perspectiva
del
territorio
,
los
resultados
de
los
rankings
pueden
ser
analizados
en
varios
niveles:
Â
Mundial (global)
Los rankings globales delimitan con sus primeras posiciones (Top‐20, Top‐50, Top‐100) las que se
pueden denominarse World Class Universities.
Las 100 mejores universidades compiten por mantenerse en el ranking Shangai y no bajar
posiciones.
Â
Europeo
Los rankings europeos permitirán delimitar las mejores universidades europeas “a la carta”.
Con esta selección y taxonomía, darán “pistas” para apoyarlas con la política supranacional y/o las
políticas nacionales.
Â
Nacional
En España no existe un ranking “oficial” de mejores universidades españolas.
Otros países mediterráneos están en la misma situación (Italia, Francia, Portugal, etc.).
Introducci
Diagn
Diagn
ó
ó
stico
stico de los
de
los
rankings
rankings
internacionales
internacionales
“
Un
proceso
en
evolución
con
tendencia
a
la
especialización
”Rankings
globales
Rankings
generalistas
Otros
rankings
Rankings
de
investigación
Investigación Prestigio Docencia Transferencia Aprendizaje Web Tercera Misión Producción científica Patentes TesisDiagn
Diagn
ó
ó
stico
stico de los
de
los
rankings
rankings
internacionales
internacionales
Tipos
de
rankings
globales
Â
Generalistas
(con
la
finalidad
de
generar
tablas
de
clasificación, muy “elitistas”
):
{
ARWU
(Academic Ranking of World Universities de Shangai RankingConsultancy) o Ranking de Shanghai Jiao Tong University (desde 2003, 500
universidades).
{
THES
‐
QS
(Times Higher Education Supplement en cooperación con Quaquarelli‐Symonds) (desde 2004 hasta 2009). (
QS
desde 2010, 500 universidades + lista)
{
THE
‐
TR
(Times Higher Education World University Ranking en cooperación conThomson Reuters (desde 2010, 200 universidades)
{
USNWR
‐
QS
(Worl’d Best Universities Ranking‐ US News & World Report en
cooperación con QS) (desde 2010, 400 universidades).
Métodología
de
los
rankings
generalistas
:
¿Qué
miden?
 Investigación
Resultados de la investigación.
Impacto.
Ingresos de la investigación (nuevo en 2010 del THE‐TR).
 Prestigio (reputación)
Encuestas por pares a académicos.
Profesorado Nobel y con medallas Field.
 “Docencia”
Calidad de la docencia. Internacionalización. Excelencia en la docencia.
 “Transferencia de conocimiento”
Ingresos de la industria (nuevo en 2010 del THE‐TR).
Diagn
Críticas genéricas a los rankings generalistas:
Están decantados básicamente hacia la investigación (y a una parte).
Sesgados a favor de Medicina y Ciencias y en contra de las Ingenierías, Ciencias Sociales y Humanidades (indicadores bibliométricos).
Miden el entorno de la docencia pero no realmente la calidad de la docencia. Miden el “prestigio” de una forma subjetiva o inalcanzable.
Sesgados hacia las Instituciones de Educación Superior (IES) de lengua inglesa.
Críticas específicas a los rankings generalistas:
Discutible la relación ratio estudiante/profesor y la calidad de la docencia.
Discutible la relación entre estudiantes/profesores internacionales y la calidad. Discutible la medición de la transferencia del conocimiento solo con ingresos.
Diagn
72 29 14 10 9 7 6 6 6 5 4 4 4 4 3 2 2 2 2 2 2 1 1 1 1 1 0 10 20 30 40 50 60 70 80 Oxford / Cambridge University of Guttenger Universidad de Barcelona University of Alexandria Trinity college Dublin
Pekin University Harvard University
Resultados
del
THE
Universidades
europeas
en
el
THE
Universidades
europeas
en
el
THE
‐
‐
TR
TR
(2010)
(2010)
y
y
gasto
en
ES
en
%
del
PIB
(OCDE)
Posición
de
las
universidades
españolas
en
los
rankings
generalistas
(ARWU
y
QS
desde
2004
a
2010)
9 Universidades españolas entre las primeras 200‐300 posiciones .
 UAM y UB (en algunos años logran alcanzar entre 150‐200)
 UCM y UV
9 Universidades españolas entre las posiciones 400‐500.
 UAB (logra posiciones entre 150‐200 en el QS)
 UPV, UPF (logra posiciones entre 300‐400 en ARWU y 300‐350 en QS)
 UGR, USC, USE, y UZ
9 Universidades españolas en el QS
 UNAV (logra posiciones entre 300‐350) y USA (entre 400‐500)
Diagn
2004 2005 2006 2007 2008 2009 2010 UAM 153‐201 153‐202 201‐300 203‐304 201‐302 201‐302 201‐300 UB 202‐301 153‐202 151‐200 151‐202 152‐200 152‐200 201‐300 UV 302‐403 301‐400 301‐400 203‐304 302‐403 201‐302 201‐300 UCM 302‐403 203‐300 201‐300 203‐304 201‐302 201‐302 201‐300 UAB 404‐502 401‐500 401‐500 305‐402 303‐401 303‐401 301‐400 UGR 404‐502 401‐500 401‐500 403‐510 402‐503 402‐501 401‐500 USC 404‐502 ‐ ‐ ‐ ‐ 402‐501 401‐500 USE 404‐502 401‐500 401‐500 403‐510 402‐503 402‐501 ‐ UZ 404‐502 401‐500 401‐500 403‐510 402‐503 402‐501 401‐500 UPV ‐ 401‐500 301‐400 305‐402 303‐401 303‐401 301‐400 UPF ‐ ‐ ‐ ‐ ‐ 402‐501 301‐400
ARWU
ARWU
QS
QS
Universidades españolas en los rankings internacionales Universidades españolas en los rankings internacionales 2004 2005 2006 2007 2008 2009 2010 UAM 159 183 261 306 254 215 213 UB ‐ ‐ 190 194 186 171 148 UV ‐ ‐ 398 393 401 401 401 UCM ‐ 239 239 426 306 252 269 UAB ‐ ‐ 239 258 256 211 173 UGR ‐ ‐ 484 453 ‐ 401‐500 451‐500 USC ‐ ‐ 476 477 ‐ ‐ 401‐500 USE ‐ ‐ 424 490 ‐ ‐ ‐ UZ ‐ ‐ 465 499 ‐ ‐ ‐ UPF ‐ ‐ 321 339 342 324 336 UNAV ‐ ‐ 288 319 401‐500 381 353 USA ‐ ‐ 368 445 401‐500 ‐ 401‐500Diagn
Diagn
ó
ó
stico
stico de los
de
los
rankings
rankings
internacionales
internacionales
Tipos
de
rankings
globales
Â
De investigación
(con
o
sin
finalidad
de
obtener
tablas
de
clasificación
):
{ HEEACT (Higher Education Accreditation and Evaluation Council of Taiwan) (desde 2007, 500 universidades)
{ CWTS (Centre for Science and Technology Studies) Ranking de Leiden sin finalidad de obtener una clasificación (desde 2008, 250 universidades)
{ SIR (Scimago Institutions Rankings) Ranking de Scimago (desde 2010, más de 2.000 centros de investigación)
Â
Otros rankings
{ Webometrics Ranking of World Universities (Cibermetrics Lab, Grupo de Ciencias Humanas y Sociales, CSIC) (desde 2004, 12.000 instituciones).
{ AHELO (Assessment of Higher Education Learning Outcomes Project en cooperación con OCDE) (en curso de realización).
{ Third Mission (European Indicators and Ranking Methodology for University Third
Mission) coordinado desde el Centro para la Calidad y Gestión del Cambio de la
Métodología
en
los
rankings
de
investigación:
Â
Productividad
| Número de publicaciones. | Citas por publicación.
Â
Impacto
| Citas por publicación dividido por el impacto medio del campo. | Número de publicaciones por el impacto relativo en el campo .
Â
Excelencia
| Indice H.
| Número de artículos altamente citados.
| Número de artículos en revistas con alto impacto.
Diagn
Â
Críticas
a
los
rankings de
investigación:
Abandonan otras misiones de la universidad.
Suelen favorecer a las Universidades “potentes” en Ciencias y Salud.
Suelen favorecer a las IES de mayor tamaño (mayor presupuesto).
Problemas de ponderación de los indicadores.
Problemas de doble contabilización.
Problemas con la correcta identificación de las IES.
Diagn
Posición
de
las
universidades
españolas
en
los
rankings
de
investigación
(2009
y
2010)
9 Universidades españolas que destacan en todos los rankings de investigación:
 UAM, UB , UCM, UV y UAB
9 Si se restringe el ámbito de estudio a las universidades europeas, como ocurre en el ranking de Leiden, se posicionan ya 18 universidades españolas.
 UAM, UB , UCM, UV y UAB
 UPV, UGR, USC, USE, UZA, USAL, UMU, UPV, UOVI, UPC, UPM, UV, UMA
 Quedan fuera PF y UNAV en los 4 rankings de Leiden, lo que puede decir
que su tamaño les está penalizando
Diagn
Aspectos
positivos:
9 Han centrado la atención en la ES y en las IES (ranking “season”).
9 Mayor
información
para
toma
de decisiones. Muy poco convincente para estudiantes, salvo Asia o con el CHE Ranking
9 Mayor
competencia
entre IES. Solo entre el 3%‐5% de las 17.000 universidades a nivel mundial
9 Mejor rendición de cuentas a la sociedad y a los financiadores
 Los gobiernos los están usando para argumentar futuras inversiones en ES
9 Mejora en la recopilación y publicación correcta de los datos de las IES.
 La ausencia de datos comparables a nivel internacional para algunas actividades aprendizaje, inserción laboral, etc.‐es un “reto”
Diagn
Aspectos
negativos:
Â
Genéricos:
9Son “superficiales” por sus limitaciones y por evaluar la calidad de manera “ingenua”.
9Miden lo que puede ser medido, no lo relevante. Son “proxis” defectuosa de la calidad y
la excelencia.
9Sesgados hacia la investigación, dentro de ella a las áreas mejor representadas en las
bases de datos empleadas.
9Falta relacionar resultados con el tamaño de las IES (y con la capacidad económica de las mismas).
9Empleo de indicadores/pesos arbitrarios y subjetivos.
Â
Particulares:
9Insuficiente transparencia en la elaboración de los indicadores (en algunos casos). El IREG va a poner en marcha una auditoria de varios de estos rankings.
9Reflejan factores de reputación (interrelacionados con intereses comerciales y políticos) y no necesariamente con la calidad o el desempeño de las instituciones.
Diagn
Distintas opiniones de los rankings
internacionales en Europa:
 European University Association (EUA Report on Rankings‐junio 2011)
Confirma que las rankings globales de IES son realmente “superficiales” porque reflejan una simplificación de la realidad
y poco “útiles” porque agregan por instituciones y por actividades, sin tener en cuenta la multi‐dimensionalidad.
En muchos casos, la metodología y su realización no es del todo transparente.
 European Students’ Union (ESU, comunicado del 17 de junio)
En muchos casos se reducen a números, son simplistas y elitistas (necesidad de rankings más democráticos).
No son buenas “guías para la elección” porque miden sobre todo investigación, dejando a un lado docencia y
aprendizaje, que es la variable que los estudiantes quieren conocer, fundamentalmente por programas de estudio.
Acciones realizadas desde Europa para favorecer la transparencia sin finalidad de clasificar:
1. CHE UniversityRankingy CHE ExcellenceRanking y otros CHE rankings(CenterforHigherEducation, Berlin)
2. Puesta en marcha del proyecto U‐Map
3. Puesta en marcha del proyecto U‐Multirank
Diagn
Diagn
ó
ó
stico
stico de los
de
los
rankings
rankings
internacionales
internacionales
EU Feasibility studyon design and testing of a Multi‐dimensional Global
Ranking, Comisión Europea
EU Feasibility studyon design and testing of a Multi‐dimensional Global
Â
U
‐
Map
(CHE, CHEPS, CWTS, INCENTIM, OST, EFMD, EANI): 3 informes preliminares: 2005, 2008, 2010; actualmente, en 2010‐11 se está rellenando con datos reales
de las propias universidades. Descriptivo, no hace prescripciones.
Elaboración de un Perfil Institucional por universidad en función de 6 dimensiones (docencia y
aprendizaje, estudiantes, investigación, transferencia del conocimiento, orientación internacional,
implicación con el territorio).
Â
U
‐
Multirank
(CHE y CHEPS): Multi‐dimensional(5 dimensiones: docencia y aprendizaje, investigación, transferencia del conocimiento,
orientación internacional, implicación con el territorio).
Multi‐nivel: por áreas de conocimiento, por programas de estudio.
Auto‐dirigido: permite hacer sus propios “rankings” a los diferentes grupos con intereses en la
universidades (estudiantes grado, estudiantes MA/PhD, profesores, financiadores, responsables políticos
e institucionales, etc.).
Objetivos:
1. Recoger la diversidad y diferenciación: a través de instrumentos para agrupar las IES después de la
transformación y sustancial expansión de las IES europeas
2. Sirven de base para políticas institucionales: permite evaluar a los HEI managers comparativamente
perfiles institucionales comparables (benchmarking) y establecer colaboraciones.
3. Permite realizar un seguimiento de las tendencias que desarrollael sector de la ES en Europa.
Nuevas herramientas de transparencia en Europa
Perfil Institucional (Institutional Profiles)
Dimensiones: Perfil de enseñanza y aprendizaje, perfil del estudiante, Actividad investigadora, transferencia de resultados de la investigación Orientación internacional e implicación regional
Meno s inves
tig.
Algunos puntos débiles de los proyectos de la Comisión Europea (estudios de factibilidad)
 Críticas genéricas:
Técnicamente se aproxima mucho mejor la calidad en sus dimensiones pero a costa de nutrir una
buena base de datos muy complicada de obtención.
Mayor peso de las universidades europeas en el U‐Multirank (serán bienvenidas más universidades
americanas) y mayor peso de las públicas. Solo han participado las IES voluntariamente.
Problemas de fiabilidad de los datos (“manipulación” de variables: salarios, ratios estudiante/profesor,
etc.) Posibles soluciones: “peer review” o puesta en marcha procesos de auditoria.
 Críticas específicas:
Poca cobertura de comparación. En las 150 universidades de la fase piloto solo una española, la UPC.
(U‐Map compara en detalle 3 IES elegidas, el U‐Multirank 5 IES).
¿Cómo hacer un buen uso e interpretación de los resultados parciales por parte de los stakeholders?
La EUA advierte del “peligro” de que se terminen convirtiendo en “rankings”
Problemas de definición de variables (qué se entiende por alumno, qué se entiende por profesor, etc.).
La comparación internacional es más incompatible en el U‐Multirank que en el U‐Map según la EUA.
Nuevas herramientas de transparencia en Europa
Comparación
de
la
situación
europea
con
la
mundial
(anglosajona)
 “Rankings a la americana”: se trata de “verdaderos” rankings que desembocan en
tablas de clasificación que ordenan a las universidades en posiciones, a la manera de las
Business School o de los medios de comunicación, p.e. US News & World Report. ¿Para
qué sirven?Miden PRESTIGIO
 “Rankings a la europea”: se trata de rankings multidimensionales, adaptados a los
principios de Berlin para intentar reflejar las numerosas actividades de una universidad
(como en el U‐Multirank) o todos los aspectos dentro de una actividad como la
investigación (como el de Leiden). ¿Para que se utilizan? Para medir calidad y están
orientados a la mejora continua.
 “Rankings a la española”: ¿cómo serán? Lo que si sabemos es que si se aumenta la
precisión, se incrementa el nivel de complejidad. Parece una necesidad imperiosa
establecer un acuerdo de mínimos en indicadores para futuras clasificaciones del SUE.
Resumen
¿
¿
Necesidad
Necesidad
de
de
clasificaciones
clasificaciones
“
“
oficiales
oficiales
”
”
en
en
Espa
Espa
ñ
ñ
a?
a?
Estudios
anteriores:
Aprender
de
la
experiencia,
de
sus
metodologías
y
de
sus
errores
 Se trata de iniciativas efectuadas a título individual, por académicos o grupos
de investigación o centros de investigación, fundaciones, de las que se
pueden sacar lecciones y aprendizaje.
 Constituyen un buen ensayo de diferentes metodologías y aproximaciones y
permiten discutir su utilidad y validez entre expertos.
 Son muy variadas. Una posible clasificación de estos estudios:
Primer grupo: medición en exclusiva de la actividad investigadora
Segundo grupo: evaluación de la eficiencia de las universidades
españolas
Rankings españoles
de
investigación
 Scimago (2005, 2007): pondera por profesorado a tiempo completo,
permite la comparación entre universidades publicas y privadas.
 Buela‐Casal et al. (2009): relativizado por profesores funcionarios (no TEUs).
Compara universidades públicas y privadas.
 Gomez‐Sancho y Mancebón‐Torrubia (2010): pondera por profesorado
equivalente a tiempo completo y además realiza una homogeneización de
universidades publicas atendiendo a su oferta de titulaciones.
 Ranking ISI‐EC3 U. Granada y U.Navarra (2010). Investigación por campos
científicos (12) para universidades públicas y privadas entre 2000‐2009.
(http://sci2s.ugr.es/rankinguniversidades/index.html)
ÂObservatorio IUNE de la Alianza 4U (2011): UC3M, UAM, UAB, UPF (recoge
indicadores de actividad científica, innovación, de capacidad formativa, etc.
de universidades públicas y privadas entre 2002 y 2009).
¿
Estudios
españoles
de
evaluación
de
la
eficiencia
(técnica)
através de la técnica de Análisis de Envolvente de Datos (DEA)
ÂGómez Sancho (2005): Trata homogeneidad (oferta titulaciones). Inputs compartidos (gasto corriente en bienes y servicios y PETC) output docente
(titulados) output investigador (FICPCPM). Multiactividad.
ÂDuch (2006): 3 modelos (PDIETC, PASETC / capacidad aulas, bibliotecas y
laboratorios / Precios asociados a PDI y PAS. Output docente: matriculados
(primeros ciclos y doctorado) Output investigador: Tesis, publicaciones ISI,
Patentes.
ÂPerellada y Duch (2006): PDIETC, PASETC y recursos no financieros (tasas,
ingresos patrimoniales y recursos ajenos e ingresos I+D). Outputs: anterior
más sexenios por profesor.
ÂHernangómez et al. (2007): Trata homogeneidad (grupos estratégicos).
Inputs PETC gastos en inversiones reales. Output: alumnos grado e
inversiones totales.
¿
Indicadores
sintéticos
de
docencia,
investigación
y
otros:
(Fundación CYD)
ÂIndicador compuesto de capacidad de atracción de nuevos estudiantes. ÂIndicador compuesto de calidad docente.
ÂIndicador compuesto de calidad del doctorado. ÂIndicador compuesto de calidad investigadora.
 De las 47 universidades públicas posicionadas con los mejores valores en el curso 2008‐
2009 en el ranking de calidad docente y calidad investigadora coinciden en el Top‐15 la
Universitat Pompeu Fabra, la Universidad Autónoma de Madrid, la Universidad de
Cantabria, la Universitat Rovira i Virgili, la Universidad de Córdoba, la Universidad de
Santiago de Compostela y la Universidad Politécnica de Cataluña.
¿
Dificultades
de
partida
a
la
hora
de
emprender
acciones:
 Lugar de recopilación de los datos: componente subjetivo en función de
donde se originen
En la recopilación de los datos de las universidades están involucrados multitud de centros y unidades. Es complejo llegar a una presentación completa y homogénea ¿quién la debe realizar?.
Las universidades deberían facilitar datos ciertos y auditados que van a tener gran uso y publicidad (transparencia).
 Tratamiento del “tamaño” de las universidades. Según la variable
“profesorado” seleccionada se mostrarán dos realidades diferentes:
Profesores Doctores equivalentes a tiempo completo.
Profesores permanentes en universidades públicas y profesores con contrato
indefinido en universidades privadas.
¿
¿
Necesidad
Necesidad
de
de
clasificaciones
clasificaciones
“
“
oficiales
oficiales
”
”
en
en
Espa
Espa
ñ
ñ
a?
a?
Necesidad de un acuerdo de mínimos: en función de los objetivos de las
Pasos
a
dar
para
la
elaboración
de
múltiples
rankings
para
evaluar
la
calidad
de
las
universidades
españolas:
1. Necesidad de información única, suficiente y contrastada.
2. Consenso sobre un catálogo “oficial” de indicadores (Acuerdo de mínimos).
3. Elaboración de rankings analíticos.
4. Elaboración de rankings sintéticos.
Rankings
inclusivos
adaptándose
a
cada
universidad
para
desarrollarla
al
máximo,
no
necesariamente
oficiales
¿
Algunas
reflexiones
finales
Algunas
reflexiones
finales
Claves del éxito de las universidades españolas
 España y sus universidades no se pueden quedar en el “furgón de cola” de los
rankings internacionales. Hay que pasar a acción individuales concretas, como por
ejemplo participar en el U‐Multirank a nivel europeo, participar en el Global
Institutional Profile Project(capitaneado por Thomson Reuters) a nivel mundial.
Recomendaciones para las universidades españolas
 Coger capacidad de liderazgo.
 Buscar socios en el proceso de cambio.
El posicionamiento de una universidad en el ranking no puede
convertirse en el objetivo de la política de la universidad, sino en un
instrumento para conseguir su mejora continua de la calidad y su mejora de cara a la valoración de la sociedad.
Muchas
gracias
por
su
atenci
Muchas
gracias
por
su
atenci
ó
ó
n
n
Documentos
de
trabajo
utilizados
para
la
elaboración
de
la
ponencia
 Pérez Esparrells, C. y López García, A. (2009): “Estado de la cuestión de los
rankings universitarios nacionales e internacionales”, Documento de Trabajo
DU04, Univnova. (www.univnova.org)
http://www.univnova.org/documentos/270.pdf
 Pérez Esparrells, C. y Gómez Sancho, J.M. (2010): “Los rankings
internacionales de las instituciones de educación superior y las clasificaciones
universitarias en España: visión panorámica y prospectiva de futuro”,
Colección de Documentos de Trabajo de la Fundación de las Cajas de Ahorro
(FUNCAS), núm. 559/2010. (www.funcas.org)
