Los indicadores y la evaluación

Quienes gestionan las universidades, los que conducen el gobierno y norman el funcionamiento del sistema de educación superior, universitaria en particular, o los intelectuales que analizan el sistema universitario, son conscientes de la carencia de una información básica, seria y rigurosa sobre los elementos de entrada, los procesos y los resultados.

Tal situación sigue constituyendo una deficiencia generalizada de la mayor parte de instituciones universitarias peruanas. Frente a ella se plantea la necesidad de contar con un sistema de indicadores que reflejen claramente el estado de las universidades y que permitan analizar el funcionamiento de cada institución, valorar su rendimiento y establecer comparaciones entre ellas. No obstante, la realidad se presenta más complicada de lo que pudiera pensarse y algunos de estos objetivos no parecen posibles.

Desde dos décadas atrás se viene debatiendo sobre indicadores de rendimiento de las universidades. La principal conclusión que se puede mostrar es que los indicadores, por si solos tienen un alcance limitado. Sin embargo, utilizados dentro de los actuales procesos de evaluación y mejora de la calidad de las universidades, se convierten en instrumentos auxiliares y valiosos para esa mejora, además de servir de medio de información a los que toman decisiones sobre el funcionamiento de las instituciones universitarias y a la sociedad en general.

El diseño y uso de indicadores son sólo una parte del proceso evaluador, pero una parte importante, como señala Escudero (2002): "no basta con ofrecer

información, del tipo que sea, sobre la calidad institucional; es preciso contar con referentes para su contraste. Se necesitan criterios para poder decir si la información que se nos ofrece demuestra que la universidad que se juzga es mejor o peor que lo que era en el pasado, es mejor o peor que otras instituciones similares y si ha cumplido o no tales o cuales objetivos que se había propuesto como meta."84

Como se ha precisado, las estrategias para promover la calidad de las universidades no son viables sino se diseña y desarrolla previamente un sistema de información adecuado que facilite, por un lado, sus relaciones con la sociedad y con las administraciones públicas, y por otro, que posibilite el análisis interno y, consecuentemente, la implementación de programas de mejoras. Por ello, las razones que sustentan el diseño y creación de un sistema de indicadores son de carácter institucional, de relaciones con el ente de financiamiento y de relaciones con la sociedad85.

Por motivación institucional, las acciones de mejora institucional, como resultado del proceso de evaluación, requiere de información confiable así como de indicadores que posibiliten conocer el funcionamiento interno de las universidades; y cualquier cambio que se produzca en la institución, sea en los sistemas de organización interna, en la introducción de procesos de Gestión de Calidad y, sobre todo, en los de Gestión Estratégica demandan contar con información sistematizada y confiable.

84 _{Escudero, T. (2002). Indicadores: Información estratégica para el sistema universitario español.}

En CRUE, La Universidad Española en cifras (2002), p.179, [http://www.crue.org/ cdOBSERVATORIO/index.htm]. Mayo de 2003.

85 _{José-Ginés Mora (Universidad de Valencia) en Indicadores para la información, la gestión y la} financiación de las universidades. (Ibid 78).

Por motivos de financiamiento, dado el nivel de recursos utilizados por las universidades, es necesario que se responda e informe sobre su uso a través de informaciones objetivas; la rendición de cuentas de las universidades debe ser mucho más que la presentación de datos contables, debe informarse también los resultados obtenidos. La aplicación de cualquier mecanismo de asignación de recursos, como fórmulas de asignación o contratos específicos, requieren de información confiable que reflejen realmente el quehacer institucional.

Por cuestiones de pertinencia, por cuanto los estudiantes, como usuarios directos de los servicios universitarios, así como las empresas y otras instituciones, deben disponer de información transparente para que puedan tomar las decisiones que les corresponden; los empleadores potenciales de los egresados de las universidades demandan información acerca de los resultados y calificaciones; y la movilidad de estudiantes universitarios, interna o externa, a nivel nacional o internacional, requiere establecer sistemas de información estandarizados en las universidades. Al respecto, en Europa, por ejemplo, los responsables de educación emitieron en 1999 la Declaración de Bolonia, que contiene compromisos para compatibilizar criterios y compartir informaciones estandarizadas y sistematizadas86; los países del Mercosur han emprendido acciones que apuntan a tales propósitos. Es evidente, entonces, la necesidad de contar con mecanismos adecuados de información.

Disponer en las universidades de sistemas de información estadística y de indicadores de rendimiento se ha convertido en una necesidad fundamental en el propósito de alcanzar la calidad. De ahí la importancia de precisar las características de los indicadores, identificar los problemas que se pueden generar y establecer los mecanismos de utilización.

Entre las acepciones anotadas anteriormente, los indicadores de rendimiento se definen como medidas objetivas, generalmente cuantitativas, de los procesos, resultados o logros de una institución en general. Utilizarlos puede ayudar a establecer un cierto orden y a efectuar previsiones en sistemas tan complejos como es actualmente cualquier universidad. Indicadores adecuadamente diseñados y estructurados posibilitan entender el estado de los

problemas respecto a ciertas variables, a observar como evolucionan en el tiempo y por tanto realizar previsiones. Al ser cuantitativos permiten identificar con cierta rapidez las tendencias de los cambios en las necesidades de la sociedad, en las preferencias por ciertas especialidades, asignaturas, cursos o talleres, y, por consiguiente, en la reasignación de los recursos a las actividades prioritarias de la universidad.

No obstante el interés que despiertan los indicadores de rendimiento, definirlos y utilizarlos presentan peculiaridades como las siguientes: Definir un conjunto de indicadores requiere tener claramente fijados los objetivos de la institución universitaria; dada su naturaleza, los indicadores de rendimiento son ambiguos; salvo que se utilicen para objetivos comúnmente aceptados, son siempre aproximaciones de una característica, por lo que no siempre hay acuerdo sobre ellos; su utilización puede ocasionar problemas cuando se enfatizan las medidas de eficiencia y de efectividad a corto plazo y no se consideran las metas de largo plazo de las instituciones; los indicadores que se relacionen con la asignación de fondos deben tener un tratamiento cauteloso para evitar círculos viciosos; frecuentemente se abandona su sentido y alcance, tomándolos como metas en sí cuando son instrumentos que posibilitan observar parcialmente una compleja realidad, aún más, se pretende convertirlos en estándares de calidad.

Los indicadores muy poco han sido utilizados como medida de rendimiento institucional, debido a las dificultades en su aplicación. Últimamente se aprecia que el foco de la discusión sobre el uso de los indicadores ha pasado de los problemas de eficiencia a los de eficacia y efectividad, y de comparaciones institucionales al uso interno como instrumento para mejorar la calidad. En este contexto recobra el interés por el uso de los indicadores.

Los indicadores, adecuadamente diseñados, definidos e interpretados contribuyen notablemente en la política educativa, en la gestión y en alcanzar la calidad. Conceptualmente se está planteando que de ser considerados sólo como información numérica de tipo estadístico pase a un mayor nivel que incluya juicios de valor y opiniones de consenso. En general, diseñar un sistema de indicadores de gestión y de rendimiento debe tomar en cuenta y corresponder a

los objetivos y la estructura de cada institución; debe ser peculiar y “a medida” de cada universidad (Vidal, 1999)87.

No obstante, por los desarrollos teóricos y la experiencia lograda en diversas instituciones y países, se puede decir que los indicadores de rendimiento ni son la panacea para medir el rendimiento de las instituciones universitarias que algunos propugnan, ni son tampoco los elementos inútiles y perturbadores que algunos señalan. "Los indicadores de rendimiento deben ser interpretados como señales o guías. Ello implica que pueden servir de gran ayuda a la hora de emitir un juicio pero nunca pueden ser considerados como sustitutos del mismo."88

Utilizados en su contexto y para los propósitos para los que han sido diseñados, e interpretados adecuadamente, constituyen una fuente valiosa de información para los usuarios internos y externos de los servicios universitarios y para quienes gestionan la institución. En cada institución de educación superior deben diseñarse los indicadores más apropiados y llegar a consensos entre los actores o entidades interesadas, tanto en su uso como en su interpretación. Esto es lo que está sucediendo actualmente en las universidades que están en procesos de evaluación.

Las observaciones de la sociedad a la institución universitaria en Perú se explican, entre otras razones, por que no cuenta con la información pertinente; lo cual se debe a que no ha sido evaluada adecuadamente con instrumentos válidos y confiables que permitan informar objetiva y convenientemente de sus logros y resultados. Las experiencias en los procesos de evaluación en universidades europeas y latinoamericanas muestran el rol y la importancia de la información, por cuanto ella permite que la institución pueda conocerse así misma y darse a conocer. Ello demanda se lleven a cabo procesos de evaluación institucional que permitan disponer de información sistematizada para visualizar su estado y perspectiva.

tm]

87 _{Vidal, J. (Ed.) (1999) Indicadores en la Universidad: información y decisiones. Consejo de}

Universidades, Madrid.

Elementos esenciales del sistema universitario carecen de claras definiciones y exigen que se definan y se disponga de un conjunto de indicadores que sea comúnmente aceptado, como un instrumento de información, interna y externa, para la mejora, y que sirva para la toma de decisiones en todos los niveles de la organización universitaria. Por tanto, una acción fundamental es la elaboración de indicadores de la actividad universitaria a partir de los datos estadísticos más significativos; en función a su finalidad. Es en este proceso de calidad que se inserta el presente trabajo de investigación, como una acción institucional básica.

El uso de indicadores en los contextos de evaluación universitaria ha ido ganando terreno, hasta el extremo que es imposible pensar en la construcción de cualquier modelo de evaluación, sin haber diseñado y contar con el desarrollo previo de un sistema contrastado de indicadores de calidad. Como se ha señalado, un indicador es una estimador de una característica relevante del ámbito que pretendemos diseccionar, analizar y contrastar. Se trata de un dato que condensa una importante cantidad de información y constituye un testigo situado en un lugar estratégicamente bien dispuesto, que nos permite, al analizarlo o al observar sus oscilaciones y por referencia a la estructura general, interpretar el ámbito concreto de la realidad universitaria a evaluar, así como sus tendencias. Por tanto, los desarrollos expuestos permiten estar en condiciones de proponer respuesta al problema de investigación planteado.