CAPÍTULO 1. Primeras iniciativas en la evaluación de bibliotecas
1.3. Estudios de evaluación bibliotecaria orientados al rendimiento
1.3.2. La introducción de la perspectiva del usuario en los estudios de evaluación
42 debemos entender qué está sucediendo, los procesos que se producen como resultado de nuestras decisiones. ¿Por qué necesitamos comprender esto?
porque se van a producir cambios. En primer lugar, necesitamos mejorar nuestros servicios: hay siempre cosas que mejorar. Esta es nuestra decisión. En segundo lugar, porque cada vez hay mayor presión a medida que el dinero escasea. Esta es su decisión. Para cambiar algo debes entenderlo26 (p. 7)
En el siguiente apartado se aborda la introducción de la perspectiva del usuario en los estudios de evaluación bibliotecaria. Hasta ahora hemos visto el alcance de los primeros estudios de evaluación del rendimiento, que se fundamentaba sobre una visión mecanicista de los procesos y recursos de la biblioteca. Esta aproximación fue dejando paso a una nueva visión de tipo cualitativo, con la introducción de las primeras encuestas de satisfacción de usuarios.
1.3.2. La introducción de la perspectiva del usuario
43 de evaluar el grado en el que los servicios bibliotecarios satisfacen las necesidades de la comunidad a la que dan servicio27(p. 309).
Abundando en la misma idea, para Bommer et al. (1979), el rendimiento esperado se podría interpretar como el grado con el que las bibliotecas satisfacían las necesidades de los usuarios. En la misma línea, Hannabuss (1987) opinaba que: “en la preocupación por el rendimiento, es esencial el grado en el que el sistema satisface las necesidades de los usuarios“28(p.155).
Se puede decir que estas opiniones de autores comprometidos con la evaluación del rendimiento son una muestra de la preocupación por el usuario que tradicionalmente ha alentado el campo de la Biblioteconomía. No obstante, hubo que esperar algunos años más, hasta los años 90, para encontrar la perspectiva del usuario dentro de los estudios de evaluación de bibliotecas. Entre los autores que fueron preparando el camino para esta nueva visión, destacan las figuras de Van House y Childers. La visión de estos autores contribuyó a superar el excesivo mecanicismo de las primeras evaluaciones. Desde su perspectiva, la evaluación bibliotecaria debía encuadrarse dentro de los estudios de evaluación de la efectividad organizativa29, donde rendimiento se consideraba como una dimensión más dentro de la efectividad.
En su investigación sobre la efectividad de las bibliotecas públicas, financiada por el Departamento de Educación del Gobierno de Estados Unidos, Van House y Childers (1993, 1994) lanzaron una encuesta a nivel nacional a representantes de los distintos grupos de interés (usuarios, responsables políticos y administrativos, líderes locales, gestores, profesionales de las bibliotecas). La finalidad del estudio era, por una parte, conocer la percepción general sobre lo que significaba la efectividad en las bibliotecas, y, por otra parte, establecer las evidencias más relevantes para dar cuenta de esa efectividad. Del estudio se desprenderían una serie de criterios con los que trabajar en los futuros estudios evaluativos.
27Traducido del original: “A well conducted library survey can produce considerable number of data that are of potential value in the evaluation of library services This is especially true if the survey goes beyond purely quantitative data on volumes and types of use, and general characteristics of the users, and attempts to assess the degree to which the library services meet the needs of the community served” (Lancaster y Joncich, 1977, p. 309).
28 Traducido del original: “whatever else we care to make performance into, it is essentially that, the degree to which the system contributes to user needs” (Hannabuss, 1987, p. 155).
29 Van House y Childers (1993) adoptaron el concepto de efectividad del ámbito de los estudios sobre la efectividad de las organizaciones, donde se definían las diferentes dimensiones de este concepto, de acuerdo con distintos modelos explicativos: la efectividad como el logro de objetivos;
efectividad de los procesos; efectividad como respuesta a las necesidades del entorno; efectividad como satisfacción de las necesidades de los grupos de interés. En el ámbito de las bibliotecas, la efectividad se evidenciaba de acuerdo con dos aproximaciones principales: 1) comparando con unos estándares de efectividad predefinidos; y 2) en relación con su propia misión y objetivos.
44 El enfoque de Childers y Van House (1989) y Van House y Childers (1990, 1993) fue un avance importante en los estudios de evaluación, ya que se daba voz a los grupos de interés para establecer los criterios estratégicos de efectividad de las bibliotecas públicas. Siguiendo la línea abierta por estos autores, Calvert presentó un estudio de efectividad de las bibliotecas públicas de Nueva Zelanda donde recogió la percepción de los distintos grupos de interés (Calvert, 1994; Cullen y Calvert, 1995). Para este autor, las mediciones de rendimiento resultaban insuficientes, porque dejaban a un lado el entorno social y político en el que se integraban las bibliotecas. Para paliar la excesiva carga cuantitativa y el mecanicismo de las primeras evaluaciones del rendimiento, el autor adoptó como modelo conceptual y metodológico el estudio de Van House y Childers (1993). Partiendo de una visión de la biblioteca ya no como un sistema sino como un “constructo social”, Calvert consideraba que era prioritario conocer la opinión de los distintos agentes para dar validez al sistema de evaluación de la biblioteca.
Además de la aproximación de Van House y sus colegas y seguidores, el avance hacia los nuevos sistemas de evaluación de la calidad orientada a la satisfacción de las expectativas de los usuarios se desarrolló en los años 90 y 2000 en el contexto de la corriente del “Total Quality Management” (TQM) o “Gestión de la Calidad Total30” (Cooper, 1996; O'Neil, 1994, Pacios Lozano, 2000). Al abrigo de esta corriente se desarrollaron distintos modelos de aseguramiento de la calidad total, entre los que se puede mencionar el Modelo de la European Foundation for Quality Management, también conocido como Modelo EFQM. Este modelo se popularizó en bibliotecas de todo el mundo (Düren, 2012; Stavridis y Tsimpoglou, 2012).
De igual modo, el conjunto de normas ISO 9000 (Organización Internacional de Normalización, 1987, 2000a, 2000b) se extendió como base para la evaluación y la certificación de los sistemas de calidad total de las organizaciones, y pronto se adoptó en bibliotecas (Düren, 2012; Klempin, 1997; Kostagiolas y Kitsiou, 2008; Luther, 2016;
Pacios Lozano, 1995, 1997; Panday, 2014; Sardelli, 1999; Vonhof y Bertele, 2017). Al igual que en el Modelo EFQM, las ISO 9000 proponían un sistema para la gestión de la calidad orientada a la satisfacción del usuario o cliente.
Junto a los modelos de calidad, hay que destacar la iniciativa de un equipo de investigación de la Universidad de Texas que centró sus esfuerzos en introducir un cambio de perspectiva en la evaluación del rendimiento (Cook, Heath, Thompson y Thompson, 2001; Kyrillidou, 2002a, 2002b). El cambio de planteamiento consistió en
30 Cooper (1996) definió la TQM como:
una filosofía de gestión orientada a las necesidades del usuario y un compromiso continuo por la mejora de la calidad. Un sistema centrado en los procesos tanto como en los productos, siendo aspectos clave de su metodología la opinión del usuario, la participación del personal y la medición continua de su éxito (pp. 92-93).
45 poner al usuario en el centro de la gestión de los servicios, y en perseguir su satisfacción como objetivo prioritario. En este nuevo orden, se produjo una identificación entre el concepto del rendimiento y el nivel de satisfacción del usuario, es decir, un servicio bibliotecario alcanzaba un buen rendimiento si por sus características (disponibilidad, coste, rapidez, relevancia, etc.) contribuía a satisfacer las necesidades de los usuarios. A los datos estadísticos de inputs y outputs, se añadían nuevos datos cualitativos sobre la percepción del usuario o calidad percibida.
Por su parte, Cook y Heath (2001) se inspiraron en el modelo de evaluación de calidad SERVQUAL, desarrollado por Parasuraman, Zeithaml y Berry (1985) en el campo del marketing y la calidad de los servicios. Este modelo se fundamentaba sobre el principio de que:
la calidad del servicio es una función que expresa la distancia entre las expectativas y las percepciones (…) los clientes evalúan la calidad del servicio desde múltiples dimensiones (…) el conjunto de las evaluaciones dimensionales configura la imagen de la calidad global de la organización31 (Parasuraman, 2002, párr.5).
El modelo SERVQUAL establecía cinco dimensiones para la evaluación de los servicios:
1) Fiabilidad: capacidad de ofrecer un servicio de forma rigurosa y completa.
2) Seguridad: conocimiento y cortesía y capacidad para transmitir confianza y discreción.
3) Equipamientos: instalaciones, equipos, recursos materiales.
4) Empatía: adaptación a las necesidades del usuario concreto, atención individualizada, escucha.
5) Capacidad de respuesta: diligencia, actitud de ayuda al usuario.
A partir de estas cinco dimensiones, se detectaban los desajustes entre lo esperado y lo percibido sobre lo recibido, diferenciándose cinco tipos de brechas o deficiencias:
1) Discrepancia entre la expectativa del usuario y la percepción del gestor: el servicio no responde a lo que espera el usuario.
31 Traducido del original: “The notion that service quality is a function of the expectations- perceptions gap was reinforced by extensive qualitative research that my colleagues and I conducted in multiple sectors. This research also suggested that customers assess quality of service on multiple dimensions and that the dimensional assessments collectively shape the overall quality image of a service organization” (Parasuraman, 2002, párr. 5).
46 2) Discrepancia entre la percepción del gestor y la organización y el diseño del servicio: el servicio está bien concebido, pero no está suficientemente organizado.
3) Discrepancia entre el diseño del servicio y su desempeño: aunque el servicio se ajusta a las expectativas de los usuarios y está correctamente diseñado, se desempeña de forma inadecuada o deficientemente.
4) Discrepancia entre desempeño del servicio y su visibilidad: el servicio se desempeña de forma adecuada pero no se comunica suficientemente.
5) Discrepancia entre el servicio esperado y el recibido: el usuario no conoce el servicio, no dispone de suficiente información.
En 2000, el mencionado equipo de investigación de la Universidad de Texas y otras diez instituciones académicas con el apoyo de la Association of Research Libraries (ARL), elaboraron una adaptación del modelo SERVQUAL al contexto de las bibliotecas universitarias. El resultado fue el desarrollo del modelo LibQUAL, que medía la satisfacción de los usuarios respecto de los servicios, y la brecha entre sus expectativas y sus percepciones, empleando un cuestionario sobre distintos aspectos clave de la calidad percibida, respecto a tres dimensiones:
1) El compromiso con el servicio.
2) El rigor y control de la información.
3) La dimensión espacial de la biblioteca.
El cuestionario extraía información sobre el nivel de servicio que el usuario desearía recibir, el nivel mínimo de servicio que consideraba aceptable y el nivel realmente observado o experimentado. En opinión de Parasuraman (2002), de todas las adaptaciones que tuvo el modelo SERVQUAL en diferentes ámbitos, el modelo LibQUAL fue la adaptación más rigurosa y sistemática. Desde el año 2000, el modelo se extendió rápidamente en bibliotecas universitarias y de investigación norteamericanas y del Reino Unido. Tomando como base el modelo, se desarrollaron nuevas herramientas y aplicaciones informáticas, como LibQUAL+, que permitía recabar la opinión de los usuarios de bibliotecas y su análisis en poco espacio de tiempo. La utilidad de estas herramientas se viene demostrando desde entonces en numerosos estudios de evaluación (Atkinson y Walton, 2017; Cook y Heath, 2001;
Cook et al., 2001; Kyrillidou, Olshen, Heath, Bonnelly y Côte, 2005; Kyrillidou y Persson, 2006; Pourahmad, Neshat y Hasani, 2016; Thompson, Cook y Heath, 2003a, 2003b; Thompson, Cook y Kyrillidou, 2005).
La perspectiva del usuario sigue presente en los estudios evaluativos, bajo la nueva línea de evaluación de la experiencia del usuario en el uso de los distintos recursos de las bibliotecas, tanto físicos como virtuales (Appleton, 2018; Fleming-May et al., 2018).
47 En el apartado siguiente se hace un repaso sobre la utilización de las herramientas de evaluación del rendimiento en los distintos tipos de bibliotecas, y su plasmación en artículos de revistas y otros estudios especializados. Al final del apartado se revisan los principales trabajos sobre evaluación del rendimiento bibliotecario publicados en España. Como se verá, fue un campo que suscitó un fuerte interés en los años 90 y 2000, principalmente en el ámbito de las bibliotecas universitarias y públicas.