Características de la evaluación

Todos los servicios y actividades llevadas a cabo en una biblioteca pueden y deben ser evaluados. El servicio de referencia es uno de los que con mayor motivo debe someterse a constante evaluación, ya que así se podrán corregir los defectos y se conseguirá más efica- cia en el servicio.

Existen varias razones por las cuales es aconsejable la evaluación del servicio de referencia.

· Asegurar que las tareas propias del servicio se están realizando correctamente

· Necesidad de obtener el máximo rendimiento del servicio, tanto de cara a la institución de la que se depende, como hacia el usuario · Avance de las nuevas tecnologías, que provocan cambios en las

formas de trabajar

Martín Vega, quien resume de esta manera la necesidad de la eva-

luación82_{: La evaluación tiene como objetivos principales, desde el}

punto de vista científico, obtener un conocimiento del funcionamien- to general del servicio (observar si los resultados de las búsquedas son positivos o negativos), medir el grado de satisfacción de los usuarios y, desde el punto de vista administrativo, justificar las actividades

realizadas . Desde una perspectiva similar, Lamy83 _{ofrece una meto-}

dología sencilla para la evaluación de los servicios de referencia, ofre- 82 Martín Vega, Arturo. La colección de referencia. Boletín de la Asociación Andaluza de Bibliotecarios, sept. 1997, n. 48, p. 81.

83 Lamy, Jean-Philippe. Evaluer un service de référence: quelques outils. Bulletin des Bi- bliothèques de France, 2001, vol. 46, n. 4, p. 82-88.

ciendo diecinueve medidas de análisis, que divide en cuatro grandes grupos: los fondos, los medios, los costes y los usos.

Se puede concluir, en definitiva, que la evaluación del servicio de referencia debe efectuarse, por una parte, para controlar la actividad que se está desarrollando en el servicio y, por otra, la utilidad de la colección de referencia. Una vez extraídos y analizados los datos que controlan estos dos ámbitos de evaluación se contará con elementos para tomar decisiones, modificar los puntos débiles y aumentar la ca- lidad del servicio. Además de los elementos que van a ser evaluados (servicio y colección), la biblioteca debe establecer claramente quién realizará la evaluación y cuándo es conveniente que se lleve a cabo.

Para que la evaluación sea más efectiva debe ser coordinada por un equipo de trabajo, por lo que una de las primeras acciones de la evaluación es formar el equipo evaluador. Cuando puedan existir problemas de relaciones laborales o se quiera tener una evaluación más objetiva es conveniente contar con los servicios de profesiona- les externos, que tengan conocimientos demostrados sobre la mate- ria. La dirección del servicio también juega un papel importante en la evaluación, ya que a la misma le corresponde la coordinación del proceso. Es habitual que los órganos de dirección sean ajenos a los equipos de evaluación, a fin de garantizar la objetividad y neutrali- dad en el trabajo realizado. No obstante, deben estar presentes en el proceso, mediante las labores de coordinación y supervisión de las diferentes etapas del análisis.

El momento de iniciar la evaluación dependerá de la biblioteca, de la actividad del servicio de referencia y del uso que se esté realizan- do de la colección de referencia. Es aconsejable llevar un control pe- riódico de ciertas actividades, como el número de consultas, aunque otras no es necesario evaluarlas más que en momentos concretos. La evaluación debe ser planificada convenientemente, estableciendo un periodo de tiempo mínimo y máximo para llevarla a cabo. Esto es necesario para que el servicio esté más centrado en los objetivos que se pretenden conseguir y para que los datos obtenidos no pier- dan actualidad.

Los ámbitos que deben ser evaluados en un servicio de referencia de forma preferente son:

· Servicio: espacio, infraestructura, atención en el mostrador, con- sultas recibidas por otros procedimientos, suministro de docu- mentos, formación de usuarios,etc.

· Consultas: cantidad, pertinencia, satisfacción de los usuarios. · Colección: calidad, actualidad, costes, soportes, etc.

· Personal: aptitud, actitud, interés, etc.

Todos estos campos pueden ser evaluados de forma independien- te, para lo que habría que establecer planes de evaluación específi- cos.También cabe la posibilidad de realizar una evaluación gene- ral del servicio, donde se controlasen todos los aspectos anteriores, aunque esto, por el tiempo y la dedicación que exige, es sólo acon- sejable cuando esté manifiestamente demostrado que el servicio de referencia necesita un cambio de orientación.

El servicio de referencia puede ser evaluado de forma genérica mediante parámetros como el número de usuarios que emplean el servicio, en relación al número de usuarios reales y del número de usuarios potenciales; el número de preguntas realizadas en un pe- ríodo de tiempo y el grado de satisfacción del usuario en cuanto a la actividad general del servicio.

Los autores del excelente manual Statistics, Measures and Quality Standards for Assessing Digital Reference Library Services: Guidelines

and Procedures84 _{indican las causas por las que un servicio de refe-}

rencia debe evaluarse, refiriéndose específicamente a los servicios de referencia digitales. En definitiva, un servicio de referencia digi- tal debe ser evaluado por las siguientes causas:

· Determinar el grado en los objetivos de un servicio de referencia digital están siendo cumplidos.

84 Mac Clure, Charles R.; Lankes, R. David; Gross, Melissa; Choltco-Devlin, Beverly. Sta- tistics, Measures and Quality Standards for Assessing Digital Reference Library Services: Guidelines and Procedures. Syracuse, New York: Information Institute of Syracuse; Tallahassee, Florida: School of Information Studies, 2002, p. 3.

· Evaluar de qué forma los servicios de la referencia digitales están apoyando los objetivos generales de la biblioteca u organismo. · Supervisar el estado de los servicios y su funcionamiento para

hacer mejoras constantemente y las modificaciones del servicio necesarias.

· Producir datos que describen el empleo, los usuarios y los usos de la referencia digital a lo largo del tiempo.

· Determinar el grado en que están satisfaciéndose las necesidades de información de un usuario a través del servicio.

· Justificar los costos y beneficios del servicio y demostrar la justi- ficación general de las actividades de la referencia digital. · Comparar los costos relativos y los beneficios de los servicios de

referencia digitales con los servicios de referencia tradicionales. · Proporcionar datos para una planificación continuada y el desa-

rrollo de los servicios de referencia digitales.

· Determinar los tipos de personal de formación y apoyo que po- dría ser necesario.

· Informar a los directivos y organizaciones de la naturaleza y éxi- tos de los servicios de la referencia digitales.

· Identificar aquellos aspectos de los servicios de referencia digita- les que necesitan ser revisados o mejorados.

· Animar al personal de la referencia digital piense en términos de resultados e impacto de los servicios de referencia digitales. 6.2. Evaluación de las consultas

Uno de los principales aspectos que se deben evaluar en los servicios de referencia son las demandas de información que los usuarios plan-

tean. Según Lancaster85 _{Dicha actividad se puede analizar de maneras}

distintas: número y tipo de preguntas recibidas; distribución de las preguntas por horas y días de la semana; tiempo empleado en propor- cionar las respuestas; requisitos de personal para atender el servicio;

fuentes utilizadas para responder las preguntas, etc. No obstante, una auténtica evaluación intentaría determinar el número de las pregun- tas que, entre las planteadas, se responden completa y correctamente.

En la evaluación de las consultas se valorarán una serie de aspec- tos cuantitativos:

· Número de preguntas recibidas · Número de preguntas buscadas

· Número de preguntas que se contestan

· Número de preguntas que se contestan completa y correctamente El control de estas cuestiones es complejo en algunas ocasiones, so- bre todo en lo que respecta al grado de satisfacción del usuario. Para anotar estas informaciones se debe contar con un formulario en el que se constate rápida y claramente datos descriptivos de la consul- ta (fecha, hora, procedimiento, tema, fuentes, tiempo de respuesta) y del usuario (nivel académico y grado de satisfacción).

Los sistemas de evaluación mediante formularios plantean problemas como la actitud forzada del personal, que se sabe evaluado, o el tiempo que un usuario requiere para saber si la respuesta aportada es la que necesitaba. Por ello, se emplean otros sistemas como el estudio discreto. Se denomina así a la técnica que evalúa la capacidad de resolución de las preguntas por parte del personal y el grado de adecuación de las mismas a las expectativas de los usuarios. Este método parte del estudio previo de las consultas, contrastándolas con la colección, y con la participación de usuarios que, de acuerdo con los evaluadores, formulan las preguntas al personal, que desconoce que se le está evaluando, para después tomar nota de una serie de criterios de evaluación: rapidez en la respuesta, selección de las fuentes de información, adecuación de la respuesta, actitud y comportamiento, satisfacción del usuario, etc. Lógicamente, éste es un sistema que debe ser realizado con tacto, a fin

de no provocar malestar entre el personal86_.

86 Una muestra es la evaluación que se realizó en la Universidad de California y que se puede consultar en Kawakami, Alice; Swartz, Pauline. Digital reference: training and as- sessment for service improvement. Reference Services Review, 2003, vol. 31, n. 3, p. 227-236.

Para la evaluación de las consultas contestadas correctamente por el servicio de referencia es muy útil el indicador que a tal efecto recoge la norma ISO 11620:1998(E) sobre indicadores de rendimien-

to en las bibliotecas87_{. Entre los indicadores propuestos interesa el}

B.2.6, sobre las preguntas realizadas en el servicio de referencia. El objetivo de este sistema de evaluación es calcular si el personal es capaz de cumplir los requisitos básicos para un servicio de referen- cia, es decir, de dar respuestas correctas a las preguntas que se le plantee. El alcance de este indicador es general, aunque, dada su metodología y los requisitos que implica, se está limitando a gran- des bibliotecas, bibliotecas universitarias y científicas y a sistemas bibliotecarios.

La norma ISO 11620 define88 _{este indicador como el número de}

consultas contestadas correctamente divididas entre el total de las consultas planteadas . El método propuesto se basa en los denomi- nados estudios discretos. Como ya se expuso, este sistema se arti- cula en función de un grupo de usuarios instruidos por el equipo evaluador para que planteen una serie de cuestiones seleccionadas a los encargados del servicio de información, quienes no sabrán que las preguntas son simuladas. Esto tiene la ventaja de que las consul- tas se atenderán de la forma habitual, ya que el personal desconoce que está siendo probado. El método discreto obliga a que los usua- rios sean elegidos en representación a la comunidad de usuarios de la biblioteca. Del mismo modo, las consultas también deben ser seleccionadas convenientemente, sobre todo porque en ocasiones es difícil determinar si una consulta ha sido respondida correctamente o no. Las preguntas que pueden provocar respuestas ambiguas no deben ser planteadas en este modelo de evaluación, ya que implica- ría inexactitudes en la tasa final.

87 ISO. ISO 11620: Information and documentation. Library performance indicators. Genève: ISO, 1998. Esta norma tiene su correspondencia en España en la norma UNE 50137:2000 Información y documentación. Indicadores de rendimiento bibliotecario. Se aprobaron como norma española UNE 50137:2000/1M:2005 los indicadores adicionales de la ISO 11620/A1.

La tasa de consultas contestadas correctamente se determina me- diante la fórmula siguiente, redondeando la cifra final hacia el nú- mero más cercano:

Número de consultas contestadas correctamente x 100% Número total de consultas planteadas

Existen una serie de parámetros para medir la efectividad de las

respuestas89_:

· Tasa de acierto o exhaustividad: porcentaje de documentos per- tinentes encontrados en relación al número de documentos exis- tentes sobre esa consulta.

· Tasa de precisión o pertinencia: relación entre el número de res- puestas ofrecidas y las que son válidas o pertinentes.

· Tiempo de respuesta: tiempo transcurrido desde la formulación de la demanda hasta la resolución de la misma.

· Costes: valor de la información, tanto económico como temporal. · Grado de eficiencia: calidad de la información ofrecida y su rela-

ción con los aspectos anteriores.

La norma ISO 11620 ha sido tomada como punto de partida para el establecimiento de indicadores de rendimiento para los servicios bibliotecarios electrónicos. El resultado ha sido la norma ISO/TR 20983: 2003 (E) cuyo título completo es Información y Documentación.

Indicadores de Rendimiento para Servicios Bibliotecarios Electrónicos90_.

En esta norma específica de servicios digitales también se incluyen algunos aspectos relacionados con las consultas, ya que se incluye el indicador Porcentaje de peticiones de información realizadas de forma 89 Rimland realiza un exhaustivo análisis sobre la producción bibliográfica relativa a la efectividad de los servicios de referencia bibliotecarios. Véase Rimland, Emily L. Do We Do It Well? A Bibliographic Essay on the Evaluation of Reference Effectiveness. The Reference Librarian, 2007, vol. 47, n. 98, p. 41-55.

90 Es la norma española UNE-ISO/TR 20983:2006 IN, vigente desde el 26 de julio de 2006. AENOR. UNE-ISO/TR 20983 IN: Información y documentación: Indicadores para los servicios bi- bliotecarios electrónicos (ISO/TR 20983:2003). Madrid: AENOR, 2006.

electrónica. No obstante, no trata en ningún apartado sobre la cali- dad de las respuestas, por lo que el estudio de esta norma se realiza en el apartado 6.4 de esta obra, donde se describen los métodos de evaluación.