Evaluación del servicio de referencia de una biblioteca universitaria: Biblioteca de la Universidad de Sevilla/Evaluation of an academic library's reference service: the Library of the University of Seville

Abstract

After a detailed review of the literature on the evaluation of reference services in academic libraries, the authors have described the evaluation process of the Reference Service of the University of Seville's library, in both its onsite and virtual models, during two time spans in 2011. They analyse the results, using an adapted version of the READ scale. The predominance of the system's onsite model was confirmed, with the type of service characterized by short questions of a basic nature, quite evenly distributed between the morning and afternoon, with a duration of less than five minutes, with the questions coming predominantly from students and answered by non-specialist staff.

Headnote

Resumen: Tras una revisión bibliográfica de la evaluación de los servicios de referencias en bibliotecas universitarias, se describe el proceso de evaluación de este servicio llevado a cabo en la Biblioteca de la Universidad de Sevilla, en su modalidad presencial y virtual, durante dos periodos a lo largo del año 2011. Los resultados se analizan en base a la escala READ adaptada. Se constata el predominio de la presencialidad del servicio, y las preguntas breves, de nivel básico, casi distribuidas equilibradamente entre mañana y tarde, de menos de 5 minutos, realizadas mayoritariamente por alumnos, atendidas por personal técnico no especializado con escasas derivaciones.

Palabras clave: Servicios de Referencia; bibliotecas universitarias; biblioteca de la universidad de Sevilla, evaluación; escala READ; calidad del servicio; atención a usuarios.

Evaluation of an academic library's reference service: the Library of the University of Seville

Abstract: After a detailed review of the literature on the evaluation of reference services in academic libraries, we describe the evaluation process of the Reference Service of the University of Seville's library, in both its onsite and virtual models, during two time spans in 2011. We analyse the results using an adapted version of the READ scale. The predominance of the system's onsite model was confirmed, with the type of service characterized by short questions of a basic nature, quite evenly distributed between the morning and afternoon, with a duration of less than five minutes, with the questions coming predominantly from students and answered by non-specialist staff.

Keywords: Reference services; academic libraries; library of the university of Seville; evaluation; READ scale; service quality; user attention.

I. INTRODUCCIÓN

El Servicio de Referencia lo constituyen, desde una macro perspectiva, todas las transacciones que se llevan a cabo con el usuario para satisfa- cer sus necesidades de información, y desde otra más restrictiva (RUSA) (I), las relacionadas con la creación, gestión y evaluación de los recursos de información, sus herramientas y servicios, que los usuarios pueden usar de forma independiente en modo local o remoto. Desde ambas perspectivas, el servicio de referencia es hoy día una parte vi- tal de los servicios de cualquier biblioteca (Cassell y Hiremath, 2011), y como tal debe ser evaluado para demostrar su utilidad y valor ante la Institu- ción de la que depende, y para su continua mejora (González-Fernández-Villavicencio, 2012).

En este trabajo se ofrece una visión del proceso de evaluación del servicio de Referencia de la Bi- blioteca de la Universidad de Sevilla (BUS) que se llevó a cabo en dos fases a lo largo del año 2011, así como el análisis de los resultados obtenidos.

I.1. Los servicios de referencia en bibliotecas universitarias

La mayoría de las bibliotecas universitarias ofre- cen hoy día su servicio de referencia en modo pre- sencial y virtual o digital (Manso-Rodríguez, 2010) y muy orientado hacia la enseñanza de fuentes de información y técnicas de búsqueda (Merlo-Vega, 2009). Según el informe del año 2013 de Pew In- ternet "Library Services in the Digital Age" (II), el 80% de los americanos mayores de 16 años con- sidera muy importante el servicio de referencia de las bibliotecas. No obstante, "las estadísticas de uso llevan décadas descendiendo, el servicio resul- ta ineficiente y caro y autores como Steve Coffman consideran su modalidad virtual una de las grandes equivocaciones de los bibliotecarios" (González- Fernández-Villavicencio, 2012).

La existencia de otros servicios que compiten por la atención de los usuarios (Google, Wikipe- dia, Medios sociales) hace que las bibliotecas se encuentren en inferioridad de condiciones. Por otro lado, la situación económica de recortes pre- supuestarios incide directamente en la disminu- ción de la plantilla y en una menor oferta de ser- vicios por parte de las bibliotecas. Otras causas internas a la propia biblioteca afectan también a un uso cada vez menor del servicio y a una deficiente identificación y promoción que lleva a que el usuario lo desconozca (Cassell y Hiremath, 2011), o tenga una percepción negativa del mis- mo cuando el servicio no le ha sido útil o el biblio- tecario no ha sido amable (Connaway y Radford, 2011). Los bibliotecarios deben realizar grandes esfuerzos para promocionar sus servicios y, tan- to el personal de referencia como los responsa- bles de la biblioteca deben considerar formas de cuantificar su trabajo, tanto con fines adminis- trativos, como para estar al día de las tendencias y ofrecer servicios y personal de acuerdo a estas tendencias (Lederer y Feldmann, 2012). Algunos estudios demuestran que el usuario solo necesita ayuda con preguntas muy específicas y difíciles, pero este hecho aumenta el trabajo del referen- cista y se necesitan nuevas formas de medirlo (Tyckoson, 2011).

La evaluación periódica del servicio de referen- cia se convierte así en una de las tareas funda- mentales que debe llevar a cabo la biblioteca para comprobar el funcionamiento y la calidad del ser- vicio y demostrar el valor que la biblioteca aporta a su institución.

I.2. ¿Por qué evaluar el Servicio de Referencia?

Las bibliotecas recopilan datos estadísticos de sus servicios de forma habitual, sin embargo no es tan frecuente que estos datos reflejen la acti- vidad de su servicio de referencia. En el caso de las bibliotecas universitarias en España, las esta- dísticas de REBIUN no incorporan datos sobre este servicio, lo que sí es habitual en las bibliotecas universitarias americanas. Hemos encontrado ca- sos significativos de evaluación de este servicio en algunas bibliotecas universitarias, como en Yale University Library (III). Es ahora, en momentos de reducción presupuestaria, cuando se vuelve imprescindible medir y evaluar para cuantificar la carga de trabajo y justificar los gastos que se rea- lizan en los servicios bibliotecarios. La evaluación no sólo permite tomar decisiones sobre los recur- sos sino también sobre la forma de mejorarlos en calidad y eficacia. La gran cantidad de datos que aporta este servicio debe aprovecharse también para obtener información más compleja y cualita- tiva sobre las necesidades de los usuarios y si las bibliotecas están satisfaciendo esas necesidades. No hay que olvidar que la percepción del servicio por parte del usuario va a depender de la facilidad de uso percibida y de la rentabilidad que obtenga (Chang y Yang, 2012).

Es obvio que los bibliotecarios y los usuarios tie- nen visiones distintas del mismo servicio, el usuario como cliente y el bibliotecario como proveedor. El informe de la OCLC de Connaway y Radford (2011) ilustra con su título - Seeking Synchronicity... - lo que se debe hacer, buscar la sincronía del servicio con las necesidades de los usuarios. El 70% de los usuarios del servicio de referencia virtual conside- ran que pueden tener una buena comunicación con un bibliotecario presencial y en un 30% con uno virtual. En este mismo informe se identifican las siguientes conclusiones extrapolables a cualquier tipo de referencia: desconocimiento del servicio en general; cuando se usa se espera que sea útil; la percepción del usuario se construye tanto por la in- formación obtenida como por la relación con el bi- bliotecario (una percepción positiva depende tanto de la respuesta como de la amabilidad del bibliote- cario, mientras que la negativa obedece sólo a una mala respuesta); se prefiere la referencia presen- cial, pero la virtual es menos intimidatoria y más aconsejable cuando no se está en la biblioteca.

La evaluación del servicio de referencia pasa por la evaluación del servicio en su conjunto, tanto el presencial como el virtual, aunque a veces se plan- tea la evaluación sólo para lo último que se está ofreciendo (Logan y Lewis, 2011). Para el proceso de evaluación, es necesario que se registren diaria- mente las transacciones del servicio de referencia, -o un muestreo-, que permitan la interpretación y descripción de modelos de uso y demanda de estos servicios (Archambault, 2012). Logan (2009) argumenta que cada biblioteca debe crear su pro- pia matriz de datos, para plasmar una perspectiva holística del servicio de referencia.

Como resultado del proceso de evaluación podría suceder que la investigación de mercado indique una necesidad de cambio drástico en la bibliote- ca, y reconfigurar los servicios y los recursos tal y como se ofrecen para que estén en consonancia con las necesidades de los usuarios y la creación de valor (Germano y Stretch-Stephenson, 2012).

II. REVISIÓN DE LA BIBLIOGRAFÍA

Como estudios generales de revisión de procesos de evaluación de servicios de referencia, podemos citar el de McLaughlin (2011) y Tyckoson (2011), que evidencian la ausencia de normas aceptadas univer- salmente, metodologías de estudio y formatos de informes que permitan realizar análisis y comparar resultados. Por otro lado, Keith (2012), en el blog de ALAConnect, ofrece una relación de objetivos y he- rramientas de utilidad para el proceso de evaluación del servicio de referencia de una biblioteca.

Según diversos autores, un servicio de Referen- cia debe ser evaluado teniendo en cuenta los si- guientes factores:

- Datos sobre la transacción, basados en la accesibilidad de los servicios, tiempo de res- puesta y duración y porcentaje de pregun- tas recibidas y contestadas o no contestadas (Tyckoson, 2011), (Ramos, 2012).

- Coste y efectividad de la sesión, la infra- estructura y el software necesario para dar soporte, e impacto en otros costes de la bi- blioteca (Ramos y Abrigo, 2012).

- Satisfacción del usuario con el proceso y los resultados usando indicadores tales como duración, comportamiento del perso- nal, etc. Se mide la satisfacción del usuario, su grado de compromiso y el nivel de difu- sión del mismo por parte del usuario (Pome- rantz y otros, 2008). Una de las metodolo- gías que más se utilizan para obtener datos de satisfacción de usuarios es LibQUAL+®, ya que detecta la calidad de los servicios a partir de las percepciones de los usuarios (Cassell y Hiremath, 2011).

- Calidad de las respuestas del personal, nivel de competencias y habilidades nece- sarias. Se evalúa la seguridad de la infor- mación, lo completa que sea y si se adecúa a la pregunta del usuario, las referencias que aporta, si la respuesta es apropiada a la audiencia, la oportunidad para la interac- tividad, el nivel de formación en competen- cias informacionales que se ofrece durante la transacción (Pomerantz y otros, 2008), (Ramos y Abrigo, 2012). Según un estudio en las Bibliotecas de la Universidad de Illi- nois en Chicago (Logan y Lewis, 2011), los bibliotecarios casi siempre usan una gramá- tica apropiada, y son educados en sus res- puestas.

- Creación de nuevo conocimiento. El es- tudio de Cavanagh (2013), analiza profun- damente las transacciones de la referen- cia presencial en una Biblioteca Pública de EEUU, centrándose en el proceso compartido de aprendizaje y creación de conocimiento en acción. Este autor añade que son pocos los estudios que han examinado la relación existente entre el papel de mediadora de la información de la biblioteca y el de creado- ra de conocimiento compartido con toda la comunidad.

Para la obtención de estos datos, algunos auto- res proponen diversos métodos, tanto cuantitati- vos como cualitativos, como la revisión sistemática de investigaciones, pruebas aleatorias, estudios comparativos o descriptivos (Stevenson y otros, 2012), así como buzón de sugerencias, observa- ción (directa, indirecta y autoimpuesta), encues- tas, entrevistas y estudios de caso (Cassell y Hire- math, 2011).

Una planificada promoción de estos métodos de obtención de datos puede ser la clave del éxito, como en el caso de la Biblioteca de la Universidad de Minnesota (IV), que ha embebido una encuesta en la propia ventana del chat de su sistema de Re- ferencia virtual LibraryH3lp, para conocer las cau- sas del descenso en su uso, promocionando ade- más la encuesta de diversas formas, incluyendo divertidos carteles (V).

En el caso de la referencia presencial, no abun- dan los programas que automaticen la recogida de los datos estadísticos de la actividad de referencia en bibliotecas. En el caso de la virtual, el número de opciones es mayor, aunque sigue siendo reduci- das y de reciente aparición en las bibliotecas. Para ambos casos, la literatura profesional no ofrece mucha información sobre estos programas, remi- tiéndonos de nuevo al blog de ALAConnect, Keith (2012), o al cuadro comparativo de las caracterís- ticas técnicas y funcionales de algunos de los pro- gramas que veremos a continuación (VI).

Las bibliotecas universitarias suelen recoger sus datos estadísticos del servicio de referencia (cuan- do lo recogen), con programas que van desde las hojas de cálculo, hasta programa específicos de re- cogida de datos, algunos de ellos de desarrollo "ad hoc". De cualquier manera, la diversidad de medios para ofrecer servicios de referencia debería exigir el uso de un programa que lo gestionase de forma automatizada. Algunos de estos programas son:

- Hojas de cálculo. Es el sistema más utilizado. Una simple visión de la hoja permite conocer el volumen de preguntas que se responden. Con el tiempo, la hoja de calculo suele ir complicándose para reflejar una información más sofisticada del servicio, como tipo de pregunta, de usuario o tiempo de respuesta (Tyckoson, 2011).

- LibStats . Este programa en código abierto, puede ser usado en múltiples ubicaciones. Fue creado por la Universidad Queensland después de haber usado unas hojas de Ex- cel (Gossett y otros, 2012). Ejemplo de uso de este programa es la biblioteca de Grand Valley State University en Michigan.

- Desk Tracker (VII). Para registrar los deta- lles de cada transacción, las bibliotecas de la Universidad de Illinois utilizan este pro- grama en el que reflejan el tipo de pregunta, duración, tipo de usuario, descripción am- plia de la información que se ha aportado, y dificultad de la pregunta en función de la escala READ (Reference Effort Assessment Data) (Ward y Phetteplace, 2012).

- LibAnswers , es un programa de recogida de estadísticas de referencia y software de análisis de datos, de Springshare. Se imple- mentó en Western Libraries (VIII) que forma parte de Western Washington University, con múltiples puntos de servicio (Gosett y otros, 2012). Este programa cuenta también con un módulo web de análisis estadístico de las referencias (IX) y en el siguiente enlace puede observarse el número de respuestas públicas del servicio en tiempo real http:// askus.library.wwu.edu/.

- Gimlet (X) es un programa que recoge la actividad del mostrador de referencia e in- cluye unas Faqs para el bibliotecario. Loyola Marymount University's (LMU), William H. Hannon Library, en Los Angeles, utiliza este servicio y ha presentado un estudio sobre el mismo en la 78th IFLA General Conference and Assembly (Archambault, 2012).

En el caso de la referencia virtual es más fácil registrar las transacciones que en la presencial, y algunos de los programas que existen incluyen sus propios módulos de estadísticas, como el progra- ma en código abierto LibraryH3lp, o los programas comerciales QuestionPoint o AsK a Librarian de Tutor.com. LibraryH3lp es una aplicación de men- sajería instantánea (IM) integrada y de chat vía web que se incluye en el grupo poco abundante de aplicaciones en código abierto, y ha sido dise- ñada específicamente para las necesidades de los servicios de referencia virtual de las bibliotecas (González-Fernández-Villavicencio y otros, 2009). Utilizan esta aplicación, entre otros, el Servicio de Referencia virtual de la Biblioteca de la Universidad de Sevilla, la Biblioteca de la Universidad Complu- tense de Madrid, o la de la Universidad de Cardiff.

En algunas ocasiones, se crean programas ad hoc para la toma de los datos:

- En Northwest Missouri State University crea- ron el programa KnowBot (XI) que ofrece estadísticas online y en tiempo real de refe- rencia y Faqs.

- La Biblioteca de la Universidad de Minneso- ta ha creado un formulario en Google Docs (XII) para su servicio de referencia en el que, anualmente, se atienden más de 13.000 preguntas en persona y 3.000 vía chat.

- Otras bibliotecas como la de Colorado State University (Lederer y Feldmann, 2012) o la Biblioteca de Ingeniería de la Universidad de Sevilla, han creado una aplicación (XIII) en PhP y MySQL para el registro de las pregun- tas de sus usuarios a través del servicio de referencia, cuyos datos se pueden descargar en una hoja de Excel.

Para el análisis de los datos se utilizan programas estadísticos como SPSS, o bien los nuevos progra- mas para las estadísticas de referencia incorporan sus propios módulos de gestión de estadísticas.

Las transacciones vía virtual se registran con más detalle que las efectuadas de manera presen- cial y presentan la ventaja de que contienen el diá- logo completo de las preguntas-respuestas o, en su caso, de la entrevista de referencia, ofreciendo además la oportunidad de investigar sobre estos datos. La transcripción de las transacciones reco- gen los datos de la interacción, en gran medida cuantitativos, y los datos sobre la interacción, es decir, datos cualitativos de la misma conversación, que son los más difíciles de obtener y de los que menos resultados se han publicado (Bishop, 2012). Estos datos permiten construir la base de conoci- mientos de las transcripciones y las Faqs y se usan para evaluar y mejorar el servicio.

Para analizar los datos obtenidos de las transac- ciones de referencia, se utiliza con frecuencia la es- cala de 6 grados, READ (XIV) ya citada, que intenta registrar aspectos cualitativos cuando el personal de referencia asiste al usuario en sus preguntas, midiendo no sólo el tiempo que se dedica, sino también el nivel de esfuerzo y de conocimiento, y las habilidades y la formación que emplea el biblio- tecario en cualquier consulta. Este modelo ha sido utilizado por diversas bibliotecas y en el ejemplo que plantean Ward y Phetteplace (2012), se utilizó a través de una interfaz web que reflejaba una se- rie de datos de cada interacción, tales como la du- ración, tipo de pregunta, tipo de usuario, hora del día, etc. El objetivo de este estudio era equilibrar el personal y las horas que dedican a la referencia, para adecuarlo al horario que el usuario necesita.

En el caso de las bibliotecas de la Universidad de Illinois, que utilizan como hemos dicho el programa Desk Tracker para recoger detalles de la consulta, incluyeron la "dificultad de la pregunta" de la escala READ a su listado (XV). En esta ocasión tan solo evaluaron los modos síncronos (referencia presen- cial y virtual con interacción bibliotecario-usuario). Los resultados mostraron que el chat es el sistema más usado por la comunidad universitaria, repre- sentando el 57% de todas las preguntas de referen- cia. Las preguntas presenciales sólo representaron un tercio del total. El horario del chat, que se pro- longa hasta la medianoche, indica que los usuarios prefieren usar este medio cuando están estudiando o trabajando en casa (Ward y Phetteplace, 2012).

Luini, C. (2012), examina el uso de OCLC's Ques- tionPoint ("AskUs") en Marian Gould Gallagher Law Library, University of Washington School of Law. En este estudio, en el que se examinaron las trans- cripciones de las transacciones de referencia, se pone en evidencia que el chat responde a pregun- tas más sofisticadas que las realizadas en el mos- trador de referencia y que de esta forma se pue- den detectar los tipos de recursos que los usuarios demandan y los temas de interés de los docentes; así mismo, las preguntas de tipo formativo no fun- cionan bien a través de este medio.

Cualquier periodo de evaluación debe tener como objetivo detectar posibles mejoras del servicio que hay que implementar con su correspondiente plani- ficación. En 2010, la Biblioteca de la Universidad de Cardiff estableció un programa piloto de chat con LibraryH3lp. Los widgets del chat fueron colocados en las páginas web de inicio de las bibliotecas, así como en la sección de Medicina y en la de los re- cursos electrónicos. El servicio, atendido por per- sonal voluntario entre las 9:00 y las 17:00 horas, de lunes a viernes, obtuvo un gran éxito entre los usuarios, registrándose 2.643 peticiones de chat durante el primer año. Aunque las transcripciones de los chat demostraron que los usuarios estaban muy satisfechos y usaban el servicio repetidamen- te, sin embargo demandaban una ampliación del servicio por la tarde e incluso por la noche. Este servicio se ofrece ahora también por las tardes, de noche y en fines de semana, cuando el personal de la biblioteca está disponible (Haerkoenen y otros, 2011). Por su parte, en la Oberlin College Library y tras la evaluación del servicio, decidieron tam- bién ampliar el número de horas que el servicio se ofrecía por la noche y fines de semana (Mitchell y otros, 2011).

En el trabajo citado de Archambault (2012) so- bre el servicio de referencia presencial, de Loyola Marymount University's (LMU) William H. Hannon Library, en Los Ángeles, con el programa Gimlet, se pone de manifiesto como una biblioteca usa los datos de sus usuarios para iniciar el cambio, para tomar medidas y mejorar los servicios. Entre los resultados obtenidos, observaron que los estu- diantes de Empresariales realizaban preguntas de mayor profundidad que el resto de las áreas, por lo que implementaron un servicio de "roving refe- rence" en esa área (XVI), apoyado por una cuenta de Twitter (XVII). Todos los bibliotecarios de refe- rencia usan también Foursquare (XVIII) para hacer checking del lugar en el que están y sincronizar su cuenta de Twitter. Todo ello se refleja en las guías por materias en las que aparece esta información de forma sincronizada.

En el entorno móvil, el estudio de Bishop (2012b) cobra gran actualidad, ya que el objetivo de su in- vestigación era determinar la relación entre las preguntas de los usuarios al servicio de referencia, a través de sus dispositivos móviles y su ubicación. Las apps para móviles pueden tener en cuenta es- tas necesidades y responder las preguntas en fun- ción de la ubicación del usuario, sin intervención del personal de la biblioteca. Comprender este tipo de preguntas puede beneficiar a muchas bibliote- cas, teniendo en cuenta el aumento del uso de los smartphones (el 66% de jóvenes de 18 a 29 años y el 68% de adultos con ingresos elevados, según el informe de Pew Internet (XIX) de septiembre de 2012), y las reducciones de presupuesto que limi- tan los puntos de servicio.

III. LA BUS Y SU SERVICIO DE REFERENCIA

La Biblioteca de la Universidad de Sevilla (BUS), cuenta con un servicio de referencia a sus usuarios, al igual que el resto de las bibliotecas, al que tam- bién se accede de forma virtual a través de su web (XX). La mayoría de las consultas al servicio son atendidas de forma descentralizada, por el personal de las 19 bibliotecas de área que conformaban la BUS y Servicios Centrales en la fecha de realización del estudio. Este servicio ofrece orientación e infor- mación general y bibliográfica sobre los recursos de información y servicios de la biblioteca. Como es habitual, las consultas de orientación e información general (como localización en sala de fondos impre- sos o preguntas relativas al servicio de préstamo) son atendidas por todo el personal de la biblioteca, mientras que la información bibliográfica más espe- cializada la llevan a cabo en mayor medida bibliote- carios de las distintas áreas temáticas.

El Servicio de referencia se presta por distintos canales, tales como teléfono, chat, redes sociales (referencia inmediata), correo electrónico, formu- lario "Consúltenos" y FAQS (referencia no inmedia- ta) y, sobre todo, la atención en persona al usuario en los mostradores y puntos de información situa- dos en las salas de lectura de las bibliotecas y en las áreas de trabajo del personal bibliotecario.

A partir del año 2008, la Biblioteca decide trans- formar su oferta de servicios virtuales de referencia vía chat (con las aplicaciones de Meebo y Plugoo), por un servicio más homogéneo y de mayor calidad y amplitud horaria, sin que este hecho constituyera una mayor carga de trabajo para los bibliotecarios que atienden el servicio, al llevarse a cabo en cola- boración. Además el nuevo sistema debía contar con vías de reenvío de consultas especializadas y absolu- ta transparencia para el usuario final, implantándose finalmente el programa LibraryH3lp (González-Fer- nández-Villavicencio y otros, 2009). De esta forma, el Servicio de Referencia virtual (XXI) lo componen un chat general ubicado en el catálogo de la bibliote- ca "Fama" y atendido por bibliotecarios de todos los centros, 5 chats temáticos, agrupados en 2 en 2013, y uno más destinado al curso COE (XXII).

Tras la puesta en marcha del servicio de referen- cia vía chat y su proceso de análisis de los datos y resultados, se puso en evidencia la necesidad de llevar a cabo un análisis conjunto de todo el ser- vicio de referencia, tanto presencial como virtual, que diera una visión completa sobre la forma en la que se estaba ofreciendo este servicio en la BUS. Para ello había que contar con un marco que sir- viera de referente a la hora de analizar aspectos tales como volumen de preguntas, tipo, patrones de comportamiento y nivel de satisfacción de los usuarios, formación adecuada del personal, etc., de modo que se pudiera valorar mejor el impacto del servicio de referencia de la BUS, en sus dos versiones virtual y presencial y diseñar posibles actuaciones para la mejora del Servicio por cual- quiera de sus canales. El marco elegido fue la es- cala READ (Reference Effort Assesment Data), que describiremos más adelante.

Como objetivo estratégico para el año 2011, la Sección de Apoyo a la Docencia de la Biblioteca propuso la realización de un diagnóstico de la si- tuación del Servicio de Referencia en todas las bi- bliotecas de área, a partir de la toma de datos de las preguntas de información y referencia que los usuarios realizarán a los bibliotecarios de la BUS, por cualquier canal y durante dos periodos de tiempo establecidos.

Los objetivos del proyecto contemplaban, por un lado, la identificación de los comportamientos de los usuarios del servicio, en cuanto a tipo de consultas realizadas, profesionales a los que se dirigen, canales de comunicación, horarios utiliza- dos, etc., así como detectar las áreas y recursos más demandados por los usuarios. Por otro lado se quería comprobar si los servicios, recursos, y formatos que la BUS ofrecía, eran los más adecua- dos para responder a las consultas de los usuarios. Para ello había que cuantificar el tiempo que dedica el personal a atender cada tipo de consulta según su grado de dificultad y el canal utilizado y conocer la proporción de consultas que llegan a través de los distintos canales: presencial, teléfono, correo- e, chat, y las franjas horarias con más tráfico de información. En cuanto al personal que atiende las consultas, habría que analizar la relación entre el grado de esfuerzo o dificultad de las consultas y el canal seleccionado y detectar posibles lagunas en la formación del personal bibliotecario. En tér- minos generales, era fundamental que el personal bibliotecario y directivo tomara conciencia de la importancia de este servicio, así como comprobar si la formación en competencias informacionales que imparte la BUS se adaptaba a las necesidades reales de nuestros usuarios.

IV. PROCESO DE EVALUACIÓN

Si bien en algunas bibliotecas de área de la BUS se rellenaba un estadillo estadístico con las pre- guntas que se atendían en el mostrador de in- formación, e incluso en algunos casos se habían elaborado informes del servicio a nivel de área, hasta este momento que describimos, no se ha- bía abordado un análisis centralizado del servicio. Con este fin se constituyó un Grupo de trabajo de Referencia, coordinado por la Sección de Apoyo a Docencia de la BUS, que lideraría el proyecto en las distintas bibliotecas de área, y que preparó la rea- lización del muestreo, analizando posteriormente los resultados obtenidos. El espacio de trabajo y los materiales creados se encuentran en la wiki del grupo de Referencia, donde se encuentra reflejada la dinámica de trabajo seguida.

Tras examinar la bibliografía existente sobre evaluación del servicio de referencia, se propuso adoptar el modelo de escala READ, cuyos 6 niveles originales contienen los tipos de preguntas de re- ferencia de menor a mayor nivel de dificultad y de tiempo y esfuerzo en la respuesta. Existen varias traducciones al español de esta escala, como la realizada por Sylvia Solá de la Universidad de Puer- to Rico (XXIII), aunque el Grupo de trabajo decidió realizar su propia traducción. Posteriormente, los distintos niveles fueron adaptados para la toma de datos, atendiendo a las características conocidas del servicio, a los objetivos del estudio y buscando siempre una mayor claridad y facilidad tanto para la recogida como para el posterior análisis de los datos. De los 6 niveles originales, se eliminaron el 4 y el 5, resultando en total 4 niveles que se deta- llan a continuación:

- Nivel Básico : Las preguntas se contestan directamente, no hace falta consultar fuen- tes, no son preguntas especializadas.

- Nivel Medio : La respuesta no es tan inme- diata, hay que consultar fuentes, pero suele bastar con Fama (catálogo de la BUS), la pá- gina web de la biblioteca o el/los recurso/s sobre el/los que pregunte el usuario en cuestión. Se le da al usuario una formación muy básica. Puede ser una pregunta espe- cializada pero no nos lleva demasiado es- fuerzo contestarla.

- Nivel Avanzado : Hay que reflexionar bien sobre lo que quiere el usuario y asegurarse de que entiende la respuesta que le damos; hay que consultar varias fuentes y/o darle una formación al usuario más o menos pro- funda en una o más bases de datos. Conlle- va esfuerzo y dedicación.

- Nivel Superior : Peticiones de colaboración a más largo plazo entre el bibliotecario y un grupo de investigadores o profesores de cara a un proyecto de innovación docente, para documentar un nuevo programa de doctorado o equipo de investigación y suele ser un trabajo que se prolonga en el tiempo. Este último nivel se mantuvo como desea- ble y respondería en gran parte al asesora- miento ofrecido por los actuales servicios de apoyo a la investigación, que estaban en sus inicios en la BUS en el periodo de la toma de datos.

La Sección de Apoyo a Docencia realizó una va- loración de los distintos sistemas existentes para la toma de datos, concretamente LibStats y el pro- grama ad hoc Consulta, realizado por la Bibliote- ca de Ingenieros de la Universidad de Sevilla. Se decidió adoptar este último, que fue adaptado por becarios informáticos de la Biblioteca. Esta aplica- ción de recogida de datos es una aplicación cliente servidor basada en una interfaz web, que facilita la recogida de los datos por el personal de cada bi- blioteca, muestra unas estadísticas sencillas sobre los datos recogidos y ofrece la posibilidad de des- cargarlos para su posterior análisis. Internamen- te es un servidor de aplicaciones PHP funcionando conjuntamente con una base de datos MySQL.

De cada consulta de información y referencia realizada, se registraron en la aplicación los da- tos más significativos para el análisis posterior: Fecha de la consulta, Biblioteca donde se recibió y punto de servicio o mostrador, Nombre del bi- bliotecario que la responde, Tipología del usuario, Tipología del personal bibliotecario, Nivel de pro- fundidad de la consulta (básico, medio, avanzado, superior), Duración de la respuesta (menos de 5 minutos, entre 5 y 15 minutos, 15 y 30, 30 y 60, más de 1 hora o incluso más de una entrevista) y Etiquetas, que son asignadas durante el proceso, por el bibliotecario, en relación al contenido de cada pregunta y a partir de un listado de 25 posi- bles: préstamos, formación, adquisiciones, Fama, información general, recursos-e, RefWorks, por- tátiles, etc. Para facilitar su posterior análisis cada etiqueta se enmarcó dentro de 4 categorías temáticas: Servicios, Información General y Bi- bliográfica, Infraestructura y Otros.

La recogida de datos de la totalidad de las con- sultas de referencia recibidas en las bibliotecas de área y servicios centrales de la BUS, a través de cualquier canal, se realizó en dos períodos tempo- rales relativamente cercanos al final y al inicio del curso académico: del 16 al 31 de mayo de 2011 y del 8 al 21 de noviembre de 2011. Se contac- tó con los responsables de las bibliotecas de área para explicarles los objetivos y alcance del trabajo que se pretendía acometer y solicitarles su apoyo y colaboración en la implicación del personal y segui- miento de la tarea. Se debería registrar un porcen- taje cercano al 100% de las consultas efectuadas y esto, aunque se trataba de algo prioritario, suponía una nueva carga al trabajo diario.

Todos los datos recogidos fueron descargados desde la aplicación Consulta a distintas hojas de cálculo en las que se cruzaron los datos y elabo- raron gráficos que el grupo de trabajo analizaría según distintos aspectos: temática de la consulta, análisis de las respuestas, tipología del personal y de los usuarios, horarios, duración de la consulta, nivel de dificultad y medio de comunicación utiliza- do. Se elaboraron dos informes parciales de resul- tados para cada una de las fases y un Informe final en abril de 2012. Este diagnóstico de la situación, debería servir de base para tomar las decisiones oportunas y llevar a cabo las acciones pertinentes para una sistematización y mejora de la calidad del servicio que se ofrece.

V. RESULTADOS OBTENIDOS

Los resultados obtenidos no pueden considerarse sorprendentes. Se constatan unas características y comportamiento del Servicio de Referencia que ya se percibían pero del que no se tenían evidencias que sustentaran posibles iniciativas de mejora. El análisis detallado de las informaciones recogidas en los dos períodos del muestreo (mayo y noviembre, de ahí el hecho de que aparezcan dobles porcen- tajes junto a cada ítem), revelaron los siguientes resultados y características generales del Servicio de Referencia de la BUS:

- Las consultas referidas a Información gene- ral y bibliográfica, aunque fueron las más numerosas (36%-38%), no destacaron de- masiado sobre las demás; les siguieron por- centualmente de cerca las que estimamos excesivas preguntas sobre Infraestructuras (31%-30%) y sobre Servicios (28%-31%), quedando englobadas en la categoría Otros un 1%-5% de las mismas.

- El nivel de dificultad de las preguntas ha sido calificado, por el personal que atiende el ser- vicio, como básico en un elevado porcentaje (80% - 77%), seguido a gran distancia por las preguntas de nivel medio (18% - 21%). Las preguntas de nivel avanzado son muy escasas (2%) y sólo una pregunta fue califi- cada como de nivel superior.

- Las categorías en que se clasificaron las res- puestas, según su contenido y las fuentes utilizadas para proporcionarlas, fueron 9 (Ver Anexo). A la 1a categoría "Se contes- ta con brevedad a la pregunta puntual del usuario" se asignó la mayoría de las pre- guntas (56%-58%), seguida de la 5a cate- goría "Ayudamos al usuario con problemas técnicos" (17%-11%). Las tres categorías de Respuesta que cubrían la información bi- bliográfica propiamente dicha (categorías 2, 3 y 4) fueron el 20%-25%. Hubo además un cierto número de consultas de todos los temas cuya respuesta no fue bien clasifica- da dentro de su categoría en la aplicación; estos erróneos encuadres del tipo de res- puesta se pudieron deber a una mala inter- pretación de la ayuda o del procedimiento de actuación para rellenar el formulario o incluso a fallos puntuales de la aplicación.

- Se dieron muy pocas Derivaciones de las preguntas (2%-3%) para que fueran aten- didas por otros compañeros de la Bibliote- ca o servicios de la Universidad (Categorías de respuesta 6 y 7). Hubiera sido deseable que el número de derivaciones fuera mayor, al estimar que en ocasiones los usuarios no hayan recibido la respuesta oportuna para satisfacer su demanda de información. Las escasas derivaciones, comportamiento por lo demás habitual en la bibliografía consul- tada (Lederer y Feldmann, 2012) (Horne y otros, 2012), puede deberse en parte al significativo menor número de bibliotecarios ayudantes o facultativos en horario de tar- de, y en parte también a la falsa creencia de que todos tenemos los mismos conocimien- tos profesionales, sin pensar que ni esto es así, ni al usuario debemos ofrecerle una respuesta errónea o simplemente incomple- ta cuando podría ser buena o excelente. La bibliografía indica además que a los actuales Servicios de Referencia cada vez llegan me- nos consultas pero más específicas y com- plejas, por lo que derivar es muy convenien- te aunque para el usuario pueda ser molesto cambiar de interlocutor.

- No obtuvieron respuesta un número mínimo de consultas (0,38%-0,20%), 27 pregun- tas), casi todas formuladas por alumnos y mayoritariamente en horario de tarde. Un análisis pormenorizado de las preguntas (en su mayoría problemas informáticos) nos lle- va a concluir que muchas se hubieran podido responder por derivación a otros compañe- ros, o de haber mediado más comunicación y trasvase de información entre ellos.

- El tipo de usuario que hace mayor uso del Servicio de Información y Referencia es el de alumnos (entre 79% - 84% del total de las consultas procedieron de alumnos de nuevo ingreso, licenciatura, grado y post- grado), aunque la presencia de Personal Docente e Investigador (PDI) fue también significativa (entre 6% - 8%); del Personal de Administración y Servicios (PAS), se reci- bieron el 2% de consultas. Reseñamos que los alumnos constituían en 2011 el 92% de nuestra comunidad universitaria (78.956 en total), el PDI el 5% (4.487 integrantes) y el PAS un 3% (2.420 personas).

- El medio de comunicación utilizado de forma predominante es el presencial (89% -87%), frente a los no presenciales: Teléfono (8%, fundamentalmente por PDI y PAS), Correo electrónico (2% - 3%) y Chat (1% - 2%). El uso del chat se redujo, sobre todo en la primera toma de datos, a más de la mitad de lo habitual, quizás debido en parte al trabajo añadido que conllevaba la grabación de las consultas y que pudo distraer en ocasiones la atención del chat. El aumento en el uso del chat en el segundo muestreo (del 1 al 2%, lo que supone un 100%) pudo deberse, ade- más de al menor número de consultas pre- senciales que se formularon, a la insistencia en su atención y el seguimiento de este ser- vicio desde la Sección de Apoyo a la Docencia de los Servicios Centrales de la BUS.

- En cuanto a su duración, la inmensa mayo- ría de las consultas se respondieron en me- nos de 5 minutos (82% - 73%), entre 5-15 minutos tardaron en responderse un 15% - 23%, un 2% - 3% entre 15-30 min. y tan sólo un 1% de consultas entre 30-60 min. o más. Las preguntas de información biblio- gráfica que requirieron la consulta de varios recursos son, como era de esperar, las que proporcionalmente requieren un tiempo de respuesta superior a los 5 minutos. El tiem- po medio que el personal dedica a las tareas de referencia e información es escaso y se ha estimado, tras el análisis de los datos re- cogidos, en algo menos de una hora diaria para el personal técnico de Biblioteca y en media hora para los ayudantes/facultativos.

- Todo el personal de la BUS distribuido en 20 bibliotecas (232 personas del total de 238 efectivos que trabajaban en la biblioteca en 2011), se implicó en esta experiencia de análisis del Servicio de Referencia. El Per- sonal Técnico de Biblioteca TAB/TEB (TAB -Técnico Auxiliar de Bibliotecas- y TEB -Téc- nico Especialista de Bibliotecas-), mayorita- rio (129 personas) y en contacto directo con el público en los Mostradores de Orientación y Préstamo, atiende también mayoritaria- mente (80% - 75%) el Servicio de Referen- cia en la BUS. Los bibliotecarios ayudantes (79) resolvieron un 15-17% de las consultas en ambos muestreos; los facultativos (10) respondieron un 4%-2%; los becarios un 2% y el personal administrativo (15) el 1%.

El hecho de que el Servicio de Referencia de la BUS descanse sobre los técnicos de bibliotecas guarda también estrecha relación con el nivel bási- co preponderante de sus preguntas, de orientación (infraestructuras, servicios), información general e información bibliográfica básica. Sólo las pregun- tas de información bibliográfica que han necesitado para responderse de la consulta de varios recursos, y las referidas a formación y adquisiciones, han roto este predominio al ser atendidas en porcenta- jes equivalentes, o en su mayoría los dos últimos, por personal bibliotecario ayudante y facultativo y por personal administrativo.

En relación a la distribución horaria, el servicio se ofrece en mayor medida por la mañana que por la tarde, en una proporción de 60/40. Las franjas ho- rarias que reciben mayor número de consultas son 10:00-14:00 horas (máximo de 11:00-12:00 ho- ras) y 16:00-19:00 horas (con máximo de 17:00- 18:00 horas). Hemos de tener en cuenta que es muy superior el número de efectivos de personal en turno de mañana, tanto de técnicos como, so- bre todo, de personal ayudante/facultativo, a lo que se une la circunstancia de que, en el muestreo, el periodo de la tarde contaba con una hora menos de duración a efectos de distribución horaria.

Tras estos resultados generales, procedemos a un análisis algo más detallado del comportamiento del Servicio de Referencia de la BUS ateniéndonos al análisis de todos los datos recogidos.

V.1. Número de consultas

El número total de consultas de información y/o referencia registradas en los dos períodos de tomas de datos, 21 días laborables en total, da una cifra global de 9.866, pero con una distribución bastante dispar: En el primer periodo (16-31 de mayo) se registraron 6.925 consultas, y en el segundo (8- 21 de noviembre) sólo 2.941, con un significativo descenso del 42,46 % en el número de consultas registradas entre ambos períodos. Este descenso pudo tener varias causas, entre ellas el mayor nú- mero de transacciones de préstamo y devoluciones a fines de noviembre, fecha más cercana al inicio del curso, lo que no permitiría atender ni registrar en la aplicación con tanta exhaustividad un cierto número de consultas de referencia e incluso po- dríamos atribuirlo también a un cierto cansancio del personal, al tratarse ya de un segundo mues- treo que exigía de nuevo una atención prioritaria y un trabajo añadido al habitual.

V.2. Temática de las consultas

Los contenidos de las consultas se agruparon en 25 temas, etiquetas o subcategorías que se asig- naron a posteriori en la primera toma de datos, cuando se analizaron las preguntas, y directamen- te por el personal de la biblioteca, en el momento de la grabación, en la segunda toma de datos. Los 25 temas se agruparon a la vez, como ya dijimos, en cuatro grandes categorías: Servicios, Infraes- tructura, Información y Otros.

La tabla I ofrece los porcentajes de las consultas según su temática (categorías generales y etique- tas) y para los dos períodos de tomas de datos, de ahí que sigamos ofreciendo junto a cada ítem dos porcentajes, el primero correspondiente al mes de mayo y el segundo a noviembre.

V.3. Consultas sobre SERVICIOS

Dentro de esta categoría, el mayor número de consultas se refieren al Servicio de Préstamo (94% -86%), y estaban etiquetadas y relacionadas con préstamos, carnets, reservas y Mi Cuenta (en Fama). Sobre adquisiciones versaron tan sólo un 5% y un 7% de las consultas y sobre formación el 1% y el 7%, con aumento significativo de estas úl- timas en noviembre, cuando la oferta y la demanda formativa es mayor.

Por su nivel de dificultad las preguntas sobre ser- vicios fueron consideradas de nivel básico en un 89%-86%, y de nivel medio alrededor del 12% (en ambos muestreos).

Tipos de respuestas: De los 9 grupos en que po- dían ser clasificadas las respuestas (Ver Anexo), la mayoría de las preguntas sobre servicios se con- testaron con brevedad, en menos de 5 minutos y sin necesidad de consulta de prácticamente ningu- na fuente de información.

Tipo de usuario: La mayoría de las consultas pro- vienen del colectivo universitario más numeroso, el de alumnos -de grado, licenciatura 1o y 2o ci- clo y máster- (86% -79%), usuarios externos y ex alumnos (5% - 8 %), PDI (4% /6 %) y desconoci- dos (3% - 5%).

Tiempo de respuesta: La mayor parte de las con- sultas sobre préstamo se resuelven en menos de 5 minutos (92% - 80%); un 31% de las referidas a adquisiciones y un 20% de las referidas a forma- ción tardaron en responderse de 5 a 15 minutos, ya que requirieron en ocasiones la consulta de los programas de adquisiciones, eventos o cualquier otra documentación online o impresa.

En cuanto a distribución horaria las consultas sobre préstamo fueron formuladas en un 60% en horario de mañana (8.00 h. a 15:00 h.) y en un 40% en horario de tarde (15:00 h. a 21:00 h.). Las preguntas sobre adquisiciones y formación (muy escasas) se realizaron fundamentalmente por las mañanas y en proporciones cercanas al 80 y el 90%, circunstancia que explicamos por la ma- yor presencia en el turno de mañana de personal administrativo y de bibliotecarios ayudantes y fa- cultativos, receptores de estas consultas, en gran medida.

Medios de comunicación: En persona se contes- taron el 84 % de las consultas sobre servicios; por teléfono un 13 % (mayor uso de esta vía por el PDI para consultas sobre adquisiciones); a través de correo-e sólo un 2% y el chat un 1%, un 50% menos de lo habitual en este servicio de Referencia Virtual y como ya se ha indicado anteriormente.

Según el personal: El personal técnico de biblio- tecas responde de forma abrumadora a las con- sultas sobre préstamo (independientemente del medio de comunicación), con unos porcentajes del total de las consultas del 85% y 83%. Las con- sultas sobre adquisiciones son atendidas en mayor número por bibliotecarios ayudantes y facultativos (38% - 55% ) y casi con toda probabilidad serían también respondidas por el colectivo de adminis- trativos, que se agrupó a efectos de personal junto a los TAB/TEB.

En las consultas sobre formación se invierte la tendencia general de respuesta mayoritaria por los TAB/TEB/administrativos, al ser atendidas en un 70-75% por el grupo de ayudantes/facultativos.

Es importante indicar llegados a este punto que, tanto en el diseño de la evaluación del servicio de referencia como en las instrucciones dadas al per- sonal para la toma de datos, se insistió en la exclu- sión y no grabación de consultas directamente re- lacionadas con la transacción de préstamo, reserva o renovación, recogiéndose tan sólo las consultas realizadas sobre temas generales de préstamo. No obstante, en el análisis detenido de las preguntas relativas al préstamo, el contenido de las mismas (por ejemplo: un usuario nos pide una renovación telefónica, o, renovación de libros), nos lleva a pensar que se grabaron en la aplicación algunas preguntas directamente relacionadas con la tran- sacción de préstamo, aunque con poca incidencia.

Consideramos que el alto número de preguntas (y sus correspondientes respuestas) sobre el Ser- vicio de Préstamo, puede indicar desconocimiento y falta de información del alumnado sobre un ser- vicio que les interesa y les afecta en gran medida. Esta situación puede deberse a la reducción de las sesiones de iniciación a la biblioteca al comienzo de curso, al ser sustituidas por el Curso de Orien- tación al Estudio (COE), pero, sobre todo, a la falta de promoción y marketing del servicio de bibliote- ca. La información sobre los servicios incluida en la web de la Biblioteca, las guías de las bibliotecas y la cartelería tradicional junto a las ofrecidas por los canales de comunicación social como Facebook o Twitter, necesitarían un plan específico de mar- keting digital. No obstante podemos decir que ya se han dado los primeros pasos al incluir en el plan estratégico de la biblioteca 2014, un plan de co- municación externa que sentará las bases de un futuro plan integrado de marketing digital.

V.4. Consultas sobre INFORMACIÓN

En este grupo incluimos las consultas de infor- mación general y de información bibliográfica que realizaron los usuarios, clasificadas mediante sólo 2 etiquetas o subcategorías: "información general" y "recursos-e". Las 3 categorías de respuesta asig- nadas a la categoría, pone más de relieve los con- tenidos de las consultas.

Hubiera sido necesario analizar esta categoría de forma separada por constituir la atención al usua- rio en sus problemas de búsqueda de información, la función más importante del Servicio de Referen- cia, pero este análisis excedía los límites de nues- tro estudio al menos en esta primera fase.

Estas consultas representan como ya dijimos un 36-38% del total (3.537 ocurrencias), constituyen- do tan sólo algo más de un tercio de las formuladas.

Las consultas relativas a "Información general" (que van desde la ayuda al usuario en la locali- zación de un documento concreto a la búsqueda sobre un autor), fue absolutamente mayoritaria (89%-96%), quedando la referida a "recursos-e" reducida a un 11%-4%.

Por su nivel de dificultad fueron consideradas de nivel básico alrededor de un 70% de las mismas (73% -68%); de nivel medio algo más de un 25% (23%-28%) y de nivel avanzado un 4%.

Hubo un porcentaje quizás alto de consultas de respuesta rápida calificadas de nivel medio, que requirieron una consulta en el catálogo Fama y que a tenor de su redacción no debieran entrañar difi- cultad al tratarse de búsquedas por autor, título, palabra clave.

Tipos de respuestas: Las preguntas de informa- ción bibliográfica han quedado englobadas en su mayoría en los tipos de respuestas "Consultamos Fama" (búsqueda rápida - aprox. 10%), "Busca- mos en Fama" (Búsqueda más detallada por te- mas - aprox. 8%) y "Buscamos en varios recursos" (aprox. 7%); no obstante sobre un 22% de las mismas "se responden con brevedad" y no necesi- taron la consulta de ninguna fuente de información (por ejemplo, preguntas de localización de fondos en sala) (Ver Anexo).

Tipo de usuario: Los alumnos de licenciatura / grado y de máster/postgrado formularon alrededor del 80% de las consultas de información general y un 64% de las referidas a recursos-e; el PDI aprox. el 10% de las de información general y, como era de esperar, elevó el número de consultas referidas a recursos-e a un 21 %, ya que son las revistas electrónicas y bases de datos las consultas predo- minantes de este colectivo desde sus despachos o desde casa, aumentando además el número de consultas telefónicas.

Tiempo de respuesta: Un 62% de consultas de información se resuelven en menos de 5 minutos, y un 30% necesitaron para responderse entre 5 y 15 minutos, siendo mayoritarias en esta franja temporal las que requieren una búsqueda sobre un tema en el catálogo Fama. Tan sólo un 7% de las mismas han necesitado de 15 a 30 min. de res- puesta.

En su distribución horaria siguen predominan- do las consultas en horario de mañana sobre las del horario de tarde, siendo la Búsqueda en va- rios recursos de información mayoritaria en el horario de mañana, al concentrarse en ese ho- rario el mayor número de bibliotecarios ayudan- tes y facultativos, que son los que atendieron un número considerable de consultas de información bibliográfica más complejas.

Medio de comunicación: Las preguntas de infor- mación general y bibliográfica vuelven a ser pre- senciales en casi un 90% de los casos y telefóni- cas en un 6%; tan sólo las referidas a "recursos-e" rompen este esquema general de dominio casi ab- soluto de la presencialidad y, por medios no pre- senciales, teléfono y correo-e, se formulan y atien- den el 35-40% de las consultas, las que realizan el PDI u otros colectivos cuando están haciendo uso de los recursos electrónicos y no se encuentran fí- sicamente en la biblioteca.

Personal: Aunque los técnicos de bibliotecas han respondido de nuevo el mayor porcentaje de pre- guntas, a medida que crece la dificultad de las con- sultas, aumenta como hemos indicado el número de las atendidas por el grupo de los ayudantes/ facultativos.

V.5. Consultas sobre INFRAESTRUCTURA

Las consultas sobre Infraestructura suponen un 30% del total (31% - 30%) clasificadas por su variada temática en 5 apartados: Informática y redes (con las siguientes etiquetas de mayor a menor número de ocurrencias: "Eduroam", "Por- tátiles", "Linux", "Cables de seguridad", "Ordena- dores" y "Netbooks"); Espacios ("Salas", "Reserva de salas"); Horario; Reprografía y otros servicios ("Impresoras"); Equipamiento ("Autopréstamo", "Equipamiento").

El mayor número de consultas fueron las refe- ridas a Informática y redes (61%-52%). Las pre- guntas sobre Equipamientos fueron escasas (8%- 2%), con mayoría de las referidas a Autopréstamo (144 ocurrencias). Las consultas sobre Horarios (15%-14%) fueron numerosas (454 ocurrencias) y sobre Reprografía versaron el 10% de las mismas.

Nivel de dificultad: En esta categoría de con- sultas, con predominio de temas informáticos, es más elevado el porcentaje de consultas clasifica- das como de nivel medio (30%-43%), frente a un 69%-56% de nivel básico y sólo un 1% avanzado.

Tipo de respuesta: "Ayudamos al usuario con pro- blemas técnicos" fue la respuesta elegida para un elevado número de consultas de Infraestructura.

Por tipo de usuarios, los alumnos formularon hasta un 90% de las mismas. Las restantes las for- mularon ex - alumnos y usuarios calificados como desconocidos (3% respectivamente) y procedieron del PDI tan sólo el 1% del total.

Tiempo de respuesta: La mayoría de consultas de temas de Infraestructura se resuelven en me- nos de 5 minutos (80% - 75% ) y entre 5 y 15 minutos (19% - 25% ).

Por su distribución horaria las consultas sobre Infraestructura siguen la tendencia general de for- mulación en un mayor número por la mañana que por la tarde, excepción hecha de la consulta sobre horarios (57% tarde).

El medio de comunicación utilizado masivamen- te (95%) vuelve a ser el presencial, tanto para la categoría general como para las subcategorías, bastante lógico puesto que los temas por los que suelen preguntar los usuarios, con exclusión del "horario", están directamente relacionados con los ordenadores, las salas y su equipamiento, por lo que las dudas surgen cuando el usuario se encuen- tra en nuestras instalaciones. Esto explica también que estas consultas se haya contestado casi exclu- sivamente (>90%) por los técnicos de bibliotecas, el grupo de personal que está físicamente más cer- ca de los usuarios en los mostradores de sala.

Para concluir este apartado querríamos llamar la atención sobre dos aspectos del mismo. Las consultas sobre Informática y redes, habituales en las bibliote- cas dado que hay ordenadores en sala y se prestan portátiles y netbooks, las consideramos sin embargo excesivas en el muestreo llevado a cabo. Este número fue sin embargo muy superior a lo habitual, en con- creto las referidas a la conexión a la Red "Eduroam", "portátiles" y "Linux", debido a que en el periodo de la primera toma de datos de mayo, se cambió el sis- tema operativo de los ordenadores de las bibliotecas (de Windows a Linux/Ubuntu), afectando al protocolo de conexión wifi, cuando los usuarios y el personal de la biblioteca ya estaban familiarizados con la conexión Windows. La falta de previsión y comunicación del cambio, desorientó a personal y usuarios, reflejándo- se en el número elevado de consultas de esta temáti- ca. Por otra parte, también nos resultan excesivas las consultas sobre horarios (14%-15%), concretamente sobre amplitud del horario de apertura diaria y de los sábados, efectuadas en el mes de mayo, en periodo de exámenes y con el curso académico a punto de finalizar. Esta información debe estar más accesible y explícitamente indicada en los accesos a las bibliote- cas, cartelería interior, espacios web tradicionales y en redes sociales.

V.6. Consultas sobre OTROS

Quedaron englobadas en la categoría Otros tan sólo el 5% y el 1% de las consultas de mayo y noviembre respectivamente, bajo las etiquetas "Direccionales" (277 ocurrencias) y "otros" (231). Entre las "direccionales" se formularon preguntas sobre localización de Departamentos y de otras bibliotecas, de las aulas de informática, o de de- pendencias dentro de la misma biblioteca. En la categoría "otros" se incluyeron preguntas sobre creación de blogs, RSS, reutilización de papel usa- do de la biblioteca por los alumnos, autorizaciones de los alumnos autores de proyectos fin de carrera, creación de bibliografía, listados de revistas de im- pacto, acreditaciones y sexenios, etc.

Tipo de respuesta: Las consultas direccionales eran preguntas puntuales que quedaban incluidas en su mayoría dentro del tipo "Se contesta con brevedad a la pregunta puntual del usuario". La mayoría de las consultas etiquetadas como "otros" recibió "Otra respuesta".

Fueron consideradas por su Nivel de dificultad como de nivel básico prácticamente todas las di- reccionales (95%), pero en las calificadas como "otros" aproximadamente un 30 % se considera- ron de nivel medio y un pequeño porcentaje que no llega al 10% como de nivel avanzado.

En cuanto al tipo de usuario, fueron los alumnos los que formularon, en más de un 70% de los ca- sos, las preguntas direccionales.

Tiempo de respuesta: Las preguntas direccio- nales se contestaron en menos de 5 minutos; en- tre 5-15 minutos requirió la respuesta de aproxi- madamente el 30% de las etiquetadas como "otros".

Distribución horaria: Las preguntas siguieron la tendencia general de predominio en horario de mañana.

El medio de comunicación elegido para las pre- guntas direccionales fue esencialmente el presen- cial (92% en noviembre); para las incluidas en "otros" un 80% fue presencial, aproximadamente un 9% se formularon por teléfono y correo-e y un 3% por chat.

Personal: Mientras que las direccionales fueron respondidas por técnicos de bibliotecas, las consul- tas bajo etiqueta "otros" fueron atendidas en más de un 30% por ayudantes y facultativos.

VI. LIMITACIONES AL ESTUDIO

La principal limitación de nuestro estudio es la falta de otros de similares características con los que compararlo, ya que solo contamos en la litera- tura especializada con estudios parciales.

La duración de la muestra podría considerarse otra limitación, 21 días laborables distribuidos en dos periodos temporales, sin embargo, esa limita- ción temporal es una constante en la bibliografía consultada (Ward, 2012). Los dos periodos de la muestra en distintas épocas del año, han reflejado que las necesidades de los usuarios varían en esos dos periodos de tiempo. En noviembre los alumnos no están familiarizados aún con la biblioteca, y por ello se plantean preguntas de orientación y prés- tamo; sin embargo en mayo, los alumnos tienen puesta su atención en los exámenes y es el PDI el que por su labor docente e investigadora requiere mayor tiempo en la contestación a sus preguntas.

El número de las categorías, 25 en total, difi- cultó la obtención y clasificación posterior de los datos, por lo que en la segunda muestra de mayo se decidió desglosar y agrupar categorías, y aña- dir un campo más en la aplicación referido al tema de la pregunta.

Tampoco se contabilizaron en la muestra, las preguntas de referencia respondidas por los biblio- tecarios en la plataforma de docencia WebCT, ni en los blogs y las wikis temáticas.

Faltaría el estudio de las transcripciones de las tran- sacciones de referencia virtual, que sin duda aporta- rían una visión más real del servicio. Por último, sería interesante seguir realizando muestreos que permi- tieran evaluar de forma periódica el Servicio de Refe- rencia, así como la puesta en marcha de las recomen- daciones del informe oficial del periodo de evaluación.

VII. CONCLUSIONES

Según el estudio de la bibliografía, los datos ob- tenidos no sorprenden en su conjunto, responden a las pautas más o menos establecidas en los servi- cios de referencia de las bibliotecas, a excepción de lo relativo a las proporciones; es decir, lo normal es que la mayor parte de las preguntas sean presen- ciales (Ward, 2012), de alumnos y de nivel básico y corta duración (Lederer, 2012), pero no en propor- ción tan elevada como ocurre en nuestro caso. Este comportamiento lo encontramos en todos los ítems que se han estudiado. La pregunta tipo se contes- ta mayoritariamente en persona (89% -87%), de forma breve (56%-58%), es de nivel básico (80% - 77%), con mayor peso en la mañana que en la tarde (60% / 40%), de menos de 5 minutos (82% - 73%), mayoritariamente a alumnos (79% - 84%), y atendida por TAB/TEB (80% - 75%). Por otro lado, el tiempo medio que se dedica a la Referencia por el personal de biblioteca es escaso, menos de una hora diaria para el personal técnico, y media hora el ayudante/facultativo.

También sorprende el bajo uso del Servicio de Referencia a través de chat, cuando los estudios demuestran que se trata de una opción cada vez más usada en bibliotecas (Lederer, 2012) y, a ni- vel de empresas, "una cuarta parte de los clientes utiliza el chat online cuando no encuentra lo que necesita en la web" (XXIV). Como se ha puesto de manifiesto (González, 2012), la innovación en los servicios de referencia se encuentra marcada por cuatro tendencias: salir de los espacios físicos habituales, la oferta de servicios virtuales y mó- viles, el uso de las herramientas de la Web social y la colaboración entre profesionales. El futuro de la referencia es multimodal y hay que ofrecer una gran variedad de servicios según las necesidades de las cambiantes audiencias y las preferencias de los usuarios. No hay que olvidar que estamos en la época del consumo basado en situaciones, diferen- tes productos cubren las distintas necesidades de información de los usuarios. La biblioteca universi- taria tiene que estar presente en cualquier lugar y a cualquier hora, disponible para cualquier persona y por el mayor número de canales y ofreciendo un servicio de referencia que satisfaga las necesida- des de sus usuarios (Nolen y otros, 2012). Aun- que los resultados no sean positivos, no se pueden reducir las posibilidades que tiene el usuario, de acceso a la información y al bibliotecario experto. Si el servicio no se usa, algo se está haciendo mal, es evidente que no se le está ofreciendo al usuario lo que necesita, dónde y cuándo lo necesita, no se evalúan los resultados ni se adoptan medidas correctoras en función de esos datos, no aplicamos planes de marketing que optimicen el servicio y los hagan visibles, personalizados, móviles y sociales (González-Fernández-Villavicencio, 2012). Es difí- cil ser valorado cuando se es invisible (Mon y Ha- rris, 2011) y por ello hay que elaborar un Plan de Marketing con un doble objetivo: que todo usuario sepa donde y como obtener ayuda de referencia, y quién puede ofrecerle esa información y ayuda.

En cierta medida estos resultados no extrañan a nadie, pero ahora sí existen evidencias del compor- tamiento del usuario en la BUS, de sus necesidades y de lo que espera de la biblioteca, así como de la percepción del servicio por parte del personal y de las cargas de trabajo. Por lo tanto, las acciones que se llevan a cabo en base a estos datos, van a tener una mayor probabilidad de éxito ya que no se basan en conjeturas o percepciones, sino en cifras. La lectura de los datos que acabamos de analizar nos puede dar muchas pistas sobre qué hacer para mejorar el servicio y las expectativas de los usuarios, su percepción del servicio, para opti- mizar los recursos humanos y materiales que se asignan, optimizar las rutinas de trabajo del Servi- cio de Referencia, para potenciar servicios que se desconocen, ofrecer la información que se necesita de forma más directa tanto en los sitios web de la biblioteca como a través de materiales impresos y de dispositivos móviles o para mejorar la imagen de marca y la reputación de la biblioteca.

Terminamos este artículo agradeciendo a todos los bibliotecarios de la Universidad de Sevilla su participación en la toma de datos y el esfuerzo rea- lizado, al grupo de trabajo de Referencia por su de- dicación y a la Biblioteca de Área de Ingenieros por cedernos su aplicación para la recogida de los datos.

Sidebar

Cómo citar este artículo/Citation: González-Fernández-Villavicencio, N.; Cánovas-Álvarez, E.; Arahal-Junco, C. (2014). Evaluación del servicio de referencia de una biblioteca universitaria: Biblioteca de la Universidad de Sevilla. Revista Española de Documentación Científica, 37(2):e045. doi: http://dx.doi.org/10.3989/redc.2014.2.1072

Footnote

NOTAS

(I) Más información en: http://www.ala.org/rusa/ resources/guidelines/definitionsreference

(II) Más información en: http://libraries.pewinter- net.org/2013/01/22/library-services/

(III) Evaluación del servicio: http://www.library. yale.edu/assessment/

(IV) Más información en: http://libraryh3lp.blogspot. com.es/2012/11/library-chat-surveys-university-of.html

(V) Imagen del cartel: http://3.bp.blogspot.com/- Ces7OsDo_9g/UKToQdjesuI/AAAAAAAAAJk/VHZL- b0hy7Ms/s1600/meme-1-baby.png

(VI) Cuadro comparativo: http://socialcompare. com/en/comparison/meebo-alternatives-1ap5l6l7

(VII) Acceso disponible en: http://www.desktracker.com

(VIII) Más información en: http://library.wwu.edu

(IX) Disponible en: http://etmars.wordpress. com/2012/02/10/reviews-tracking-stats-with-refe- rence-analytics/

(X) Más información en: http://gimlet.us

(XI) Más información en: http://knowbot.owensli- brary.org/

(XII) Disponible en: http://www.infotoday.com/cil- mag/oct11/Carter_Ambrosi.shtml

(XIII) Más información en: http://bibing.us.es/consultas/

(XIV) Más información en: http://readscale.org/in- dex.html

(XV) Más información en: http://www.library.illi- nois.edu/assessment/readscale.html

(XVI) Referencia en movilidad, por la que el bibliote- cario abandona los espacios habituales de la biblioteca para satisfacer las preguntas de los usuarios donde éstos se encuentren.

(XVII) Más información en: https://twitter.com/ lmulibrarianedu

(XVIII) Servicio basado en localización web aplicada a las redes sociales.

(XIX) Más información en: http://pewinternet.org/ Reports/2012/Cell-Activities.aspx

(XX) Disponible en: http://bib.us.es/servicios/pre- gunte/index-ides-idweb.html

(XXI) Disponible en: http://bib.us.es/servicios/pre- gunte/ayuda_chat-ides-idweb.html

(XXII) Curso de Orientación al Estudio para alumnos de nuevo ingreso.

(XXIII) Escala READ: http://readscale.org/ READ%20Scale%20Espanol.pdf

(XXIV) Más información en: http://www.puromar- keting.com/53/14886/solo-consumidores-muestra- satisfecho-servicio-atencion.html

References

BIBLIOGRAFÍA

Archambault, S. G. (2012). Desk statistics under a microscope = Improved library services. Procee- dings 78th IFLA General Conference and Assem- bly, p. 1-22. Helsinki, Finland.

Bishop, B. W. (2012). Analysis of reference tran- sactions to inform library applications (apps). Library & Information Science Research, vol 34(4), 265-270. http://dx.doi.org/10.1016/j. lisr.2012.06.001

Bishop, B. W. (2012b). Where do we go from here?: Informing academic library staffing through re- ference transaction analysis. College & Research Libraries Pre-print.

Cassell, K. A.; Hiremath, U. (2011). Reference infor- mation services in the 21st century: an introduc- tion. (2nd ed.). London; Neal-Schuman Publishers.

Cavanagh, M. F. (2013). Interpreting reference work with contemporary practice theory. Journal of Documentation, vol. 69 (2), 214-242. http:// dx.doi.org/10.1108/00220411311300057

Chang, J.-J.; Yang, C. (2012). Viable or vital? Eva- luation of IM services from patrons' perspectives. The Electronic Library, vol. 30 (1), 70-88. http:// dx.doi.org/10.1108/02640471211204079

Connaway, L. S.; Radford, M. L. (2011). Seeking synchronicity: revelations and recommendations for virtual reference. Dublin, OH: OCLC Research. http://www.oclc.org/reports/synchronicity/de- fault.htm [Consultado: 15 de febrero de 2013].

Germano, M.; Stretch-Stephenson, S. M. (2012). Strategic value planning for libraries. The bottom line: managing library finances, v. 25 (2), 71-88.

González-Fernández-Villavicencio, N.; Barrera-Gó- mez, J. A.; Gómez-Fernández, M. J.; Moscoso- Castillo, M.; Santos-Flores, V.; Suárez-Samanie- go, M. (2009). Referencia virtual en la Biblioteca de la Universidad de Sevilla: una experiencia colectiva. El Profesional de la Información, vol. 18 (6.), 633-641. http://dx.doi.org/10.3145/ epi.2009.nov.06

González-Fernández-Villavicencio, N. (2012). Ser- vicios de referencia en bibliotecas universitarias: tendencias y plan de marketing. El Profesional de la Información, vol. 21 (6), 563-572. http:// dx.doi.org/10.3145/epi.2012.nov.03

Gossett, J. G.; Stephan, E.; Marrall, R. (2012). Implementing reference statis- tics collection software at multiple li- brary service points. New Library World, vol. 113 (5/6), 235-248. http://dx.doi. org/10.1108/03074801211226328

Haerkoenen, S.; Blackmore, A.; Beadle, R. (2011) Creating a successful chat library service: ask a librarian live at Cardiff University, p. 1-14 [copia suministrada por los autores].

Horne, A. S.; Ragon, B.; Wilson, D. T. (2012). An innovative use of instant messaging technology to support a library's single-service point. Me- dical reference services quarterly, vol. 31 (2), 127-39. http://dx.doi.org/10.1080/02763869.2 012.670557

Keith, E. (2012). Measuring and assessing refe- rence services and resources: A guide. ALA Connect, 02/07/2012. http://connect.ala.org/ node/97245 [Consultado: 15 de febrero de 2013].

Lederer, N.; Feldmann, L. M. (2012). Interactions: a study of office reference statistics. Evidence Based Library and Information Practice, vol. 27 (2), 1-9.

Logan, F. F. (2009). A brief history of referen- ce assessment: No easy solutions. The Re- ference Librarian, vol. 50 (3). http://dx.doi. org/10.1080/02763870902947133

Logan, F. F.; Lewis, K. (2011). Quality control: a necessary good for improving service. The Refe- rence Librarian, v. 52 (3), pp. 218-230. http:// dx.doi.org/10.1080/02763877.2011.557314

Luini, C. (2012). Virtual reference service: A case study of questionPoint utilization at the Gallag- her Law Library. [Thesis] University of Washing- ton Information School.

Manso-Rodríguez, R. A. (2010). Servicio de refe- rencia virtual: propuesta de un modelo basado en criterios de calidad y herramientas de la web 2.0. [Tesis doctoral] Granada: Universidad.

McLaughlin, J. E. (2011). Reference transaction assessment: Survey of a multiple perspectives approach, 2001 to 2010. Reference Services Review, vol. 39 (4), 536-550. http://dx.doi. org/10.1108/00907321111186631

Merlo-Vega, J. A. (2009). Referencia digital: con- cepto, tecnologías e implementación en centros de información. El Profesional de la Informa- ción, 2009, v. 18, (6), 589-600. http://dx.doi. org/10.3145/epi.2009.nov.02

Mitchell, M. S.; Comer, C. H.; Starkey, J. M.; Fran- cis, E. A. (2011). Paradigm shift in reference services at the Oberlin College Library: a case study. Journal of Library Administration, v. 51, (4), 359-374. http://dx.doi.org/10.1080/01930 826.2011.556959

Mon, L.; Harris, L. E. (2011). The death of the anonymous librarian. The Reference Librarian, vol. 52 (4), 352-364. http://dx.doi.org/10.1080 /02763877.2011.585279

Nolen, D. S.; Powers, A. C.; Zhang, L.; Xu, Y.; Cannady, R. E.; Li, J. (2012). Moving beyond assumptions: The use of virtual reference data in an academic library. portal: Libraries and the Academy, vol. 12 (1), 23-40. http://dx.doi. org/10.1353/pla.2012.0006

Pomerantz, J.; Mon, L.; McClure, C. R. (2008). Evaluating remote reference service: a practi- cal guide to problems and solutions. Portal: Li- braries and the Academy, vol. 8 (1), pp. 15-30. http://dx.doi.org/10.1353/pla.2008.0001

Ramos, M. S.; Abrigo, C. M. (2012). Reference 2.0 in action: an evaluation of the digital reference services in selected Philippine academic libraries. Library hi tech news, vol. 29 (1), 8-20. http:// dx.doi.org/10.1108/07419051211223426

Stevenson, A.; Esson, R.; Gildea, M.; Roberts, S. (2012). Services for the Future: engaging with our customers to determine o determine wants and needs. Library Management, vol. 33.

Tyckoson, D. A. (2011). Issues and trends in the management of reference services: A historical perspective. Journal of Library Administration, vol. 51 (3), 259-278. http://dx.doi.org/10.1080 /01930826.2011.556936

Ward, D.; Phetteplace, E. (2012). Staffing by de- sign: A methodology for staffing reference Pu- blic Services Quarterly, vol. September, 37-41.

Appendix

ANEXO

1. Categorías de las respuestas. Se contesta con brevedad a la pregunta puntual del usuario: Preguntas direccionales, sobre horarios, sobre políticas de préstamo, sobre reservas o penalizaciones, localización de servicios o documentos, qué hacer en caso de tener el usuario virtual o el PIN caducado. No consul- tamos ninguna fuente.

2. Consultamos Fama: Localización de documentos concretos en la biblioteca, ya sea impresos o electróni- cos. El usuario nos da algún dato como autor, título...

3. Buscamos en Fama: Búsqueda de información sobre un tema. El usuario quiere información sobre un tema pero no sabe dónde ni cómo encontrarla. Le basta con que le localicemos algún libro o revista que tenga la biblioteca sobre ese tema.

4. Buscamos en varios recursos: El mismo caso que el anterior, pero la búsqueda de información es más profunda y extensa. Tenemos que usar varios recursos (Internet, bases de datos, metabuscador...)

5. Ayudamos al usuario con problemas técnicos: el usuario tiene dudas sobre cómo usar la fotocopiadora, impresora, no sabe configurar el acceso a Eduroam, tiene problemas con el acceso remoto a recursos electrónicos, tiene dudas sobre cómo efectuar una reserva, hacer una desiderata o usar Mi Cuenta.

6. Derivamos la pregunta a otro/s compañeros de la biblioteca: yo no puedo resolver la duda del usuario, pero sé que otro compañero de la biblioteca sí puede, así que le indico al usuario dónde puede encon- trarle, o le doy su teléfono o correo-e.

7. Derivamos la pregunta a otro/s servicios de la Universidad: yo no puedo resolver la duda del usuario, pero sé que ese tema lo lleva otro servicio de la Universidad, así que le indico al usuario dónde puede encontrar ese servicio.

8. No tenemos información ni instrumentos para contestar a la pregunta del usuario: no puedo ayudar al usuario y no sé quién puede hacerlo.

9. Otros: añade aquí la respuesta si no puedes encajarla en ninguna de las categorías anteriores.