Análisis de la productividad científica y visibilidad de las publicaciones sobre usabilidad (1971-2005)

Headnote

Resumen: Objetivo: Analizar los artículos sobre usabilidad publicados durante el periodo 1971-2005 desde el punto de vista bibliométrico. Material y Métodos: Para obtener los trabajos se interrogaron las bases de datos del CSIC, Social Science Citation Index, Science Citation Index, PsycInfo, MEDLINE e Inspec mediante estrategias de búsqueda diseñadas ad hoc para cada base de datos. Se calcularon los índices de aporte, aporte específico y solapamiento y los indicadores de evolución de la productividad científi ca, productividad de las instituciones de trabajo y de las revistas, y distribución de las revistas por área de conocimiento. Resultados: Se ha observado un crecimiento exponencial de los artículos publicados, más acusado en el último quinquenio. Las instituciones más productivas son fundamentalmente universitarias y estadounidenses y las revistas más productivas pertenecen al campo de la informática, ingeniería y psicología. Conclusiones: en la actualidad existe una incógnita sobre la consideración de la usabilidad como ciencia o disciplina científica, ya que no cuenta con un currículo formativo acorde, ni un perfil profesional determinado, ni un área específica de conocimiento en la que se pueda englobar.

Palabras clave: Usabilidad, Bibliometría, Productividad científica, Evaluación científica, Indicadores bibliométricos.

An analysis of the scientific productivity and visibility of publications on usability (1971-2005)

Abstract: Aims: To analyse usability-related articles published in the period 1971-2005 from a bibliometric point of view. Methods: A search for articles was made in the CSIC databases, the Social Science Citation Index, Science Citation Index, PsycInfo, MEDLINE and Inspec databases, using ad hoc search strategies designed for each. Contribution, specific contribution and overlap indices were calculated, as were the indicators of change in scientific production, the productivity of institutions and journals, and the distribution of journals by area of knowledge. Results: An exponential increase in the number of published articles was recorded, with the highest increase seen over the last five years. The most productive institutions were mostly US universities; the most productive journals were related to Computer Science, Engineering and Psychology. Conclusions: Currently there is controversy surrounding the idea of usability as a science or scientific discipline since it lacks an appropriate training curriculum, has no set professional profile, and it is unsure into what specific area of knowledge it falls.

Keywords: Usability, Bibliometrics, Scientific Production, Scientific Evaluation Bibliometric indicators.

1. Introducción

El término usabilidad deriva directamente del inglés usability y no se encuentra recogido actualmente en el Diccionario de la Real Academia Española de la Lengua (Bolaños-Pizarro, 2007; Real Academia Española de la Lengua). Este término se define, de acuerdo con la norma ISO 9241, como el nivel en el que un producto puede ser usado por un grupo de usuarios específicos para alcanzar ciertas metas definidas con efectividad, eficiencia y satisfacción en un contexto especificado (ISO 9241:1998). La usabilidad es un concepto que engloba una serie de medidas y métodos que buscan hacer que un sistema, es decir, cualquier dispositivo que tenga que ser operado por un usuario, sea fácil de usar y de aprender. En esta categoría se incluyen los sitios web, aplicaciones de software, hardware, etc. (Baeza, 2002; Baeza, 2004).

El concepto de usabilidad se viene aplicando desde la primera mitad de la década de los cuarenta, como resultado de la intensa producción investigadora y la utilización de tecnología cada vez más avanzada en la Segunda Guerra Mundial. En este período cobra una creciente importancia la adaptación de las máquinas al operador humano para conseguir aumentar la calidad de la reacción, velocidad y ejecución de la relación entre persona y máquina (The Usability Company, 2005).

A finales del siglo XX, con el reciente crecimiento del uso de Internet y los ordenadores, los diseñadores y desarrolladores de aplicaciones relacionadas con estos novedosos medios necesitaron mejorar la experiencia del usuario para optimizar el diseño y conseguir de esta manera productos más competitivos, especialmente las páginas web y otros productos accesibles a través de Internet. Debido al progresivo aumento de la oferta de recursos específicos en Internet, las páginas web ofrecen servicios cada vez más pragmáticos, dirigiendo sus contenidos a las necesidades potenciales del usuario. La creciente complejidad que adquieren las estructuras de contenidos se ve reflejada en la aplicación de sistemas de clasificación de la información en función de quién la vaya a consultar, aunque plantea una serie de dudas en cuanto a la inclusión o no de ciertos contenidos según qué tipo de perfiles (Brittain, 1989; Yen, 2002; Fine, 2004). El di seño del interface y la gestión de los contenidos de las websites deben realizarse teniendo en cuenta la perspectiva del usuario final, razón por la cual los estudios de usabilidad son cada vez más necesarios.

La Asociación de Profesionales de la Usabilidad define al profesional de la usabilidad, a grandes rasgos, como cualquier persona que trabaja en pro de la usabilidad de sus productos (Usability Professionals' Association, 2000). Algunos de ellos están especializados en desarrollar tests de usabilidad u otro tipo de investigación de la experiencia de usuario como parte de otras responsabilidades en cuanto al diseño de productos, servicios, aplicaciones de software o páginas web. Asimismo, la formación y experiencia laboral previa de los profesionales de la usabilidad es igualmente amplia. De acuerdo con la Usability Professionals' Association (UPA), el 16 % de los profesionales tienen formación en interacción persona ordenador (Human Computer Interaction-HCI), Psicología Cognitiva o Experimental (11 % y 8 %, respectivamente), Informática (10 %) y Ciencias Económicas (8 %). Otros han utilizado su formación en gestión de proyectos, Periodismo, Bellas Artes, y Biblioteconomía y Documentación como parte de su itinerario hacia esta profesión.

El objetivo del presente trabajo ha sido identificar la productividad y la visibilidad de los trabajos científicos sobre usabilidad u otras disciplinas que utilicen técnicas de evaluación propias de la usabilidad durante el periodo 1971-2005. Se pretende analizar si se ha producido un crecimiento acelerado de las publicaciones en los últimos años así como algunas características bibliométricas de este tipo de literatura, pues no se han encontrado trabajos que estudien la usabilidad desde esta perspectiva. El estudio aporta, por tanto, una medida relativa de la importancia del tema y del interés que despierta entre los investigadores.

2. Material y método

Los trabajos científicos publicados sobre usabilidad se recuperaron en las bases de datos Inspec, Science Citation Index (SCI) y Social Sciences Citation Index (SSCI), MEDLINE, PsycInfo y las bases del CSIC Índice Médico Español (IME), Índice de Ciencias Sociales y Humanidades (ISOC) e Índice de Ciencia y Tecnología (ICYT), bases de datos ampliamente difundidas que recogen la mayor parte de las publicaciones científicas en las áreas de Ciencia y Tecnología, Ciencias Sociales y Biomedicina.

La elección de la base de datos Inspec se justifica porque cubre gran parte de la literatura internacional de los campos de la Ciencia y la Tecnología, con una cobertura significativa de áreas como la Investigación operativa, Ciencia de materiales, Oceanografía, Ingeniería matemática, Ciencias medioambientales, Geofísica, Nanotecnología, Tecnología biomédica y Biofísica; SCI y SSCI son dos bases de datos multidisciplinares ampliamente utilizadas a nivel internacional para la evaluación de la actividad científica; MEDLINE es, en cuanto a su cobertura, la principal base de datos Biomédica a nivel mundial; la inclusión de PsycInfo responde al hecho de que la usabilidad está estrechamente vinculada con los aspectos psicológicos de la conducta humana. Puesto que las bases de datos citadas tienen como limitación su sesgo de cobertura hacia las revistas publicadas en inglés, se han incluido las bases de datos CSIC, para que quede adecuadamente reflejada la producción española en relación con la usabilidad, dado que uno de los objetivos del trabajo es conocer el papel de la aportación española en el contexto internacional.

Se diseñaron dos estrategias diferentes de búsqueda en función del idioma de la base de datos utilizada. En las bases de datos en lengua española (IME, ISOC e ICYT), se utilizó el término usabilidad, ya que se trata de una palabra ajustada al concepto que se tiene de usabilidad relacionado con Internet, software o informática. No se incluyó el término truncado usab* para evitar que las referencias recuperadas contuvieran ruido debido a la existencia del término usable, referido a utilizable. En cuanto a las bases de datos en inglés (Social Sciences Citation Index, Science Citation Index, MEDLINE, Inspec y PsycInfo), se ha empleado la siguiente ecuación de búsqueda: usability AND (web* OR internet OR software* OR program* OR user* OR multimed* OR hypermedia OR hyperdocument* OR digital*). El término usability se combinó con otros propios de Internet para descartar referencias no relacionadas con el concepto de usabilidad, ya que el término tiene otras connotaciones en esta lengua. De los registros recuperados únicamente fueron seleccionados los artículos originales y de revisión.

El almacenamiento de los datos resultantes se realizó a través de la aplicación de desarrollo propio para bases de datos Bibliométricos, que importa ficheros de texto con las descargas de registros de las bases de datos Social Sciences Citation Index y Science Citation Index y automáticamente crea otra base de datos en formato Access con todos estos registros. Los registros de las bases de datos IME, ICYT e ISOC, así como los de Inspec, MEDLINE y PsycInfo, fueron reformateados según las etiquetas de campo de las bases de datos Social Science Citation Index y Science Citation Index, con el fin de permitir su importación desde Bibliométricos y añadir los registros resultantes a la base de datos definitiva.

Para normalizar los nombres que presentaban variantes que podían corresponder a un mismo autor, se consultaron las afiliaciones institucionales y se consideró que dos variantes se referían a un mismo autor si coincidía su adscripción institucional. En cuanto a las afiliaciones institucionales, a fin de homogeneizar al máximo los registros, se ha procedido a conservar únicamente la macroinstitución (Universidades, Institutos de Investigación, Hospitales, etc.).

Para el estudio de la visibilidad científica sobre usabilidad se analizaron las fuentes de procedencia de los trabajos y el número de base de datos donde circulaba cada trabajo, valorando los resultados de cada fuente con los siguientes índices (Abad, 1995):

a) Índice de aporte: porcentaje de referencias bibliográficas proporcionadas por una fuente bibliográfica respecto al total de referencias obtenidas utilizando todas las fuentes.

b) Índice de aporte específico: porcentaje de referencias proporcionadas exclusivamente por una fuente (referencias únicas, no solapadas) respecto del total de referencias (eliminando repeticiones) obtenidas utilizando todas las fuentes bibliográficas.

Posteriormente se calcularon los siguientes indicadores bibliométricos (Bordons y Zulueta, 1999; Rojo y Gómez, 2006):

a) Frecuencia de publicación de trabajos por año y evolución de la productividad científica, tanto anual como total.

b) Productividad de los autores: número de trabajos publicados por autor.

c) Productividad de las instituciones de trabajo de los autores: número de trabajos publicados según la institución de afiliación de los autores.

d) Productividad de las revistas donde han sido publicados los trabajos: número de trabajos publicados por revista.

e) Distribución de las revistas más productivas por área de conocimiento.

3. Resultados

Se han recuperado 6.121 trabajos sobre usabilidad en las bases de datos, de los cuales 3.009 (49 %) proceden de Inspec y 2.054 (34 %) de SCI y SSCI. Estas bases de datos son, asimismo, las que reúnen un mayor aporte específico, con el 56 % y el 32 %, respectivamente. Las bases de datos del CSIC no registraron solapamiento alguno con ninguna otra base de datos (Tabla I).

En cuanto a la producción científica, se aprecia un aumento progresivo del número de trabajos, observándose que la mayor parte de los artículos fueron publicados entre los años 2001 y 2005. La evolución quinquenal de las publicaciones en cada una de las bases de datos utilizadas muestra una progresión importante, especialmente en la última década (Figura 1).

Los trabajos fueron publicados por 9.138 autores diferentes, de los que 7.724 (84,5 %) aportaron un solo artículo, 459 (5 %) presentaron 2 y solamente 15 autores acumularon 10 o más trabajos publicados. El autor con más artículos ha Nielsen J, con 26 trabajos, seguido de Patel VL y Preece J con 18 respectivamente y Paterno F con 17 trabajos. Los tres autores españoles más productivos han sido Gómez EJ y Pozo F del, con 7 artículos cada uno, y Arredondo MT con 6, todos ellos afiliados a la Universidad Politécnica de Madrid (Tabla II).

IBM Corporation es la institución más productiva, con 73 trabajos, seguida de la Universidad de Maryland, con 47 artículos. La procedencia de las instituciones más productivas es mayoritariamente estadounidense, si bien existen algunas multinacionales presentes, como la citada IBM Corporation, Siemens (con 73 trabajos) y Microsoft (con 18 artículos) (Tabla III).

La revista con un mayor número de trabajos publicados (Tabla IV) es Lecture Notes in Computer Science (con 398 artículos), seguida de Behaviour & Information Technology (con 109 artículos) y de Interacting with Computers (con 107 artículos).

En relación con las revistas, las publicaciones sanitarias abordan la usabilidad en relación con aspectos como el acceso a la información a través de la web para estudiantes de medicina, e-learning en la asistencia sanitaria, desarrollo de sitios web de atención primaria o evaluación de páginas web médicas. En las revistas de informática e ingeniería se abordan conceptos teóricos básicos y perspectivas globales de la usabilidad web, evaluación de softwares específicos, desarrollo de bibliotecas virtuales, bases de datos y productos comerciales.

Las áreas donde se enmarcan las revistas en las que la usabilidad tiene una mayor presencia (Tabla V) son predominantemente Informática, teoría y métodos (con 601 trabajos); Informática cibernética (n = 421); Informática, Sistemas de información (n = 341) e Informática, ingeniería del software (n = 340).

4. Discusión

El progresivo aumento del número de trabajos publicados, muy acusado en los últimos años, da cuenta del carácter emergente de esta disciplina, algo similar a lo que ocurre también en áreas como la gestión de la información en las organizaciones (López Hernández, 1990). Este aumento es notable desde la segunda mitad de los noventa, coincidiendo con el auge de Internet, de lo que se deduce que las aplicaciones prácticas de la usabilidad se centrarían fundamentalmente en el análisis de páginas web y otros interfaces similares.

Al tratarse Inspec (Information Services in Physics, Electronics and Computing) de una base de datos especializada, su aporte y aporte específico es el mayor. La ventaja de esta base de datos es que su cobertura no sólo incluye las publicaciones periódicas más punteras, sino que también analiza más revistas nacionales que SCI (Rojo y Gómez, 2006).

Entre los autores más productivos, sólo 15 cuentan con 10 o más artículos publicados y el máximo productor no supera los 26. Todos estos autores están afiliados a instituciones públicas, tales como la Universidad o los Centros de Investigación, a excepción de uno, (Hassenzahl, M.) cuya afiliación es la multinacional Siemens AG.

Los artículos sobre usabilidad realizados por empresas son fundamentalmente de tipo aplicado, relacionados con productos (como por ejemplo teléfonos móviles o PDA) o bien son trabajos que abordan la presencia de la empresa en Internet, lo que se puede poner en relación con el proceso de implantación de servicios comerciales on-line, siendo la usabilidad un valor añadido que favorece y potencia su presencia en este medio (Moreno Muñoz, 2002).

La productividad científica sobre usabilidad analizada en el presente trabajo podría estar infrarrepresentada por el hecho de que ésta aún no se ha establecido como una disciplina científica específica, sino que durante mucho tiempo y aún hoy en día se ha englobado dentro del campo más amplio Human Computer Interaction (Preece, 1993), con aportaciones de la Psicología (Chalmers, 2003), la Etnografía (Hillier, 2003), la Ingeniería (Monk, 1995) y la Informática (Preece, 1993). El área de conocimiento en la que se enmarca todavía no está definida, si bien en la actualidad existen iniciativas que pretenden delimitar, mediante encuestas a profesionales de la usabilidad, un cuerpo de conocimiento común (Usability Professionals' Association, 2007).

Si bien algunas instituciones estadounidenses obtienen una mayor productividad que las europeas, la productividad global de la Unión Europea es mayor que la de los Estados Unidos. España ha participado en el 1,85 % del total de la producción, ocupando el lugar número 11. Entre las 25 instituciones más productivas que presentaban más de 15 trabajos publicados, 22 son universidades y organismos públicos (como centros de investigación) y únicamente tres son empresas privadas (IBM Corporation, Siemens y Microsoft).

Las áreas de conocimiento en las que se engloban las revistas en las que fueron publicados los trabajos incluyen disciplinas tan dispares como la Informática o la Ingeniería Industrial, por un lado, y los Cuidados y Servicios de Salud o la Psicología, por otro. Se trata de una disciplina con un marcado carácter ecléctico, que cuenta con aportaciones tanto de Ciencias Técnicas como Sociales, lo que podría ser el resultado de contar con profesionales con una formación muy diversificada. Al igual que ocurre con la Arquitectura de información, la usabilidad tiene un carácter multidisciplinar, ya que los conocimientos ideales para poder llevarla a cabo provienen de la Biblioteconomía, Diseño, Periodismo, Informática, Interacción Humano Computador, Mercadotecnia y Administración de proyectos Web (Vera, 2004). No puede afirmarse que exista una formación académica común a la mayoría de los profesionales; pero en cualquier caso Periodismo es la titulación más frecuente (20 %), seguida por Ingeniería (18 %) (Manchón, 2002). Hay que tener en cuenta que la Arquitectura de la información, la usabilidad y la experiencia de usuario son nuevas disciplinas complementarias entre sí que abarcan un espectro muy amplio de materias, desde el estudio de los sentimientos que causa un sistema específico cuando se utiliza hasta el establecimiento de patrones de navegación web (López, 2005).

En definitiva, puede concluirse que en la actualidad existe una incógnita sobre la consideración de la usabilidad como ciencia o disciplina científica, ya que no cuenta con un currículo formativo acorde, ni un perfil profesional determinado, ni un área específica de conocimiento en la que se pueda englobar.

Limitaciones

Si bien en Internet existen numerosos recursos que recogen información sobre usabilidad, tanto a nivel teórico como aplicado, el objetivo de este estudio se centró en el análisis de los registros incluidos en bases de datos científicas para asegurar de esta manera la calidad y el rigor científico de los mismos.

Al tratarse de una disciplina emergente, la terminología utilizada puede no estar establecida como estándar y afectar, por tanto, a la estrategia de búsqueda. La inclusión en las búsquedas de términos como Page, Document o Electronic, permitó recuperar 51 referencias más, aunque algunas no eran pertinentes y, por tanto, se decidió continuar con la estrategia de búsqueda original.

Sería conveniente realizar estudios que aporten datos que permitan definir si la usabilidad puede ser considerada como disciplina científica o si se trata de un conjunto de contenidos de tipo divulgativo. También podría resultar de interés profundizar en el análisis temático o textual de los artículos, para conocer la evolución del contenido, así como analizar las redes de coautoría y de colaboración interinstitucional en el área.

References

Bibliografía

Abad, M. F., Aleixandre, R. y Peris, R. (1995): Estrategias de búsqueda de artículos de revistas españolas. Estudio de un caso: evaluación de la calidad de los sistemas de información, Gaceta Sanitaria, vol. 9, 363-370.

Baeza, R. (2002): Definición de usabilidad. [Consulta: 11-03-2008]. Disponible en Web: <http://www.dcc.uchile.cl/~rbaeza/inf/usabilidad.html>.

Baeza, R., Rivera, C. y Velasco, J. (2004): Arquitectura de la información y usabilidad en la web, El profesional de la información, vol. 13 (3), 168-178.

Bolaños-Pizarro, M., Vidal-Infer, A., Navarro-Molina, C., Valderrama-Zurián, J. C. y Aleixandre- Benavent, R. (2007): Usabilidad: concepto y aplicaciones en las páginas web médicas, Papeles Médicos, vol. 16 (1), 14-21.

Bordons, M. y Zulueta, M. A. (1999): Evaluación de la actividad científica a través de indicadores bibliométricos, Revista Española de Cardiología, vol. 52, 790-800.

Brittain, J. M. (1989): Cultural boundaries of the social sciences in the 1990s; new policies for documentation, information and knowledge, International Social Science Journal, vol. 41 (1), 105-115.

Chalmers, P. (2003): The role of cognitive theory in human-computer interface, Computers in Human Behavior, vol. 19 (5), 593-607.

Fine, N. y Brinkman, W. P. (2004): Avoiding Average: Recording Interaction Data to Design for Specific User Groups, Lecture Notes in Computer Science, vol. 3166, 398-401.

Hillier, M. (2003): The role of cultural context in multilingual website usability, Electronic Commerce Research and Applications, vol. 2 (1), 2-14.

ISO 9241-11:1998. Ergonomic requirements for office work with visual display terminals (VDTs) - Part 11: Guidance on usability, ISO.

López Hernández, J. (1990): La gestión de la información en las organizaciones: una disciplina emergente, Documentación de las Ciencias de la Información, vol. 13, 133-148.

López, S. (2005): Factores que entorpecen la usabilidad de los sitios web. [Consulta: 11- 03-2008]. Disponible en Web: http://www.webnova.com.ar/articulo.php?recurso=432.

Manchón, E. (2002): Resultados encuesta perfil profesional AI y Usabilidad Iberoaméricanos: España, Portugal y Latinoamérica. 2002. [Consulta: 11-03-2008]. Disponible en Web: http://www.ainda.info/perfil_profesional.html.

Monk, A. F. y Gilbert, N. (1995): Perspectives on HCI. Diverse approaches. London: Academic Press Inc. Nielsen Norman Group [Consulta: 11-03-2008]. Disponible en Web: http://www.nngroup.com/.

Moreno Muñoz, A. (2002): El precio de la usabilidad, El Profesional de la información, vol. 11, 71-72.

Preece, J. (Ed.) (1993): A guide to usability. London: The Open University.

Real Academia Española de la Lengua. Diccionario de la lengua española. [Consulta: 11- 03-2008]. Disponible en Web: http://www.rae.es/.

Rojo, R. y Gómez, I. (2006): Análisis de la producción científica y tecnológica de la industria española en el sector de las Tecnologías de la Información y de las Comunicaciones, El Profesional de la Información, vol. 15 (3), 190-201.

The Usability Company (2005): History of Usability. [Consulta: 11-03-2008]. Disponible en Web: http://www.theusabilitycompany.com/resources/history.html.

Usability Professionals' Association (2000): 2000 UPA Member Profile and Salary Survey. [Consulta: 11-03-2008]. Disponible en Web: http://www.usabilityprofessionals.org/upa_publications/upa_voice/survey/2000_survey.html.

Usability Professionals' Association (2007): Usability Body of Knowledge. [Consulta: 11- 03-2008]. Disponible en Web: http://www.usabilitybok.org/about.

Vera, F. (2004): ¿Qué es la Arquitectura de la Información? [Consulta: 11-03-2008]. Disponible en Web: http://aiweb.blogspot.com/2004_10_01_archive.html.

Yen, B. y Kong, R. (2002): Personalization of information access for electronic catalogs on the web, Electronic Commerce Research and Applications, vol. 1 (1), 112-124.