Usabilidad en sitios web oficiales de las universidades del Ecuador

Abstract

Abstract: Websites are a key component in the organizations of today's competitive and globalized world, at the same time their usability is important in terms of meeting the needs and expectations of their users. In this scenario are the universities, whose websites are expected to cover various information needs for students, teachers, staff and alumni, who are trained or trained in them. [...]the recommendations for the design of these sites are discussed and the problems detected in the usability tests are discussed. Respecto al término Usabilidad, se considera que este tiene su origen en el trabajo "Usability, engineering: our experience and evolution" de (Whiteside, Bennett, & Holtzblatt, 1988), años después en el 2001 la ISO definió a la usabilidad como "... la capacidad de un software de ser comprendido, aprendido, usado y ser atractivo para el usuario, en condiciones específicas de uso" (ISO, 2001).

Headnote

Resumen: Los sitios web son un componente clave en las organizaciones del competitivo y globalizado mundo actual, paralelamente su usabilidad se reviste de importancia en términos de satisfacer las necesidades y expectativas de sus usuarios. En este escenario se encuentran las universidades, de cuyos sitios web se espera que cubran diversas necesidades de información para los estudiantes, profesores, personal y exalumnos, que se forman o formaron en ellas. En esta investigación se presenta una evaluación heurística multicriterio basado en la norma ISO 9241-151, donde se valora la ergonomía de la interacción hombre-sistema, de las interfaces de usuario web en función de los criterios de diseño, presentación, búsqueda, diseño de contenido y navegación; que se aplicaron en la construcción de estos sitios de las 59 universidades de Ecuador. Finalmente, se discuten las recomendaciones para el diseño de estos sitios y se reflexiona sobre los problemas detectados en las pruebas de usabilidad.

Palabras-clave: ISO 9241-151, HCI, evaluación heurística, sitios web.

Abstract: Websites are a key component in the organizations of today's competitive and globalized world, at the same time their usability is important in terms of meeting the needs and expectations of their users. In this scenario are the universities, whose websites are expected to cover various information needs for students, teachers, staff and alumni, who are trained or trained in them. This research presents a multicriteria heuristic evaluation based on the ISO 9241-151 standard, where the ergonomics of the man-system interaction, of the web user interfaces according to the criteria of design, presentation, search, design of content and navigation; that were applied in the construction of these sites of the 59 universities in Ecuador. Finally, the recommendations for the design of these sites are discussed and the problems detected in the usability tests are discussed.

Keywords: ISO 9241-151, HCI, heuristic evaluation, websites.

1.Introducción

Los sitios web de las universidades tienen como objetivo, proporcionar información y servicios actualizados a los estudiantes, profesores, administradores y otros usuarios de manera eficiente. Infortunadamente, el diseño del sitio web es a menudo impulsado por la tecnología, la estructura organizacional u objetivos de negocios, más que por su usabilidad desde la perspectiva de los usuarios de los sitios web universitarios (Jabar et al., 2013).

Respecto al término Usabilidad, se considera que este tiene su origen en el trabajo "Usability, engineering: our experience and evolution" de (Whiteside, Bennett, & Holtzblatt, 1988), años después en el 2001 la ISO definió a la usabilidad como "... la capacidad de un software de ser comprendido, aprendido, usado y ser atractivo para el usuario, en condiciones específicas de uso" (ISO, 2001).

Este trabajo se centra en las condiciones de uso, contexto en el cual un método bastante difundido y aceptado para detectar problemas de usabilidad es la evaluación heurística, en la cual los evaluadores emplean un conjunto de heurísticas de usabilidad como guía (Lilliam, Cancio, Mercedes, & Bergues, 2013, p. 177); sin embargo, formar evaluadores heurísticos puede ser una tarea desafiante (Rusu et al., 2016).

En Ecuador, sólo desde años recientes se han desarrollado investigaciones heurísticas sobre la usabilidad de portales universitarios, aunque en tales investigaciones no se ha abordado el número total de las universidades (Chamba-Eras, Coronel-Romero, & Labanda, 2016); esto ocasiona que en el país se tenga escazas medidas cuantitativas para la eventual toma de decisiones, lo cual también tiene relación con estudios de alcance internacional como el informe University Websites presentado por Nielsen Norman Group en 2016, que afirma que la mayoría de los sitios web universitarios se ubican muy por debajo de los niveles de usabilidad esperados en la Internet de hoy (Nielsen Norman Group, 2016); aunque es de reconocer que otros estudios de alcance nacional, consideran que las universidades prestan considerable atención al uso de sitios web para mejorar el proceso educativo, a través de la entrega de información importante (Benaida & Namoun, 2018).

Por lo general, los criterios de usabilidad son desconocidos para la mayoría de los desarrolladores de software, lo que afecta negativamente la experiencia de los usuarios. (Manzoor, Hussain, Sohaib, Hussain, & Alkhalaf, 2018). El presente estudio se centra en la norma ISO 9241-151:2008, misma que fue preparada por el Comité Técnico (TC) 159, Subcomité (SC) 4 de la ISO, y que se refiere a la ergonomia de la interacción humano - sistema; entre otros objetivos el estándar pretende impulsar a la usabilidad como un factor clave en el diseño exitoso de los sitios web mediante tecnologías de diseño web, que permitan construir interfaces que conduzcan a pocos errores y que sean fáciles de aprender, recordar y usar (ISO, 2008); además, las principales preocupaciones de la usabilidad son la eficiencia, eficacia y satisfacción, pues un sitio web deficiente conduce a menos visitas y satisfacción de los usuarios (Benaida & Namoun, 2018).

El propósito de este documento es evaluar la usabilidad de los sitios Web de las Universidades del Ecuador, utilizando el método heurístico basado en la norma ISO 9241 - 151. La norma está compuesta por 133 indicadores organizados en cinco criterios: navegación (NAV), diseño general (DG), diseño de contenidos (DC), búsqueda (BUSQ) y presentación (PRE).

2. Materiales y métodos

En esta investigación realizada entre los meses de agosto a diciembre de 2018, de tipo aplicada y con un abordaje metodológico cuantitativo y cualitativo en la interpretación de los resultados, se siguieron los siguientes pasos:

1. Se obtuvo las direcciones URL de los 59 sitios web oficiales de las Universidades de Ecuador.

2. Para facilitar la aplicación de la norma, se estructuró una lista de verificación (checklist) para registrar la valoración manual de 109 de los 133 indicadores de la norma, es decir se descartaron veinticuatro criterios en el checklist, porque para su valoración era necesario crear o disponer de una cuenta de usuario institucional, entre ellos estaban criterios de si se permite al usuario controlar información personal, perfiles de usuario generados automáticamente, entre otros.

3. Luego, para la aplicación y valoración del estándar, se seleccionó una media de ocho páginas por cada sitio web, cuyo acceso fuera posible desde la página principal, dando un total de 472 páginas web evaluadas y 60416 valoraciones de indicadores. Para cada indicador se ingresó una calificación heurística (manual) según la siguiente escala: -2 no se cumple con el indicador, -1 No se cumple totalmente, 0 No es relevante, 1 se cumple parcialmente y 2 si se cumple el indicador.

3. Resultados

A continuación, en las tablas del 2 al 5 se muestran los resultados del cumplimiento de cada sitio web respecto a los criterios de Navegación (NAV), Diseño general (DG), Diseño de contenidos (DC), Búsqueda (BUSQ), Presentación (PRE) y la valoración total (TOT) de la usabilidad de las universidades acreditadas y categorizadas hasta 2016 por el Consejo de Evaluación, Acreditación y Aseguramiento de la Calidad de la Educación Superior (CEAACES), actual Consejo de Aseguramiento de la Calidad de la Educación Superior (CACES). Dado que el número de indicadores en cada criterio de la norma es distinto, se ha ajustado la escala de valoración en cada criterio a un rango de -100 a +100.

En las tablas del i al 4 también se aprecian unas diferencias significativas entre las calificaciones globales de usabilidad de los sitios universitarios y la categoría a la que pertenecen de acuerdo con el CACES, esto probablemente no constituye un factor determinante para la usabilidad de sus sitios web, pero es un aspecto para destacar.

* 4 de 6 universidades de categoría A, es decir, aproximadamente el 67% alcanza una valoración global de usabilidad superior a 70/100.

* 3 de 27 universidades de categoría B, es decir, aproximadamente el 11% alcanza una valoración global de usabilidad superior a 70/100.

* 1 de 19 universidades de categoría C, es decir, aproximadamente el 5% alcanza una valoración global de usabilidad superior a 70/100.

* 1 de 7 universidades nuevas, es decir, aproximadamente el 11% alcanza una valoración global de usabilidad superior a 70/100.

Si bien, en este estudio no se distinguió entre universidades privadas o públicas, es de resaltar que la valoración global más alta fue de 80,7/100 y corresponde a la Universidad Particular San Francisco de Quito, ubicada en categoría A.

Las figuras 1 y 2 resumen las tablas precedentes según los criterios de usabilidad valorados para cada sitio web de las universidades de Ecuador, en las figuras se ha empleado una puntuación comprendida entre -100 a +100 unificada para todos los casos, mediante la aplicación de regla de tres simple, pues la cantidad de indicadores por criterios de la norma ISO es diferente. Nótese que las universidades nuevas tuvieron una valoración de -26.5 en el criterio de búsqueda, eso significa que tuvo valoraciones de -1 y -2 en varios indicadores, por eso la suma de la valoración total es negativa. Luego, las tablas de la 6 a la 8 muestran los primeros indicadores en mayor ocurrencia según las valoraciones -2, 1 y 2.

Como se demuestra en la tabla anterior, el 100% de los sitios web evaluados de las universidades de Ecuador no proporcionan el tamaño del campo de búsqueda que oriente sobre la cantidad de texto que se pueda buscar, por tanto, fueron valorados con -2 en el indicador 8.5.2.8; además, el 72% de los sitios evaluados no permiten redefinir una búsqueda por lo que se los valoró con -2 en el criterio 8.5.5.3; y, el 35% no permite clasificar los resultados de las búsquedas, de acuerdo con los criterios 8.5.3.2, 8.5.3.3 y 8.54.5. Es evidente que la mayoría de los sitios tiene problema para implementar convenientemente las funciones de búsqueda. Finalmente, en el 97% de los sitios no se indica de forma explícita el uso o no de cookies o afines y en un 95% no se proporciona una declaración sobre la política de privacidad; por tanto, los criterios 7.2.84 y 7.2.8.1 fueron valorados también con -2.

En cuanto a los indicadores valorados con -1, apenas 8 de 133 tuvo por lo menos una valoración, destacándose el 93% de las valoraciones en el criterio 9.4.10 referido a si se muestran enlaces marcados para abrir nuevas ventanas; además, el 15% no muestran marcado de enlaces a objetivos especiales en concordancia con el criterio 9.4.9; y el 6% no evita pantallas de bienvenida innecesarias de acuerdo con el criterio 8.3.10.1. Un mínimo porcentaje, pero que de todas formas merece que se le preste atención, es que el 3.38% de sitios, no da soporte a diferentes entornos de navegación, ni proporciona una versión impresa de la página, esto de acuerdo con las valoraciones de los criterios 8.2.3 y 9.3.16. Para cerrar este grupo de valoraciones, puede interpretarse de forma positiva, que apenas el 1.69% de sitios incumple con los criterios 8.2.2, 10.5 y 9.4.15, que se refieren a si los sitios muestran a los usuarios donde están, si los tiempos de descargas son aceptables y si se evitan sobrecargas de los enlaces de navegación.

A partir de la tabla anterior, en referencia al criterio 9.4.8 que determina si los sitios web destacan los enlaces visitados previamente, el 100% lo cumple parcialmente, es decir, en al menos un caso no se cumplió este criterio. Así mismo, en un 26% de los sitios se emplea la incrustación de objetos, pero no su soporte a la total interacción, yendo en contra del criterio 10.10. Respecto al criterio 8.2.3 este alcanza un 64.41%, lo que significa que en ese porcentaje de sitios se da soporte a diferentes entornos de navegación, al menos parcialmente. También se estima que en un 50.85% de sitios se organiza la navegación de una manera significativa, pero en poco más del 50% de los sitios, los tiempos de descarga no son óptimos, yendo en contra del criterio 10.5.

Nótese que un 32.2% de los sitios, por lo menos una vez no se ha proporcionado alternativas textuales a objetos multimedia, yendo en contra del criterio 7.2.3.2; así mismo, en el 35.59% de los sitios no se usan etiquetan de enlace descriptivas yendo en contra del criterio 9.4.7.

Respecto al criterio 7.2.7 que se refiere a si se aceptan los comentarios online de los usuarios, parcialmente se cumple en un 68% de sitios, pero no el restante 32%.

En cuanto a los indicadores valorados con 2, en el top 25 todos superan el 90% de valoraciones, el top está disponible en https://tinyurl.com/y74pvgc2. La mayoría de los indicadores del top corresponden al criterio de Navegación y entre estos estan el ofrecer rutas alternativas o redundantes de accesos, enlaces cruzados, ubicación del sitio web, reconocimiento de contenidos nuevos, visualización del estado del sistema (heurística de Nielsen), enlaces y controles distinguibles, identificación de objetos interactivos, buen scrolling vertical, se evitan pantallas de bienvenida innecesarias y enlaces caídos, entre otros...

La siguiente tabla resume de acuerdo con cada una universidad el top 25 de valoraciones -2, -1, 1 y 2 que recibieron.

4.Discusiones

Pese a la vigencia del estándar ISO 9241-151 desde el año 2008, aún no hay protocolos claros para la validación de las heurísticas por lo que su desarrollo en el campo de la usabilidad está por formalizarse, sin embargo estas herramientas son útiles en evaluaciones de usabilidad que resulta una condición necesaria para la supervivencia en internet y la retención de usuarios web (Aldwyn, 2011).

Según (Manzoor et al., 2018), que en 2018 estudió la usabilidad de 86 sitios web de universidades de Canadá (26), Estados Unidos (30) y Europa (30), los criterios para evaluar los sitios web de las universidades son muy superficiales y desconocidos para la mayoría de los desarrolladores, lo que afecta negativamente la ergonomía de la interacción humano - sistema. Tal realidad tiene relación con los resultados de este estudio donde principalmente se encontraron falencias en los criterios de búsqueda y diseño de contenidos en los sitios web.

Algunos estudios afirman que si el diseño del sitio web es simple y fácil, es más probable que los usuarios lo utilicen, aunque no siempre sea una herramienta exitosa o utilizable para los usuarios (Ballard, 2010; Kim, 2011). En el presente estudio el diseño de contenidos alcanza el 58/100 en las universidades y el diseño general se acerca al 65/100, valores cercanos entre sí.

Según (Hasan, 2014) la facilidad de uso influye en la usabilidad de los sitios web educativos desde el punto de vista de los alumnos, lo cual no se cuestiona; sin embargo un sitio web universitario brinda servicios a otros actores académicos, empleados, graduados e incluso otras instituciones; por lo tanto, el sitio web de cualquier universidad debería ser utilizable para satisfacer las necesidades de sus usuarios (Şengel, 2013), de acuerdo con los resultados de esta investigación todavía hay que hacer esfuerzos significativos para mejorar la usabilidad y visibilidad de los sitios, e incluso de acuerdo con (Ismailova & Kimsanova, 2017; Pincay Ponce & Delgado Reyes, 2018) resta por mejorar la accesibilidad.

Desde la perspectiva de una web accesible, como un aspecto de la inclusión educativa muchas veces inadvertido, se puede lograr sitios web universitarios usables que desde el momento de su concepción se orienten a celebrar la diversidad de la sociedad y enaltecer la nobleza de la educación para todos y para toda la vida (Pincay Ponce, 2018).

Hasta cierto punto, la facilidad de uso depende del propósito y el público objetivo de un determinado sitio, no obstante, un sitio web utilizable es uno que es accesible, atractivo, consistente, claro, simple, navegable y tolerante a los errores del usuario (Pierce, 2005), lo cual se puede prever haciendo diseños basados en estándares como la norma ISO 9241-151.

La facilidad de uso del sitio web es una prueba del éxito que tiene el usuario para realizar alguna tarea o encontrar información en el sitio web con un mínimo esfuerzo cognitivo (Norman, 2000; Sindhuja & Dastidar, 2009; Yusof, Khaw, Ch'ng, & Neow, 2010, p. 3), en tal sentido, las universidades suelen proporcionar mediante la web estadísticas básicas, historia de la universidad, información de admisiones y becas, bibliotecas e información departamental, pero resta procurar que sea mediante interfaces web adecuadas que agilicen su comprensión cuidando la marca e imagen institucional (Barcellos & Jr, 2019).

5.Conclusiones

En este estudio se destacó la importancia de los criterios de usabilidad incluidos en la norma ISO 9241-151, su premisa de garantizar un alto nivel de facilidad de uso, el cómo pueden influir en el diseño de los sitios web de las universidades y en consecuencia en los posibles efectos positivos en la satisfacción de los usuarios.

Con la aplicación de la norma ISO 9241-151, se evidenció problemas específicos para cada sitio web, muchos de los cuales se valoraron con -1 y -2 en los criterios de diseño de contenidos, diseño general y especialmente en los criterios de búsqueda, pues es allí donde no se han aplicado buenas prácticas o estrategias de gestión de la información contenida en los sitios web universitarios.

Los sitios web evaluados universitarios no son explícitos en informar sobre políticas de privacidad con los datos, el uso de cookies y otros indicadores relacionados con el diseño de contenidos. Respecto al diseño general, se refleja la necesidad de mejorar en cuanto al uso del color, tamaño y tipo de fuente, y por ende proporcionar sitios web más atractivos para los usuarios.

En general, los resultados de la evaluación heurística efectuada a los sitios web de las universidades de Ecuador, denotan un alto cumplimiento del criterio de navegación, especialmente en las universidades categorizadas como A, con un 96.5/100, le sigue categoría B con 80.6/100; en el otro extremo el criterio con valoraciones en su mayoría negativas fue el de búsqueda, que incluso las Universidades de categoría A alcanzó 0.6/100 y en las de categoría B -17.30/100. Esto evidencia el requerimiento de mejoras ligadas a la construcción de sitios web con un muy buen soporte en las funciones de búsquedas. Este escenario puede conducir a futuras investigaciones sobre metodologías para el diseño y valoración de este tipo de sitios.

6.Limitaciones y trabajos futuros

Este trabajo se basó en una metodología heurística, en tal virtud a futuro se podría replicar el estudio con usuarios reales y examinar la usabilidad percibida por ellos, así como su satisfacción con respecto a cada sitio web. Además de considerar aspectos como su idioma nativo, niveles de formación, edad, experiencia y predisposición en el manejo de tecnologías web e interfaces emergentes... enriqueciendo más los resultados del análisis.

References

Referencias

Aldwyn, C. (2011). What is the importance of web usability? Modern Web Design and Usability, 19.

Ballard, J. K. (2010). Web Site usability: a case study of student perceptions of educational web sites.

Barcellos, I., & Jr, G. B. (2019). Advances in Human Factors in Communication of Design. 796, 60-71. https://doi.org/10.1007/978-3-319-93888-2

Benaida, M., & Namoun, A. (2018). An Exploratory Study of the Factors Affecting the Perceived Usability of Algerian Educational Websites. TOJET: The Turkish Online Journal of Educational Technology, 17(2), 1-12.

Chamba-Eras, L., Coronel-Romero, E., & Labanda, M. (2016). Usabilidad Web: situación actual de los portales Web de las Universidades de Ecuador.

Hasan, L. (2014). Evaluating the Usability of Educational Websites Based on Students' Preferences of Design Characteristics. (January 2014).

Ismailova, R., & Kimsanova, G. (2017). Universities of the Kyrgyz Republic on the Web: accessibility and usability. Universal Access in the Information Society. https://doi.org/10.1007/s10209-016-0481-0

ISO. (2001). ISO/IEC 9126-1:2001 Software engineering. Product quality. Part 1: Quality model.

ISO. (2008). International Standar ISO - 9241-151: Ergonomics of human-system interaction (Vol. 2008).

Jabar, M. A., Usman, U. A., Awal, A., Technology, I., Technology, I., & Technology, I. (2013). Assessing The Usability Of University Websites From Users ' Perspective. Australian Journal of Basic and Applied Sciences, 7(10), 98-111.

Kim, Y. M. (2011). Users' perceptions of university library websites: A unifying view. Library and Information Science Research, 33(1), 63-72. https://doi.org/10.1016/j. lisr.2010.04.007

Lilliam, D., Cancio, P., Mercedes, I., & Bergues, M. (2013). Usabilidad de los sitios Web, los métodos y las técnicas para la evaluación. 24(2), 176-194.

Manzoor, M., Hussain, W., Sohaib, O., Hussain, F. K., &Alkhalaf, S. (2018). Methodological investigation for enhancing the usability of university websites. Journal of Ambient Intelligence and Humanized Computing. https://doi.org/10.1007/s12652-0180686-6

Nielsen Norman Group. (2016). University Websites.

Norman, D. A. (2000). Design of Everyday Things, MIT Press, New York.

Pierce, K. (2005). Web site usability report for Harvard university. Capella University.

Pincay Ponce, J. I. (2018). Reflexiones sobre la accesibilidad web para el contenido educativo en los sistemas de administración de aprendizaje. REFCalE: Revista Electrónica Formación y Calidad Educativa. ISSN 1390-9010, 6(1), 193-206. Retrieved from https://tinyurl.com/yya7qnbn

Pincay Ponce, J. I., & Delgado Reyes, K. A. (2018). Accesibilidad web: Retos de las Universidades Ecuatorianas. V Congreso Científico Internacional. Investigación Para La Innovación En Las Ciencias, 28-40. https://doi.org/10.13140/ RG.2.2.32252.33925

Rusu, C., Rusu, V., Roncagliolo, S., Quiñones, D., Rusu, V. Z., Fardoun, H. M., ... Collazos, C. A. (2016). Usability Heuristics: Reinventing the Wheel? https://doi. org/10.1007/978-3-319-39910-2_6

Şengel,E.(20i3). UsabilityLevel ofa University WebSite. Procedía - Social andBehavioral Sciences, 106, 3246-3252. https://doi.org/10.1016/j.sbspro.2013.12.373

Sindhuja, P. N., & Dastidar, S. G. (2009). Impact of the factors influencing website usability on user satisfaction. IUP Journal of Management Research, 8(12).

Whiteside, J., Bennett, J., & Holtzblatt, K. (1988). Usability Engineering: Our Experience and Evolution. In Handbook of Human-Computer Interaction (pp. 791-817). https://doi.org/10.1016/B978-0-444-70536-5.50041-5

Yusof, U. K., Khaw, L. K., Ch'ng, H. Y., & Neow, B. J. (2010). Balancing between usability and aesthetics of Web design. Proceedings 2010 International Symposium on Information Technology - Visual Informatics, ITSim'10,1. https://doi.org/10.1109/ ITSIM.2010.5561310