Sistemas de Lógica Difusa para la Evaluación de Usabilidad de Sitios Web de Gobierno Electrónico: Una Revisión Sistemática

Headnote

Resumen: Los procesos de transformación digital de la administración pública han conducido a una progresiva masificación de los servicios de gobierno electrónico en la forma de portales web que reúnen todos aquellos que cada estado pone en consideración hacia sus ciudadanos. Uno de los aspectos más importantes para fomentar el uso de estos servicios, en circunstancias como la pandemia que asola al mundo, es la facilidad de uso de los mismos. En este artículo, se presentan los resultados de una revisión sistemática del estado del arte que describe el uso de sistemas informáticos basados en lógica difusa para efectuar la medición de la usabilidad de sitios web que brindan servicios de gobierno electrónico.

Palabras-clave: Usabilidad; Lógica Difusa; Gobierno Electrónico; Revisión Sistemática

Abstract: The digital transformation processes of public administration have led to a progressive massification of electronic government services in the form of web portals that bring together all those that each state puts into consideration towards its citizens. One of the most important aspects to promote the use of these services, in circumstances such as the pandemic that is ravaging the world, is their ease of use. This article presents the results of a systematic review of the state of the art that describes the use of computer systems based on fuzzy logic to measure the usability of websites that provide electronic government services.

Keywords: Usability; Fuzzy Logic; E-Government; Systematic Review

1.Introducción

En la actualidad, una de las características esenciales a tener en cuenta en el desarrollo de software es la usabilidad, entendida como el grado el cual un sistema, producto o servicio puede ser usado por usuarios específicos para alcanzar sus objetivos con efectividad, eficiencia y satisfacción en un determinado contexto de uso (ISO 9241-2010, 2010). Debido a la importancia de la usabilidad en la masificación de uso de un software, es que resulta primordial asegurar un alto grado de este indicador para fortalecer la experiencia y satisfacción del usuario, así como también, del logro de sus objetivos debido a que contribuye firmemente a una alta productividad, eficiencia y facilidad de uso reduciendo de esta forma, el grado de aprendizaje necesario (Hartson & Pyla, 2019).

Por otro lado, a través de los años se han propuesto distintos métodos destinados a la evaluación de la usabilidad. A modo de ejemplo, se puede mencionar a las evaluaciones heurísticas propuestas por Jakob Nielsen (1994), las cuales consisten de directrices generales aplicables a cualquier software para realizar una evaluación integral de la usabilidad. Sin embargo, existen pocas aproximaciones para la medición cuantitativa de la usabilidad, debido a que la gran mayoría, como la mencionada anteriormente, tienen carácter cualitativo (Granollers, 2016).

Es por ello que la aplicación de técnicas de la Inteligencia Artificial podría ayudar a obtener valores cuantitativos y fácilmente comparables de forma que se pueda identificar, en una etapa temprana del desarrollo de software, una propuesta de diseño superior a otra en términos de usabilidad. Al obtener un valor cuantitativo sobre el nivel de usabilidad de un sitio web, es posible realizar comparaciones con otras plataformas que ofrezcan funcionalidades o servicios similares y determinar en qué grado se encuentra un sitio frente a otros referentes.

Entre estas técnicas que permiten cuantificar constructos, se puede destacar a la lógica difusa, el cual es un método que consiste en proveer un medio natural para lidiar con problemas en los que la fuente de imprecisión es la ausencia de criterios claramente definidos de pertenencia a una determinada clase (Zadeh, 1965). A pesar de los beneficios tangibles que implica el empleo de esta técnica, se ha podido evidenciar que su utilización no se encuentra difundida para la medición de la usabilidad en aplicaciones web de gobierno electrónico (Lestari et al., 2017).

A nivel global, la modernización de la administración pública se ha alcanzado con la presencia del gobierno electrónico, que se define como el uso de información y tecnologías de comunicación para prestar servicios públicos de forma que se mejoren tanto la efectividad de esta gestión (Unión Internacional de la Telecomunicación, 2009) y los servicios de gobierno digital que consisten en la prestación de servicios públicos utilizando tecnologías de internet en las que la interacción de un ciudadano con una organización pública está mediada en parte o completamente por un sistema de Tecnología de Información (Lindgren et al., 2019). Actualmente, estos servicios son brindados mediante el empleo de aplicaciones web y móviles las cuales, al ser soluciones ofrecidas para la utilización de la ciudadanía, deben presentar la característica crucial de contar con altos grados de usabilidad.

2.Marco Teórico

2.1.Usabilidad

La ISO 9241-2010 define a la usabilidad como "el grado en el cual un sistema, producto o servicio puede ser usado por usuarios específicos para alcanzar sus objetivos con efectividad, eficiencia y satisfacción en un determinado contexto de uso" (ISO 92412010, 2010).

Por otro lado, enfocándonos más en el dominio web, Gill nos define que "un sitio web usable es aquel en donde un visitante puede fácilmente encontrar lo que está buscando y realizar de forma exitosa lo que vino a hacer a este sitio web sin tener que recurrir a una búsqueda frustrante" (Gill, 2012)

2.2. Lógica Difusa

La lógica difusa, perteneciente al área de la Inteligencia Artificial, fue investigada inicialmente por Lofti Zadeh en 1965 en su artículo "Fuzzy Sets" (Zadeh, 1965). Conceptualizada en un inicio como "conjunto difuso", este artículo matemático presenta su definición como "una clase con diversos grados de pertenencia".

Este marco matemático nos permite realizar un tratamiento sistemático a la imprecisión e incertidumbre producidas, principalmente, por variables con un alto índice de ambigüedad. Según los conjuntos clásicos, el clima o es frío o es caliente. Sin embargo, con lógica difusa el clima puede ser caliente y frío a la vez a un cierto grado de pertenencia en ambos conjuntos. Además, Zadeh menciona que "este marco de trabajo provee un medio natural para lidiar con problemas en los que la fuente de imprecisión es la ausencia de criterios definidos claramente de pertenencia de clases en vez de la presencia de variables aleatorias" (Zadeh, 1965).

2.3. Gobierno electrónico y servicios de gobierno electrónico

Por otro lado, la conceptualización de gobierno electrónico, ofrecido por la Unión Internacional de la Telecomunicación (ITU: International Telecommunication Union), es "el uso de información y tecnologías de comunicación en el gobierno para prestar servicios públicos, para mejorar la efectividad en la administración y para promover valores democráticos, así como un marco regulatorio que facilita iniciativas de información intensiva y promueva el conocimiento de la sociedad" (Unión Internacional de la Telecomunicación, 2009).

3.Revisión sistemática del estado del arte

3.1. Objetivos de la revisión

La presente revisión sistemática tiene como objetivo identificar aquellos estudios y trabajos que utilizan técnicas de inteligencia artificial en la medición de la usabilidad en aplicaciones web de portales conteniendo servicios digitales de gobierno electrónico. Para ello, se plantea realizarla tomando en consideración el protocolo propuesto por B. Kitchenham (Kitchenham & Brereton, 2013). Esta metodología ha sido diseñada específicamente para identificar estudios en el área de Ingeniería de Software. Los pasos descritos nos permiten obtener investigaciones altamente relevantes al tema de investigación, así como también, la posibilidad de replicación de los resultados obtenidos.

Para lograr la consecución del objetivo de revisión, se plantean las siguientes preguntas de investigación:

* P1. ¿De qué manera la inteligencia artificial ha sido empleada para medir la usabilidad de aplicaciones web?

* P2. ¿En qué dominios de aplicación web se reporta el uso de lógica difusa para la medición de usabilidad?

* P3. ¿Cuáles son los atributos más empleados en estudios de evaluación de usabilidad utilizando lógica difusa?

* P4. ¿De qué manera se han utilizado sistemas o modelos basados en lógica difusa para medir aplicaciones web de gobierno electrónico?

3.2. Estrategia de búsqueda

A continuación, se muestran las cadenas de búsqueda elaboradas para cada motor de búsqueda:

* Scopus

TITLE-ABS-KEY (("usability" OR "user experience" OR "usable") AND ("software" OR "system" OR "application") AND ("web") AND ("measur·" OR "evaluat·" OR "assess·") AND ("artificial intelligence" OR "fuzzy" OR "neural network" OR "bayesian"))

* Web of Science

TOPIC: (("usability" OR "user experience" OR "usable") AND ("software" OR "system" OR "application") AND ("web") AND ("measur·" OR "evaluat·" OR "assess·") AND ("artificial intelligence" OR "fuzzy" OR "neural network·" OR "bayesian"))

* ACM Digital Library

[[Abstract: "usability"] OR [Abstract: "user experience"] OR [Abstract: "usable"]] AND [[Abstract: "software"] OR [Abstract: "system"] OR [Abstract: "application"]] AND [Abstract: "web"] AND [[Abstract: "measur·"] OR [Abstract: "evaluat·"] OR [Abstract: "assess·"]] AND [[Abstract: "artificial intelligence"] OR [Abstract: "fuzzy"] OR [Abstract: "neural network·"] OR [Abstract: "bayesian"]]

Los criterios de inclusión identificados en la presente revisión sistemática se presentan a continuación:

* El estudio reporta la ejecución de una evaluación de usabilidad en el dominio web mediante técnicas de inteligencia artificial.

* El estudio describe una propuesta, marco de trabajo o metodología de evaluación de usabilidad a sistemas web aplicando técnicas de inteligencia artificial.

* El estudio muestra una comparativa de técnicas de inteligencia artificial que podrían ser utilizadas en la evaluación de usabilidad de aplicaciones web.

* El estudio describe un modelo basado en lógica difusa para medir el nivel de usabilidad de sistemas web.

* El estudio describe el desarrollo o uso de un sistema de software que permite medir el nivel de usabilidad empleando técnicas de inteligencia artificial.

Por otro lado, los criterios de exclusión seleccionados son los siguientes:

* El estudio está redactado en un idioma diferente al inglés o español.

* El estudio reporta la evaluación de usabilidad a un dispositivo electrónico o de hardware.

* El estudio no está relacionado a aplicaciones web.

* El estudio no describe la utilización de una técnica de inteligencia artificial para la medición de la usabilidad.

La revisión se realizó entre marzo y abril del 2020, en tres bases de datos de artículos indexados como se presentan a continuación en la tabla 1:

La Tabla 2 muestra los estudios considerados como relevantes para la revisión sistemática, después de aplicar los criterios de inclusión y exclusión.

3.3.Resultados de la revisión

Una vez efectuada la revisión sistemática, se procede a agrupar los resultados de manera que permitan responder a las preguntas de investigación establecidas.

Resultados para la pregunta 1 "¿De qué manera la inteligencia artificial ha sido empleada para medir la usabilidad de aplicaciones web?".

La tabla 3 muestra los resultados que responden a la pregunta antes mencionada:

Resultados para la pregunta 2 "¿En qué dominios de aplicación web se reporta el uso de lógica difusa para la medición de usabilidad?"

A continuación, la tabla 4 presenta los resultados para la siguiente pregunta de investigación:

Resultados para la pregunta 3 "¿Cuáles son los atributos más empleados en estudios de evaluación de usabilidad utilizando lógica difusa?"

En la tabla 5, se presentan los resultados identificados para esta tercera pregunta de investigación:

Resultados para la pregunta 4 "¿De qué manera se han utilizado sistemas o modelos basados en lógica difusa para medir aplicaciones web de gobierno electrónico?"

Finalmente, se presentan los resultados obtenidos que permiten responder la pregunta de investigación en la tabla 6:

4.Revisión sistemática del estado del arte

La revisión sistemática realizada evidencia que, si bien se han encontrado estudios que empleen técnicas de inteligencia artificial como métodos para cuantificar la usabilidad en el dominio web, esta aún no se aplica en gran medida.

Por otro lado, se pueden mencionar algunos de los beneficios que nos brinda el uso de técnicas de la inteligencia artificial en esta área de investigación como son el tratamiento de la ambigüedad en los atributos de la usabilidad y la posibilidad de obtener resultados más certeros, lo cual deriva en procesos de mejora continua para la usabilidad del software.

De igual manera, los sistemas de medición de usabilidad que emplean técnicas de inteligencia artificial en el dominio web están siendo utilizados, en su mayoría, para cuantificar la usabilidad de aplicaciones web de comercio electrónico y servicios de biblioteca, en los cuales es fundamental proveer el mejor servicio posible desde una perspectiva del diseño y facilidad de uso de la aplicación.

Asimismo, se identificaron cuáles son los atributos más utilizados en la medición de la usabilidad siendo los principales la eficiencia, la satisfacción y la facilidad de navegación. Estos factores son determinantes para una adecuada y correcta cuantificación de la usabilidad en el dominio web, y representan la base de contenido de los cuestionarios aplicados durante las evaluaciones iniciales.

Es necesario resaltar el hecho de que se hayan realizado muy pocas evaluaciones de usabilidad en el ámbito del gobierno electrónico utilizando aplicaciones de la inteligencia artificial, como la lógica difusa. De igual forma, es pertinente destacar la importancia de asegurar que los sistemas web de gobierno electrónico posean una usabilidad idónea para poder así, cumplir con su función de ser el nexo digital entre el Estado y el pueblo.

Finalmente, la revisión sistemática realizada podrá servir como base para la implementación de un sistema de información que permita obtener la medición de la usabilidad de sitios web que brindan servicios de gobierno electrónico, empleando lógica difusa como método de cuantificación y un cuestionario de usabilidad que considere todos los aspectos que son relevantes en este dominio de aplicación.

References

Referencias

Alfimtsev, A. N., & Sakulin, S. A. (2017). Data fusion based on the fuzzy integral: Model, methods and applications. In Data Fusion: Methods, Applications and Research. https://www.scopus.com/inward/record.uri?eid=2-s2.0-85034744424&partnerI D=40&md5=7f63032bc3db4d20cd879db099d298bf

Alfimtsev, A., Sakulin, S., & Levanov, A. (2016). Formalization of Expert Knowledge About the Usability of Web Pages Based on User Criteria Aggregation. INTERNATIONAL JOURNAL OF SOFTWARE INNOVATION, 4(3), 38-50. https://doi.org/i0.40i8/ IJSI.2016070103

Alharbe, N. (2020). A fuzzy-delphi based decision-making process for measuring usablesecurity of web based smart hospital management system. ICIC Express Letters, 14(1), 15-21. https://doi.org/10.24507/icicel.14.01.15

Alharbe, N. R. (2019). Improving usable-security of web based healthcare management system through Fuzzy AHP. International Journal of Advanced Computer Science and Applications, 10(8), 68-71. https://doi.org/10.14569/ijacsa.2019.0100810

Aviz, I. L., Souza, K. E., Ribeiro, E., De Mello, H., & Seruffo, M. C. da R. (2019). Comparative study of user experience evaluation techniques based on mouse and gaze tracking. Proceedings of the 25th Brazillian Symposium on Multimedia and the Web, WebMedia 2019, 53-56. https://doi.org/10.1145/3323503.3360623

Bakaev, M., Gaedke, M., Khvorostov, V., & Heil, S. (2016). Extending Kansei Engineering for requirements consideration in web interaction design. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 9671, 513-518. https://doi.org/10.1007/978-3319-38791-8_39

Bakaev, M., Khvorostov, V., Heil, S., & Gaedke, M. (2017). Evaluation of user-subjective web interface similarity with Kansei engineering-based ANN. Proceedings - 2017 IEEE 25th International Requirements Engineering Conference Workshops, REW 2017, 125-131. https://doi.org/10.1109/REW.2017.13

Bakaev, M., Khvorostov, V., & Laricheva, T. (2017). Assessing Subjective Quality of Web Interaction with Neural Network as Context of Use Model. Communications in Computer and Information Science, 745, 185-195. https://doi.org/10.1007/9783-319-69784-0_i6

Bedi, P., & Banati, H. (2005). Prioritizing web usability attributes using Intuitionistic fuzzy sets. Proceedings of the 2005 International Conference on Software Engineering Research and Practice, SERP'05, 2, 570-576. https://www.scopus. com/inward/record.uri?eid=2-s2.0-60749090289&partnerID=40&md5=736774d fe9i20ii82f3495706f6ii4b8

Charonyktakis, P., Plakia, M., Tsamardinos, I., & Papadopouli, M. (2016). On user-centric modular QoE prediction for voip based on machine-learning algorithms. IEEE Transactions on Mobile Computing, 15(6), 1443-1456. https://doi.org/10.1109/ TMC.2015.2461216

Chaudhary, N., & Sangwan, O. P. (2015). Multi criteria based fuzzy model for website evaluation. 2015 International Conference on Computing for Sustainable Global Development, INDIACom 2015, 1798-1802. https://www.scopus.com/inward/ record.uri?eid=2-s2.0-84960935303&partnerID=40&md5=d18c20e9b0f3643e23 57031cdbb6c05c

Chen, D. (2018). Application of artificial intelligence technology in the visual communication design of shopping platform. https://www.scopus.com/inward/ record.uri?eid=2-s2.0-85028435846&doi=10.1007%2F978-3-319-607443_13&partnerID=40&md5=c1f52e7568a322f5c52c7aba594e1c06

Chen, Du, Gao, M., Liu, A., Chen, M., Zhang, Z., & Feng, Y. (2019). A Recurrent Neural Network Based Approach for Web Service QoS Prediction. 2019 2nd International Conference on Artificial Intelligence and Big Data, ICAIBD 2019, 350-357. https:// doi.org/10.1109/ICAIBD.2019.8837006

Chynał, P., Sobecki, J., & Szymański, J. M. (2013). Remote usability evaluation using eye tracking enhanced with intelligent data analysis. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 8012 LNCS(PART 1), 212-221. https://doi.org/10.1007/978-3642-39229-0_24

Gill, K. (2012). Chapter 2 - Usability of Public Web Sites. In E. Buie & D. Murray (Eds.), Usability in Government Systems (pp. 21-40). Morgan Kaufmann. https://doi. org/https://doi.org/10.1016/B978-0-12-391063-9.00034-1

Granollers, T. (2016). Validación experimental de un conjunto heurístico para evaluaciones de UX de sitios web de comercio-e. 2016 Proccedings IEEE 11th Colombian Computing Conference (CCC), 1-8, htpps://doi.org/10.1109/ ColumbianCC.2016.7750783

Guo, F., Liu, W. L., Cao, Y., Liu, F. T., & Li, M. L. (2016). Optimization Design of a Webpage Based on Kansei Engineering. HUMAN FACTORS AND ERGONOMICS IN MANUFACTURING & SERVICE INDUSTRIES, 26(1), 110-126. https://doi. org/10.1002/hfm.20617

Harshan, R. K., Chen, X., & Shi, B. (2018). UNSCALE: Multi-criteria Usability Evaluation Framework for Library Websites in a Fuzzy Environment. Proceedings of the 2018 IEEE 22nd International Conference on Computer Supported Cooperative Work in Design, CSCWD 2018, 859-863. https://doi.org/io.ii09/CSCWD.20i8.8465383

Hartson, R., & Pyla, P. (2019). Chapter 1 - What Are UX and UX Design? In R. Hartson & P. Pyla (Eds.), The UX Book (Second Edition) (Second Edition, pp. 3-25). Morgan Kaufmann. https://doi.org/https://doi.org/i0.i0i6/B978-0-i2-805342-3.0000i-i

Hub, M., & Zatloukal, M. (2010). Model of usability evaluation of web portals based on the fuzzy logic. WSEAS Transactions on Information Science and Applications, 7(4), 522-531. https://www.scopus.com/inward/record.uri?eid=2-s2.077950927322&partnerID=40&md5=a9323f3515d4dea9d411d82f4d3156ce

Hub, M., & Zatloukal, M. (2009). Towards establishing a score of usability evaluation. E a M: Ekonomie a Management, 12(2), 156-169. https://www.scopus.com/inward/ record.uri?eid=2-s2.0-67949122068&partnerID=40&md5=3dc8516333b190ab20 bbe27deb404132

ISO 9241-210 (2010): Ergonomics of Human-System Interactions - Part 210: Human-centred Design for Interactive Systems. International Organization for Standardization. Retrieved from https://www.iso.org/standard/52075.html

Jankowski, J., Kazienko, P., W&acedil;tróbski, J., Lewandowska, A., Ziemba, P., & Zioło, M. (2016). Fuzzy multi-objective modeling of effectiveness and user experience in online advertising. Expert Systems with Applications, 65, 315-331. https://doi. org/10.1016/j.eswa.2016.08.049

Jankowski, J., Sałabun, W., & W&acedil;trobski, J. (2017). Identification of a multi-criteria assessment model of relation between editorial and commercial content in web systems. Advances in Intelligent Systems and Computing, 506, 295-305. https:// doi.org/10.1007/978-3-319-43982-2_26

Khan, K., & Sahai, A. (2011). A levy-flight neuro-biosonar algorithm for improving the design of eCommerce systems. Journal of Artificial Intelligence, 4(4), 220-232. https://doi.org/10.3923/jai.2011.220.232

Kitchenham, B., & Brereton, P. (2013). A systematic review of systematic review process research in software engineering. Information and Software Technology, 55(12), 2049-2075. https://doi.org/10.1016/j.infsof.2013.07.010

Kumar, R., Irshad Khan, A., Abushark, Y. B., Alam, M. M., Agrawal, A., & Khan, R. A. (2020). An Integrated Approach of Fuzzy Logic, AHP and TOPSIS for Estimating Usable-Security of Web Applications. IEEE Access, 8, 50944-50957. https://doi. org/10.1109/ACCESS.2020.2970245

Lemos, B., & Nunes, I. L. (2018). A Fuzzy Usability Assessment Methodology. Advances in Intelligent Systems and Computing, 592, 409-418. https://doi.org/10.1007/9783-319-60366-7_38

Lestari, V. A., Aknuranda, I., & Ramdani, F. (2017). Usability evaluation of e-government using iso 9241 and fuzzy tsukamoto approach. Journal of Telecommunication, Electronic and Computer Engineering, 9(2-8), 153-157. https://www.scopus. com/inward/record.uri?eid=2-s2.0-85032798956&partnerID=40&md5=2bcid97 a7bdfac55225d87912c6e20a4

Lindgren, I., Madsen, C. Ø., Hofmann, S., & Melin, U. (2019). Close encounters of the digital kind: A research agenda for the digitalization of public services. Government Information Quarterly, 36(3), 427-436. https://doi.org/https://doi.org/10.1016/j. giq.2019.03.002

Liu, J., Cui, M., & Jia, L. (2018). Evaluation of user experience based 3D websites using gray correlation analysis and AHP. ICNC-FSKD 2018 - 14th International Conference on Natural Computation, Fuzzy Systems and Knowledge Discovery, 1306-1309. https://doi.org/10.1109/FSKD.2018.8687167

Liu, W., Huang, D., & Zhang, Y. (2010). Research on fuzzy comprehensive evaluation of user experience. https://www.scopus.com/inward/record.uri?eid=2-s2.079952745260&doi=10.1109%2FYCICT.2010.5713060&partnerID=40&md5=4c0f 4da2341d8c04a9940c93e9d46403

Luo, X., Liu, J., Zhang, D., & Chang, X. (2016). A large-scale web QoS prediction scheme for the Industrial Internet of Things based on a kernel machine learning algorithm. Computer Networks, 101, 81-89. https://doi.org/10.1016/j.comnet.2016.01.004

Masudin, I., & Saputro, T. E. (2016). Evaluation of B2C website based on the usability factors by using fuzzy AHP & hierarchical fuzzy TOPSIS. IOP Conference Series: Materials Science and Engineering, 114(1). https://doi.org/10.1088/1757899X/114/1/012091

McGlinn, K., Yuce, B., Wicaksono, H., Howell, S., & Rezgui, Y. (2017). Usability evaluation of a web-based tool for supporting holistic building energy management. Automation in Construction, 84, 154-165. https://doi.org/10.1016/j.autcon.2017.08.033

Meyer, A. N. D., Giardina, T. D., Spitzmueller, C., Shahid, U., Scott, T. M. T., & Singh, H. (2020). Patient Perspectives on the Usefulness of an Artificial Intelligence-Assisted Symptom Checker: Cross-Sectional Survey Study. Journal of Medical Internet Research, 22(1), e14679. https://doi.org/10.2196/14679

Nagpal, R., Mehrotra, D., & Bhatia, P. K. (2016). Usability evaluation of website using combined weighted method: fuzzy AHP and entropy approach. International Journal of Systems Assurance Engineering and Management, 7(4), 408-417. https://doi.org/10.1007/s13198-016-0462-y

Nielsen, J. (1994). Heuristic Evaluation. In Usability Inspection Methods (pp. 25-62). John Wiley & Sons, Inc. https://dl.acm.org/doi/10.5555/189200.189209

Oztekin, A. (2011). A decision support system for usability evaluation of web-based information systems. Expert Systems with Applications, 38(3), 2110-2118. https://doi.org/10.1016/j.eswa.2010.07.151

Oztekin, A., Delen, D., Turkyilmaz, A., & Zaim, S. (2013). A machine learning-based usability evaluation method for eLearning systems. Decision Support Systems, 56(1), 63-73. https://d0i.0rg/10.1016/j.dss.2013.05.003

Pandey, S., & Daniel, A. K. (2016). Fuzzy logic based cloud service trustworthiness model. Proceedings of 2nd IEEE International Conference on Engineering and Technology, ICETECH 2016, 73-78. https://doi.org/10.1109/ICETECH.2016.7569215

Papatheocharous, E., Belk, M., Germanakos, P., & Samaras, G. (2014). Towards implicit user modeling based on artificial intelligence, cognitive styles and web interaction data. International Journal on Artificial Intelligence Tools, 23(2). https://doi. org/10.1142/S0218213014400090

Papatheocharous, E., Belk, M., Germanakos, P., & Samaras, G. (2013). Embracing cognitive factors and Fuzzy Logic in adaptive interactive systems. Engineering Intelligent Systems, 21(2-3), 161-178. https://www.scopus.com/inward/record. uri?eid=2-s2.0-84890512699&partnerID=40&md5=0afaba68832a0550fbb17fd4 21a9336e

Petroni, B. C. A. (2007). The use of intelligent agents to improve a web interface interaction and its usability. Proceedings of the 200711th International Conference on Computer Supported Cooperative Work in Design, CSCWD, 372-376. https://doi.org/10.1109/CSCWD.2007.4281464

Ramanayaka, K. H., Chen, X., & Shi, B. (2019). UNSCALE: A Fuzzy-based Multi-criteria Usability Evaluation Framework for Measuring and Evaluating Library Websites. IETE Technical Review (Institution of Electronics and Telecommunication Engineers, India), 36(4), 412-431. https://doi.org/10.1080/02564602.2018.1498032

Ramanayaka, K. H., Chen, X., & Shi, B. (2019a). Application of extent analysis FAHP to determine the relative weights of evaluation indices for library website usability acceptance model. IET Software, 13(1), 86-95. https://doi.org/10.1049/ietsen.2018.5185

Rim, R., Amin, M. M., Adel, M., & Mohamed, A. (2017). Evaluation method for an adaptive web interface: GOMS model. Advances in Intelligent Systems and Computing, 557, 116-124. https://doi.org/10.1007/978-3-319-53480-0_12

Sahi, G. (2018). Performance Evaluation of Artificial Neural Network for Usability Assessment of E-Commerce Websites. 2018 3rd International Conference for Convergence in Technology, I2CT 2018. https://doi.org/10.1109/ I2CT.2018.8529613

Serdar Biçer, M., & Diri, B. (2016). Defect prediction for Cascading Style Sheets. Applied Soft Computing Journal, 49, 1078-1084. https://doi.org/10.1016/j. asoc.2016.05.038

Sicilia, M. A., & García, E. (2003). Modelling interacting web usability criteria through fuzzy measures. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2722, 182-185. https://doi.org/10.1007/3-540-45068-8_32

Singh, T., Malik, S., & Sarkar, D. (2017). E-commerce website quality assessment based on usability. Proceeding - IEEE International Conference on Computing, Communication and Automation, ICCCA 2016, 101-105. https://doi.org/10.1109/ CCAA.2016.7813698

Soh, H., Sanner, S., White, M., & Jamieson, G. (2017). Deep sequential recommendation for personalized adaptive user interfaces. International Conference on Intelligent User Interfaces, Proceedings IUI, 589-593. https://doi.org/10.1145/3025171.3025207

Unión Internacional de la Telecomunicación (2009). E-government implementation toolkit. Ginebra: ITU. Versión digital, recuperada el 12 de mayo de 2020 de: https://www.itu.int/dms_pub/itu-d/opb/str/D-STR-GOV.E_GOV-11-2010PDF-E.pdf

Wahyuningrum, T., Azhari, & Suprapto. (2019). A comparison of extent analysis and fuzzy preference programming for evaluating B2C website usability. Proceedings - 8th IEEE International Conference on Control System, Computing and Engineering, ICCSCE 2018, 150-155. https://doi.org/10.1109/ICCSCE.2018.8684999

Zheng, H., Feng, Y., & Tan, J. (2016). A fuzzy QoS-aware resource service selection considering design preference in cloud manufacturing system. INTERNATIONAL JOURNAL OF ADVANCED MANUFACTURING TECHNOLOGY, 84(1-4), 371-379. https://doi.org/10.1007/s00170-016-8417-7