Usabilidad en Moodle: un meta-análisis a partir de experiencias reportadas en WOS y Scopus

Headnote

Resumen: Moodle es uno de los sistemas de gestión del aprendizaje más difundidos en el mundo y que ha sido objeto de numerosas investigaciones, principalmente en el contexto del aprendizaje mixto. Desde el punto de vista de tecnológico, la usabilidad (facilidad de uso) es un elemento sumamente importante a tener en cuenta en un software como Moodle. Aunque la literatura recoge importantes contribuciones sobre evaluaciones de usabilidad en este LMS, hasta donde se conoce, no existen investigaciones que resuman la percepción que tienen los usuarios en torno a esta característica. Con la intención de contribuir a este tema, el presente trabajo tiene por objetivo general conocer la percepción global de usabilidad que tienen los usuarios sobre Moodle, específicamente en el contexto de la educación superior.

Palabras-clave: Moodle, Usabilidad, Meta-análisis, Sistema de gestión de aprendizaje.

Abstract: Moodle is one of the most widely used learning management systems in the world and has been the subject of numerous studies, mainly in the context of blended learning. From the point of view of technology, usability is an extremely important element to consider in software such as Moodle. However, as far as we known, there is no research that summarizes the perception that users have on this feature in Moodle. With aims of contributing to this topic, the present work has as a goal: to determine the global perception of usability that users have about Moodle in higher education.

Keywords: Moodle, Usabilidad, Meta-análisis, Sistema de gestión de aprendizaje.

1.Introducción

El aprendizaje mixto ha demostrado ser un enfoque efectivo en diversos escenarios educativos (Vo, Zhu, & Diep, 2017). La idea principal es combinar el aprendizaje caracara (presencial) con el aprendizaje en línea (Garrison & Kanuka, 2004). Dado su apego a las tecnologías de la comunicación, este tipo de aprendizaje aprovecha los progresos tecnológicos existentes a favor de hacer más efectivo el proceso de enseñanza-aprendizaje (Daniela & Rūdolfa, 2019).

Un papel esencial en este contexto, lo juegan los Sistemas de Gestión del Aprendizaje (LMS), que constituyen una alternativa efectiva para el componente del aprendizaje en línea (Piña, 2010). Desde un punto de vista tecnológico, los LMSs son softwares basados en servidor, que gestionan información de usuarios (ej. estudiantes y docentes), así como de cursos y sus correspondientes contenidos (Piña, 2010). Un LMS se convierte por tanto en un entorno transparente donde tiene lugar el aprendizaje y enseñanza sin depender de límites de tiempo y espacio (Ullman, C., & Rabinowitz, 2004).

Uno de los LMSs más ampliamente difundido en la actualidad, es Moodle (Dougiamas & Taylor, 2003). Sus beneficios en el proceso de enseñanza-aprendizaje de entornos académicos, en general positivo, ha sido abordado por varios estudio en el pasado (Ahmad & Al-khanjari, 2011; Feizabadi, Aliabadi, & Nili Ahmadabadi, 2016; Garcia et al., 2012). De acuerdo a estadísticas actuales, tomadas del propio sitio oficial de Moodle (moodle.net/stats), más de 147 millones de usuarios de 229 países, lo emplean de una forma u otra. El hecho de que Moodle esté ampliamente extendido en muchos escenarios académicos del mundo, podría sugerir intuitivamente que goza de un nivel favorable de aceptación por parte de sus usuarios. Sin embargo, esto no necesariamente podría ser así. Téngase en cuenta que la implantación de Moodle por lo general, es consecuencia de las políticas de la institución que lo adopta (Deepak, 2017), las cuales podrían deberse a razones ajenas a los beneficios directos del usuario final. Por ejemplo, una de estas razones podría ser que Moodle es gratuito, y por tanto, no costaría su implantación.

Aún asumiendo que cada institución que lo adoptó, realizó un estudio detallado sobre la factibilidad y posibles beneficios de emplear a Moodle (Govender & Rootman-le Grange, 2015), no siempre es fácil concluir que los usuarios estén satisfechos con su posterior uso. Es claro que una forma efectiva de saberlo es a través de un estudio prospectivo que evalúe a Moodle en tal sentido. La literatura relacionada con este tema, contiene valiosas experiencias de instituciones que adoptaron Moodle y lo evaluaron tecnológicamente. Algunos ejemplos de este tipo de experiencia han sido reportadas en (Fenu, Marras, & Meles, 2017; Park & Jo, 2017; Sahid, Santosa, Ferdiana, & Lukito, 2017). Dentro de esta denominada satisfacción o aceptación tecnológica, un papel importante lo tiene la Usabilidad. La cual es definida como la capacidad que tienen los usuarios de lograr los objetivos especificados con efectividad, eficiencia y satisfacción al usar el software o la plataforma web en cuestión (Murillo & Pow-Sang, 2018). Es sin dudas el atributo más importante para determinar si los usuarios pueden interactuar fácil y exitosamente con el software (Snider & Martin, 2012).

Hasta donde se conoce, no existen trabajos que resuman las experiencias existentes sobre evaluaciones de usabilidad en Moodle. Por tanto, con la intención de contribuir a esta línea de investigación, el presente trabajo tiene por objetivo general conocer la percepción global de usabilidad que tienen los usuarios sobre Moodle en el contexto de la educación superior.

Para lograr dicho objetivo, se adoptó un enfoque de meta-análisis que pretende responder las siguientes interrogantes específicas:

¿Cuál es la percepción global de usabilidad que perciben los usuarios sobre Moodle?

¿Ha variado esta percepción a lo largo del tiempo?

¿Es sensible esta percepción al tamaño de la muestra empleada en los estudios?

¿Son diferentes las percepciones de usabilidad en los estudios donde participan docentes a los que solamente participan estudiantes?

¿Se publican más trabajos sobre valoraciones positivas de Moodle en relación a las que son negativas?

De acuerdo al reciente trabajo de (Tight, 2018), la investigación en Educación Superior se ha convertido en un campo maduro, beneficiado por el auge de las revisiones sistemáticas y meta-análisis. Aunque ambos tipos de investigaciones se originaron en el campo de la salud, han tenido una excelente acogida en el mundo de la educación y áreas de estudio similares (Gurevitch, Koricheva, Nakagawa, & Stewart, 2018).

A partir de la revisión exhaustiva brindada por el propio (Tight, 2018), es interesante ver que tanto el aprendizaje mixto, como los sistemas de gestión de aprendizaje, están incluidos dentro de los tópicos de la educación superior que han sido abordados a través de revisiones sistemáticas y meta-análisis. Esto no solo indica que resultan temas de interés, sino que además existe abundante literatura al respecto.

Relacionadas con el aprendizaje mixto, destacan las investigaciones de (Bernard, Borokhovski, Schmid, Tamim, & Abrami, 2014; Brown, 2016; Vo et al., 2017), mientras que en caso particular de los LMS, se encuentra la revisión desarrollada por (Kasim & Khalid, 2016). La principal contribución de este último trabajo, fue la evaluación de un total de seis LMS (incluido Moodle) teniendo en cuenta algunas experiencias de la reportadas en la literatura y la valoración de los propios autores. No obstante, ninguna de estas investigaciones resume o evalúa la usabilidad global que se percibe sobre Moodle en el ámbito académico.

2.Materiales y método

El método seleccionado para el desarrollo de la investigación, sigue una estrategia de meta-análisis (Borenstein, Hedges, Higgins, & Rothstein, 2009; Gurevitch et al., 2018), en el que se busca medir el tamaño del efecto global a partir de la recolección de trabajos relevantes de la literatura. En nuestro caso, el tamaño del efecto global será la Usabilidad que perciben los usuarios sobre Moodle. Para asegurar la rigurosidad en la búsqueda de la bibliografía asociada, se han seguido los estándares de calidad de la declaración PRISMA (Moher, Liberati, Tetzlaff, & Altman, 2010), en especial, a los criterios de selección de los estudios. Como consecuencia, se procedió a realizar recopilar los trabajos relacionados con el tema, a través de la consulta a dos bases de datos bibliográficas de alto impacto científico: Web of Science y Scopus (Mongeon & Paul-Hus, 2016).

Los términos incluidos en la consulta fueron seleccionados a partir de las palabras clave presente en algunos de los trabajos más citados en el ámbito de los LMS. Por ejemplo, (Cole & Foster, 2007; Dougiamas & Taylor, 2003; Romero, Ventura, & García, 2008). Concretamente, se diseñaron las siguientes consultas:

Scopus:

TITLE ((assessm· OR evalua· OR compar· OR select· OR choos· OR accept·) AND ("learning management system" OR "course management system" OR "personal learning environment" OR "e-learning courseware" OR "virtual learning environment")) AND ALL ( moodle)

Web of Science:

TI = ((assessm· OR evalua· OR compar· OR select· OR choos· OR accept·) AND ("learning management system" OR "course management system" OR "personal learning environment" OR "e-learning courseware" OR "virtual learning environment")) AND ALL=(moodle)

Como se aprecia en estas consultas, aún teniendo sintaxis diferentes ambas permitieron recuperar trabajos con características similares. Un detalle relevante aquí, es que los principales términos fueron buscados a nivel de título, pero al mismo tiempo, se exigió que los trabajos incluyesen al término 'moodle' también en al menos uno de los metadatos. De esta forma, se logra la inclusión de aquellos estudios en los que Moodle fue objeto de investigación.

Los criterios de inclusión y exclusión que se emplearon para llevar a cabo el análisis sistemático de la literatura, se muestran en la Tabla 1. Adicionalmente, se estableció como rango de fechas desde 2001-2019, con el objetivo de poder considerar aquellas las investigaciones desde los inicios de Moodle, hasta la actualidad.

En general, el análisis sistemático de los trabajos se desarrolló en tres fases: 1) se emplearon las consultas descritas anteriormente en Scopus y WOS; 2) los resultados obtenidos en la fase 1) fueron filtrados de acuerdo a los criterios de inclusión y exclusión (a) y (b), mientras que en la fase 3, se aplicaron los filtros relacionados con los criterios (c) y (d). El número de trabajos que quedó como resultado de cada fase se puede observar en la Figura 1.

En la Figura 1 se puede ver que solo 10 trabajos resultaron del proceso de búsqueda, y serán los empleados para medir la Usabilidad que perciben los usuarios sobre Moodle, específicamente en el contexto de la educación superior. Con el objetivo de responder coherentemente las preguntas que guían a esta investigación, y al mismo tiempo dotar al meta-análisis desarrollado de un mayor poder explicativo en torno a la diversidad de resultados, se definieron las variables moderadoras que se muestran en la Tabla 2.

3.Resultados

En esta sección se presentan los resultados de la investigación. Primeramente, se expondrán las características generales de los trabajos de acuerdo a las variables moderadoras definidas. Más adelante, se resumen los resultados del meta-análisis que se desarrolló.

En la Tabla 3 se resumen las principales características de los 10 trabajos que fueron seleccionados a través del protocolo de búsqueda adoptado. Como se aprecia, los trabajos encontrados han sido publicados en los años comprendidos en el periodo 2007 a 2016, y poseen una distribución diversa en cuanto a los niveles de las restantes variables. Por ejemplo, el 40% de los estudios poseen un tamaño de muestra inferior a 100 individuos. Similarmente, el 30% porciento incluye a docentes como evaluadores de la Usabilidad.

3.1. Meta-analísis sobre Usabilidad en Moodle

Una vez descritas las principales características de los estudios en función de las variables definidas, a continuación se buscarán respuestas a las preguntas que guían a la investigación a través de un meta-análisis de proporciones (Nyaga, Arbyn, & Aerts, 2014). Por cada estudio de la Tabla 3, se recolectó la cantidad de participantes que evaluaron favorablemente la usabilidad de Moodle, así como el total de participantes (tamaño de la muestra). Con dicha información se ajustó un modelo de efectos aleatorios (Borenstein et al., 2009). La razón por la cual se elige dicho modelo, es que se pudo observar que los estudios no midieron de manera homogénea la usabilidad. En particular, cada estudio empleó diferentes cantidades y tipología de indicadores para obtener una evaluación global sobre la percepción de la usabilidad de Moodle. Como consecuencia, no se podría asegurar que cada estudio haya medido el mismo constructo, y que, por tanto, la variabilidad existente entre los estudios se deba exclusivamente a errores derivados del proceso de muestreo (Borenstein et al., 2009).

Es importante tener en cuenta que en un meta-análisis de proporciones el tamaño del efecto está definido en el intervalo [0,0; 1,0]. En nuestro caso, este intervalo tendría la siguiente interpretación: un valor del tamaño del efecto cercano a 1 indicaría que la percepción sobre la usabilidad en Moodle es alta, mientras que un valor cercano a 0, lo contrario.

Teniendo en cuenta los elementos anteriores, al ajustar el modelo de efectos aleatorios incluidos todos los estudios, el tamaño del efecto global (percepción de usabilidad de Moodle) fue de 0,82, con un intervalo de confianza del 95% [0,69; 0,90]. Lo cual indica que, de manera general, los usuarios perciben que Moodle es fácil de usar como software. No obstante, el grado de heterogeneidad asociado a este resultado fue, de acuerdo al estadígrafo I2, del 96,76%. El p-valor asociado a la prueba de heterogeneidad Q, fue inferior a 0.0001, lo cual indica que la heterogeneidad no solo es alta (Higgins, Thompson, Deeks, & Altman, 2003), sino también significativa. Como consecuencia, el efecto global calculado anteriormente no puede considerarse homogéneo y, por tanto, se debe proceder con un análisis que explique el origen de tal heterogeneidad.

Primeramente, se procedió con la detección de estudios con efectos atípicos (outliers) y que poseen una mayor influencia sobre el tamaño del efecto. Un análisis leave one out mostró que el estudio con mayor valor absoluto del residuo estudentizado fue (Wang et al., 2013) (>=2). Sin este trabajo, un nuevo cálculo del efecto global dio como resultado 0,79, con un intervalo de confianza del 95%, [0,72; 0,84]. La heterogeneidad descendió apreciablemente (I2=83,96%), aunque sigue siendo significativa (p-valor < 0.0001). La Figura 2 resume este último análisis, y muestra además por cada estudio, el efecto estimado (Proporción) con su respectivo intervalo de confianza del 95%. Nótese que la columna Casos y Total, representan respectivamente, el número de individuos que evaluaron positivamente a Moodle y el tamaño de la muestra.

Como elemento adicional, se analizó la influencia de las variables sustantivas y metodológicas en el efecto global. En el caso de la variable Año de publicación, se empleó un modelo de meta-regresión, mientras que, para el resto de las variables (categóricas), un análisis de subgrupos. En la Tabla 4 se muestra un resumen de estos análisis por cada una de las variables. En la columna QM se reporta el estadígrafo relacionado con la prueba de los moderadores realizada a cada variable en cuestión (Wolfgang, 2010). La columna siguiente, contiene el p-valor correspondiente a la prueba de moderadores. Finalmente, en la última columna se reporta la heterogeneidad residual que puede explicarse debido a la partición del conjunto de estudios de acuerdo a los niveles de la variable en cuestión.

Como se aprecia, las variables Muestra mayor o igual a 100, y Participan Docentes resultan significativas como moderadoras (p-valor < 0.05), siendo la heterogeneidad residual algo menor que cuando se compara con la calculada previamente, esto es, sin tener en cuenta las variables (Figura 2). Las Figuras 3 y 4 muestran como quedarían los análisis de subgrupos correspondientes a las variables encontradas como significativas.

A partir de las Figuras 3 y 4, es posible que ver la diferencia de percepción de Usabilidad en cada subgrupo. Por ejemplo, en el caso de la variable Tamaño de muestra mayor igual a 100, aquellos estudios que no cumplen con esta propiedad, tienen un tamaño de efecto de 0,70, muy inferior en comparación con el otro subgrupo donde el efecto es de 0,84. De manera similar, para el caso de la otra variable (Figura 4), es posible apreciar que los estudios donde participan docentes, poseen una percepción menor de la usabilidad de Moodle (0,69) en comparación con aquellos donde participan solo estudiantes (0,83).

Con el objetivo de identificar posibles sesgos de publicación en la muestra de estudios recolectados, se aplicó la prueba de asimetría de Egger. En la Figura 5, se muestra la distribución de los estudios de acuerdo a sus respectivos errores estándar y su proporción estimada (satisfacción). En tal sentido, la prueba de Egger dio como resultado un valor z igual a 0,31, y un p-valor asociado de 0,76 > 0,05. Lo cual indica que no existe asimetría en el modelo.

4.conclusiones

Los resultados anteriormente descritos permiten responder, desde un punto de vista cuantitativo, las preguntas que originaron la presente investigación. En lo que sigue, se abordarán estas respuestas en el mismo orden que se formularon las preguntas.

¿Cuál es la percepción global de usabilidad que perciben los usuarios sobre Moodle?

De acuerdo al tamaño del efecto global calculado en el último análisis (0.79), la percepción de la usabilidad de Moodle que tienen los usuarios se puede catalogar de alta. Nótese que incluso, el valor inferior del intervalo de confianza es de 0.72. Sin embargo, estos resultados no son del todo homogéneos y por tanto se deben interpretar con precaución.

¿Ha variado esta percepción a lo largo del tiempo?

El análisis de meta-regresión aplicado a la variable Año de publicación, indica que la misma no es significativa como moderadora. De manera que no posee una influencia significativa en el tamaño del efecto (percepción de usabilidad). Por tanto, se concluye que dicha percepción (en general positiva) no ha variado en el tiempo.

¿Es sensible esta percepción al tamaño de la muestra empleada en los estudios?

El análisis de subgrupos realizado para esta variable indica que la percepción de usabilidad de Moodle varía si el tamaño de muestra es menor o mayor a 100 individuos. Por lo tanto, se puede concluir (al menos para los estudios considerados) que sí, la percepción es sensible a esta variable. Como se pudo apreciar en los resultados estadísticos, los estudios con menos individuos evaluando a Moodle, tienden a subvalorar su usabilidad, mientras que los estudios a mayor escala, sobrevaloran esta característica.

¿Son diferentes las percepciones de usabilidad en los estudios donde participan docentes a los que participan estudiantes solamente?

Sí, en efecto, los resultados del análisis de subgrupos correspondiente a la variable Participan Docentes, indica que la misma es significativa como moderadora. En especial, los estudios donde se incluyen a docentes tienden a subestimar la usabilidad, algo esperable si se tiene en cuenta que los docentes (usuarios con más experiencia y exigencias) suelen ser más críticos.

¿Se publican más trabajos sobre valoraciones positivas de Moodle en relación a las que son negativas?

En principio se puede afirmar que sí, dado que la mayoría de los trabajos reportan proporciones superiores al 0,5. Sin embargo, el análisis de sesgo de publicación, asumiendo que el valor de referencia es el tamaño del efecto calculado 0,79, indica que no existe una asimetría en la distribución de los trabajos. En otras palabras, existe una gran heterogeneidad de resultados tanto en valores de percepciones de usabilidad, como en precisión (en términos del error estándar).

Independientemente de las respuestas y conclusiones derivadas de la presente investigación, es importante advertir que las mismas deben interpretarse con precaución debido a la baja cantidad de estudios (tamaño de muestra) considerados en el metaanálisis. Sin embargo, la principal conclusión es que Moodle es usable, al menos es la percepción de una buena parte de los usuarios incluidos en los estudios recolectados. Dicha percepción no ha variado en el tiempo y es sensible a la cantidad y tipo de evaluadores. En nuestros trabajos futuros nos enfocaremos en analizar la satisfacción (aceptación) global sobre Moodle con la intención de acopiar una mayor cantidad de estudios, y al mismo tiempo, meta-analizar un constructo más general y de mayor impacto en la comunidad educativa internacional.

References

Referencias

Ahmad, N., & Al-khanjari, Z. (2011). Effect of Moodle on learning : An Oman perception. International Journal of Digital Information and Wireless Communication (IJDIWC), 1(4), 746-752.

Amaral, M. A., & Almeida, C. M. De. (2009). Usability and E-Learning : Moodle Assessment. In Proceedings of the IADIS International Conference WWW/Internet 2009, ICWI2009 (Vol. 1, pp. 303-311).

Bernard, R. M., Borokhovski, E., Schmid, R. F., Tamim, R. M., & Abrami, P. C. (2014). A meta-analysis of blended learning and technology use in higher education: From the general to the applied. Journal of Computing in Higher Education, 26(1), 87122. https://doi.org/10.1007/s12528-013-9077-3

Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to Meta-Analysis. https://doi.org/10.1002/9780470743386

Brown, M. G. (2016). Blended instructional practice: A review of the empirical literature on instructors' adoption and use of online tools in face-to-face teaching. Internet and Higher Education, 31, 1-10. https://doi.org/10.1016/j.iheduc.2016.05.001

Cole, J., & Foster, H. (2007). Using Moodle: Teaching with the Popular Open Source Course Management System. Journal of Chemical Information and Modeling (Vol. 53). https://doi.org/10.1017/CBO9781107415324.004

Daniela, L., & Rūdolfa, A. (2019). Learning Platforms: How to Make the Right Choice. In Didactics of Smart Pedagogy (pp. 191-209). Springer.

Deepak, K. C. (2017). Evaluation of Moodle Features at Kajaani University of Applied Sciences-Case Study. In Procedia Computer Science (Vol. 116, pp. 121-128). https://doi.org/10.1016/j.procs.2017.10.021

Dougiamas, M., & Taylor, P. C. (2003). Moodle: Using Learning Communities to Create an Open Source Course Management System. In Environment. https://doi. org/10.1504/IJTPM.2011.042089

Feizabadi, N., Aliabadi, K., & Nili Ahmadabadi, M. . (2016). The impact on English learning software Moodle. International Journal of Humanities and Cultural Studies Issn 2356-5926, special is(February), 1427-1437.

Fenu, G., Marras, M., & Meles, M. (2017). A learning analytics tool for usability assessment in Moodle environments. Journal of E-Learning and Knowledge Society, 13(3), 23-34. https://doi.org/10.20368/1971-8829/1388

Garcia, J., Somé, M., Ayguadé, E., Cabré, J., Casany, M. J., Frigola, M., ... Muñoz, P. (2012). CONFERENCE PROCEEDINGS IT or not to be : The impact of Moodle in the education of developing countries Case study : Implementation of a first year programming course. 1st Moodle Research Conference, 14-15.

Garrison, D. R., & Kanuka, H. (2004). Blended learning: Uncovering its transformative potential in higher education. Internet and Higher Education, 7(2), 95-105. https://doi.org/10.1016/j.iheduc.2004.02.001

Govender, I., & Rootman-le Grange, I. (2015). Evaluating the Early Adoption of Moodle at a Higher Education Institution. In Proceedings of the 14Th European Conference on R-Learning (Ecel 2015) (pp. 230-237).

Gurevitch, J., Koricheva, J., Nakagawa, S., & Stewart, G. (2018). Meta-analysis and the science of research synthesis. Nature, 555(7695), 175-182. https://doi.org/10.1038/ nature25753

Higgins, J. P. T., Thompson, S. G., Deeks, J. J., & Altman, D. G. (2003). Measuring inconsistency in meta-analyses. BMJ (Clinical Research Ed.), 327(7414), 557-560. https://doi.org/10.1136/bmj.327.7414.557

Kakasevski, G., Mihajlov, M., Arsenovski, S., & Chungurski, S. (2008). Evaluating usability in learning management system moodle. In Proceedings of the International Conference on Information Technology Interfaces, ITI (pp. 613618). IEEE. https://doi.org/10.1109/ITI.2008.4588480

Kasim, N. N. M., & Khalid, F. (2016). Choosing the right learning management system (LMS) for the higher education institution context: A systematic review. International Journal of Emerging Technologies in Learning, 11(6), 55-61. https://doi.org/10.3991/ijet.v11i06.5644

Kirner, T. G., Custodio, C. A., & Kirner, C. (2008). Usability Evaluation Of The Moodle System From The Teachers' Perspective. In M. B. Nunes & M. McPherson (Eds.), IADISInternational Conference eLearning (Vol. 1, pp. 371-378). IADIS. Retrieved from http://www.iadis.net/dl/final_uploads/200805L048.pdf

Machado, M., & Tao, E. (2007). Blackboard vs. Moodle: Comparing user experience of learning management systems. In Proceedings - Frontiers in Education Conference, FIE (pp. SAJ7-SAJ12). IEEE. https://doi.org/10.1109/FIE.2007.4417910

Moher, D., Liberati, A., Tetzlaff, J., & Altman, D. G. (2010). Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement. International Journal of Surgery, 8(5), 336-341. https://doi.org/10.1016/j.ijsu.2010.02.007

Mongeon, P., & Paul-Hus, A. (2016). The journal coverage of Web of Science and Scopus: a comparative analysis. Scientometrics, 106(1), 213-228. https://doi.org/10.1007/ s11192-015-1765-5

Morales, P. T., & Gómez, C. H. (2014). Assessment of platforms E-learning moodle and webet for initial teacher training: A comparative study derived from students' experiences. Conceptual, Methodological and Practical Challenges on How and What People and Organizations Learn Across Time and Space. Retrieved from https://www.scopus.com/inward/record.uri?eid=2-s2.0-84951106290&partnerI D=40&md5=cce93003bb505d789b4824db9a1fd86c

Murillo, B., & Pow-Sang, J. (2018). A Systematic Mapping Review of Software Usability Metrics. International Journal of Engineering & Technology, 7(3.13), 72. https:// doi.org/10.14419/ijet.v7i3.13.16327

Najmul Islam, A. K. M., & Azad, N. (2015). Satisfaction and continuance with a learning management system comparing perceptions of educators and students. International Journal of Information and Learning Technology, 32(2), 109-123. https://doi.org/10.1108/lJILT-09-2014-0020

Nyaga, V. N., Arbyn, M., & Aerts, M. (2014). Metaprop: a Stata command to perform meta-analysis of binomial data. Archives of Public Health, 72(1), 39. https://doi. org/10.1186/2049-3258-72-39

Orfanou, K., Tselios, N., & Katsanos, C. (2015). Perceived usability evaluation of learning management systems: Empirical evaluation of the system usability scale. International Review of Research in Open and Distance Learning, 16(2), 227-246. https://doi.org/10.19173/irrodl.v16i2.1955

Park, Y., & Jo, I. H. (2017). Using log variables in a learning management system to evaluate learning activity using the lens of activity theory. Assessment and Evaluation in Higher Education, 42(4), 531-547. https://doi.org/10.1080/0260 2938.2016.1158236

Piña, A. A. (2010). An Overview of Learning Management Systems. Learning Management System Technologies and Software Solutions for Online Teaching. https://doi.org/10.4018/978-1-61520-853-1.ch001

Romero, C., Ventura, S., & García, E. (2008). Data mining in course management systems: Moodle case study and tutorial. Computers and Education, 51(1), 368384. https://doi.org/10.1016/j.compedu.2007.05.016

Sahid, D. S. S., Santosa, P. I., Ferdiana, R., & Lukito, E. N. (2017). Evaluation and measurement of Learning Management System based on user experience. In Proceedings - 2016 6th International Annual Engineering Seminar, InAES 2016 (pp. 72-77). IEEE. https://doi.org/10.1109/INAES.2016.7821910

Seixas, C. A., De Godoy, S., Martins, J. C. A., Mazzo, A., Baptista, R. C. N., & Mendes, I. A. C. (2016). Usability Assessment of Moodle by Brazilian and Portuguese Nursing Students. CIN - Computers Informatics Nursing, 34(6), 266-271. https://doi. org/10.1097/CIN.0000000000000237

Snider, J., & Martin, F. (2012). Evaluating web usability. Performance Improvement (Vol. 51). https://doi.org/10.1002/pfi.21252

Tight, M. (2018). Systematic reviews and meta-analyses of higher education research. European Journal of Higher Education, 1-20. https://doi.org/10.1080/21568235 .2018.1541752

Ullman, C., & Rabinowitz, M. (2004). Course Management Systems and the Reinvention of Instruction. T.H.E. Journal. Retrieved from http://www.thejournal.com/ articles/17014

Unal, Z. (2011). Evaluating and Comparing the Usability of Web-based Course Management Systems. Journal of Information Technology Education, 10(21), 1938. https://doi.org/10.28945/1358

Vo, H. M., Zhu, C., & Diep, N. A. (2017). The effect of blended learning on student performance at course-level in higher education: A meta-analysis. Studies in Educational Evaluation, 53, 17-28. https://doi.org/10.1016Zj.stueduc.2017.01.002

Wang, Y. H., Tseng, Y. H., & Chang, C. C. (2013). Comparison of students' perception of Moodle in a Taiwan university against students in a Portuguese university. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 8167 LNCS, 71-78. https://doi. org/10.1007/978-3-642-41175-5_8

Wolfgang, V. (2010). Conducting meta-analyses in R with the metafor package. Journal of Statistical Software, 36(3), 1-48.