Empleo de la técnica del rompecabezas para el aprendizaje de diagramas de clases de análisis: experiencias de la transición a la modalidad no presencial

Abstract

Palabras-clave: aprendizaje activo; técnica del rompecabezas; desarrollo de software orientado a objetos; educación en computación e ingeniería; e-learning sincrónico Abstract: Cooperative learning techniques are active learning techniques that allow students to work with their peers to achieve a common goal. The advantage of this technique is that students not only learn a specific topic but also improve their soft skills such as teamwork and communication skills. The results of an evaluation that was taken after the synchronous session are similar to the results obtained in a face-to-face class held in previous years. Keywords: active learning; jigsaw classroom; object-oriented software development; engineering and computing education; synchronous e-learning. 1.Introducción El aprendizaje activo y cooperativo se basa en la premisa de que los estudiantes aprenden haciendo, lo que se conoce en inglés como "learning by doing", y trabajando de manera conjunta con sus compañeros (Rossetti et. al, 1998).

Headnote

Resumen: Las técnicas de aprendizaje cooperativo son técnicas de aprendizaje activo que permiten que el estudiante trabaje con sus pares para lograr un objetivo común. La ventaja de este tipo de técnicas es que los estudiantes no solo aprenden un determinado tema, sino que los apoya en la mejora de sus habilidades blandas como el trabajo en equipo y las habilidades de comunicación. Debido a la pandemia del covid-19, las universidades tuvieron que adaptar sus clases de una modalidad presencial a una no-presencial. Este artículo presenta una experiencia en la adaptación de una clase presencial en la que se utilizaba la técnica del rompecabezas para el aprendizaje de diagramas de clases de análisis a una sesión sincrónica no presencial utilizando tecnologías de la información. Los resultados de una evaluación que se tomó con posterioridad a la sesión sincrónica son similares a los resultados obtenidos en una clase presencial realizada en años anteriores.

Palabras-clave: aprendizaje activo; técnica del rompecabezas; desarrollo de software orientado a objetos; educación en computación e ingeniería; e-learning sincrónico

Abstract: Cooperative learning techniques are active learning techniques that allow students to work with their peers to achieve a common goal. The advantage of this technique is that students not only learn a specific topic but also improve their soft skills such as teamwork and communication skills. Due to the covid-19 pandemic, universities had to adapt their classes from a face-to-face modality to a non-face-to-face one. This article presents an experience in adapting a face-to-face class session to learn analysis class diagrams using the jigsaw technique to a nonface-to-face synchronous session using information technologies. The results of an evaluation that was taken after the synchronous session are similar to the results obtained in a face-to-face class held in previous years.

Keywords: active learning; jigsaw classroom; object-oriented software development; engineering and computing education; synchronous e-learning.

1.Introducción

El aprendizaje activo y cooperativo se basa en la premisa de que los estudiantes aprenden haciendo, lo que se conoce en inglés como "learning by doing", y trabajando de manera conjunta con sus compañeros (Rossetti et. al, 1998). Las ventajas del empleo del aprendizaje activo en el ámbito universitario, específicamente en ingeniería, han sido reportadas por diferentes investigadores (Prince, 2004). Biggs y Tang (2007), por ejemplo, señalan que el empleo del aprendizaje activo permite conseguir que la mayoría de los estudiantes empleen procesos de nivel cognitivo superior que sí son empleados de manera espontánea los estudiantes que son de tipo más académico. Otra de las ventajas en el uso de este tipo de técnicas es que apoya en el desarrollo de las denominadas habilidades blandas en los estudiantes, tales como el trabajo en equipo y las habilidades de comunicación, las cuales son requeridas y consideradas muy importantes e indispensables en el entorno laboral.

A pesar de sus ventajas y beneficios, existen percepciones y creencias sobre este tipo de estrategias entre profesores que minimizan su adopción ofreciendo cierto tipo de resistencia a ellas. Por ejemplo, Alemu (2010) señala que algunos profesores piensan que su empleo requiere de una mayor cantidad de tiempo con relación a una clase tradicional, incluso consideran que se genera un espacio de tiempo perdido ya que los alumnos se distraen en las actividades de aprendizaje activo.

Una técnica de aprendizaje activo y cooperativo es la técnica del rompecabezas (jigsaw en inglés). Propuesta por Aronson et al. (1978), consiste en dividir el material de aprendizaje en tareas parciales. Cada alumno de un equipo de rompecabezas deberá realizar una de estas tareas parciales, que eventualmente terminará integrada por todos los miembros del equipo.

En la actualidad, el paradigma orientado a objetos es uno de los más empleados para el desarrollo de software. Un factor que dificulta la enseñanza y el aprendizaje del paradigma orientado a objetos es que los elementos abstractos y de alto nivel deben enseñarse en una etapa temprana (Börstler, 2003). También es importante que los estudiantes comprendan, además de la programación orientada a objetos, el análisis y el diseño para poder desarrollar un software de calidad. Por ello, teniendo en cuenta las ventajas que tiene el empleo de técnicas de aprendizaje activo, se ha empleado la técnica del rompecabezas en las clases presenciales para la enseñanza en la ingeniería de software (Pow-Sang, 2014, 2015, 2016, 2017a, 2017b).

Debido a la pandemia del covid-19, las universidades tuvieron que aplicar diferentes estrategias que les permitan continuar con sus actividades de docencia bajo un entorno no presencial (Turnbull et. al, 2021) lo cual incluye la digitalización de procesos académicos y administrativos (Ramirez, 2021).

Teniendo en cuenta la coyuntura de la pandemia del covid-19, este artículo presenta la experiencia de emplear la técnica del rompecabezas para la enseñanza de diagramas de clases de análisis en modalidad no presencial sincrónico, técnica de aprendizaje que se utilizaba originalmente en clases presenciales (Pow-Sang, 2009, 2015, 2017).

En esta experiencia, a diferencia de las clases presenciales en las que se les proveía a los estudiantes de todo el material impreso para que puedan desarrollar su trabajo, se utilizaron las plataformas y herramientas informáticas que la universidad dispuso para los profesores: Zoom1 para las videoconferencias, Moodle23 como sistema de gestión del aprendizaje y la suite de Google.

Este artículo está estructurado de la siguiente manera: la sección 2 muestra un breve resumen de la técnica de rompecabezas; la sección 4 muestra el diseño de la sesión de aprendizaje con la técnica del rompecabezas; la sección 5 detalla los resultados obtenidos de la aplicación de técnica; la sección 5 presenta las lecciones aprendidas al cambio de modalidad no presencial; y, finalmente, se incluyen las conclusiones y el trabajo futuro.

2.La técnica del rompecabezas

La técnica original del rompecabezas consiste en dividir a los estudiantes de una clase en pequeños grupos de cinco o seis personas. A cada estudiante de un grupo se le asigna una parte diferente del tema en estudio. Al final, cada alumno volverá a su grupo de rompecabezas y tratará de presentar un informe bien organizado al grupo. La situación está específicamente estructurada, de modo que el único acceso que tiene cualquier miembro a las otras asignaciones es escuchando atentamente el informe de los otros estudiantes. Así, un alumno es responsable de enseñar su parte al grupo y también depende de lo que ha desarrollado el resto de los miembros de su equipo. Esto aprovecha el aprendizaje mediante la enseñanza, conocido en inglés como "learning by teaching" (Bargh y Schul, 1980).

Carpenter (2006) realizó un estudio en el que comparó los resultados obtenidos con cinco técnicas de aprendizaje. En este estudio, el autor aplicó evaluaciones antes y después de las clases que emplearon estas técnicas (pre-test y post-test). La Tabla 1 presenta la media en la diferencia de las notas entre los pre-test y los post-test.

Los resultados de la tabla anterior muestran que los estudiantes obtuvieron mejores resultados en las clases que aplicaron la técnica del rompecabezas, a diferencia de otras técnicas en las que se incluye la clase magistral.

A continuación, se explica el procedimiento general de la técnica del rompecabezas resumido por Deibel (2005):

1. Se divide la clase en X grupos de expertos.

2. Cada grupo de expertos aprende y domina un tema por separado.

3. Se reorganizan los grupos de expertos para formar grupos de aprendizaje de tamaño X, de modo que cada grupo tenga al menos un representante de cada uno de los grupos de expertos.

4. Cada estudiante enseña su experiencia a su nuevo grupo.

Aunque la técnica del rompecabezas fue inicialmente diseñada por Aronson et. al (1978) para el aprendizaje en niños; esta técnica también ha sido utilizada en el ámbito de la educación superior en ingeniería y computación (Pow-Sang y Escobar-Cáceres, 2016).

3.Diseño de la sesión sincrónica

Las buenas prácticas de la Ingeniería de Software recomiendan seguir un proceso que comprenda un conjunto de actividades y tareas, además de la programación, lo que permitan la creación de sistemas de software que sean posibles de mantener y actualizar. Por ello, se debe elaborar un conjunto de modelos y diagramas para que el desarrollador pueda comprender la magnitud y complejidad del software a desarrollar.

En la Figura 1 se muestra una simplificación de las fases a seguir para desarrollar software orientado a objetos, como propone Jaaksi (1997) y los productos a generar en cada una de ellas. Cabe resaltar que muchos métodos y metodologías proponen realizar fases y productos similares a los de Jaaksi como la propuesta de Larman (2012).

En la sesión sincrónica, los estudiantes tuvieron que elaborar el diagrama de clases de la fase de análisis según se muestra en la Figura 1.

A continuación, se presenta el caso de estudio empleado, los materiales e instrumento, las tareas realizadas en la sesión y una descripción de los estudiantes que participaron en la sesión sincrónica en Zoom con la técnica del rompecabezas.

3.1. Caso de estudio

El caso de estudio fue el mismo que se empleó en las clases presenciales y cuya experiencia ha sido publicada previamente (Pow-Sang, 2016) y consistió en una pequeña parte de un sistema software de ventas que fue especificada con casos de uso (Bittner y Spence, 2003). A los estudiantes se les proporcionó la documentación de casos de uso, con el fin de elaborar un diagrama de análisis de acuerdo con esos requisitos de software, y los patrones de Coad et. al (1995). El sistema de software comprendía tres casos de uso: administrar productos, registrar pedidos por Internet y registrar venta en caja.

3.2. Materiales e instrumento

Los materiales e instrumento empleados fueron los siguientes:

* Documentos en formato PDF con la especificación de los casos de uso

* Documentos con requerimientos adicionales del sistema

* Documento con los patrones de Coad et. al (1995) adaptados al lenguaje unificado de modelado, UML, (Pow-Sang, 2012) en formato PDF.

* Evaluación en formulario de Google.

En las clases presenciales, se entregaba a los estudiantes los documentos y los patrones de Coad impresos en papel, así como la evaluación. Para esta experiencia, se puso a disposición de los documentos y del enlace de la evaluación en la plataforma basada en Moodle que utiliza la universidad.

La evaluación incluía solo preguntas de opción múltiple. En las clases presenciales la evaluación también contenía una pregunta en la que los estudiantes tenían que dibujar un diagrama de clases de análisis para un caso de estudio pequeño; esta última pregunta fue reemplazada por una de opción múltiple.

En el siguiente enlace se pueden consultar los materiales e instrumento empleados en esta dinámica:

http://inform.pucp.edu.pe/~jpowsang/jigsaw/virtual.html

3.3. Tareas realizadas en la sesión

La Tabla 2 muestra las tareas que se definieron con anterioridad a la sesión, junto con los tiempos de duración aproximados, los cuales son similares a la experiencia realizada en modalidad presencial (Pow-Sang, 2015).

Al principio, en la tarea 1, se conformaron grupos de trabajo de dos personas, se entregaron los materiales y se les explicó a los estudiantes la dinámica de la sesión. Un grupo tuvo que preparar el diagrama de clases de análisis para los casos de uso Registrar venta en caja y Administrar productos; otro grupo tuvo que elaborar el diagrama para los casos de uso Registrar pedido por Internet y Administrar productos. Como se puede observar, todos los grupos tenían un caso de uso en común (administrar productos), porque este caso de uso actuará como un enlace a los otros casos de uso. Para poder conformar estos grupos, se crearon salas para grupos reducidos en Zoom con asignación aleatoria de participantes.

Durante la tarea 2, los estudiantes trabajaron de manera colaborativa para elaborar el diagrama de clases de análisis que se les había asignado. A diferencia de las clases presenciales en las que los estudiantes empleaban papel y lápiz, para este caso los estudiantes utilizaron la herramienta Lucidchart4 en su versión gratuita, herramienta que permite que varios participantes puedan hacer diagramas de manera conjunta.

En la tarea 3, se conformaron grupos de seis participantes como máximo; cada grupo contenía estudiantes que habían elaborado el diagrama de clases de análisis para los mismos casos de uso, a estos grupos se les denomina "expertos". Los estudiantes tuvieron que comparar sus diagramas para perfeccionarlos y así obtener un solo diagrama por grupo. Durante esta tarea, se proporcionó a los estudiantes más información sobre el sistema para que puedan crear un diagrama más completo para el caso de estudio.

Luego, en la tarea 4, se conformaron grupos de trabajo "mixtos", de modo que cada equipo tuviera estudiantes que realizaron diagramas para diferentes casos de uso. El objetivo de esta tarea era combinar los diagramas elaborados por ellos y así poder tener el diagrama de clases completo de todo el caso de estudio. Adicionalmente se le entregó a cada grupo información adicional del sistema.

La tarea 4 tomó más tiempo del que usualmente duraba en una sesión presencial, por ello el cierre de la sesión, correspondiente a la tarea 5, se realizó en la siguiente clase; sin embargo, la mayoría de los grupos había terminado sus diagramas al finalizar esta sesión sincrónica.

Durante todos los trabajos en grupo de la sesión sincrónica, para poder revisar lo que estaban haciendo los estudiantes, se les pidió que uno de ellos compartiera su pantalla en su sala de Zoom con el diagrama que estaban realizando. Esto permitió que se pudiera revisar y asesorar de manera rápida a cada equipo cada vez que el profesor ingresaba a cada una las salas.

3.4.Estudiantes que participaron en la sesión

La sesión sincrónica con Zoom en la que se empleó la técnica del rompecabezas se realizó en el semestre académico 2020-1, semestre que se inició en marzo del 2020, en pleno estado de emergencia decretado por el Gobierno Peruano debido a la pandemia del covid-19.

Los autores expertos en aprendizaje cooperativo recomiendan sesiones con un máximo de 30 personas por profesor o ayudante. Aunque la cantidad de estudiantes matriculados fue de 41, solo asistieron 30 a la sesión sincrónica en la que se aplicó la técnica del rompecabezas para el trabajo en grupo.

La evaluación se tomó una semana después de que se llevaron a cabo tanto la sesión sincrónica con la técnica del rompecabezas y como la sesión en la que hizo el cierre del trabajo en grupo. Cabe resaltar que esta evaluación solo fue realizada como una retroalimentación para los estudiantes y sus resultados no formaron parte de la nota final del curso; por ello, no se les dijo a los estudiantes que se les iba a tomar esta evaluación.

4.Resultados

La evaluación fue dada por 31 estudiantes. Sin embargo, solo 21 de ellos habían asistido a las dos sesiones sincrónicas anteriores correspondientes al trabajo con la técnica del rompecabezas, por ello solo se consideraron los resultados de estos 21 alumnos. Como se mostró en las secciones anteriores de este artículo, no se pudo realizar el cierre del trabajo en la misma sesión, porque la tarea 4 correspondiente a la elaboración del diagrama de clases de análisis de todo el sistema tomó más tiempo de lo previsto.

Cada pregunta de la evaluación se calificó con "1" si la respuesta era correcta y con "0" si era incorrecta; siendo 5 la máxima calificación que podían obtener los estudiantes. La Tabla 3 muestra los estadísticos descriptivos de los resultados obtenidos en la evaluación.

Como se puede observar en la tabla anterior, el promedio en las calificaciones fue de 4,33 con una desviación estándar de 0,796; esto quiere decir que los estudiantes tuvieron un buen desempeño luego de la sesión sincrónica con la técnica del rompecabezas; superior a 2,5 y muy cercana a la calificación máxima de 5.

A fin de determinar si los resultados obtenidos son comparables a experiencias realizadas en clases con modalidad presencial, se revisaron las evaluaciones que se tomaron en el semestre 2013-1 luego de realizar el mismo trabajo en equipo con la técnica del rompecabezas (Pow-Sang, 2015). Sin embargo, la evaluación que se tomó en ese semestre consideró una pregunta en la que los estudiantes debían dibujar un diagrama de clases de análisis, la cual no fue incluida en la evaluación del semestre 2020-1. La calificación de esta pregunta fue descartada y solo se consideraron las preguntas que eran similares entre ambas experiencias; por ello también se descartó la última pregunta de la experiencia del 2020-1.

La tabla 4 presenta los estadísticos descriptivos de las evaluaciones realizadas en el semestre 2013-1 y 2020-1. Cabe resaltar que la calificación máxima que podían tener los estudiantes fue de 4.

En la tabla anterior se puede observar que el promedio del semestre 2020-1 es algo mayor que el obtenido en el semestre 2013-1; sin embargo, no se puede confirmar si esa diferencia es significativa. Por ello, a fin de obtener resultados más concluyentes, se aplicaron más pruebas estadísticas.

Con el objetivo de determinar si las muestras de ambos semestres siguen una distribución normal, se aplicó la prueba de Shapiro-Wilk (Shapiro & Wilk, 1965). Con esta prueba se pudo determinar que ambas muestras no siguen una distribución normal. Debido a que ambas muestras no siguen una distribución normal, fue necesario aplicar la prueba no paramétrica de Mann-Whitney (Mann & Whitney, 1947) para comparar los valores de las medianas, siendo las hipótesis estadísticas por emplear las siguientes para un nivel de significación a de 0.05:

* Ho: Med2i = Med

* H0: Med2 ? Med,

Donde:

Med es la mediana de los resultados de las evaluaciones del semestre 2013-1

Med2020-1 es la mediana de los resultados de las evaluaciones del semestre 2020-1

La prueba de Mann-Whitney arrojó un resultado de U igual a 98.5 y un valor-p de 0.251. Dado que el valor-p calculado es mayor que el nivel de significación a de 0.05, la hipótesis nula Ho no puede ser rechazada. Esto quiere decir que, aunque los resultados obtenidos son ligeramente mejores para el semestre 2020-1 en comparación a los del semestre 2013-1, se puede verificar que los resultados son similares para las evaluaciones de ambos semestres. Por ello, se podría inferir que el aprendizaje entre los estudiantes en una modalidad presencial (2013-1) como en la modalidad no presencial (2020-1) utilizando la técnica del rompecabezas son equiparables.

5. Lecciones aprendidas a este cambio de modalidad

El cambio a la modalidad no presencial trajo consigo muchos retos. Una de las ventajas de una clase presencial es que los profesores se pueden dar cuenta de si los estudiantes están entendiendo un tema al ver las expresiones de sus rostros. Esto no ocurre cuando se utiliza una herramienta de video conferencia como Zoom, porque la mayoría de los estudiantes de pregrado no encienden sus cámaras debido a limitaciones al ancho de banda de la red o por una decisión personal; aunque sí interactuaban regularmente por el chat.

La aplicación de la técnica del rompecabezas en las clases presenciales permitía que se pueda conocer de manera directa qué tanto están comprendiendo y aprendiendo los estudiantes sobre el tema al hacerle seguimiento a lo que están realizando al conversar con ellos y guiarlos en las salas reducidas que se le asignaron. Se pudo percibir que estas acciones apoyan en reducir, de alguna manera, la pérdida en la interacción que se tiene con los estudiantes en las clases presenciales.

Se pudo observar que la demora en el desarrollo de las actividades por parte de los estudiantes se debía al uso de la herramienta Lucidchart dado que no todos estaban familiarizados en ella porque la habían usado muy poco; a pesar de que se les indicó que la revisaran y usaran previo a la sesión sincrónica. Esto no ocurría en las clases presenciales porque los diagramas se elaboraban en papel y con lápiz, lo cual es más rápido que emplear una herramienta de software.

6. Conclusiones y trabajo futuro

La técnica del rompecabezas (jigsaw, en inglés) es una técnica de aprendizaje activo que fue propuesta originalmente para enseñar a niños pequeños; sin embargo, hay profesores que también las están empleando en programas de pregrado en ingeniería y computación de universidades. Una de las ventajas en el uso de técnicas de aprendizaje activo, como es la técnica del rompecabezas, es que además apoya en el desarrollo de las habilidades blandas de los estudiantes; tales como el trabajo en equipo y las habilidades de comunicación, las cuales son requeridas y son consideradas muy importantes e indispensables en el entorno laboral

Este artículo presenta una experiencia en la adaptación de una clase presencial en la que se utilizaba la técnica del rompecabezas para el aprendizaje de diagramas de clases de análisis a una sesión sincrónica no presencial utilizando herramientas de informáticas como Zoom y Lucidchart. Esta adaptación se tuvo que realizar debido a la suspensión de las clases presenciales debido a la pandemia del covid-19 y a la necesidad de continuar con las actividades académicas de la universidad con el objetivo de que los estudiantes no perdieran sus clases que se encontraban programadas con anticipación.

Se analizaron los resultados de una evaluación que se tomó una semana después de que se realizó la sesión sincrónica con la técnica del rompecabezas y al compararlos con los resultados de una evaluación tomada años atrás en una clase presencial en la que se empleó la misma técnica, estructura y materiales, se pudo comprobar estadísticamente que los resultados son similares y muy positivos en cuanto al aprendizaje de los estudiantes.

Además, se pudo observar que la aplicación de la técnica del rompecabezas, al igual que en las clases presenciales, permite que se pueda conocer de manera directa qué tanto están comprendiendo y aprendiendo los estudiantes sobre el tema que se está desarrollando en clase, al hacerle seguimiento de lo que están realizando en las salas reducidas en Zoom. Esto suple, de alguna manera, el hecho de que los estudiantes de pregrado no enciendan sus cámaras de video y de que los profesores no puedan darse cuenta mediante la expresión de los rostros de sus estudiantes del nivel de comprensión que ellos están teniendo sobre el tema que se está abordando en clase. La fuente de interacción principal con ellos muchas veces se reduce a la participación por el chat del Zoom.

Como trabajo futuro, se seguirá replicando este tipo de experiencia y recoger información de las evaluaciones a fin obtener resultados más concluyentes sobre la aplicación de la técnica del rompecabezas para la enseñanza de la ingeniería de software.

Footnote

1 https://www.zoom.us/

2 https://moodle.org/

3 La implementación de esta plataforma en la universidad tiene el nombre de Paideia

4https://www.lucidchart.com/

References

Referencias

Alemu, B. M. (2010). Active learning approaches in mathematics education at universities in Oromia, Ethiopia (Doctoral dissertation).

Aronson, E., Blaney, N., Stephan, C., Sikes, J., & Snapp, M. (1978). The jigsaw classroom. Beverly Hills, CA: Sage Publishing Company.

Bargh, J. A., & Schul, Y. (1980). On the cognitive benefits of teaching. Journal of Educational Psychology, 72(5), 593.

Biggs, J., & Tang, C. (2011). Teaching for quality learning at university. McGraw-hill education (UK).

Bittner, K., & Spence, I. (2003). Use case modeling. Addison-Wesley Professional.

Börstler, J. (2003). Teaching and learning OO. Extended Abstract, Workshop on Learning and Teaching Object-orientation.

Carpenter, J. (2006). Effective Teaching Methods for Large Classes. Journal of Family & Consumer Sciences Education, 24(2), 13-23.

Coad, P., North, D., & Mayfield, M. Object models: strategies, patterns, applications. Yourdon Press, 1995.

Deibel, K. (2005). Team formation methods for increasing interaction during in-class group work. In Proceedings of the 10th annual SIGCSE conference on Innovation and technology in computer science education (pp. 291-295).

Jaaksi, A. (1997). A Method for Your First Object-Oriented Project. Object Expert, 2, 44-52.

Larman, C. (2012). Applying UML and patterns: an introduction to object oriented analysis and design and interative development. Pearson Education India.

Mann, H. B., & Whitney, D. R. (1947). On a test of whether one of two random variables is stochastically larger than the other. The annals of mathematical statistics, 50-60.

Pow-Sang Portillo, J. A., & Campos, P. G. (2009). The jigsaw technique: experiences teaching analysis class diagrams. In 2009 Mexican International Conference on Computer Science (pp. 289-293). IEEE.

Pow-Sang, J.A. (2012). Técnicas para la Estimación y Planificación de Proyectos de Software con Ciclos de Vida Incremental y Paradigma Orientado a Objetos. Tesis Doctoral, Universidad Politécnica de Madrid. http://oa.upm.es/10266/2/tesisfinal-japowsang.pdf

Pow-Sang, J. A. (2014). An experience in the use of the jigsaw technique to teach objectoriented design. In 2014 International Conference on Interactive Collaborative Learning (ICL) (pp. 1062-1067). IEEE.

Pow-Sang, J. A. (2015). Replacing a traditional lecture class with a jigsaw class to teach analysis class diagrams. In 2015 International Conference on Interactive Collaborative Learning (ICL) (pp. 389-392). IEEE.

Pow-Sang, J. A. (2016). The Jigsaw technique to teach object-oriented design: A replication study with graduate students. In 2016 IEEE Global Engineering Education Conference (EDUCON) (pp. 1212-1217). IEEE.

Pow-Sang, J. A., & Escobar-Cáceres, P. (2016). A Systematic Literature Review of the Application ofthe Jigsaw Technique in Engineering and Computing. In International Conference on Interactive Collaborative Learning (pp. 322-329). Springer, Cham.

Pow-Sang, J. A. (2017a). Experiences using the Jigsaw learning technique to teach IFPUG function points. In 2017 Ieee World Engineering Education Conference (Edunine) (pp. 76-79). IEEE.

Pow Sang, J. A. (2017b). Aplicación de la técnica del rompecabezas para la enseñanza de diagramas de clases de análisis en la especialidad de ingeniería informática (tesis de licenciatura en educación). Pontificia Universidad Católica del Perú, Lima, Perú.

Prince, M. (2004). Does active learning work? A review of the research. Journal of engineering education, 93(3), 223-231.

Ramírez, M. R. (2021). Transformación digital en las Universidades: Proceso en épocas de COVID 19. Revista Ibérica de Sistemas e Tecnologías de Informag&acaron;o, (E42), 593-602.

Roeders, P. (1997). Un Diseño del Aprendizaje Activo. Lima: Walkiria Ediciones con apoyo de la Cooperación Técnica Alemana.

Rossetti, M. D., & Nembhard, H. B. (1998). Using cooperative learning to activate your simulation classroom. In 1998 Winter Simulation Conference. Proceedings (Cat. No. 98CH36274) (Vol. 1, pp. 67-74). IEEE.

Shapiro, S., & Wilk, B. (1965). An Analysis of Variance Test for Normality (Complete Samples). Biometrika, 59(3/4), 591-611.

Turnbull, D., Chugh, R., & Luck, J. (2021). Transitioning to E-Learning during the COVID-19 pandemic: How have Higher Education Institutions responded to the challenge?. Education and Information Technologies, 1-19.

Wilcoxon, F. (1945). Individual Comparisons by Ranking Methods. Biometrics Bulletin, 1(6), 80-83.