Técnicas de Data Mining para extraer perfiles comportamiento académico y predecir la deserción universitaria

Abstract

Abstract: The desertion of university students is a problem to which universities dedicate their efforts; a situation that requires more attention due to the demands of the accreditation processes. The differentiating factor of the proposal is to use indices, which in addition to considering a student's academic performance, also place it within their cohort. To compare and evaluate the accuracy of the models the confusion matrix is used, the results indicate that the CHAID 1 tree model reaches an accuracy of 90.24%. Keywords: university desertion, predictive models, data mining techniques, confusion matrix.

Headnote

Resumen: La deserción de estudiantes universitarios es un problema al que las universidades dedican sus esfuerzos, situación que requiere mayor atención debido a las exigencias de los procesos de acreditación. En esta investigación, se utilizan técnicas de clasificación, implementadas con IBM SPSS Modeler, con la finalidad de predecir la posible deserción de los estudiantes. El factor diferenciador de la propuesta radica en utilizar índices, que además de considerar el rendimiento académico de un estudiante, también lo sitúan dentro de su cohorte. Para comparar y evaluar la precisión de los modelos se usa la matriz de confusión, los resultados indican que el modelo de árbol CHAID 1 alcanza una precisión de 90.24%. Se concluye que el índice de rendimiento total es la variable más influyente en la deserción y que las Técnicas de Minería de Datos son útiles y eficaces para detectar patrones y predecir el comportamiento académico de los estudiantes.

Palabras-clave: deserción universitaria, modelos predictivos, técnicas de minería de datos, matriz de confusión.

Abstract: The desertion of university students is a problem to which universities dedicate their efforts; a situation that requires more attention due to the demands of the accreditation processes. This research uses classification techniques, implemented with IBM SPSS Modeler, to predict possible student desertion. The differentiating factor of the proposal is to use indices, which in addition to considering a student's academic performance, also place it within their cohort. To compare and evaluate the accuracy of the models the confusion matrix is used, the results indicate that the CHAID 1 tree model reaches an accuracy of 90.24%. It concludes that the total performance index is the most influential variable in desertion and that Data Mining Techniques are useful and effective in detecting patterns and predicting students' academic behavior.

Keywords: university desertion, predictive models, data mining techniques, confusion matrix.

I. Introducción

En América Latina y El Caribe, el número de estudiantes en educación superior prácticamente se duplicó en la última década, sin embargo, solo cerca de la mitad de ellos logra graduarse a tiempo, hecho que indica que lo mucho que se debe trabajar en términos de eficiencia y calidad (Ferreyra, Avitabile, Botero, Haimovich & Urzúa, 2017). Son varios los estudios que muestran indicadores desfavorables de deserción y bajo rendimiento académico, hechos que exigen a las instituciones de educación superior el seguir investigando las causas que subyacen en esta problemática. Según Flavell (1979), Meleca (1995) y García- Cruz, Guzmán y

Martínez (2006), son varios los factores que influyen en el rendimiento académico; algunos son de naturaleza endógena (pertenecen o se encuentran en el mismo estudiante) y otros son de naturaleza exógena (pertenecen o se encuentran en el contexto del estudiante). Ambos tipos de factores interactúan entre sí y por tanto en los niveles del rendimiento académico mostrado por los estudiantes.

En Perú, el sistema universitario, y en particular la Universidad Nacional de San Agustín de Arequipa, enfrenta problemas de deserción estudiantil, problemática que es más frecuente en los primeros años de las carreras. Este problema inicia con condiciones de riesgo académico: bajas calificaciones, abandono de una o más asignaturas, reprobación y repitencia de una o más asignaturas, etc. y termina en situaciones de deserción. Con el fin de disminuir la tasa de deserción, y en consecuencia mejorar la tasa de retención, es necesario contar con un mecanismo que permita determinar posibles situaciones de riesgo académico de los estudiantes, para así poder aplicar medidas remediales oportunas.

En este contexto, la Inteligencia de Negocios propone a la minería de datos, como una herramienta que reúne técnicas y métodos provenientes de la estadística, las ciencias de la computación, la ingeniería y la inteligencia artificial con objeto de identificar patrones interesantes. La literatura existente muestra que las técnicas de minería de datos son eficaces para predecir el rendimiento académico de los estudiantes. Pimpa (2013) aplica algoritmos de árboles de decisión y redes bayesianas utilizando Weka y validación cruzada. Gart y Sharma (2013) comparan varias técnicas C4.5, ID3, CART y J48, Naive de Bayes, Redes Neuronales, k- medias y k-vecino más cercano para predecir el rendimiento académico. Dole and

J. Rajurkar (2014) aplican el algoritmo Naive de Bayes y un árbol de decisión para predecir la graduación y la condición final de los estudiantes: aprobado y desaprobado. Thai (2007) se compara la precisión de los algoritmos de árboles de decisión y redes Bayesianas, se aplica Weka en los algoritmos árboles de decisión J48 y M5P y red Bayesiana para predecir el rendimiento académico de los estudiantes no graduados y graduados sobre su calificación final.

A la luz de la literatura revisada se propuso usar la técnica de clasificación, como técnica de minería de datos, para predecir el comportamiento académico de los estudiantes.

En este trabajo se buscó identificar patrones de comportamiento relacionados con el desempeño académico de los estudiantes mediante un proceso de Descubrimiento de Conocimiento en Bases de Datos (KDD) utilizando técnicas de Minería de Datos (DM). Se desarrollado un modelo para clasificar automáticamente a los estudiantes de la Escuela Profesional de Ingeniería de Sistemas de la Universidad Nacional de San Agustín (UNSA) en base a datos académicos, para ello se tuvo que identificar algunos factores que afectan el rendimiento académico del estudiante y proponer un modelo predictor del rendimiento académico. Este trabajo no pretende ser concluyente, sólo constituye un aporte al desarrollo del estudio del rendimiento académico universitario en la UNSA.

2.Marco conceptual

2.1. Rendimiento académico (RA)

Existen diferentes acepciones para el rendimiento académico: logro académico, rendimiento universitario, desempeño académico, siendo el menos utilizado éxito escolar.

El rendimiento académico está relacionado con el éxito o eficiencia del proceso educativo y se determina tomando en cuenta variables cualitativas y/o cuantitativas. Como resultado del análisis realizado a las concepciones que diversos autores han dado al rendimiento académico se puede enunciar: "El RA es un concepto multidimensional, en el que intervienen distintas variables y para el que se utilizan diversas formas de medición. El RA es el resultado del proceso educativo (medido cuantitativa y cualitativamente), que sirve para retroalimentar a los individuos y a las instituciones sobre el logro de los objetivos establecidos con anterioridad".

2.2. Indicadores de medida del rendimiento académico

Calificaciones: Representan una medición cuantitativa o cualitativa del rendimiento. Las calificaciones son relativas como medida de rendimiento, pues no existe un criterio estándar para todas las instituciones educativas, dentro de una misma institución no existe un criterio único para todas las asignaturas y para todos los profesores (Thai, 2007).

Asignaturas aprobadas: El número de asignaturas aprobadas es una medida de éxito o fracaso del RA. Un estudiante tendría éxito si aprueba la mayoría de las asignaturas en las que se matriculó en un determinado periodo académico, si aprueba menos de la mitad se podría decir que tuvo un bajo desempeño académico y si no aprueba ninguna se diría que el estudiante fracasó académicamente. Page (1990) concluye que el número de asignaturas aprobadas por año es un indicador de rendimiento estudiantil más adecuado que el promedio, pues presenta mayor variabilidad que las calificaciones obtenidas.

Créditos acumulados: El número de créditos acumulados es un indicador análogo al número de asignaturas aprobadas. Identifica el avance que tiene un estudiante, permite comparar el número de créditos acumulados durante un periodo académico con el número de créditos que, de acuerdo al plan de estudios, debió acumular en el tiempo programado (Di Gresia, Fazio, Porto, Ripani y Sosa, 2005).

2.3. Metodología CRISP-DM para el proceso de extracción de conocimiento

CRIPS-DM identifica niveles de abstracción que se organizan de forma jerárquica en un conjunto de tareas que van desde el nivel más general hasta los niveles más específicos. Para el ciclo de vida de un proyecto de Data Mining, la metodología CRISP-DM propone seis fases que interactúan entre ellas de forma iterativa durante su desarrollo.

2.4.Técnicas de minería de datos

La minería de datos conjuga la estadística y las ciencias de la computación para intentar descubrir patrones en grandes volúmenes de datos. La técnica más aplicada de minería de datos es la clasificación, que consiste en utilizar un conjunto preclasificado de ejemplos para desarrollar un modelo que permita clasificar un gran volumen de información. Esta técnica utiliza métodos de Árbol de decisión o Redes neuronales. El proceso de clasificación de datos implica dos fases: el aprendizaje y la clasificación.

En la fase de aprendizaje, mediante el algoritmo de clasificación, se analizan los datos de entrenamiento. El algoritmo de aprendizaje de clasificación usa los ejemplos preclasificados para determinar el conjunto de parámetros que se necesitan para realizar una discriminación adecuada. El algoritmo codifica estos parámetros en un modelo llamado clasificador.

La fase de clasificación de los datos de prueba sirve para estimar la precisión de las reglas de clasificación. Si la precisión es aceptable, entonces las reglas se pueden aplicar a los datos.

2.5. Árboles CHAID (Chi-square automatic interaction detector)

Los árboles de decisión son una técnica estadística utilizada para segmentar, estratificar, predecir, reducir datos y filtrar variables, identificar interacciones, etc.

La función árboles de decisión en IBM-SPSS crea árboles de clasificación y de decisión para identificar grupos, descubrir las relaciones entre grupos y predecir eventos futuros. Existen diferentes tipos de árbol, entre ellos CHAID.

CHAID es un algoritmo para la construcción de árboles de decisión basado en el testeo de significancia ajustada, explora datos de forma rápida y eficaz, y crea segmentos y perfiles relacionados con el resultado deseado. Usa la chi-cuadrado para medir el grado de correlación entre las variables independientes y la clase.

En cada iteración, CHAID elige la variable independiente (predictora) que presenta la interacción más fuerte con la variable dependiente. Las categorías de cada predictor se funden si no son significativamente distintas respecto a la variable dependiente.

3.Desarrollo del modelo

3.1.Contexto

Los datos utilizados para el desarrollo del modelo provienen de los estudiantes de las cohortes 2011-2017 de la Escuela Profesional de Ingeniería de Sistemas de la Universidad Nacional de San Agustín (Arequipa-Perú), por lo que el modelo desarrollado está circunscrito en este ámbito.

Se utilizó la herramienta IBM SPSS Modeler, herramienta que posee una interfaz integrada para ejecutar diferentes procesos, lo que potencia el aprovechamiento de los datos, pues proporciona algoritmos y modelos completos que están listos para su utilización inmediata.

3.2. Fase 1, metodología CRISP-DM: Comprensión del negocio

Se realizan tareas de comprensión de objetivos y requisitos del proyecto para convertirlos en objetivos técnicos y en un plan de proyecto.

Objetivo: Desarrollar un modelo que permitan clasificar automáticamente a los estudiantes en base a su rendimiento académico e identificar perfiles y tendencias.

Recursos: (a) Recursos tecnológicos: Computadora, IBM SPSS Modeler 18.1, (b) Recursos técnicos: Técnicas de minería de datos, (c) Recursos humanos:

Los investigadores y (d) Fuente de datos: Registros académicos de la Escuela Profesional de Ingeniería de Sistemas (UNSA), años 2011 al 2017.

3.3. Fase 2, metodología CRISP-DM: Comprensión de los datos

Comprende la recolección inicial de datos, se busca establecer un primer contacto con el problema y definir las primeras hipótesis, para lo cual es necesario familiarizarse con los datos, identificar su calidad y establecer las relaciones más evidentes.

Recolección de datos iniciales: Los datos iniciales los proporcionó el Instituto de Informática de la UNSA, dependencia que maneja toda la información digitalizada de la universidad. Se recibieron los datos en varios archivos Excel, por lo que fue necesario integrarlos a través de un código único (CUI) que identifica a cada estudiante.

Descripción de los datos: La data está compuesta por 976 registros capturados en la ficha de matrícula al momento en que los estudiantes ingresan a la universidad, 534 registros recabados por la Oficina de Admisión y 26069 registros de calificaciones. Los datos se pueden agrupar en tres categorías:

* Datos personales de los estudiantes: CUI (código único de identificación) apellidos y nombres, fecha de nacimiento, lugar de nacimiento, sexo, tipo de colegio, ubigeo del colegio.

* Datos relativos al ingreso a la universidad: periodo, fase, puesto, nombre, puntaje.

* Registro de notas: CUI, código de asignatura, grupo, matricula, nota, condición, año, ciclo.

Exploración de los datos: Las Figuras 1 y 2 muestran el comportamiento de las variables: puntaje de ingreso y sexo de los estudiantes.

La Figura 3 muestra la distribución de las edades considerando la clasificación: (0) menos de 17 años, (1) entre 17 y 18 años, (2) entre 19 y 20 años, (3) más de 21 años.

Verificación de la calidad de los datos: Para asegurar la completitud y corrección de los datos, se verificó la consistencia de los valores individuales de los campos, se buscó y subsanó la existencia de los valores nulos, así mismo se trataron los valores fuera de rango.

3.4.Fase 3, metodología CRISP-DM: Preparación de los datos

Esta fase incluye varias tareas: selección de datos, limpieza de datos, generación de variables adicionales, integración de diferentes orígenes de datos y cambios de formato.

Selección y limpieza de datos: Se eliminaron valores anómalos, inconsistencias, valores ausentes, etc., se seleccionaron los datos a tratar y se modificaron valores para su mejor tratamiento en función del algoritmo.

Se realizó la imputación de datos para completarlos, lo que se hizo con el valor más común entre ellos o con un valor aleatorio según el caso. Se encontraron registros anteriores al 2011 por lo que hubo que eliminarlos y en los casos necesarios se hizo la conversión de datos alfanuméricos a datos numéricos. La Figura 4 muestra parte del proceso seguido.

Con este proceso se consiguió integrar en un solo archivo, las calificaciones por asignatura, los datos personales y el puntaje de ingreso de cada estudiante, para ello se utilizó como variable de enlace el CUI.

Estructuración de datos: Considerando el dinamismo de la parte académica, y el histórico de notas disponible, la estructura que definirá la construcción del modelo, será a través de semestres consecutivos, los cuales determinaran una "ventana", para entrenar y validar el modelo de deserción (Figura 5).

Cada ventana considera 05 semestres consecutivos, los tres primeros semestres sirvieron para pronosticar los dos semestres futuros consecutivos inmediatos.

Utilizando IBM SPSS MODELER 18.1 se creó un súper nodo, en donde se construyeron distintos indicadores, algunos se describen en la Tabla I.

En la Tabla I PPA: Considera todas las oportunidades que el estudiante ha tenido para aprobar las asignaturas. IREX: Relaciona a cada estudiante con el comportamiento del resto del grupo. IREN: Depende exclusivamente del estudiante. Incluye a los estudiantes que abandonaron todas las asignaturas. Ajusta el valor de las asignaturas en abandono priorizando las matriculadas y aprobadas. IRT: Acumula el índice endógeno y el exógeno.

Se crearon las variables necesarias para implementar estos indicadores. De acuerdo a la literatura existente se han categorizado los valores del IRT y del PPA, las categorías se muestran en la Tabla 2.

La Figura 6 muestra uno de los subprocesos seguidos.

3.5.Fase 4, metodología CRISP-DM: Modelado

Establecidos los indicadores, se incluye la variable "W" que representa una secuencia de tiempo integrada por valores históricos, actuales y el pronóstico a realizar (riesgo de deserción). Se establecieron 10 valores de W, de las 10 ventanas creadas, sólo las ventanas 6,7 y 8 son utilizadas en el modelo final. Modelo en el que el 70% de registros se utilizan para entrenamiento y 30% para la comprobación.

Se creó la variable "VENTANA" que asume valores de "1" y "0", dependiendo de si el estudiante registró o no matrícula respectivamente en los periodos de pronóstico por cada "W". La variable predictiva "Y", toma el valor "1" si el valor de la variable "VENTANA" está dado por "0-0", es decir si el alumno está en "abandono" y "0" en caso contrario.

En este marco, se procede con la fase de modelado, mediante el nodo clasificador automático que provee el SPSS Modeler, se obtuvieron algunos resultados preliminares resultando que la técnica "árbol CHAID" obtiene mejores resultados (Figura 7).

Los parámetros del algoritmo de clasificación fueron los sugeridos, por defecto, por la herramienta: profundidad máxima del árbol =5, costes de clasificación errónea: no utiliza el coste para clasificación errónea pero tiene un coste de 1 para clasificación correcta, Chi Cuadrado para destinos categóricos, número máximo de iteraciones para convergencia= 100.

La Figura 8 muestra la ruta seguida en las diferentes fases.

4.Resultados

La Fase 5 de la metodología CRISP-DM corresponde a la evaluación de los resultados, es así, que se encuentra que las principales variables para la predicción de deserción son el IRT, con grado de importancia 0.42, y el PPA con grado de importancia 0.17 (Figura 9).

Al trabajar con los datos de entrenamiento, para los valores W=6, W=7 y W=8 se obtuvo la precisión más alta, en la Tabla III se muestra la Matriz de Confusión.

Al correr el modelo sobre los datos de prueba, con W=9 se obtiene una precisión de 70.76%, mientras que para W=10 se obtiene una precisión de 66.94% (Tabla IV).

En este punto, se pueden identificar algunas características:

* Si el estudiante no se ha matriculado en al menos 2 semestres consecutivos, entonces el 39.85% en algún momento "abandona" la carrera.

* La proporción de deserción en los varones es similar a la proporción de las mujeres.

* El mayor porcentaje de estudiantes "desertores" tienen 18 años al ingresar a la universidad.

* El tipo de colegio no es una variable significativa, pues la proporción de estudiantes desertores, es similar entre los tres tipos de colegio.

* El mayor porcentaje de estudiantes desertores tiene un IRT = 0, lo que significa que el estudiante ha aprobado menos del 15% de las asignaturas en las que se matriculó, mientras en menor porcentaje están los alumnos con IRT = 3 y 4.

Algunas reglas de decisión encontradas fueron:

* 194 estudiantes, que representan un 0,959% caen en la rama del árbol: si IRT_ CATEGORICO_Mean <= 0 y PAA_Max <= 4,424 y IREX_Max <= 0 y PPA_ Mean <= 3,200 y SEXO_Min in [ "M"].

* 121 estudiantes, que representan un 0,901% caen en la rama del árbol: si IRT_ CATEGORICO_Mean <= 0 y PAA_Max <= 4,424 y IREX_Max > 0,270.

* 101 estudiantes, que representan un 0,99% caen en la rama del árbol: si IRT_ CATEGORICO_Mean > 0 y IRT_CATEGORICO_Mean <= 0,846 y PPA_Min <= 0,571 y PAA_Max > 3,845 y PAA_Max <= 3,887.

* 51 estudiantes, que representan un 0,882% caen en la rama del árbol: si IRT_ CATEGORICO_Mean > 0 y IRT_CATEGORICO_Mean <= 0,846 y PPA_Min <= 0,571 y PAA_Max > 3,887.

5.Conclusiones

Se ha logrado una identificación correcta, en el orden del 90.24%, de los estudiantes desertores, por lo que las técnicas de minería de datos empleadas en esta investigación resultaron eficaces para obtener un modelo que permite predecir la deserción de los estudiantes de la Escuela Profesional de Ingeniería de Sistemas de la Universidad Nacional de San Agustín.

El factor diferenciador del modelo diseñado, radica en ir más allá de promediar las calificaciones obtenidas por un estudiante, pues a través del IRT se tiene en cuenta el número de veces que lleva una asignatura y su desempeño dentro del grupo o cohorte en el que se ubica.

La preparación de los datos realizada, además de la deserción, permite realizar otros tipos de análisis; podría predecirse el comportamiento de los estudiantes destacados, realizarse un análisis del rendimiento académico por cada uno de los indicadores mencionados e incluso los análisis podrían diferenciarse por género, por cohorte, etc.

Los modelos de predicción son necesarios para predecir eficazmente el comportamiento académico de los estudiantes, una predicción con precisión resulta sumamente útil para identificar oportunamente a los estudiantes en riesgo académico.

En general, en un proyecto de minería de datos, las fases: comprensión de los datos, preparación de los datos y modelado, son las que demandan mayor cantidad de esfuerzo y tiempo. Al utilizar herramientas como IBM SPSS Modeler, el trabajo de modelado se simplifica.

Para mejorar el modelo predictivo, se recomienda analizar el comportamiento académico de los estudiantes, no solo desde la perspectiva del ámbito educativo, sino también familiar, laboral, social y cultural.

6.Reconocimientos

Expresamos el agradecimiento de las autoras a la Universidad Nacional de San Agustín de Arequipa por el apoyo recibido a la realización de la propuesta y esperamos que los resultados redunden en beneficio de la institución.

Así mismo, hacemos conocer que esta propuesta se enmarca dentro del proyecto "Modelo de evaluación de desempeño académico para la detección de estudiantes destacados y de estudiantes en riesgo académico" con contrato IBA-004-2016.

References

Referencias

Di Gresia, L., Fazio, M., Porto, A., Ripani,L. & Sosa, W. (2005). Rendimiento y Productividad de los Estudiantes. El Caso de las Universidades Públicas Argentinas, en Porto, A. (editor) Economía de la Educación Universitaria: Argentina-BrasilPerú, Editorial de la Universidad Nacional de La Plata, La Plata.

Dole, L. & Rajurkar, J. (2014). A Decision Support System for Predicting Student Performance, International Journal of Innovative Research in Computer and Communication Engineering.

Ferreyra, M., Avitabile, C., Botero, J., Haimovich, F. & Urzúa, S. (2017). Momento decisivo La educación superior en América Latina y el Caribe, Banco Internacional de Reconstrucción y Fomento/Banco Mundial.

Flavell, J. (1979). Metacognition and cognitive monitoring: A new area of cognitivedevelopmental inquiry", Am Psychol, 34(10): 906-911.

García-Cruz, R., Guzmán, R. & Martínez, J. (2006). Tres aristas de un triángulo: Bajo rendimiento académico, fracaso y deserción escolar, y un centro: El adolescente", Revista electrónica de Psicología; 2: 8-33.

Gart, S. & Sharma, A. (2013). Comparative Analysis of Data Mining Techniques on Educational Dataset, International Journal of Computer Applications, Vol. 74 (5У1-5.

Meleca, B. (1995). Traditional Predictors of Academic Performance in a Medical School's Independent Study Program", Acad Med., 70(1): 59-63.

Page, M. (1990). Hacia un modelo causal del rendimiento académico, Centro de Publicaciones del Ministerio de Educación y Ciencia, C.I.D.E., Madrid.

Pimpa, C. (2013). Study of Factors Analysis Affecting Academic Achievement of Undergraduate Students in International Program, Proceedings of the International MultiConference of Engineers and Computer Scientists.

Rodríguez,M. & Ruíz, M.(2011). Indicadores de rendimiento de estudiantes universitarios: calificaciones versus créditos acumulados, Revista de Educación, 355. Mayo-agosto 2011, pp. 467-492.

Thai, N. (2007). A comparative analysis of techniques for predicting academic performance, 37th Annual Frontiers In Education Conference - Global Engineering: Knowledge.