The challenge to design and assess learning outcomes in higher education

Abstract

Establishing learning outcomes and the system for monitoring and assessing their achievement is an essential aspect of planning and organising the teaching-learning process, and also a crucial function of university teaching staff. In addition, it is also a key activity to provide coherence in higher education to curriculum design based on constructive alignment. This study presents an analysis and assessment of the descriptions of the following curricular elements in the university master's degree programmes: learning outcomes and assessment methods and instruments. Employing a textual and content analysis, 9419 descriptions of learning outcomes and 6729 descriptions of assessment methods and instruments have been analysed, which correspond to 89 master's programmes in the branch of Social Sciences and Law taught in six Spanish universities in different autonomous regions. Textual analysis was performed with the Xplortext software. For the content analysis, firstly, an ad hoc evaluation instrument (ANVALDOC) was designed and, secondly, a computer tool (CORAMeval) was developed to implement and use the scale. The results show the association between the language used and the university of origin or the discipline in which the degree is contextualised. Likewise, there is a clear difference between universities and disciplines in terms of the quality of the learning outcome descriptions, assessed in terms of correctness, verifiability, authenticity, or underlying cognitive process. Moreover, these differences are maintained in the correctness and authenticity of the assessment methods and instruments.

Alternate abstract:

Determinar los resultados de aprendizaje y el sistema para el seguimiento y evaluación de la consecución de estos consttuye uno de los aspectos fundamentales de la planifcación y organización del proceso de enseñanza-aprendizaje, siendo igualmente una de las funciones esenciales que desempeña el profesorado universitario. Así mismo, se trata de una actvidad básica para dar coherencia en la educación superior a un diseño curricular basado en el alineamiento constructvo. En este estudio se presenta un análisis y valoración de las descripciones realizadas en las memorias de verifcación de ttulos universitarios de máster de los siguientes elementos curriculares: resultados de aprendizaje y medios e instrumentos de evaluación. Mediante un análisis textual y de contenido se han analizado 9419 descripciones de resultados de aprendizaje y 6729 de medios e instrumentos de evaluación, que se corresponden con las memorias de 89 ttulos de máster de la rama de ciencias sociales y jurídicas impartdos en seis universidades españolas de diferentes regiones autónomas. El análisis textual se ha realizado con el sofware Xplortext. Para el análisis de contenido se ha diseñado, en primer lugar, un instrumento de evaluación ad hoc (ANVALDOC) y, en segundo lugar, se ha desarrollado una herramienta informátca (CORAMeval) para la implementación y uso de la citada escala. Los resultados muestran la asociación existente entre el lenguaje utlizado y la universidad de procedencia o el ámbito de conocimiento en el que se contextualiza el ttulo. Así mismo, se evidencia una clara diferencia según las universidades y ámbitos en cuanto a la calidad de las descripciones de los resultados de aprendizaje, valorada en términos de corrección, verifcabilidad, autentcidad o proceso cognitvo subyacente. Igualmente, estas diferencias se mantenen en la corrección y autentcidad de los medios e instrumentos de evaluación.