Psychometric analysis of a test to assess the digital competence of compulsory education students

Abstract

Valid and reliable information-gathering tools are necessary if research on digital competence is to provide valuable information that is able to guide education policies on the development of digital competence and the integration of information and communication technologies (ICT) into the educational systems of different countries. The aim of the present work is to validate a test that assesses the digital competence of students in compulsory education (ECODIES) in the areas of general knowledge, ability and attitude, using the Development and Understanding of Digital Competence in Europe Framework (DigComp) as the foundation for this research. This tool, designed by a university research team, was used on a sample of 771 students. The easiness/difficulty index and dimensions of the test were analyzed, as well as its validity and reliability. It was concluded that ECODIES is an original and novel test that features good psychometric properties that qualify it as a reliable and valid instrument for directly measuring digital competence by reflecting on real situations and problem solving.

Alternate abstract:

Para que las investigaciones sobre la competencia digital puedan aportar información valiosa que contribuya a guiar las políticas educativas de desarrollo de la misma y de integración de las Tecnologías de la Información y la Comunicación en los sistemas educativos de los países, es necesario contar con instrumentos de recogida de información válidos y fiables. El objetivo del presente trabajo es el de validar una prueba para evaluar la competencia digital en estudiantes de Educación Obligatoria, en los ámbitos de conocimiento, capacidad y actitud; teniendo como base el Marco para el Desarrollo y la Comprensión de la Competencia Digital en Europa. Este instrumento, diseñado por un equipo de investigación universitario, fue aplicado a una muestra de 771 estudiantes. Se analiza el índice de facilidad/dificultad de la prueba y por dimensiones, así como la validez y la fiabilidad. Se concluye que la prueba es original, novedosa y presenta unas buenas propiedades psicométricas que permiten calificarla como un instrumento fiable y válido para medir la competencia digital en todas sus dimensiones, de manera directa, mediante la reflexión sobre situaciones reales y la resolución de problemas.

Alternate abstract:

为了给数字能力研究提供更有价值的信息、为了得到能够指引教育政策在此方面发展的研究结果，也为了推动信息通信技术在国家教育系统中的融入，拥有一款能够收集有效可靠数据的工具至关重要。 该研究的目的是在《发展和理解数字能力的欧洲框架》的基础上，测试一款在知识、能力及态度方面评估义务教育阶段学生数字能力的测验。这款实验工具是由大学研究团队设计的，该工具被应用在了771名学生组成的样本上。对测验难易指数、维度效益及可靠度进行分析。结论表明该测验是一款新颖的原创测验，同时拥有优秀的心理统计学属性，通过对真实情况和问题解决方案的反思，能够以直接的方式在所有维度上测量数字能力，是一款有效可靠的工具。