Demonstration of a mixed-methods illuminative evaluation: the case of a sports and exercise academic program

Abstract

Introduction: In sports and exercise science education, ensuring that curricular components translate into practical skills is particularly critical. Higher education programs often struggle to align their instructional design with the actual learning experiences of students..

Objective: This study aimed to evaluate the alignment between the instructional system (intended program design) and the learning milieu (implemented experiences) of a sports and exercise science academic program, demonstrating an innovative mixed-methods illuminative evaluation framework..

Methodology: A three-phase sequential mixed-methods design was employed. Qualitative interviews with stakeholders were first conducted to identify key program components and themes. A survey instrument was developed based on these qualitative insights and underwent content validation. Finally, the validated survey was administered to current students and alumni, and the data were analyzed using Importance–Performance Analysis..

Results: The evaluation found that in-class program elements – including teacher preparation, learning activities, and learning environment – were regarded as highly important and were delivered effectively, indicating strong alignment between the program’s design and student experiences. In contrast, the on-the-job training component showed lower perceived importance and weaker performance..

Discussion: These findings mirrored prior research in showing that well-prepared instructors and supportive learning environments enhance student engagement and learning outcomes. The results underscored the persistent challenge of bridging theoretical instruction with practical application in higher education..

Conclusions: The study provided actionable recommendations to strengthen the OJT segment of the curriculum and introduced a novel mixed-methods evaluation model. This integrated approach offered alternative assessment of the program and can serve as a blueprint for future evaluations.

Alternate abstract:

Introdução: No ensino das ciências do desporto e do exercício, é particularmente crítico garantir que as componentes curriculares se traduzem em competências práticas. Os programas de ensino superior lutam frequentemente para alinhar o seu design instrucional com as experiências reais de aprendizagem dos alunos.

Objectivo: Este estudo teve como objectivo avaliar o alinhamento entre o sistema instrucional (design programático planeado) e o ambiente de aprendizagem (experiências implementadas) de um programa académico em ciências do desporto e do exercício, demonstrando uma estrutura de avaliação esclarecedora inovadora com uma abordagem mista.

Metodologia: Foi utilizado um desenho sequencial de métodos mistos em três fases. Em primeiro lugar, foram realizadas entrevistas qualitativas com as partes interessadas para identificar os principais componentes do programa e os seus principais temas. Posteriormente, foi desenvolvido um instrumento de investigação com base nestes achados qualitativos, que foi submetido a validação de conteúdo. Por fim, o inquérito validado foi aplicado a alunos atuais e graduados, e os dados foram analisados ​​através da Análise de Importância-Desempenho.

Resultados: A avaliação revelou que os elementos do programa na sala de aula – incluindo a preparação dos professores, as atividades de aprendizagem e o ambiente de aprendizagem – foram considerados de grande importância e foram implementados de forma eficaz, indicando um forte alinhamento entre a conceção do programa e as experiências dos alunos. Em contrapartida, a componente práticas profissionais apresentou menor perceção de importância e desempenho mais fraco.

Discussão: Estas conclusões são consistentes com pesquisas anteriores que indicam que professores bem preparados e ambientes de aprendizagem favoráveis ​​promovem o envolvimento dos alunos e os resultados de aprendizagem. Os resultados realçam o desafio persistente de ligar o ensino teórico à aplicação prática no ensino superior.

Conclusões: O estudo forneceu recomendações concretas para fortalecer o segmento das práticas profissionais dentro do currículo e introduziu um novo modelo de avaliação de métodos mistos. Esta abordagem integrada ofereceu uma avaliação alternativa do programa e pode servir de modelo para avaliações futuras.

Alternate abstract:

Introducción: En la educación en ciencias del deporte y el ejercicio, garantizar que los componentes curriculares se traduzcan en habilidades prácticas es particularmente crítico. Los programas de educación superior a menudo tienen dificultades para alinear su diseño instruccional con las experiencias reales de aprendizaje de los estudiantes..

Objetivo: Este estudio tuvo como propósito evaluar la alineación entre el sistema instruccional (diseño programático previsto) y el entorno de aprendizaje (experiencias implementadas) de un programa académico en ciencias del deporte y el ejercicio, demostrando un marco innovador de evaluación iluminativa con enfoque mixto.

Metodología: Se empleó un diseño secuencial de métodos mixtos en tres fases. Primero, se realizaron entrevistas cualitativas con las partes interesadas para identificar los componentes clave del programa y sus temas principales. Posteriormente, se desarrolló un instrumento de encuesta basado en estos hallazgos cualitativos, el cual fue sometido a validación de contenido. Finalmente, la encuesta validada se administró a estudiantes actuales y egresados, y los datos fueron analizados mediante el Análisis de Importancia-Desempeño..

Resultados: La evaluación reveló que los elementos del programa dentro del aula – incluyendo la preparación docente, las actividades de aprendizaje y el entorno de aprendizaje – fueron considerados de gran importancia y se implementaron de manera efectiva, lo que indica una fuerte alineación entre el diseño del programa y las experiencias de los estudiantes. En contraste, el componente de prácticas profesionales mostró una menor percepción de importancia y un desempeño más débil.

Discusión: Estos hallazgos coinciden con investigaciones previas que indican que los docentes bien preparados y los entornos de aprendizaje de apoyo favorecen el compromiso estudiantil y los resultados de aprendizaje. Los resultados resaltan el desafío persistente de vincular la instrucción teórica con la aplicación práctica en la educación superior..

Conclusiones: El estudio proporcionó recomendaciones concretas para fortalecer el segmento de prácticas profesionales dentro del currículo e introdujo un modelo novedoso de evaluación con métodos mixtos. Este enfoque integrado ofreció una alternativa de evaluación del programa y puede servir como modelo para futuras evaluaciones.