METHODOLOGICAL QUALITY CHECKLIST FOR STUDIES BASED ON OBSERVATIONAL METHODOLOGY (MQCOM)

Abstract

Background: No existing instrument addresses the minimum number of items that guarantee methodological quality in studies based on observational methodology. Consequently, professionals who are not experts in observational methodology do not have a basic framework to guide their practice in this type of study. This study developed a checklist to measure the minimum number of items for methodological quality that studies based on observational methodology should consider and provided evidence of their validity based on test content and intercoder reliability. Method: Fifty-four judges with at least 1 year of experience in observational methodology and research based on this methodology evaluated the items of the developed checklist in terms of relevance, usefulness, and feasibility. Items were selected if they obtained at least .5 in the Osterlind indexes of the three aspects evaluated. Two coders applied the selected items to a random selection of articles that used observational methodology to investigate soccer, and intercoder reliability was examined using Cohen’s kappa (k) coefficients. Results: The final checklist included 16 items grouped into 11 criteria/dimensions, with adequate reliability coefficients. Conclusions: This study developed a useful instrument for non-expert professionals to enhance the methodological quality of studies based on observational methodology.

Alternate abstract:

Antecedentes: no existen instrumentos referidos a los ítems mínimos que garanticen la calidad metodológica en estudios basados en metodología observacional. En consecuencia, los profesionales no expertos en metodología observacional no disponen de una guía básica que oriente su práctica en este tipo de estudios. Se desarrolló una escala para medir los ítems mínimos de calidad metodológica que deben considerar los estudios basados en metodología observacional aportando evidencias de su validez basada en el contenido de la prueba y fiabilidad intercodificadores. Método: cincuenta y cuatro jueces con al menos un año de experiencia en metodología observacional y su aplicación evaluaron los ítems del checklist elaborado respecto a su relevancia, utilidad y viabilidad. Se seleccionaron aquellos ítems que obtuvieron al menos ,5 en los índices de Osterlind en los tres aspectos evaluados. Dos codificadores los aplicaron a una selección aleatoria de artículos que utilizaron metodología observacional en fútbol y se estudió la fiabilidad intercodificadores mediante coeficientes kappa (k) de Cohen. Resultados: la escala resultante constó de 16 ítems agrupados en 11 criterios/dimensiones, con coeficientes de fiabilidad adecuados. Conclusiones: se desarrolló un instrumento útil dirigido a profesionales no expertos para potenciar la calidad metodológica de estudios basados en metodología observacional.