Analyse von Statistischen Qualitätsindikatoren Psychologischer Studien der Jahre 2010 – 2021 Mit Dem R-Paket Jatsdecoder

Abstract

Einhergehend mit der Digitalisierung und immer größer werdenden Bildungs- und Forschungsetats, steigt die Anzahl jährlich publizierter Forschungsberichte kontinuierlich. Allein in dem Zeitraum, in dem diese Arbeit entstand (2019-2023), ist die Anzahl frei zugänglicher Open-Access Dokumente, die in der PubMed Central Datenbank verlinkt sind, von 2,8 auf 5 Mio. gestiegen. Die Identifikation von relevanten und hochwertigen Studien anhand von Metadaten (meist Titel, Zusammenfassung und Schlüsselwörter) wird mittlerweile durch die schiere Anzahl an Studien erschwert. Eine Option, Studien zusätzlich anhand von methodischen Eigenschaften zu identifizieren, ist daher von immer höherer Relevanz und ermöglicht ebenfalls die Beantwortung von Meta-Fragestellungen zum Wandel dieser Eigenschaften über die Zeit.

In den meisten empirischen Studien ist die Verwendung frequentistischer Verfahren ein allgemeiner Standard. Seit ihrer Entwicklung zu Beginn des letzten Jahrhunderts wird die praktische Anwendung dieser Verfahren jedoch kontrovers diskutiert und kritisiert. In der Literatur sind diverse problematische bzw. fehlerhafte Anwendungsszenarien und weit verbreitete, problematische Forschungspraktiken aufgeführt, die zu starken Einschränkungen der Validität der Ergebnisse und den damit verbundenen Schlussfolgerungen führen. Ein Indiz für die praktische Relevanz dieser Kritikpunkte in der Psychologie liefert die im Jahr 2015 publizierte Replikationsstudie der Open Science Collaboration. In den 100 wiederholten Experimenten, deren Ergebnisse in hochrangigen Zeitschriften verschiedener Disziplinen veröffentlicht wurden, konnte der veröffentlichte Effekt nur in einem geringen Anteil der Replikationen bestätigt werden (je nach Auslegung und Journal zwischen 23% und 62%).

In dieser Arbeit wird das neu entwickelte R-Paket JATSdecoder als hilfreiches Werkzeug der Wissenschaftsforschung vorgestellt (Publikation 1) und evaluiert. Das in JATSdecoder enthaltene Modul get.stats() wird hinsichtlich seiner Eigenschaft, im Text aufgeführte statistische Ergebnisangaben auszulesen, mit der bereits etablierten Software statcheck verglichen (Publikation 2). Die Präzision der Extraktion von ausgewählten methodischen Studienmerkmalen mit dem Modul study.character() wird durch einen Vergleich mit einem händisch kodierten Datensatz der Eigenschaften realisiert (Publikation 3). In einem Anwendungsszenario werden die Veränderungen von ausgewählten, mit JATSdecoderextrahierten, methodischen Studieneigenschaften in N = 57.909 psychologischen Forschungspapieren aus 12 Zeitschriften, die innerhalb der letzten 12 Jahre erschienen sind, analysiert (Publikation 4).

JATSdecoder extrahiert verlässlich die Metadaten und Textelemente aus NISO-JATS kodierten Dokumenten und stellt ein allgemeines Werkzeug für die Wissenschaftsforschung dar. Bezüglich der Fähigkeit statistische Testergebnisse verlässlich und korrekt aus Texten zu extrahieren ist die Funktion get.stats() den Algorithmen von statchecküberlegen. Die entwickelten Algorithmen zur Extraktion methodischer Studienmerkmale stellen zusätzlich ein hilfreiches Instrument zur Identifikation von Studien mit spezifischen methodischen Eigenschaften dar und können eine händische Kodierung ersetzen.

Im globalen Vergleich von Studien, die zwischen 2010 und 2015 veröffentlicht wurden und Studien, die zwischen 2016 und 2021 erschienen, hat sich in den hier analysierten Forschungspapieren der Median der ermittelten Stichprobengrößen von 105 auf 190 erhöht. Der Median der Anzahl berichteter p-Werte je Studie sank von 14 auf 12. Der Anteil an Artikeln mit berichteten Korrekturverfahren für multiples Testen hat sich von 27% auf 23% verringert. Berichte von Konfidenzintervallen erhöhten sich von 21% auf 32%, Angaben zu Poweranalysen von 5% auf 11%. In 85% der Artikel wurden Ergebnisse von Nil-Nullhypothesentests mit p-Werten berichtet, von denen lediglich 2% mit einem α-Fehlerniveau unterhalb von 0, 05 durchgeführt wurden.

Die Forschungsartikel der 12 Zeitschriften, die hier mit JATSdecoderanalysiert wurden, stellen eine große, wenngleich selektive Stichprobe aller psychologischen Forschungsberichte dar, weshalb eine Generalisierung der Ergebnisse auf die Psychologie als Ganzes, nur eingeschränkt möglich ist. Weiterhin ist zu beachten, dass die globalen Effekte von den vergleichsweise vielen Open-Access Artikel überlagert sind.

Alternate abstract:

You are viewing a machine translation of selected content from our databases. This functionality is provided solely for your convenience and is in no way intended to replace human translation. Show full disclaimer

Neither ProQuest nor its licensors make any representations or warranties with respect to the translations. The translations are automatically generated "AS IS" and "AS AVAILABLE" and are not retained in our systems. PROQUEST AND ITS LICENSORS SPECIFICALLY DISCLAIM ANY AND ALL EXPRESS OR IMPLIED WARRANTIES, INCLUDING WITHOUT LIMITATION, ANY WARRANTIES FOR AVAILABILITY, ACCURACY, TIMELINESS, COMPLETENESS, NON-INFRINGMENT, MERCHANTABILITY OR FITNESS FOR A PARTICULAR PURPOSE. Your use of the translations is subject to all use restrictions contained in your Electronic Products License Agreement and by using the translation functionality you agree to forgo any and all claims against ProQuest or its licensors for your use of the translation functionality and any output derived there from. Hide full disclaimer

Along with digitalization and ever-increasing education and research budgets, the number of research reports published annually is continually increasing. In the period in which this work was created (2019-2023) alone, the number of freely accessible open access documents linked in the PubMed Central database increased from 2.8 to 5 million. The identification of relevant and high-quality studies based on metadata (usually title, abstract and keywords) is now made difficult by the sheer number of studies. An option to additionally identify studies based on methodological properties is therefore increasingly relevant and also enables meta-questions to be answered about the changes in these properties over time.

In most empirical studies, the use of frequentist methods is a general standard. However, since their development at the beginning of the last century, the practical application of these procedures has been controversially discussed and criticized. The literature lists various problematic or incorrect application scenarios and widespread, problematic research practices, which lead to severe limitations in the validity of the results and the associated conclusions. The replication study published by the Open Science Collaboration in 2015 provides an indication of the practical relevance of these points of criticism in psychology. In the 100 repeated experiments, the results of which were published in high-ranking journals in various disciplines, the published effect could only be confirmed in a small proportion of the replications (between 23% and 62%, depending on the interpretation and journal).

In this work the newly developed R package JATSdecoder presented and evaluated as a helpful tool for scientific research (publication 1). This in JATSdecoder included module get.stats() is compared with the already established software statcheck in terms of its ability to read statistical results listed in the text (publication 2). The precision of the extraction of selected methodological study features with the module study.character() is realized through a comparison with a manually coded data set of properties (publication 3). In an application scenario, the changes are selected from, with JATSdecoderextracted, methodological study characteristics in N = 57,909 psychological research papers from 12 journals that were published within the last 12 years were analyzed (publication 4).

JATSdecoder reliably extracts the metadata and text elements from NISO-JATS coded documents and represents a general tool for scientific research. The function is related to the ability to reliably and correctly extract statistical test results from texts get.stats() the algorithms of statchecksuperior. The algorithms developed to extract methodological study characteristics also represent a helpful tool for identifying studies with specific methodological characteristics and can replace manual coding.

In the global comparison of studies published between 2010 and 2015 and studies published between 2016 and 2021, the median sample size determined in the research papers analyzed here increased from 105 to 190. The median number of reported p-values ​​per study decreased from 14 to 12. The proportion of articles reporting correction procedures for multiple testing decreased from 27% to 23%. Reports of confidence intervals increased from 21% to 32%, and power analysis reports increased from 5% to 11%. Results of Nil null hypothesis tests with p values ​​were reported in 85% of articles, of which only 2% were performed with an α error level below 0.05.

The research articles from the 12 journals included here JATSdecoderanalyzed represent a large, albeit selective, sample of all psychological research reports, which is why generalization of the results to psychology as a whole is only possible to a limited extent. It should also be noted that the global effects are overshadowed by the comparatively large number of open access articles.