Electronic Supplementary Material: "Erfassung der Primärstudienqualität in psychologischen Meta-Analysen: Eine systematische Übersichtsarbeit"

Meta-Analysen haben sich als Methodik zur Zusammenfassung von Studienergebnissen etabliert und sind ein wichtiges Instrument für Wissenschaftler, aber auch für politische und soziale Entscheidungsträger. Jedoch können die Schätzungen einer Meta-Analyse verzerrt sein, wenn nicht für die methodische Qualität der eingehenden Primärstudien kontrolliert wird. Die Erfassung der Primärstudienqualität und die Bereitstellung entsprechender Instrumente sollte dementsprechend essentieller Bestandteil jeder wissenschaftlichen Disziplin sein, die sich auf Meta-Analysen zur quantitativen Integration von Studienergebnissen stützt. Die vorliegende Übersichtsarbeit bietet daher einen Überblick ob und welche Qualitätskriterien in der Psychologie herangezogen werden. Insgesamt 225 Meta-Analysen, die in den letzten 10 Jahren im Psychological Bulletin veröffentlicht wurden, gingen in die Analyse ein. Nur etwa 18 % dieser Studien berücksichtigen explizit die Qualität der eingehenden Primärstudien. Zudem weisen die Strategie der Qualitätsberücksichtigung, wie auch die verwendeten Instrumente, bzw. die entwickelten Items eine ausgeprägte Heterogenität zwischen den Studien auf. Diese Unterschiede, die Vor- und Nachteile der spezifischen Vorgehensweisen als auch die praktischen Implikationen, die sich daraus ergeben werden anschließend diskutiert

Meta-analyses have developed into a preferred method for aggregating effect sizes reported in primary studies and are a viable tool for both researchers as well as political and social decision-makers. However, the meta-analytic estimates may be biased because of differences in the methodological rigor between primary studies. Accordingly, the assessment of primary study quality as well as the provision of appropriate quality appraisal tools should be an essential part of any scientific discipline that uses meta-analyses for the quantitative integration of study results. The present review provides an overview of whether and which quality criteria are used in psychological meta-analyses. A total of 225 meta-analyses published in Psychological Bulletin over the last 10 years were included in the analysis. Only about 18 % of these studies explicitly consider the quality of the primary studies. Additionally, the specific approach as well as the instruments or items used show a high degree of heterogeneity between the studies. These differences, the advantages and disadvantages of the specific procedures as well as the practical implications arising from them are thoroughly discussed.

Supplementary materials for: Wedderhoff, N., & Bosnjak, M. (2020). Erfassung der Primärstudienqualität in psychologischen Meta-Analysen. Psychologische Rundschau, 71(2), 119–126. https://doi.org/10.1026/0033-3042/a000484