Können wir den Einfluss von Publikationsbiases und fragwürdigen Forschungspraktiken auf publizierte Evidenz identifizieren und korrigieren?
Author(s) / Creator(s)
Renkewitz, Frank
Abstract / Description
Die Replikationskrise verlangt nach einer Reevaluation der vorliegenden Evidenz in vielen Bereichen psychologischer Forschung. Zu den wesentlichen Gründen für unzureichende Replizierbarkeit zählen Publikationsbiases und fragwürdige Forschungspraktiken (wie p-Hacking und HARKing). Eine Reevaluation publizierter Evidenz ist also auf Verfahren angewiesen, die diese Probleme identifizieren und ihren Einfluss auf Effektschätzungen korrigieren kann. Das Inventar solcher Verfahren ist in den letzten Jahren rasch gewachsen. Dabei wurden sowohl Modifikationen bereits existenter Verfahren vorgeschlagen (z.B. PET-PEESE als Verbesserung regressionsbasierter Methoden) als auch gänzlich neue Techniken entwickelt (z.B. p-curve oder p-uniform). Vergleichende Untersuchungen der Performanz dieser Verfahren sind bislang jedoch selten, Randbedingungen, unter denen die Identifikation von Publikationsbiases gelingen kann, sind wenig untersucht. Ich werde die Ergebnisse extensiver Monte-Carlo Simulationen präsentieren, in denen diese Fragestellungen verfolgt wurden. Dabei wurde sowohl die Sensitivität und Spezifität der Verfahren bei der Aufdeckung von Publikationsbiases als auch die Erwartungstreue und Effizienz korrigierter Effektschätzungen unter einer Vielzahl von Randbedingungen untersucht. Die Ergebnisse zeigen unter anderem, dass insbesondere „traditionelle“ Verfahren (z.B. Trim-and-Fill) generell kaum geeignet sind, Publikationsbiases unter in der Psychologie realistischen Bedingungen zu identifizieren. Einige neuere Verfahren erbringen hier jedoch zumindest in vielen simulierten Datenkonstellationen vielversprechende Ergebnisse. Eine hinreichend verlässliche Korrektur von Effektschätzungen, scheint jedoch mit allen Verfahren kaum zu erreichen zu sein.
Keyword(s)
publication bias meta-analysis p-hacking bias detection bias correctionPersistent Identifier
Date of first publication
2018
Is part of
Die Rolle der psychologischen Methodenlehre in der Open Science Debatte 2018, Berlin, Germany
Publisher
ZPID (Leibniz Institute for Psychology Information)
Citation
-
PresOpenScienceRenkewitz.pdfAdobe PDF - 653.78KBMD5: 7237e88d263e282db85639ebb29a078bDescription: Conference Talk
-
There are no other versions of this object.
-
Author(s) / Creator(s)Renkewitz, Frank
-
PsychArchives acquisition timestamp2018-06-28T13:50:22Z
-
Made available on2018-06-28T13:50:22Z
-
Date of first publication2018
-
Abstract / DescriptionDie Replikationskrise verlangt nach einer Reevaluation der vorliegenden Evidenz in vielen Bereichen psychologischer Forschung. Zu den wesentlichen Gründen für unzureichende Replizierbarkeit zählen Publikationsbiases und fragwürdige Forschungspraktiken (wie p-Hacking und HARKing). Eine Reevaluation publizierter Evidenz ist also auf Verfahren angewiesen, die diese Probleme identifizieren und ihren Einfluss auf Effektschätzungen korrigieren kann. Das Inventar solcher Verfahren ist in den letzten Jahren rasch gewachsen. Dabei wurden sowohl Modifikationen bereits existenter Verfahren vorgeschlagen (z.B. PET-PEESE als Verbesserung regressionsbasierter Methoden) als auch gänzlich neue Techniken entwickelt (z.B. p-curve oder p-uniform). Vergleichende Untersuchungen der Performanz dieser Verfahren sind bislang jedoch selten, Randbedingungen, unter denen die Identifikation von Publikationsbiases gelingen kann, sind wenig untersucht. Ich werde die Ergebnisse extensiver Monte-Carlo Simulationen präsentieren, in denen diese Fragestellungen verfolgt wurden. Dabei wurde sowohl die Sensitivität und Spezifität der Verfahren bei der Aufdeckung von Publikationsbiases als auch die Erwartungstreue und Effizienz korrigierter Effektschätzungen unter einer Vielzahl von Randbedingungen untersucht. Die Ergebnisse zeigen unter anderem, dass insbesondere „traditionelle“ Verfahren (z.B. Trim-and-Fill) generell kaum geeignet sind, Publikationsbiases unter in der Psychologie realistischen Bedingungen zu identifizieren. Einige neuere Verfahren erbringen hier jedoch zumindest in vielen simulierten Datenkonstellationen vielversprechende Ergebnisse. Eine hinreichend verlässliche Korrektur von Effektschätzungen, scheint jedoch mit allen Verfahren kaum zu erreichen zu sein.en_US
-
Publication statusunknown
-
Review statusnotReviewed
-
Persistent Identifierhttps://hdl.handle.net/20.500.12034/664
-
Persistent Identifierhttps://doi.org/10.23668/psycharchives.866
-
Language of contentdeuen_US
-
PublisherZPID (Leibniz Institute for Psychology Information)en_US
-
Is part ofDie Rolle der psychologischen Methodenlehre in der Open Science Debatte 2018, Berlin, Germany
-
Keyword(s)publication biasen_US
-
Keyword(s)meta-analysisen_US
-
Keyword(s)p-hackingen_US
-
Keyword(s)bias detectionen_US
-
Keyword(s)bias correctionen_US
-
Dewey Decimal Classification number(s)150
-
TitleKönnen wir den Einfluss von Publikationsbiases und fragwürdigen Forschungspraktiken auf publizierte Evidenz identifizieren und korrigieren?en_US
-
DRO typeconferenceObjecten_US