Please use this identifier to cite or link to this item: http://dx.doi.org/10.23668/psycharchives.866
Title: Können wir den Einfluss von Publikationsbiases und fragwürdigen Forschungspraktiken auf publizierte Evidenz identifizieren und korrigieren?
Authors: Renkewitz, Frank
Issue Date: 2018
Publisher: ZPID (Leibniz Institute for Psychology Information)
Series/Report no.: Die Rolle der psychologischen Methodenlehre in der Open Science Debatte (15.06.2018, FU Berlin)
Abstract: Die Replikationskrise verlangt nach einer Reevaluation der vorliegenden Evidenz in vielen Bereichen psychologischer Forschung. Zu den wesentlichen Gründen für unzureichende Replizierbarkeit zählen Publikationsbiases und fragwürdige Forschungspraktiken (wie p-Hacking und HARKing). Eine Reevaluation publizierter Evidenz ist also auf Verfahren angewiesen, die diese Probleme identifizieren und ihren Einfluss auf Effektschätzungen korrigieren kann. Das Inventar solcher Verfahren ist in den letzten Jahren rasch gewachsen. Dabei wurden sowohl Modifikationen bereits existenter Verfahren vorgeschlagen (z.B. PET-PEESE als Verbesserung regressionsbasierter Methoden) als auch gänzlich neue Techniken entwickelt (z.B. p-curve oder p-uniform). Vergleichende Untersuchungen der Performanz dieser Verfahren sind bislang jedoch selten, Randbedingungen, unter denen die Identifikation von Publikationsbiases gelingen kann, sind wenig untersucht. Ich werde die Ergebnisse extensiver Monte-Carlo Simulationen präsentieren, in denen diese Fragestellungen verfolgt wurden. Dabei wurde sowohl die Sensitivität und Spezifität der Verfahren bei der Aufdeckung von Publikationsbiases als auch die Erwartungstreue und Effizienz korrigierter Effektschätzungen unter einer Vielzahl von Randbedingungen untersucht. Die Ergebnisse zeigen unter anderem, dass insbesondere „traditionelle“ Verfahren (z.B. Trim-and-Fill) generell kaum geeignet sind, Publikationsbiases unter in der Psychologie realistischen Bedingungen zu identifizieren. Einige neuere Verfahren erbringen hier jedoch zumindest in vielen simulierten Datenkonstellationen vielversprechende Ergebnisse. Eine hinreichend verlässliche Korrektur von Effektschätzungen, scheint jedoch mit allen Verfahren kaum zu erreichen zu sein.
URI: https://hdl.handle.net/20.500.12034/664
http://dx.doi.org/10.23668/psycharchives.866
Appears in Collections:Books & Proceedings & Talks

Files in This Item:
File Description SizeFormat 
PresOpenScienceRenkewitz.pdfConference Talk638,46 kBAdobe PDFThumbnail
View/Open


This item is licensed under a Creative Commons License Creative Commons