Conference Object

Können wir den Einfluss von Publikationsbiases und fragwürdigen Forschungspraktiken auf publizierte Evidenz identifizieren und korrigieren?

Author(s) / Creator(s)

Renkewitz, Frank

Abstract / Description

Die Replikationskrise verlangt nach einer Reevaluation der vorliegenden Evidenz in vielen Bereichen psychologischer Forschung. Zu den wesentlichen Gründen für unzureichende Replizierbarkeit zählen Publikationsbiases und fragwürdige Forschungspraktiken (wie p-Hacking und HARKing). Eine Reevaluation publizierter Evidenz ist also auf Verfahren angewiesen, die diese Probleme identifizieren und ihren Einfluss auf Effektschätzungen korrigieren kann. Das Inventar solcher Verfahren ist in den letzten Jahren rasch gewachsen. Dabei wurden sowohl Modifikationen bereits existenter Verfahren vorgeschlagen (z.B. PET-PEESE als Verbesserung regressionsbasierter Methoden) als auch gänzlich neue Techniken entwickelt (z.B. p-curve oder p-uniform). Vergleichende Untersuchungen der Performanz dieser Verfahren sind bislang jedoch selten, Randbedingungen, unter denen die Identifikation von Publikationsbiases gelingen kann, sind wenig untersucht. Ich werde die Ergebnisse extensiver Monte-Carlo Simulationen präsentieren, in denen diese Fragestellungen verfolgt wurden. Dabei wurde sowohl die Sensitivität und Spezifität der Verfahren bei der Aufdeckung von Publikationsbiases als auch die Erwartungstreue und Effizienz korrigierter Effektschätzungen unter einer Vielzahl von Randbedingungen untersucht. Die Ergebnisse zeigen unter anderem, dass insbesondere „traditionelle“ Verfahren (z.B. Trim-and-Fill) generell kaum geeignet sind, Publikationsbiases unter in der Psychologie realistischen Bedingungen zu identifizieren. Einige neuere Verfahren erbringen hier jedoch zumindest in vielen simulierten Datenkonstellationen vielversprechende Ergebnisse. Eine hinreichend verlässliche Korrektur von Effektschätzungen, scheint jedoch mit allen Verfahren kaum zu erreichen zu sein.

Keyword(s)

publication bias meta-analysis p-hacking bias detection bias correction

Persistent Identifier

Date of first publication

2018

Is part of

Die Rolle der psychologischen Methodenlehre in der Open Science Debatte 2018, Berlin, Germany

Publisher

ZPID (Leibniz Institute for Psychology Information)

Citation

  • Author(s) / Creator(s)
    Renkewitz, Frank
  • PsychArchives acquisition timestamp
    2018-06-28T13:50:22Z
  • Made available on
    2018-06-28T13:50:22Z
  • Date of first publication
    2018
  • Abstract / Description
    Die Replikationskrise verlangt nach einer Reevaluation der vorliegenden Evidenz in vielen Bereichen psychologischer Forschung. Zu den wesentlichen Gründen für unzureichende Replizierbarkeit zählen Publikationsbiases und fragwürdige Forschungspraktiken (wie p-Hacking und HARKing). Eine Reevaluation publizierter Evidenz ist also auf Verfahren angewiesen, die diese Probleme identifizieren und ihren Einfluss auf Effektschätzungen korrigieren kann. Das Inventar solcher Verfahren ist in den letzten Jahren rasch gewachsen. Dabei wurden sowohl Modifikationen bereits existenter Verfahren vorgeschlagen (z.B. PET-PEESE als Verbesserung regressionsbasierter Methoden) als auch gänzlich neue Techniken entwickelt (z.B. p-curve oder p-uniform). Vergleichende Untersuchungen der Performanz dieser Verfahren sind bislang jedoch selten, Randbedingungen, unter denen die Identifikation von Publikationsbiases gelingen kann, sind wenig untersucht. Ich werde die Ergebnisse extensiver Monte-Carlo Simulationen präsentieren, in denen diese Fragestellungen verfolgt wurden. Dabei wurde sowohl die Sensitivität und Spezifität der Verfahren bei der Aufdeckung von Publikationsbiases als auch die Erwartungstreue und Effizienz korrigierter Effektschätzungen unter einer Vielzahl von Randbedingungen untersucht. Die Ergebnisse zeigen unter anderem, dass insbesondere „traditionelle“ Verfahren (z.B. Trim-and-Fill) generell kaum geeignet sind, Publikationsbiases unter in der Psychologie realistischen Bedingungen zu identifizieren. Einige neuere Verfahren erbringen hier jedoch zumindest in vielen simulierten Datenkonstellationen vielversprechende Ergebnisse. Eine hinreichend verlässliche Korrektur von Effektschätzungen, scheint jedoch mit allen Verfahren kaum zu erreichen zu sein.
    en_US
  • Publication status
    unknown
  • Review status
    notReviewed
  • Persistent Identifier
    https://hdl.handle.net/20.500.12034/664
  • Persistent Identifier
    https://doi.org/10.23668/psycharchives.866
  • Language of content
    deu
    en_US
  • Publisher
    ZPID (Leibniz Institute for Psychology Information)
    en_US
  • Is part of
    Die Rolle der psychologischen Methodenlehre in der Open Science Debatte 2018, Berlin, Germany
  • Keyword(s)
    publication bias
    en_US
  • Keyword(s)
    meta-analysis
    en_US
  • Keyword(s)
    p-hacking
    en_US
  • Keyword(s)
    bias detection
    en_US
  • Keyword(s)
    bias correction
    en_US
  • Dewey Decimal Classification number(s)
    150
  • Title
    Können wir den Einfluss von Publikationsbiases und fragwürdigen Forschungspraktiken auf publizierte Evidenz identifizieren und korrigieren?
    en_US
  • DRO type
    conferenceObject
    en_US