Other

Anhänge zu: "Konditionierungseffekte in Panel-Untersuchungen: Systematische Übersichtsarbeit und Meta-Analyse am Beispiel sensitiver Fragen"

Author(s) / Creator(s)

Burgard, Tanja
Bosnjak, Michael
Wedderhoff, Nadine

Abstract / Description

Paneldaten sind für die Untersuchung kausaler Zusammenhänge und die Beantwortung längsschnittlicher Fragestellungen unverzichtbar. Es ist allerdings umstritten, welchen Effekt die wiederholte Befragung von Panelteilnehmern auf die Qualität von Paneldaten hat. Der zu erwartende Lerneffekt der Teilnehmer bei wiederholter Teilnahme wird als Panelkonditionierung bezeichnet und kann sowohl positive als auch negative Folgen für die Validität der Paneldaten aufweisen. Insbesondere bei sensitiven Items werden Auswirkungen auf die soziale Erwünschtheit der gemachten Angaben erwartet. Die verfügbare Evidenz zu Konditionierungseffekten bei sensitiven Fragen legt unterschiedliche Effekte je nach Art der Frage nahe und wurde bisher lediglich in Form narrativer Reviews aufgearbeitet. In der vorliegenden Meta-Analyse werden anhand der verfügbaren experimentellen Evidenz (154 Effektstärken aus 19 Berichten) Konditionierungseffekte in Abhängigkeit von der Art der Frage, sowie der Häufigkeit und der Abstände zwischen den Erhebungen (Dosiseffekte) untersucht. Standardisierte Mittelwertunterschiede zwischen wiederholt teilnehmenden und erstmalig teilnehmenden Probanden werden mittels Mehrebenen-Meta-Regressionen analysiert. Dabei zeigen sich nur geringe Effekte vorheriger Befragungen auf das Antwortverhalten in Folgewellen. Nach aktuellem Stand kann daher davon ausgegangen werden, dass die Qualität von Paneldaten nicht in relevantem Maße von Konditionierungseffekten beeinflusst wird. Grenzen der vorliegenden Meta-Analyse und relevante Forschungslücken werden diskutiert.
Panel data are indispensable for investigating causal relationships and answering longitudinal questions. However, it is controversial how the repeated survey of panel participants affects the quality of panel data. The expected learning effect of repeated participation is called panel conditioning and can have both positive and negative consequences for the validity of panel data. Sensitive items in particular are expected to have an impact on the social desirability of the information provided. The available evidence on conditioning effects for sensitive questions suggests different effects depending on the type of question and has so far only been processed in the form of narrative reviews. In the present meta-analysis, conditioning effects are examined on the basis of the available experimental evidence (154 effect strengths from 19 reports), depending on the type of question, as well as the frequency and intervals between surveys (dosage effects). Standardized mean differences between experienced and fresh participants are analyzed by multi-level meta-regressions. The effects of previous surveys on the response behaviour in subsequent waves are only minor. At present, it can therefore be assumed that the quality of panel data is not influenced to a relevant extent by conditioning effects. Limits of the present meta-analysis and relevant research gaps are discussed.
Supplementary material to: Burgard, T., Bosnjak, M., & Wedderhoff, N. (2020). Konditionierungseffekte in Panel-Untersuchungen: Systematische Übersichtsarbeit und Meta-Analyse am Beispiel sensitiver Fragen. Psychologische Rundschau, 71(2), 89–95. https://doi.org/10.1026/0033-3042/a000479

Keyword(s)

Konditionierungseffekte Meta-Analyse Panel-Erhebungen Sensitive Items Soziale Erwünschtheit conditioning effects meta-analysis panel data sensitive items social desirability

Persistent Identifier

Date of first publication

2020-01

Publisher

PsychArchives

Citation

Burgard, T., Bosnjak, M., & Wedderhoff, N. (2020, January). Anhänge zu: "Konditionierungseffekte in Panel-Untersuchungen: Systematische Übersichtsarbeit und Meta-Analyse am Beispiel sensitiver Fragen". PsychArchives. https://doi.org/10.23668/PSYCHARCHIVES.2684
  • Author(s) / Creator(s)
    Burgard, Tanja
  • Author(s) / Creator(s)
    Bosnjak, Michael
  • Author(s) / Creator(s)
    Wedderhoff, Nadine
  • PsychArchives acquisition timestamp
    2020-01-08T11:06:15Z
  • Made available on
    2020-01-08T11:06:15Z
  • Date of first publication
    2020-01
  • Abstract / Description
    Paneldaten sind für die Untersuchung kausaler Zusammenhänge und die Beantwortung längsschnittlicher Fragestellungen unverzichtbar. Es ist allerdings umstritten, welchen Effekt die wiederholte Befragung von Panelteilnehmern auf die Qualität von Paneldaten hat. Der zu erwartende Lerneffekt der Teilnehmer bei wiederholter Teilnahme wird als Panelkonditionierung bezeichnet und kann sowohl positive als auch negative Folgen für die Validität der Paneldaten aufweisen. Insbesondere bei sensitiven Items werden Auswirkungen auf die soziale Erwünschtheit der gemachten Angaben erwartet. Die verfügbare Evidenz zu Konditionierungseffekten bei sensitiven Fragen legt unterschiedliche Effekte je nach Art der Frage nahe und wurde bisher lediglich in Form narrativer Reviews aufgearbeitet. In der vorliegenden Meta-Analyse werden anhand der verfügbaren experimentellen Evidenz (154 Effektstärken aus 19 Berichten) Konditionierungseffekte in Abhängigkeit von der Art der Frage, sowie der Häufigkeit und der Abstände zwischen den Erhebungen (Dosiseffekte) untersucht. Standardisierte Mittelwertunterschiede zwischen wiederholt teilnehmenden und erstmalig teilnehmenden Probanden werden mittels Mehrebenen-Meta-Regressionen analysiert. Dabei zeigen sich nur geringe Effekte vorheriger Befragungen auf das Antwortverhalten in Folgewellen. Nach aktuellem Stand kann daher davon ausgegangen werden, dass die Qualität von Paneldaten nicht in relevantem Maße von Konditionierungseffekten beeinflusst wird. Grenzen der vorliegenden Meta-Analyse und relevante Forschungslücken werden diskutiert.
    de
  • Abstract / Description
    Panel data are indispensable for investigating causal relationships and answering longitudinal questions. However, it is controversial how the repeated survey of panel participants affects the quality of panel data. The expected learning effect of repeated participation is called panel conditioning and can have both positive and negative consequences for the validity of panel data. Sensitive items in particular are expected to have an impact on the social desirability of the information provided. The available evidence on conditioning effects for sensitive questions suggests different effects depending on the type of question and has so far only been processed in the form of narrative reviews. In the present meta-analysis, conditioning effects are examined on the basis of the available experimental evidence (154 effect strengths from 19 reports), depending on the type of question, as well as the frequency and intervals between surveys (dosage effects). Standardized mean differences between experienced and fresh participants are analyzed by multi-level meta-regressions. The effects of previous surveys on the response behaviour in subsequent waves are only minor. At present, it can therefore be assumed that the quality of panel data is not influenced to a relevant extent by conditioning effects. Limits of the present meta-analysis and relevant research gaps are discussed.
    en
  • Abstract / Description
    Supplementary material to: Burgard, T., Bosnjak, M., & Wedderhoff, N. (2020). Konditionierungseffekte in Panel-Untersuchungen: Systematische Übersichtsarbeit und Meta-Analyse am Beispiel sensitiver Fragen. Psychologische Rundschau, 71(2), 89–95. https://doi.org/10.1026/0033-3042/a000479
    de
  • Publication status
    acceptedVersion
    en
  • Review status
    peerReviewed
    en
  • Table of contents
    Anhang 1: Codierungskategorien; Anhang 2: Verwendete Datenbanken in CLICsearch; Anhang 3: Verwendete Suchbegriffe; Anhang 4: Begründung für die Verwendung eines Drei-Ebenen-Modells; Anhang 5: PRISMA Flow Diagramm; Anhang 6: Funnelplot; Tabelle 1: Übersicht der Studiencharakteristika der ausgewählten Publikationen; Tabelle 2: Gesamteffekt und Effekte nach Fragetyp; Tabelle 3: Dosiseffekte auf absolute standardisierte Mittelwertsdifferenzen
    ger
  • Citation
    Burgard, T., Bosnjak, M., & Wedderhoff, N. (2020, January). Anhänge zu: "Konditionierungseffekte in Panel-Untersuchungen: Systematische Übersichtsarbeit und Meta-Analyse am Beispiel sensitiver Fragen". PsychArchives. https://doi.org/10.23668/PSYCHARCHIVES.2684
    en
  • Persistent Identifier
    https://hdl.handle.net/20.500.12034/2298
  • Persistent Identifier
    https://doi.org/10.23668/psycharchives.2684
  • Language of content
    deu
  • Publisher
    PsychArchives
    en
  • Is related to
    https://doi.org/10.1026/0033-3042/a000479
  • Is related to
    https://doi.org/10.1026/0033-3042/a000479
  • Keyword(s)
    Konditionierungseffekte
    de
  • Keyword(s)
    Meta-Analyse
    de
  • Keyword(s)
    Panel-Erhebungen
    de
  • Keyword(s)
    Sensitive Items
    de
  • Keyword(s)
    Soziale Erwünschtheit
    de
  • Keyword(s)
    conditioning effects
    en
  • Keyword(s)
    meta-analysis
    en
  • Keyword(s)
    panel data
    en
  • Keyword(s)
    sensitive items
    en
  • Keyword(s)
    social desirability
    en
  • Dewey Decimal Classification number(s)
    150
  • Title
    Anhänge zu: "Konditionierungseffekte in Panel-Untersuchungen: Systematische Übersichtsarbeit und Meta-Analyse am Beispiel sensitiver Fragen"
    ger
  • DRO type
    other
    en
  • Leibniz institute name(s) / abbreviation(s)
    ZPID
    ger