Conference Object

“Das sieht für mich nach Wissenschaft aus!” - Über subjektive Wissenschaftlichkeitswahrnehmungen von Lai:innen beim Lesen psychologischer Kurzzusammenfassungen und deren Einfluss auf Vertrauen

Author(s) / Creator(s)

Jonas, Mark
Rosman, Tom

Abstract / Description

Theoretischer Hintergrund: Bisherige Forschung (Bromme et al., 2015; Thomm & Bromme, 2012) liefert Evidenz für den “Scientificness-Effekt”: Leser:innen schätzen wissenschaftlich geschriebene Texte im Vergleich zu Sachtexten als vertrauenswürdiger ein und stimmen deren Aussagen eher zu. Wissenschaftlichkeit wurde hierbei meist über Referenzen, detaillierte Methodenbeschreibungen und einen sprachlich neutralen Ton variiert. Der Effekt konnte wiederholt repliziert werden (Jonas et al., 2023; Zaboski & Therriault, 2020). Allerdings wurde bisher meist der direkte Zusammenhang zwischen Wissenschaftlichkeit und Vertrauen betrachtet, ohne gleichzeitig den Einfluss der subjektiven Wissenschaftlichkeitswahrnehmung von Leser:innen zu prüfen. Gerade dieser Aspekt könnte jedoch eine zentrale Größe für den Scientificness-Effekt und für ein übergeordnetes theoretisches Rahmenmodell darstellen. Zudem ist unklar, ob Merkmale von Wissenschaftlichkeit auf Autor:innenebene ebenfalls dazu beitragen, dass Leser:innen einen Text als wissenschaftlicher und vertrauenswürdiger wahrnehmen. Fragestellung: Wird der Zusammenhang zwischen Merkmalen von Wissenschaftlichkeit auf Autor:innen- bzw. Textebene und Vertrauen durch wahrgenommene Wissenschaftlichkeit mediiert? Methode: Auf Basis einer Präregistrierung wurden online eine Pilot- (N = 109, MAlter = 47,13 , SDAlter = 15,76, range = 18 - 76 , w = 50,45%) und eine Hauptstudie (N = 838, MAlter = 47,97, SDAlter = 15,66, range = 18 - 77 , w = 50,12%) mit Proband:innen aus der deutschsprachigen Allgemeinbevölkerung durchgeführt. In einem 2*2 Design wurden zwei psychologische Kurzzusammenfassungen systematisch mit Blick auf die Wissenschaftlichkeit des Textes und der Autor:in variiert (hoch vs. niedrig). Auf Textebene wurde bei hoher Wissenschaftlichkeit per Referenzen der Bezug zu weiterer Forschung hergestellt, die Untersuchungsmethoden (verwendete Fragebögen, Messzeitpunkte, etc.) wurden geschildert und ein sprachlich neutraler Ton gewählt. Bei niedriger Textwissenschaftlichkeit wurde auf Referenzen und Methodenbeschreibungen verzichtet, und es wurde ein umgangssprachlicher, wertender Ton genutzt. Autor:innenwissenschaftlichkeit wurde über die Expertise, Affiliation und Einschlägigkeit der Autor:in variiert. Bei hoher Wissenschaftlichkeit wurde die Autor:in als erfahrene Forscher:in an einer öffentlichen Einrichtung mit vielen veröffentlichten Publikationen in angesehenen Zeitschriften und einer sehr genauen Arbeitsweise dargestellt. Bei niedriger Wissenschaftlichkeit wurde hingegen auf einen Hintergrund als Bachelor-Student:in mit einer Tätigkeit in der privaten Wirtschaft, geringe Forschungserfahrung, wenig Publikationen in unbekannteren Zeitschriften und eine im Detail ungenaue Arbeitsweise verwiesen. Im Rahmen der Pilotstudie fand ein Manipulation Check und eine Überarbeitung der Texte statt. Die Proband:innen bewerteten sowohl die Wissenschaftlichkeit der Autor:in bzw. des Textes und ihr Vertrauen in die Autor:in bzw. den Text. Wahrgenommene Wissenschaftlichkeit wurde per Likert-Item erfasst (1 = “sehr unwissenschaftlich”, 8= “sehr wissenschaftlich”), Vertrauen in die Autor:in über das Muenster Epistemic Trustworthiness Inventory (METI, Hendriks et al., 2015), und Vertrauen in den Text ebenfalls per Likert-Item (1 = “sehr unglaubwürdig”, 8 = “sehr glaubwürdig”). Die Auswertung der Mediationsmodelle erfolgte durch mixed models mit dem package mediation (Tingley et al., 2019) in R. Ergebnisse: Autor:innenwissenschaflichkeit und Textwissenschaftlichkeit als unabhängige Variablen sagten Vertrauen in die Autor:in bzw. den Text signifikant positiv vorher (ꞵs = .142 -.312, SEs = .036 -.044, ps < .001, R² = .005 - .024). Ebenso sagte Wissenschaftlichkeit die Mediatoren wahrgenommene Wissenschaftlichkeit der Autor:in bzw. des Texts signifikant positiv vorher (ꞵs = .325 - .421, SEs = .044 -.046, ps < .001, R² = .026 - .044). Die Mediatoren sagten Vertrauen ferner auch dann noch signifikant positiv vorher, wenn gleichzeitig die unabhängigen Variablen und weitere Kontrollvariablen berücksichtigt wurden (ꞵs = .381 - 615, SEs = .017, ps < .001, R² = .175 - .418). Der durchschnittliche kausale Mediationseffekt (ACME) erreichte für alle Modelle Signifikanz (ꞵs = .119 - .287, 95%CI[.084-.236|.150 - .340], ps < .001). Daher scheint subjektiv wahrgenommene Wissenschaftlichkeit eine zentrale, vermittelnde Einflussgröße für den Scientificness-Effekt darzustellen, was für die zukünftige Theoriebildung essentiell ist. Weitere Implikationen, z.B. mit Blick auf individuelle Merkmale von Leser:innen, die die Wissenschaftlichkeitswahrnehmung beeinflussen könnten (epistemische Überzeugungen), werden diskutiert. Auch wird aufgegriffen, welche Implikationen sich für die Wissenschaftskommunikation gegenüber der Allgemeinbevölkerung ergeben. Literatur: Bromme, R., Scharrer, L., Stadtler, M., Hömberg, J., & Torspecken, R. (2015). Is It Believable When It’s Scientific? How Scientific Discourse Style Influences Laypeople’s Resolution of Conflicts. Journal of Research in Science Teaching, 52(1), 36–57. https://doi.org/10.1002/tea.21172 Hendriks, F., Kienhues, D., & Bromme, R. (2015). Measuring Laypeople’s Trust in Experts in a Digital Age: The Muenster Epistemic Trustworthiness Inventory (METI). PLOS ONE, 10(10), e0139309. https://doi.org/10.1371/journal.pone.0139309 Jonas, M., Kerwer, M., Chasiotis, A., & Rosman, T. (2023). Indicators of trustworthiness in lay-friendly research summaries: Scientificness surpasses easiness. Public Understanding of Science, 096366252311763. https://doi.org/10.1177/09636625231176377 Thomm, E., & Bromme, R. (2012). It should at least seem scientific! Textual features of “scientificness” and their impact on lay assessments of online information. Science Education, 96(2), Article 2. https://doi.org/10.1002/sce.20480 Tingley, D., Yamamoto, T., Hirose, K., Keele, L., Imai, K., Trinh, M., & Wong, W. (2019). mediation: Causal Mediation Analysis. https://cran.utstat.utoronto.ca/web/packages/mediation/mediation.pdf Zaboski, B. A., & Therriault, D. J. (2020). Faking science: Scientificness, credibility, and belief in pseudoscience. Educational Psychology, 40(7), 820–837. https://doi.org/10.1080/01443410.2019.1694646

Keyword(s)

Scientificness-Effekt Vertrauen Wissenschaftskommunikation Mediation Epistemic Justification Beliefs

Persistent Identifier

Date of first publication

2024-03-20

Is part of

11. Tagung der Gesellschaft für Empirische Bildungsforschung, Potsdam, 18.-20.03.2024

Publisher

PsychArchives

Citation

  • 2024_03_18_Präsentation_GEBF.pdf
    Adobe PDF - 1.38MB
    MD5: 2a6180f1130bcde61d24348e34cd249b
     Download
    Description: Folien für die im Rahmen der 11. GEBF-Tagung gehaltene Präsentation zum Thema "Über subjektive Wissenschaftlichkeitswahrnehmungen von Lai:innen beim Lesen psychologischer Kurzzusammenfassungen und deren Einfluss auf Vertrauen"
  • Author(s) / Creator(s)
    Jonas, Mark
  • Author(s) / Creator(s)
    Rosman, Tom
  • PsychArchives acquisition timestamp
    2024-03-20T14:45:20Z
  • Made available on
    2024-03-20T14:45:20Z
  • Date of first publication
    2024-03-20
  • Abstract / Description
    Theoretischer Hintergrund: Bisherige Forschung (Bromme et al., 2015; Thomm & Bromme, 2012) liefert Evidenz für den “Scientificness-Effekt”: Leser:innen schätzen wissenschaftlich geschriebene Texte im Vergleich zu Sachtexten als vertrauenswürdiger ein und stimmen deren Aussagen eher zu. Wissenschaftlichkeit wurde hierbei meist über Referenzen, detaillierte Methodenbeschreibungen und einen sprachlich neutralen Ton variiert. Der Effekt konnte wiederholt repliziert werden (Jonas et al., 2023; Zaboski & Therriault, 2020). Allerdings wurde bisher meist der direkte Zusammenhang zwischen Wissenschaftlichkeit und Vertrauen betrachtet, ohne gleichzeitig den Einfluss der subjektiven Wissenschaftlichkeitswahrnehmung von Leser:innen zu prüfen. Gerade dieser Aspekt könnte jedoch eine zentrale Größe für den Scientificness-Effekt und für ein übergeordnetes theoretisches Rahmenmodell darstellen. Zudem ist unklar, ob Merkmale von Wissenschaftlichkeit auf Autor:innenebene ebenfalls dazu beitragen, dass Leser:innen einen Text als wissenschaftlicher und vertrauenswürdiger wahrnehmen. Fragestellung: Wird der Zusammenhang zwischen Merkmalen von Wissenschaftlichkeit auf Autor:innen- bzw. Textebene und Vertrauen durch wahrgenommene Wissenschaftlichkeit mediiert? Methode: Auf Basis einer Präregistrierung wurden online eine Pilot- (N = 109, MAlter = 47,13 , SDAlter = 15,76, range = 18 - 76 , w = 50,45%) und eine Hauptstudie (N = 838, MAlter = 47,97, SDAlter = 15,66, range = 18 - 77 , w = 50,12%) mit Proband:innen aus der deutschsprachigen Allgemeinbevölkerung durchgeführt. In einem 2*2 Design wurden zwei psychologische Kurzzusammenfassungen systematisch mit Blick auf die Wissenschaftlichkeit des Textes und der Autor:in variiert (hoch vs. niedrig). Auf Textebene wurde bei hoher Wissenschaftlichkeit per Referenzen der Bezug zu weiterer Forschung hergestellt, die Untersuchungsmethoden (verwendete Fragebögen, Messzeitpunkte, etc.) wurden geschildert und ein sprachlich neutraler Ton gewählt. Bei niedriger Textwissenschaftlichkeit wurde auf Referenzen und Methodenbeschreibungen verzichtet, und es wurde ein umgangssprachlicher, wertender Ton genutzt. Autor:innenwissenschaftlichkeit wurde über die Expertise, Affiliation und Einschlägigkeit der Autor:in variiert. Bei hoher Wissenschaftlichkeit wurde die Autor:in als erfahrene Forscher:in an einer öffentlichen Einrichtung mit vielen veröffentlichten Publikationen in angesehenen Zeitschriften und einer sehr genauen Arbeitsweise dargestellt. Bei niedriger Wissenschaftlichkeit wurde hingegen auf einen Hintergrund als Bachelor-Student:in mit einer Tätigkeit in der privaten Wirtschaft, geringe Forschungserfahrung, wenig Publikationen in unbekannteren Zeitschriften und eine im Detail ungenaue Arbeitsweise verwiesen. Im Rahmen der Pilotstudie fand ein Manipulation Check und eine Überarbeitung der Texte statt. Die Proband:innen bewerteten sowohl die Wissenschaftlichkeit der Autor:in bzw. des Textes und ihr Vertrauen in die Autor:in bzw. den Text. Wahrgenommene Wissenschaftlichkeit wurde per Likert-Item erfasst (1 = “sehr unwissenschaftlich”, 8= “sehr wissenschaftlich”), Vertrauen in die Autor:in über das Muenster Epistemic Trustworthiness Inventory (METI, Hendriks et al., 2015), und Vertrauen in den Text ebenfalls per Likert-Item (1 = “sehr unglaubwürdig”, 8 = “sehr glaubwürdig”). Die Auswertung der Mediationsmodelle erfolgte durch mixed models mit dem package mediation (Tingley et al., 2019) in R. Ergebnisse: Autor:innenwissenschaflichkeit und Textwissenschaftlichkeit als unabhängige Variablen sagten Vertrauen in die Autor:in bzw. den Text signifikant positiv vorher (ꞵs = .142 -.312, SEs = .036 -.044, ps < .001, R² = .005 - .024). Ebenso sagte Wissenschaftlichkeit die Mediatoren wahrgenommene Wissenschaftlichkeit der Autor:in bzw. des Texts signifikant positiv vorher (ꞵs = .325 - .421, SEs = .044 -.046, ps < .001, R² = .026 - .044). Die Mediatoren sagten Vertrauen ferner auch dann noch signifikant positiv vorher, wenn gleichzeitig die unabhängigen Variablen und weitere Kontrollvariablen berücksichtigt wurden (ꞵs = .381 - 615, SEs = .017, ps < .001, R² = .175 - .418). Der durchschnittliche kausale Mediationseffekt (ACME) erreichte für alle Modelle Signifikanz (ꞵs = .119 - .287, 95%CI[.084-.236|.150 - .340], ps < .001). Daher scheint subjektiv wahrgenommene Wissenschaftlichkeit eine zentrale, vermittelnde Einflussgröße für den Scientificness-Effekt darzustellen, was für die zukünftige Theoriebildung essentiell ist. Weitere Implikationen, z.B. mit Blick auf individuelle Merkmale von Leser:innen, die die Wissenschaftlichkeitswahrnehmung beeinflussen könnten (epistemische Überzeugungen), werden diskutiert. Auch wird aufgegriffen, welche Implikationen sich für die Wissenschaftskommunikation gegenüber der Allgemeinbevölkerung ergeben. Literatur: Bromme, R., Scharrer, L., Stadtler, M., Hömberg, J., & Torspecken, R. (2015). Is It Believable When It’s Scientific? How Scientific Discourse Style Influences Laypeople’s Resolution of Conflicts. Journal of Research in Science Teaching, 52(1), 36–57. https://doi.org/10.1002/tea.21172 Hendriks, F., Kienhues, D., & Bromme, R. (2015). Measuring Laypeople’s Trust in Experts in a Digital Age: The Muenster Epistemic Trustworthiness Inventory (METI). PLOS ONE, 10(10), e0139309. https://doi.org/10.1371/journal.pone.0139309 Jonas, M., Kerwer, M., Chasiotis, A., & Rosman, T. (2023). Indicators of trustworthiness in lay-friendly research summaries: Scientificness surpasses easiness. Public Understanding of Science, 096366252311763. https://doi.org/10.1177/09636625231176377 Thomm, E., & Bromme, R. (2012). It should at least seem scientific! Textual features of “scientificness” and their impact on lay assessments of online information. Science Education, 96(2), Article 2. https://doi.org/10.1002/sce.20480 Tingley, D., Yamamoto, T., Hirose, K., Keele, L., Imai, K., Trinh, M., & Wong, W. (2019). mediation: Causal Mediation Analysis. https://cran.utstat.utoronto.ca/web/packages/mediation/mediation.pdf Zaboski, B. A., & Therriault, D. J. (2020). Faking science: Scientificness, credibility, and belief in pseudoscience. Educational Psychology, 40(7), 820–837. https://doi.org/10.1080/01443410.2019.1694646
    de
  • Publication status
    unknown
    en
  • Review status
    unknown
    en
  • Persistent Identifier
    https://hdl.handle.net/20.500.12034/9825
  • Persistent Identifier
    https://doi.org/10.23668/psycharchives.14366
  • Language of content
    deu
  • Publisher
    PsychArchives
  • Is part of
    11. Tagung der Gesellschaft für Empirische Bildungsforschung, Potsdam, 18.-20.03.2024
  • Is related to
    https://doi.org/10.23668/psycharchives.12869
  • Keyword(s)
    Scientificness-Effekt
    de
  • Keyword(s)
    Vertrauen
    de
  • Keyword(s)
    Wissenschaftskommunikation
    de
  • Keyword(s)
    Mediation
    de
  • Keyword(s)
    Epistemic Justification Beliefs
    en
  • Dewey Decimal Classification number(s)
    150
  • Title
    “Das sieht für mich nach Wissenschaft aus!” - Über subjektive Wissenschaftlichkeitswahrnehmungen von Lai:innen beim Lesen psychologischer Kurzzusammenfassungen und deren Einfluss auf Vertrauen
    de
  • DRO type
    conferenceObject
    en
  • Leibniz institute name(s) / abbreviation(s)
    ZPID
  • Leibniz subject classification
    Psychologie