Is the Influence of Author and Text Scientificness on Trustworthiness Mediated by Lay Readers’ Perceived Scientificness? Preregistration of Hypotheses and Design

Theoretischer Hintergrund: Forschung zu Wissenschaftsvertrauen berichtet den sogenannten “Easiness Effekt” (Scharrer et al., 2012, 2019) und den “Scientificness Effekt” (Bromme et al., 2015; Thomm & Bromme, 2012). Bei ersterem schätzen Leser:innen einen als zugänglich wahrgenommenen Text als vertrauenswürdiger ein und stimmen dessen Aussagen eher zu. Letzterer beschreibt einen ähnlichen Effekt, wenn Informationen in einem wissenschaftlichen Stil (z.B. mittels Referenzen, Methodenbeschreibungen und neutralem Ton) präsentiert werden. Es existiert allerdings wenig Forschung zur Interaktion der Effekte, zum Einfluss von Wissenschaftlichkeitsmerkmalen auf Autor:innen- und Textebene sowie zur Rolle subjektiver Wahrnehmung von Wissenschaftlichkeit durch Leser:innen für diese Prozesse. Fragestellung: Mehrere Fragen werden diskutiert: 1. Lassen sich die genannten Effekte replizieren und zeigen Einfachheit und Wissenschaftlichkeit eine Interaktion mit Blick auf Vertrauen? 2. Führt eine hohe Wissenschaftlichkeit sowohl auf Autor:innen- als auch Textebene zu höherem Vertrauen? 3. Mediiert die subjektive Wahrnehmung von Wissenschaftlichkeit den “Scientificness Effect”? Methode: Die erste Fragestellung wurde mit einer präregstrierten Online-Studie mit N = 1467 Proband:innen aus der deutschsprachigen Allgemeinbevölkerung untersucht. Dabei lasen Proband:innen vier Kurzzusammenfassungen psychologischer Forschung, die systematisch Einfachheit und Wissenschaftlichkeit variierten (hoch vs. niedrig). Nach jeder Zusammenfassung schätzten sie ihr Vertrauen in die Zusammenfassungen selbst (achtstufige Likert-Skala) sowie deren Autorinnen ein (METI, Hendriks et al., 2015). Die Auswertung erfolgte mittels Mixed Model Analysen in R. Für die weiteren Fragestellungen wird ab April/Mai 2023 eine zweite Online-Studie (N = 864) mit einer vergleichbaren Stichprobe durchgeführt. In zwei Kurzzusammenfassungen wird Wissenschaftlichkeit auf Autor:innenebene (akademischer Grad, Affiliation, Bedeutsamkeit der Forschung, Arbeitsweise) sowie Textebene (Referenzen, Methodenbeschreibungen, neutraler Ton) variiert. Für die Vertrauenseinschätzungen werden erneut die oben beschriebenen Maße genutzt, und es wird zunächst eine Pilotstudie durchgeführt. Die Auswertung erfolgt mittels Mediationsanalysen. Ergebnisse: Die Auswertung der ersten Studie ergab einen signifikant positiven Einfluss von Wissenschaftlichkeit auf Vertrauen (β = .142 - .512, SE = .027 - .033, ps < .001, R² = .003 - .037), allerdings keinen Einfluss von Einfachheit (β = -.027 -.032, ps > .343) oder eine Interaktion der Effekte (β = -.009 - -.40, ps >. 285). Die Ergebnisse der zweiten Studie werden im Rahmen des Vortrags vorgestellt. Implikationen für Theorie und Praxis: Die Ergebnisse der ersten Studie lassen, anknüpfend an bestehende Forschung (Tolochko et al., 2019), lediglich geringe Auswirkungen von syntaktischer Einfachheit auf Vertrauen vermuten. Die zweite Studie ermöglicht, die Rolle subjektiver Wahrnehmung von Leser:innen bezüglich Vertrauensurteilen differenzierter zu betrachten. Und schließlich ergeben sich praktische Implikationen für die Gestaltung wissenschaftlicher Texte (z.B. Nutzung von Referenzen und wertender Sprache).

Theoretischer Hintergrund: Bisherige Forschung (Bromme et al., 2015; Thomm & Bromme, 2012) liefert Evidenz für den “Scientificness-Effekt”: Leser:innen schätzen wissenschaftlich geschriebene Texte im Vergleich zu Sachtexten als vertrauenswürdiger ein und stimmen deren Aussagen eher zu. Wissenschaftlichkeit wurde hierbei meist über Referenzen, detaillierte Methodenbeschreibungen und einen sprachlich neutralen Ton variiert. Der Effekt konnte wiederholt repliziert werden (Jonas et al., 2023; Zaboski & Therriault, 2020). Allerdings wurde bisher meist der direkte Zusammenhang zwischen Wissenschaftlichkeit und Vertrauen betrachtet, ohne gleichzeitig den Einfluss der subjektiven Wissenschaftlichkeitswahrnehmung von Leser:innen zu prüfen. Gerade dieser Aspekt könnte jedoch eine zentrale Größe für den Scientificness-Effekt und für ein übergeordnetes theoretisches Rahmenmodell darstellen. Zudem ist unklar, ob Merkmale von Wissenschaftlichkeit auf Autor:innenebene ebenfalls dazu beitragen, dass Leser:innen einen Text als wissenschaftlicher und vertrauenswürdiger wahrnehmen. Fragestellung: Wird der Zusammenhang zwischen Merkmalen von Wissenschaftlichkeit auf Autor:innen- bzw. Textebene und Vertrauen durch wahrgenommene Wissenschaftlichkeit mediiert? Methode: Auf Basis einer Präregistrierung wurden online eine Pilot- (N = 109, MAlter = 47,13 , SDAlter = 15,76, range = 18 - 76 , w = 50,45%) und eine Hauptstudie (N = 838, MAlter = 47,97, SDAlter = 15,66, range = 18 - 77 , w = 50,12%) mit Proband:innen aus der deutschsprachigen Allgemeinbevölkerung durchgeführt. In einem 2*2 Design wurden zwei psychologische Kurzzusammenfassungen systematisch mit Blick auf die Wissenschaftlichkeit des Textes und der Autor:in variiert (hoch vs. niedrig). Auf Textebene wurde bei hoher Wissenschaftlichkeit per Referenzen der Bezug zu weiterer Forschung hergestellt, die Untersuchungsmethoden (verwendete Fragebögen, Messzeitpunkte, etc.) wurden geschildert und ein sprachlich neutraler Ton gewählt. Bei niedriger Textwissenschaftlichkeit wurde auf Referenzen und Methodenbeschreibungen verzichtet, und es wurde ein umgangssprachlicher, wertender Ton genutzt. Autor:innenwissenschaftlichkeit wurde über die Expertise, Affiliation und Einschlägigkeit der Autor:in variiert. Bei hoher Wissenschaftlichkeit wurde die Autor:in als erfahrene Forscher:in an einer öffentlichen Einrichtung mit vielen veröffentlichten Publikationen in angesehenen Zeitschriften und einer sehr genauen Arbeitsweise dargestellt. Bei niedriger Wissenschaftlichkeit wurde hingegen auf einen Hintergrund als Bachelor-Student:in mit einer Tätigkeit in der privaten Wirtschaft, geringe Forschungserfahrung, wenig Publikationen in unbekannteren Zeitschriften und eine im Detail ungenaue Arbeitsweise verwiesen. Im Rahmen der Pilotstudie fand ein Manipulation Check und eine Überarbeitung der Texte statt. Die Proband:innen bewerteten sowohl die Wissenschaftlichkeit der Autor:in bzw. des Textes und ihr Vertrauen in die Autor:in bzw. den Text. Wahrgenommene Wissenschaftlichkeit wurde per Likert-Item erfasst (1 = “sehr unwissenschaftlich”, 8= “sehr wissenschaftlich”), Vertrauen in die Autor:in über das Muenster Epistemic Trustworthiness Inventory (METI, Hendriks et al., 2015), und Vertrauen in den Text ebenfalls per Likert-Item (1 = “sehr unglaubwürdig”, 8 = “sehr glaubwürdig”). Die Auswertung der Mediationsmodelle erfolgte durch mixed models mit dem package mediation (Tingley et al., 2019) in R. Ergebnisse: Autor:innenwissenschaflichkeit und Textwissenschaftlichkeit als unabhängige Variablen sagten Vertrauen in die Autor:in bzw. den Text signifikant positiv vorher (ꞵs = .142 -.312, SEs = .036 -.044, ps < .001, R² = .005 - .024). Ebenso sagte Wissenschaftlichkeit die Mediatoren wahrgenommene Wissenschaftlichkeit der Autor:in bzw. des Texts signifikant positiv vorher (ꞵs = .325 - .421, SEs = .044 -.046, ps < .001, R² = .026 - .044). Die Mediatoren sagten Vertrauen ferner auch dann noch signifikant positiv vorher, wenn gleichzeitig die unabhängigen Variablen und weitere Kontrollvariablen berücksichtigt wurden (ꞵs = .381 - 615, SEs = .017, ps < .001, R² = .175 - .418). Der durchschnittliche kausale Mediationseffekt (ACME) erreichte für alle Modelle Signifikanz (ꞵs = .119 - .287, 95%CI[.084-.236|.150 - .340], ps < .001). Daher scheint subjektiv wahrgenommene Wissenschaftlichkeit eine zentrale, vermittelnde Einflussgröße für den Scientificness-Effekt darzustellen, was für die zukünftige Theoriebildung essentiell ist. Weitere Implikationen, z.B. mit Blick auf individuelle Merkmale von Leser:innen, die die Wissenschaftlichkeitswahrnehmung beeinflussen könnten (epistemische Überzeugungen), werden diskutiert. Auch wird aufgegriffen, welche Implikationen sich für die Wissenschaftskommunikation gegenüber der Allgemeinbevölkerung ergeben. Literatur: Bromme, R., Scharrer, L., Stadtler, M., Hömberg, J., & Torspecken, R. (2015). Is It Believable When It’s Scientific? How Scientific Discourse Style Influences Laypeople’s Resolution of Conflicts. Journal of Research in Science Teaching, 52(1), 36–57. https://doi.org/10.1002/tea.21172 Hendriks, F., Kienhues, D., & Bromme, R. (2015). Measuring Laypeople’s Trust in Experts in a Digital Age: The Muenster Epistemic Trustworthiness Inventory (METI). PLOS ONE, 10(10), e0139309. https://doi.org/10.1371/journal.pone.0139309 Jonas, M., Kerwer, M., Chasiotis, A., & Rosman, T. (2023). Indicators of trustworthiness in lay-friendly research summaries: Scientificness surpasses easiness. Public Understanding of Science, 096366252311763. https://doi.org/10.1177/09636625231176377 Thomm, E., & Bromme, R. (2012). It should at least seem scientific! Textual features of “scientificness” and their impact on lay assessments of online information. Science Education, 96(2), Article 2. https://doi.org/10.1002/sce.20480 Tingley, D., Yamamoto, T., Hirose, K., Keele, L., Imai, K., Trinh, M., & Wong, W. (2019). mediation: Causal Mediation Analysis. https://cran.utstat.utoronto.ca/web/packages/mediation/mediation.pdf Zaboski, B. A., & Therriault, D. J. (2020). Faking science: Scientificness, credibility, and belief in pseudoscience. Educational Psychology, 40(7), 820–837. https://doi.org/10.1080/01443410.2019.1694646

Theoretischer Hintergrund: Bisherige Forschung (Bromme et al., 2015; Thomm & Bromme, 2012) liefert Evidenz für den “Scientificness-Effekt”: Leser:innen schätzen wissenschaftlich geschriebene Texte im Vergleich zu Sachtexten als vertrauenswürdiger ein und stimmen deren Aussagen eher zu. Wissenschaftlichkeit wurde hierbei meist über Referenzen, detaillierte Methodenbeschreibungen und einen sprachlich neutralen Ton variiert. Der Effekt konnte wiederholt repliziert werden (Jonas et al., 2023; Zaboski & Therriault, 2020). Allerdings wurde bisher meist der direkte Zusammenhang zwischen Wissenschaftlichkeit und Vertrauen betrachtet, ohne gleichzeitig den Einfluss der subjektiven Wissenschaftlichkeitswahrnehmung von Leser:innen zu prüfen. Gerade dieser Aspekt könnte jedoch eine zentrale Größe für den Scientificness-Effekt und für ein übergeordnetes theoretisches Rahmenmodell darstellen. Zudem ist unklar, ob Merkmale von Wissenschaftlichkeit auf Autor:innenebene ebenfalls dazu beitragen, dass Leser:innen einen Text als wissenschaftlicher und vertrauenswürdiger wahrnehmen. Fragestellung: Wird der Zusammenhang zwischen Merkmalen von Wissenschaftlichkeit auf Autor:innen- bzw. Textebene und Vertrauen durch wahrgenommene Wissenschaftlichkeit mediiert? Methode: Auf Basis einer Präregistrierung wurden online eine Pilot- (N = 109, MAlter = 47,13 , SDAlter = 15,76, range = 18 - 76 , w = 50,45%) und eine Hauptstudie (N = 838, MAlter = 47,97, SDAlter = 15,66, range = 18 - 77 , w = 50,12%) mit Proband:innen aus der deutschsprachigen Allgemeinbevölkerung durchgeführt. In einem 2*2 Design wurden zwei psychologische Kurzzusammenfassungen systematisch mit Blick auf die Wissenschaftlichkeit des Textes und der Autor:in variiert (hoch vs. niedrig). Auf Textebene wurde bei hoher Wissenschaftlichkeit per Referenzen der Bezug zu weiterer Forschung hergestellt, die Untersuchungsmethoden (verwendete Fragebögen, Messzeitpunkte, etc.) wurden geschildert und ein sprachlich neutraler Ton gewählt. Bei niedriger Textwissenschaftlichkeit wurde auf Referenzen und Methodenbeschreibungen verzichtet, und es wurde ein umgangssprachlicher, wertender Ton genutzt. Autor:innenwissenschaftlichkeit wurde über die Expertise, Affiliation und Einschlägigkeit der Autor:in variiert. Bei hoher Wissenschaftlichkeit wurde die Autor:in als erfahrene Forscher:in an einer öffentlichen Einrichtung mit vielen veröffentlichten Publikationen in angesehenen Zeitschriften und einer sehr genauen Arbeitsweise dargestellt. Bei niedriger Wissenschaftlichkeit wurde hingegen auf einen Hintergrund als Bachelor-Student:in mit einer Tätigkeit in der privaten Wirtschaft, geringe Forschungserfahrung, wenig Publikationen in unbekannteren Zeitschriften und eine im Detail ungenaue Arbeitsweise verwiesen. Im Rahmen der Pilotstudie fand ein Manipulation Check und eine Überarbeitung der Texte statt. Die Proband:innen bewerteten sowohl die Wissenschaftlichkeit der Autor:in bzw. des Textes und ihr Vertrauen in die Autor:in bzw. den Text. Wahrgenommene Wissenschaftlichkeit wurde per Likert-Item erfasst (1 = “sehr unwissenschaftlich”, 8= “sehr wissenschaftlich”), Vertrauen in die Autor:in über das Muenster Epistemic Trustworthiness Inventory (METI, Hendriks et al., 2015), und Vertrauen in den Text ebenfalls per Likert-Item (1 = “sehr unglaubwürdig”, 8 = “sehr glaubwürdig”). Die Auswertung der Mediationsmodelle erfolgte durch mixed models mit dem package mediation (Tingley et al., 2019) in R. Ergebnisse: Autor:innenwissenschaflichkeit und Textwissenschaftlichkeit als unabhängige Variablen sagten Vertrauen in die Autor:in bzw. den Text signifikant positiv vorher (ꞵs = .142 -.312, SEs = .036 -.044, ps < .001, R² = .005 - .024). Ebenso sagte Wissenschaftlichkeit die Mediatoren wahrgenommene Wissenschaftlichkeit der Autor:in bzw. des Texts signifikant positiv vorher (ꞵs = .325 - .421 , SEs = .044 -.046, ps < .001, R² = .026 - .044). Die Mediatoren sagten Vertrauen ferner auch dann noch signifikant positiv vorher, wenn gleichzeitig die unabhängigen Variablen und weitere Kontrollvariablen berücksichtigt wurden (ꞵs = .381 - 615, SEs = .017, ps < .001, R² = .175 - .418). Der durchschnittliche kausale Mediationseffekt (ACME) erreichte für alle Modelle Signifikanz (ꞵs = .119 - .287, 95%CI[.084-.236|.150 - .340], ps < .001). Daher scheint subjektiv wahrgenommene Wissenschaftlichkeit eine zentrale, vermittelnde Einflussgröße für den Scientificness-Effekt darzustellen, was für die zukünftige Theoriebildung essentiell ist. Weitere Implikationen, z.B. mit Blick auf individuelle Merkmale von Leser:innen, die die Wissenschaftlichkeitswahrnehmung beeinflussen könnten (epistemische Überzeugungen), werden diskutiert. Auch wird aufgegriffen, welche Implikationen sich für die Wissenschaftskommunikation gegenüber der Allgemeinbevölkerung ergeben.

This upload contains an overview of the experimental conditions (Supplemental Material 1), an illustration of the experimental design (Supplemental Material 2) and the original research summaries and English translations (Supplemental Material 3) for the study "All Research Summaries Are Scientific, But Some Are More Scientific Than Others? - Indications for a Mediation of the Relationship between Author and Text Scientificness through Perceived Scientificness"

This upload contains the dataset (Supplemental Material 4) and the codebook (Supplemental Material 5) for the pilot study of the study "All Research Summaries Are Scientific, But Some Are More Scientific Than Others? - Indications for a Mediation of the Relationship between Author and Text Scientificness through Perceived Scientificness".

This upload contains the R Markdown documents (Supplemental Material 6) for the pilot study to "All Research Summaries Are Scientific, But Some Are More Scientific Than Others? - Indications for a Mediation of the Relationship between Author and Text Scientificness through Perceived Scientificness"

This upload contains the dataset (Supplemental Material 7) and the codebook (Supplemental Material 8) for the main study to "All Research Summaries Are Scientific, But Some Are More Scientific Than Others? - Indications for a Mediation of the Relationship between Author and Text Scientificness through Perceived Scientificness"

This upload contains R Markdown documents for the main study of "All Research Summaries Are Scientific, But Some Are More Scientific Than Others? - Indications for a Mediation of the Relationship between Author and Text Scientificness through Perceived Scientificness"