Indicators of trustworthiness in lay-friendly research summaries: Scientificness surpasses easiness

Theoretischer Hintergrund: Forschung zu Wissenschaftsvertrauen berichtet den sogenannten “Easiness Effekt” (Scharrer et al., 2012, 2019) und den “Scientificness Effekt” (Bromme et al., 2015; Thomm & Bromme, 2012). Bei ersterem schätzen Leser:innen einen als zugänglich wahrgenommenen Text als vertrauenswürdiger ein und stimmen dessen Aussagen eher zu. Letzterer beschreibt einen ähnlichen Effekt, wenn Informationen in einem wissenschaftlichen Stil (z.B. mittels Referenzen, Methodenbeschreibungen und neutralem Ton) präsentiert werden. Es existiert allerdings wenig Forschung zur Interaktion der Effekte, zum Einfluss von Wissenschaftlichkeitsmerkmalen auf Autor:innen- und Textebene sowie zur Rolle subjektiver Wahrnehmung von Wissenschaftlichkeit durch Leser:innen für diese Prozesse. Fragestellung: Mehrere Fragen werden diskutiert: 1. Lassen sich die genannten Effekte replizieren und zeigen Einfachheit und Wissenschaftlichkeit eine Interaktion mit Blick auf Vertrauen? 2. Führt eine hohe Wissenschaftlichkeit sowohl auf Autor:innen- als auch Textebene zu höherem Vertrauen? 3. Mediiert die subjektive Wahrnehmung von Wissenschaftlichkeit den “Scientificness Effect”? Methode: Die erste Fragestellung wurde mit einer präregstrierten Online-Studie mit N = 1467 Proband:innen aus der deutschsprachigen Allgemeinbevölkerung untersucht. Dabei lasen Proband:innen vier Kurzzusammenfassungen psychologischer Forschung, die systematisch Einfachheit und Wissenschaftlichkeit variierten (hoch vs. niedrig). Nach jeder Zusammenfassung schätzten sie ihr Vertrauen in die Zusammenfassungen selbst (achtstufige Likert-Skala) sowie deren Autorinnen ein (METI, Hendriks et al., 2015). Die Auswertung erfolgte mittels Mixed Model Analysen in R. Für die weiteren Fragestellungen wird ab April/Mai 2023 eine zweite Online-Studie (N = 864) mit einer vergleichbaren Stichprobe durchgeführt. In zwei Kurzzusammenfassungen wird Wissenschaftlichkeit auf Autor:innenebene (akademischer Grad, Affiliation, Bedeutsamkeit der Forschung, Arbeitsweise) sowie Textebene (Referenzen, Methodenbeschreibungen, neutraler Ton) variiert. Für die Vertrauenseinschätzungen werden erneut die oben beschriebenen Maße genutzt, und es wird zunächst eine Pilotstudie durchgeführt. Die Auswertung erfolgt mittels Mediationsanalysen. Ergebnisse: Die Auswertung der ersten Studie ergab einen signifikant positiven Einfluss von Wissenschaftlichkeit auf Vertrauen (β = .142 - .512, SE = .027 - .033, ps < .001, R² = .003 - .037), allerdings keinen Einfluss von Einfachheit (β = -.027 -.032, ps > .343) oder eine Interaktion der Effekte (β = -.009 - -.40, ps >. 285). Die Ergebnisse der zweiten Studie werden im Rahmen des Vortrags vorgestellt. Implikationen für Theorie und Praxis: Die Ergebnisse der ersten Studie lassen, anknüpfend an bestehende Forschung (Tolochko et al., 2019), lediglich geringe Auswirkungen von syntaktischer Einfachheit auf Vertrauen vermuten. Die zweite Studie ermöglicht, die Rolle subjektiver Wahrnehmung von Leser:innen bezüglich Vertrauensurteilen differenzierter zu betrachten. Und schließlich ergeben sich praktische Implikationen für die Gestaltung wissenschaftlicher Texte (z.B. Nutzung von Referenzen und wertender Sprache).

In a time characterized by an increasing availability of online science information and a growing prevalence of fake news, conspiracy theories and science denial, understanding factors contributing to the perceived trustworthiness of scientific publications is vital. Previous research demonstrated an effect of text easiness and scientificness on lay readers’ trust in science. However, both the easiness- and the scientificness-effect have mainly been examined separately, without focus on potential interactions or confounds. Additionally, it is conceivable that individual variations of the easiness-effect and scientificness-effect arise from reader differences in epistemic justification beliefs or need for cognitive closure (NCC). To jointly examine both effects and explore the influences of readers’ epistemic justification beliefs and NCC, we carried out a preregistered online study with N = 1,467 German general-population lay readers. Readers received four short research summaries based on published psychological journal articles that systematically varied text easiness and scientificness in a 2x2 design (low vs. high). After each summary, ratings of text and author trustworthiness were collected. In addition, participants completed questionnaires related to their individual epistemic justification beliefs and NCC. Mixed-model regression analyses revealed that higher text scientificness significantly predicted increases in text and author trustworthiness. Furthermore, an interaction effect between scientificness and personal justification beliefs as well as justification by multiple sources emerged. However, no significant effects were found regarding text easiness. Implications for future studies and for increasing the trustworthiness of lay-friendly research summaries in light of reader characteristics will be discussed.

This upload of supplementary material contains an overview of all experimental conditions as well as German and English versions of the presented research summaries for Jonas, M., Kerwer, M., Chasiotis, A. & Rosman, T. (accepted) Indicators of Trustworthiness in Lay Friendly Research Summaries – Scientificness Surpasses Easiness. Public Understanding of Science.

This upload of supplementary material contains the R markdown code for Jonas, M., Kerwer, M., Chasiotis, A. & Rosman, T. (accepted) Indicators of Trustworthiness in Lay Friendly Research Summaries – Scientificness Surpasses Easiness. Public Understanding of Science.

This upload of supplementary material contains the final dataset and codebook for Jonas, M., Kerwer, M., Chasiotis, A. & Rosman, T. (accepted) Indicators of Trustworthiness in Lay Friendly Research Summaries – Scientificness Surpasses Easiness. Public Understanding of Science.