Experience Sampling

Methoden der empirischen Kommunikations- und Medienforschung

Marko Bachl

Freie Universität Berlin

Orga

Fragen zu Mehrebenenmodellen

Letzte Sitzung, Hausaufgabe

Wiederholte In-situ-Befragungen: Experience Sampling und verwandte Forschungsdesigns in der Kommunikationswissenschaft

Basierend auf dem gleichnamigen Lehrbuch von Anna Schnauber-Stockmann, Teresa K. Naab, Veronika Karnowski und Daniela Schlütz (erscheint noch in 2026)

Agenda

  1. Einführung
  2. Typen von In-situ-Designs
  3. Typen von Forschungsfragen
  4. Beispielstudie
  5. Fazit

Einführung

Credit: Myznik Egor on Unsplash

Komplexe Medienumgebungen und die Untersuchung von Situationen

Auf dem Weg zur Arbeit in der S-Bahn einen unterhaltsamen Podcast hören, dabei auf der Suche nach einem Geburtstagsgeschenk durch Instagram scrollen und parallel eine private WhatsApp-Konversation im Gruppen-Chat führen, anschließend am Büroschreibtisch berufliche E-Mails lesen, während diverse Kurznachrichtendienste Meldungen zum aktuellen politischen Geschehen pushen, um in der Mittagspause die letzte Folge der Lieblingsserie auf dem iPad zu verfolgen – das sind heutzutage gewöhnliche Mediennutzungssituationen.

Komplexe Medienumgebungen und die Untersuchung von Situationen

Situative Merkmale

  • Externe Kontextmerkmale (z.B. Aufenthaltsort)
  • Medienseitigen Kontextmerkmale (z.B. verwendetes Abspielgerät)
  • Interne Aspekte der Nutzenden (z.B. aktuelle Stimmung)

Personenmerkmale

  • Ressourcen (z.B. verfügbare Abspielgeräte)
  • Persönliche Einstellungen und Eigenschaften (z.B. Medienpräferenzen)

Begriffe

  • in situ: “in der Situation”; Versuch, einzelne Situationen möglichst unmittelbar während ihres Geschehens zu erfassen, statt sich auf rekonstruierende Aussagen der Nutzer:innen zu verlassen (vgl. auch Sitzung zu Digitalen Verhaltensdaten)
  • Viele Namen für ähnliche Verfahren:
    • Experience Sampling Method (ESM) und Mobile Experience Sampling Method (MESM) (aus der Psychologie, in Kommunikationswissenschaft am weitesten verbreitet)
    • Ecological Momentary Assessment (EMA) (v.a. in klinische Studien)
    • Ambulatory Assessment (AA) (häufig in Kombination mit physiologischen Messungen)
    • (Diary Method [Tagebuchmethode; etwas weiter entfernt von der Situation])

Zentrale Charakteristika von In-situ-Designs

„people’s current experiences and behaviors are assessed repeatedly, in their natural environments, without or only with minimal latency” (Wilhelm et al., 2012)

Vorteile

  • Erfassen relevanter situativer Merkmale im Alltag; hohe ökologische Validität
  • Messwiederholung; Messungen verschiedener Situationen, im Idealfall repräsentatives Abbild aller Situationen
  • Zeitliche Nähe von Mediennutzung und Messung; verringert kognitive Verzerrungen, Vergessen.
  • Hohe zeitliche Auflösung der Messungen; Entwicklungen, zeitliche Zusammenhänge

Nachteile

  • Größe und Repräsentativität der Personen- und Situationsstichproben herausfordernd
  • Reaktive Methode (Methode beeinflusst das untersuchte Phänomen), besonders durch häufige oder störende Erhebungen
  • Großer Aufwand für Teilnehmende und Forschende

Fragen?

Typen von In-situ-Designs

Typen von In-situ-Designs

(Schnauber-Stockmann et al., 2026, Abbildung 2.1)

Typen von In-situ-Designs

Tagebuchmethode

  • Allgemein: Erhebt wiederholt (in der Regel an aufeinander folgenden Tagen) bei denselben Teilnehmer:innen Informationen per Selbstauskunft
  • Tägliches Tagebuch (Daily Diaries): Erhebt einmal am Tag Informationen, die sich auf diesen Tag beziehen, nicht aber auf eine spezifische Situation.
  • Intervalltagebuchstudien (Interval Diary): Erhebt mehrmals am Tag Informationen, die sich auf vordefinierte Zeitabschnitte (Intervalle) beziehen, nicht aber auf eine spezifische Situation.

ESM

  • Allgemein: Erhebt wiederholt (in der Regel mehrmals am Tag an aufeinander folgenden Tagen) Informationen zu konkreten Situationen oder Momenten bei denselben Teilnehmer:innen Informationen per Selbstauskunft.
  • “Echte” ESM: Erhebt zu zufällig ausgewählten Zeitpunkten Informationen in exakt dieser Situation (potentiell repräsentative Stichprobe von Situationen)
  • Quasi-ESM: Erhebt zu zufällig ausgewählten Zeitpunkten Informationen zur letzten für das Untersuchungsinteresse relevanten Situation (besser geeignet für seltenere Ereignisse)
  • Ereignisabhängige ESM: Bestimmte Ereignisse lösen die Erhebung von Informationen zur aktuellen bzw. gerade abgeschlossenen Situation aus; entweder durch allgemeine Aufforderung der Teilnehmenden (vor der Studie, Erinnerungen) oder technisch ausgelöste Erinnerung (nur für bestimmte Ereignisse möglich).

Fragen?

Typen von Forschungsfragen

Typen von Forschungsfragen

(Schnauber-Stockmann et al., 2026, Abbildung 1.1)

Unterschiede zwischen Personen: Fragen nach interindividueller Varianz

  • Forschungsfragen auf Personenebene interessieren sich für interindividuelle (= zwischen Personen) Differenzen.
    • z.B. Welche Personengruppen hören häufiger oder länger Podcasts?
    • z.B. Aus welchen Motiven nutzen Personen True-Crime-Podcasts?
  • Wiederholte In-situ-Messungen nicht zwingend notwendig, verbessern häufig aber die Validität der Messung
  • Aggregation der wiederholten Messungen pro Person
    • z.B. Wiederholte Abfrage der Dauer einzelner Nutzungsepisoden, aufsummieren pro Woche (verringert Verzerrung durch Erinnerung)
    • z.B. Wiederholte Abfrage der Motive für die aktuelle Nutzung (typische Motive zeigen sich durch Wiederholung)
  • Abwägung von Aufwand und Nutzung eines In-Situ-Designs: Wäre die Studie als Querschnittsbefragung ausreichend informativ?

Unterschiede zwischen Situationen: Fragen nach der intraindividuellen Varianz

  • Stärke des In-situ-Designs: Messung von Phänomenen über mehrere Situationen hinweg bei denselben Personen
  • Forschungsfragen nach intraindividuellen (= innerhalb derselben Person) Unterschieden und Veränderungen
  • Beschreibung der situativen Variation eines Konstrukts und zeitliche Dynamiken
    • z.B. Wie verteilt sich die Podcast-Nutzung über einen Tag oder eine Woche?
  • Zusammenhänge zwischen mehreren situativ variierenden Konstrukten
    • z.B. Beeinträchtigen Paralleltätigkeiten die Aufmerksamkeit bei die Podcastrezeption?
  • Zeitversetzte Zusammenhänge und Autokorrelationen
    • z.B. Erhöht das Unterhaltungserleben in einer Podcast-Nutzungsepisode die Wahrscheinlichkeit, dass in der nächsten Episode ein ähnlicher Inhalt gewählt wird?
  • Fragen zum Zusammenspiel von Personen- und Situationsmerkmalen
    • z.B. Beeinträchtigen Paralleltätigkeiten die Aufmerksamkeit bei die Podcastrezeption stärker bei Personen mit niedrigerer Konzentrationsfähigkeit?

Fragen?

Beispielstudie

Beispielstudie

Schlütz, D., Schnauber-Stockmann, A., Karnowski, V. & Naab, T. K. (in Begutachtung). Experiencing podcasts in situ: How the reception situation affects transportation. PDF in Blackboard🔒

This study examines portable audio media and their suitability for transportation, understood as a mental shift into the narrative world. We focus on true crime podcasts (TCP) as one of the most successful narrative genres that lends itself to transportation because of the suspenseful content. Research shows that transportation is highly susceptible to situational variations: media context, environmental context, and psychological states influence transportation experiences. Like many portable audio media, podcasts are used in a variety of circumstances (e.g., while commuting or multitasking), which is why they are particularly well-suited for studying situational influences on transportation. In order to adequately reflect this kind of use, we relied on repeated in situ measurement (mobile experience sampling method; 12 days, N = 104 participants, T = 2,929 protocols, 893 TCP). Our results showed that transportation was associated with variations in all three key components of the situational level: Transportation levels were higher during longer listening episodes (media context), when used at home and without co-occurring activities (environmental context), as well as with more focused attention (psychological state). Contrary to our assumption, the use of headphones (media context) did not have a supportive effect on being transported. Theoretical and methodological implications are discussed.

Konstrukt und Hypothese

Transportation

Both models understand narrative transportation as a dynamic mental process in which the recipient’s attention is completely focused on the story so that the real-life environment fades into the background. Furthermore, recipients build up a close relationship with the characters in the story and create rich mental images during reception.


Hypothese

We thus assume that the duration of a listening episode is positively associated with transportation (H1).

In-Situ-Design

[A] 12-day mobile experience sampling phase. Respondents received invitations via SMS for four MESM protocols per day. We conducted a “quasi” MESM study (Schnauber-Stockmann & Karnowski, 2020), that is, the protocols did not refer to the immediate situation in which the signal was received, but participants responded with regard to the last podcast episode since the last signal. We used a semi-random sampling method with predefined time intervals to specifically target the time slots that most respondents had indicated as their “podcasting primetime” in the preliminary survey (4 to 10 p.m.) (see also Winkler et al., 2022). The study was implemented with SoSci Survey (Leiner, 2019). Both alerts and protocols were displayed via smartphone. In the MESM protocols, participants reported whether they had listened to a podcast since the last signal. If so, they reported on their latest usage episode.

Grundgesamtheit und Stichprobe

The population consisted of regular TCP listeners (at least two TCP listening sessions per week) aged 16 and older. Participants were recruited via specific social media groups and through snowball sampling (convenience sample).

in the final person-level sample size of 103 for the following analyses (i.e., 53% of those who agreed to participate in the MESM study). The mean age of the final sample was 31.7 years (SD = 7.82), 84% identified as female, 14% as male, and 2% as diverse.

On average, each participant completed 28.2 (SD = 11.5, Min = 1, Max = 47) out of 48 MESM protocols (average compliance: 58.7%), resulting in a total of 2,929 protocols. The average completion time was 0.56 minutes (SD = 0.41, Min = 0.03, Max = 3.33). 893 protocols related to TCP episodes and formed the final sample at the situation level.

In-situ-Messung

In-situ-Messung Nutzungsdauer

https://osf.io/7mdbn/files/8fu42

In-situ-Messung Transportation

https://osf.io/7mdbn/files/8fu42

Daten (Auszug, 5 Personen mit je 3 Situationen)

serial gender date time pod_duration_total narr_trans
12ASDZ9VKS female 2023-09-18 16:36:16 0.7500000 2.833333
12ASDZ9VKS female 2023-09-18 21:36:51 1.2000000 4.000000
12ASDZ9VKS female 2023-09-19 17:30:45 1.7000000 4.166667
142FP9BTAB female 2023-09-18 17:51:23 0.6666667 3.500000
142FP9BTAB female 2023-09-19 09:12:12 0.6666667 4.000000
142FP9BTAB female 2023-09-19 16:53:36 0.6666667 4.000000
1P7YWVKA7F female 2023-09-18 17:07:49 2.8333333 4.333333
1P7YWVKA7F female 2023-09-18 18:53:05 1.1666667 4.500000
1P7YWVKA7F female 2023-09-18 20:17:09 0.7500000 4.333333
1UP1WGURU3 female 2023-09-19 17:48:14 2.0000000 3.333333
1UP1WGURU3 female 2023-09-20 19:34:30 1.2666667 2.833333
1UP1WGURU3 female 2023-09-21 08:15:43 0.7500000 3.500000
2EQY1YMMZ4 female 2023-09-18 18:14:34 1.0000000 3.333333
2EQY1YMMZ4 female 2023-09-26 08:58:16 1.6666667 3.333333
2EQY1YMMZ4 female 2023-09-26 18:25:40 3.6666667 3.833333

Beschreibung der Situationsvariablen

Variable n_Obs Mean SD Median MAD Min Max Skewness Kurtosis percentage_Missing
pod_duration_total 864 1.15 0.95 1.00 0.62 0 8 3.20 15.07 0
narr_trans 864 3.53 0.86 3.50 0.74 1 5 -0.35 -0.13 0

Naive Analyse der Situationen

Parameter Coefficient 95% CI t(862) p Fit
(Intercept) 3.45 (3.36, 3.54) 75.55 < .001
pod duration total 0.07 (0.01, 0.13) 2.39 0.017
R2 (adj.) 0.01

Analyse auf Ebene der Personen

d <- d |>
  group_by(serial) |>
  mutate(
    pmc_pod_duration_personmean = mean(pod_duration_total, na.rm = TRUE),
    pmc_narr_trans_personmean = mean(narr_trans, na.rm = TRUE)
  )

Parameter Coefficient 95% CI t(100) p Fit
(Intercept) 3.39 (3.10, 3.69) 22.92 < .001
pmc pod duration personmean 0.07 (-0.16, 0.29) 0.58 0.562
R2 (adj.) -0.01

Situationen unter Kontrolle der Personen

d <- d |>
  group_by(serial) |>
  mutate(
    pmc_pod_duration_total = pod_duration_total - pmc_pod_duration_personmean,
    pmc_narr_trans = narr_trans - pmc_narr_trans_personmean
  )
d |>
  select(
    serial,
    pod_duration_total,
    pmc_pod_duration_personmean,
    pmc_pod_duration_total
  ) |>
  group_by(serial) |>
  slice_head(n = 3) |>
  head(n = 15)

Situationen unter Kontrolle der Personen

serial pod_duration_total pmc_pod_duration_personmean pmc_pod_duration_total
12ASDZ9VKS 0.7500000 1.4515152 -0.7015152
12ASDZ9VKS 1.2000000 1.4515152 -0.2515152
12ASDZ9VKS 1.7000000 1.4515152 0.2484848
142FP9BTAB 0.6666667 0.6696078 -0.0029412
142FP9BTAB 0.6666667 0.6696078 -0.0029412
142FP9BTAB 0.6666667 0.6696078 -0.0029412
1P7YWVKA7F 2.8333333 1.6025641 1.2307692
1P7YWVKA7F 1.1666667 1.6025641 -0.4358974
1P7YWVKA7F 0.7500000 1.6025641 -0.8525641
1UP1WGURU3 2.0000000 1.3583333 0.6416667
1UP1WGURU3 1.2666667 1.3583333 -0.0916667
1UP1WGURU3 0.7500000 1.3583333 -0.6083333
2EQY1YMMZ4 1.0000000 2.0312500 -1.0312500
2EQY1YMMZ4 1.6666667 2.0312500 -0.3645833
2EQY1YMMZ4 3.6666667 2.0312500 1.6354167

Situationen unter Kontrolle der Personen

Parameter Coefficient 95% CI t(862) p Fit
(Intercept) 0.00 (-0.03, 0.03) 0.00 > .999
pmc pod duration total 0.08 (0.04, 0.13) 3.58 < .001
R2 (adj.) 0.01

Mehrebenenanalyse: Null-Modell und ICC

Parameter Coefficient 95% CI t(861) p Effects Group Fit
(Intercept) 3.47 (3.34, 3.60) 51.20 < .001 fixed
0.64 random serial
0.55 random Residual
R2 (conditional) 0.58
R2 (marginal) 0.00
Group ICC
serial 0.58

Mehrebenenanalyse: Test von H1 (bivariat)

Parameter Coefficient 95% CI t(859) p Effects Group Fit
(Intercept) 3.40 (3.11, 3.70) 22.83 < .001 fixed
pmc pod duration total 0.08 (0.03, 0.13) 3.37 < .001 fixed
pmc pod duration personmean 0.06 (-0.16, 0.28) 0.51 0.607 fixed
0.64 random serial
0.55 random Residual
R2 (conditional) 0.58
R2 (marginal) 0.01

Ergebnisse und Interpretation

  • H1 gestützt: Statistisch signifikanter, positiver Zusammenhang zwischen Dauer eine Nutzungsepisode und für diese Episode berichteter narrativer Transportation.

  • Zusammenhang ist eher gering; allerdings auch: Zusammenhang nach Kontrolle aller Personenmerkmale durch Person-Mean-Centering, die laut ICC einen großen Teil der Varianz erklären (siehe Einheit zu Mehrebenenmodellen).

  • Kausalität ungeklärt

    • Einerseits: Kontrolle aller Personenmerkmale durch Person-Mean-Centering: Wenn eine Person länger hört als üblich, ist auch die Transportation größer.
    • Andererseits: Führt Transportation zu längerem höheren oder längeres Höheren zu Transportation oder gibt es über die Situationen variierende Confounder (z.B. Spannung der aktuellen Folge)? (siehe Einheit zu Kausalinferenz)

Fragen?

Fazit

Fazit

  • In-Situ-Designs erlauben die Erfassung von Mediennutzung (und anderen Variablen) in bzw. näher an der Situation.
  • In-Situ-Designs haben wichtige Vorteile (v.a. Validität der Messungen, zeitliche Auflösung), sind aber für Teilnehmende und Forschende aufwändig.
  • Zur Analyse der Daten auf Situationsebene sind Mehrebenenmodelle hilfreich.

Letzte Einheit

Verallgemeinerte lineare Modelle

Danke

Marko Bachl

Literatur

Schnauber-Stockmann, A., Naab, T. K., Karnowski, V., & Schlütz, D. (2026). Wiederholte In-situ-Befragungen: Experience Sampling und verwandte Forschungsdesigns in der Kommunikationswissenschaft.
Wilhelm, P., Perrez, M., & Pawlik, K. (2012). Conducting research in daily life: A historical review. In M. R. Mehl & T. S. Conner (Hrsg.), Handbook of Research Methods in Daily Life (S. 62–86). The Guilford Press.