Unterrichtsqualität aus der Sicht von externen Raterinnen und Ratern – Analysen zum Reihenfolgeeffekt

Abstract

Unterrichtsqualität wird häufig über Urteile von Externen erfasst. Mit Blick auf die Güte dieser Urteile stellt sich die Frage, ob diese aufgrund von Darbietungsmodalitäten sowie individuellen Faktoren systematisch verzerrt sein können. In der vorliegenden Studie wurden daher der Einfluss der Reihenfolge von Unterrichtsvideos mit unterschiedlichen Qualitätsniveaus sowie von individuellen Faktoren wie Vorerfahrung und mentaler Zustand (Müdigkeit) auf Unterschiede in den Urteilen und Interaktionen untersucht. Hierfür wurden N = 69 Studierende zu drei Versuchsgruppen zugeordnet, die zwei zehnminütige Videos in variierender Reihenfolge der Qualitätsniveaus präsentiert bekamen: Gruppe A (niedrig/mittel), B (mittel/hoch) und C (hoch/mittel). Die Analysen zeigten Unterschiede in den mittleren Ratings aufgrund der Reihenfolge sowie der Vorerfahrung und der Müdigkeit. Überdies wurden Interaktionen zwischen der experimentellen Bedingung und der Müdigkeit identifiziert. Die Ergebnisse wiesen auf Verzerrungen der Urteile von Externen hin, besonders im Bereich Motivierung. Konsequenzen für die Interpretation und Durchführung von videogestützten Unterrichtsqualitätsstudien werden diskutiert.

Ratings of external observers are often used for measuring instructional quality. These ratings can be influenced by the order of presentation and individual characteristics such as observers’ experience and mental state (tiredness). The present study examined the influence of the presentation order of videos with varying levels of teaching quality and of individual factors such as previous experience and mental state (tiredness) on differences in observer ratings and interactions. Therefore, N = 69 students were assigned to three experimental groups. In each group, two videos of ten minutes length were presented in varying order of teaching quality: group A (low/medium), B (medium/high), and C (high/medium). Analyses showed significant differences in the ratings, depending on the sequential order, the observers’ experience, and observers’ tiredness. An interaction was found between experimental condition and observers’ tiredness. Results suggest a bias of external judgements, especially concerning motivational quality. Consequences for interpretation and implementation of video-based studies measuring teaching quality are discussed.