Ressourcenorientiert testen? Effekte des Instruktionsdesigns auf die Testleistung
Loading...
Date
2024-05-23
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Alternative Title(s)
Resource-oriented testing? Effects of instructional design on test performance
Abstract
Testaufgaben stellen – ebenso wie Lernmaterialien und Lernsettings – hohe Anforderungen an die Informationsverarbeitung von Schülerinnen und Schülern. Mit dieser kognitiven Belastung beim Lernen und Problemlösen befasst sich die Cognitive Load Theory bereits seit einiger Zeit, sodass mittlerweile zahlreiche Befunde vorliegen. Auf dieser Basis wurden Gestaltungsprinzipien formuliert, an denen Unterricht und Lernmaterialien ausgerichtet werden sollten. Dabei geht es stets darum, die kognitiven Ressourcen möglichst effizient für die Auseinandersetzung mit dem Lerninhalt zu nutzen. Im Sinne der Konstruktvalidität sollte dies auch bei diagnostischen Verfahren angestrebt werden. So sollten die Testergebnisse ausschließlich von dem Zielkonstrukt, z.B. von den mathematischen Kompetenzen, bestimmt sein und nicht von entfernten Merkmalen wie dem Arbeitsgedächtnis (AG). Welchen Einfluss die ressourcenorientierte Gestaltung auf die Testergebnisse in diagnostischen Tests haben können, ist bisweilen kaum untersucht. Daher wurde in der vorliegenden Arbeit ein standardisierter Test zur Erfassung mathematischer Basiskompetenzen nach ressourcenschonenden Prinzipen adaptiert. Zur Prüfung der Effekte auf die Testleistung wurde eine Gruppenstudie mit 261 Schülerinnen und Schülern (M = 6.95 Jahre) durchgeführt. Zusätzlich wurden AG-Funktionen als Kontrollvariablen erfasst. Die regressionsanalytischen Ergebnisse bilden einen signifikanten Effekt der Bedingung zu Gunsten der ressourcenschonenden Adaption ab. Eine Interaktion zwischen Testversion und AG wurde nicht gefunden. Somit schneiden die Schülerinnen und Schüler im adaptierten Test unabhängig von ihren AG-Funktionen besser ab. Lehrkräfte und andere Praktikerinnen und Praktiker sollten für derartige Effekte sensibilisiert sein und Testergebnisse auch unter dem Gesichtspunkt der erforderlichen Zugangsfertigkeiten einordnen.
Test items – as well as learning materials and learning settings – place high demands on students' information processing. Cognitive load theory has been dealing with this cognitive load during learning and problem solving for some time, so there are many results by now. On this basis, design principles have been formulated to guide teaching and learning materials. The aim is to always use cognitive resources as efficiently as possible for the learning content. In line with construct validity, this should be the goal in diagnostic procedures as well. Thus, test results should be determined exclusively by the target construct, e.g. mathematical competencies, and not by distant characteristics such as working memory. The influence of a resource-oriented design on the results of diagnostic tests is hardly investigated so far. In the present study, a standardized test for assessing basic mathematical competencies is adapted according to resource-oriented principles. To test the effects, a group study was conducted with 261 students (M = 6.95 years). In addition, working memory functions were recorded as control variables. The results of the regression analyses show a significant effect of the condition in favour of the resource-saving adaptation. There is no interaction between test type and working memory, so students perform better on the adapted test regardless of their working memory functions. Teachers and other practitioners should be aware of such effects and should also consider test results in terms of the access skills required.
Test items – as well as learning materials and learning settings – place high demands on students' information processing. Cognitive load theory has been dealing with this cognitive load during learning and problem solving for some time, so there are many results by now. On this basis, design principles have been formulated to guide teaching and learning materials. The aim is to always use cognitive resources as efficiently as possible for the learning content. In line with construct validity, this should be the goal in diagnostic procedures as well. Thus, test results should be determined exclusively by the target construct, e.g. mathematical competencies, and not by distant characteristics such as working memory. The influence of a resource-oriented design on the results of diagnostic tests is hardly investigated so far. In the present study, a standardized test for assessing basic mathematical competencies is adapted according to resource-oriented principles. To test the effects, a group study was conducted with 261 students (M = 6.95 years). In addition, working memory functions were recorded as control variables. The results of the regression analyses show a significant effect of the condition in favour of the resource-saving adaptation. There is no interaction between test type and working memory, so students perform better on the adapted test regardless of their working memory functions. Teachers and other practitioners should be aware of such effects and should also consider test results in terms of the access skills required.
Description
Table of contents
Keywords
Arbeitsgedächtnis, Cognitive Load, Extrinsische Belastung, Instruktionsdesign, Testfairness, Extrinsic load, Instructional design, Testfairness, Working memory