Verfügen LLMs über mathematische Reasoningfähigkeiten?

Abstract

Die Inhalts- und Konstruktvalidität von Reasoningfähigkeiten textgenerierender Large Language Modells (LLMs) ist nicht geklärt, auch wenn sie zunehmend in verschiedenen Disziplinen untersucht wird. Anhand einer Aufgabe zur Untersuchung menschlicher Reasoningfähigkeiten des Kognitionspsychologen Peter Wason und einer Variation davon, die die Aufgabe in einen vertrauten Kontext situiert, werden Rückschlüsse auf die Vergleichbarkeit der Reasoningfähigkeiten von Mathematiklehramtsstudierenden (n=38) und drei modernen LLMs (n=3⋅150) gezogen.