Führt KI-gestütztes Schummeln zu besseren Ergebnissen bei Online-Assessments?

Als Anbieter von Auswahltests sind wir naturgemäß konstant mit dieser Frage konfrontiert. Nun, der gesunde Menschenverstand (und die menschliche Natur) würden vermuten lassen, dass die Antwort auf die Frage „ja“ lautet…

Aktuelle Forschungsergebnisse deuten jedoch eher auf „nein“ hin…

Die jetzt im International Journal of Selection and Assessment veröffentlichte Studie „Testing After ChatGPT: Aggregate Change in Applicant Assessment Scores“ von Alice Dabdoub und Rebecca Pool untersuchte, ob sich die Durchschnittswerte bei häufig verwendeten Online-Tests nach der Veröffentlichung von ChatGPT im Jahr 2022 verändert haben.

Hierbei wurden zwei Leistungstests (einer zum Schlussfolgern und einer, der Urteilsvermögen, strategisches Denken und Entscheidungsfindung von Führungskräften und Fachleuten in einem geschäftlichen Arbeitskontext überprüft) sowie ein berufsbezogenes Persönlichkeitsinventar untersucht und zwar solche – und das ist wichtig – die im Realeinsatz sind, d.h. von Bewerbern in realen Bewerbungssituationen durchlaufen werden.

Betrachtet wurde jeweils, ob sich die Performance über die Jahre im Schnitt verändert hat, also ob die zunehmende allgemeine Verbreitung zu einer Veränderung (hier vor allem, interessant: „Verbesserung“) geführt hat. Denn das würde auf ein Problem hindeuten, weil die Menschen ja sehr wahrscheinlich in der Zeit nicht mehr oder weniger schlau geworden sind und auch die berufsbezogene Persönlichkeit sich kaum grundlegend geändert haben dürfte. Etwaige substanzielle Veränderungen beim Abschneiden in den Tests würde dann ggf. darauf hindeuten, dass hier ein „KI-Effekt“ am Werk ist.

Die drei untersuchten Hypothesen lauteten entsprechend:

Und? Was kam raus?

Insgesamt lagen die Effektstärken nahe Null und waren zudem in ihrer Richtung uneinheitlich, sodass keine wirklichen Belege für weit verbreitetes LLM-gestütztes Schummeln vorlagen.

So haben sich etwa die durchschnittlichen Scores beim Reasoning-Test über die Jahre (vor und seit Veröffentlichungen von ChatGPT) „entwickelt“: Die betrachtete Menge waren hierbei rund 20.000 Testdurchführungen.

Beim Test zum Urteilsvermögen (etwas unter 2.000 Testdurchführungen) sah es so aus:

Und so beim Persönlichkeitsinventar (über 210.000 Teilnehmer):

Man könnte also sagen: Sie sehen? Sie sehen nichts…

Interessanterweise hatte auch das Alter keinen konsistenten Einfluss auf die Testleistung.

Mit anderen Worten: Im Durchschnitt scheinen jüngere (und potenziell technikaffinere) Testteilnehmer nicht häufiger zu betrügen.

Das bedeutet natürlich nicht, dass nicht doch einige Einzelpersonen schummeln, und es bedeutet auch nicht, dass Unternehmen angesichts der fortschreitenden technologischen Entwicklung aufhören sollten, die Entwicklungen zu beobachten. Es deutet jedoch darauf hin, dass die Möglichkeit, LLMs auf diese Weise zu nutzen, nicht gleichbedeutend ist mit einer weitverbreiteten Anwendung solchen Verhaltens.

Wir selber beobachten die Entwicklungen natürlich auch sehr genau. Denn auch unsere Kunden fragen sich, ob und wenn ja welchen KI Einfluss auf die Messergebnisse hat. Nach unseren Daten gibt es Verfahren, die anfälliger sind gegenüber dem KI-Einsatz, d.h. hier können LLM Testpersonen helfen. Es gibt aber auch Verfahren, bei denen KI nicht hilft oder sogar schadet. Aber was wir auch sehen: Nur weil KI ggf. bei der Bearbeitung herangezogen werden könnte und dabei sogar ggf. hilfreich wäre (was wie gesagt nicht wirklich häufig der Fall ist), heißt dies nicht, dass sie auch herangezogen wird und hilfreich ist. Denn eine wirklich substanzielle Veränderung an der durchschnittlichen Performance in den Tests sehen wir auch nicht.

Es sind zudem eine ganze Reihe an Sicherungs- und Erkennungsmechanismen in die Online-Tests eingebaut, so dass etwaiges Schummeln auch immer mit einem gewissen „Risiko“ für die Testperson verbunden ist. Das bedeutet, dass man es sich in High-Stakes-Situationen (und um solche handelt es sich ja typischerweise in einer Bewerbungssituation) auch ziemlich gut überlegen sollte, ob man wirklich Schummeln sollte…

Dazu auch hier nochmal der Hinweis auf die im Rahmen der Zukunft Personal stattfindende Podiumsdiskussion mit Bastian Stolz, Jessica Lingenfelder, Wolfgang Brickwedde und mir zu diesem Thema…

Natürlich spielt der Einsatz von KI auch im Berufsleben eine immer größere Rolle. Das heißt, dass auch die Frage richtig ist, ob nicht gerade die Fähigkeit zur Problemlösung unter Zuhilfenahme von KI ein relevanter Skill ist und daher überprüft werden sollte. Nun, die Antwort darauf lautet sicherlich ja. Aber für diese Überprüfung ist wahrscheinlich das Top-of-Funnel-Pre-Assessment nicht der richtige Ort. Diese Überprüfung sollte besser in einem kontrollierten Setting (vor Ort, unter Aufsicht, mit gleichen Bedingungen für alle) durchgeführt werden, ist also eher etwas für die Positivselektion weiter am Ende des Funnels…