Vor kurzem wurden die Ergebnisse der neuesten PISA-Studie veröffentlich, mit den bisher schlechtesten Leistungen deutscher Schülerinnen und Schüler aller Zeiten… Und auch beim Einsatz von Leistungstests in der Personalauswahl ist es eine häufige Sorge: Die Bewerbenden schneiden dabei immer schlechter ab, so zumindest die häufig anekdotische vorgebrachte Beobachtung der Personalverantwortlichen. Andererseits hält sich ebenso hartnäckig die Vermutung, dass sich Bewerbende mit Musterlösungen oder durch Hilfe vom großen Bruder durchs Online-Assessment schummeln.
Und daran schließt sich die Frage an: Was stimmt jetzt eigentlich? Und woran liegt das?
In der Eignungsdiagnostik wird die Thematik unter dem Begriff Flynn-Effekt diskutiert, bzw. Anti-Flynn-Effekt.
Denn der amerikanisch-neuseeländische Politologe James Flynn sorgte in den 1980er Jahren für Aufsehen, als er einen kontinuierlichen Anstieg der durchschnittlichen IQ-Werte in Industrienationen feststellte. Auch wenn es sich natürlich zunächst einmal um die mittels Intelligenztests gemessenen Werte handelte, wurde daran dennoch die Schlussfolgerung gehängt, dass auch die Intelligenz “an sich” über die Zeit zugenommen hatte. Die Ursachen dieses Phänomens wurden vielfältig diskutiert, wobei verbesserte Lebensbedingungen und eine höhere Bildung als Schlüsselfaktoren gelten.
Neuere Studien deuten jedoch darauf hin, dass der Flynn-Effekt stagniert. Zum Teil wird hierbei sogar von einem „Anti-Flynn-Effekt“ gesprochen, der davon ausgeht, dass die Leistungsfähigkeit in bestimmten Bereichen zurückgeht. Einig sind sich die Forschenden hierbei jedoch nicht.
Da wir selbst immer wieder mit der Frage konfrontiert werden, ob die Bewerbenden möglicherweise leistungsschwächer geworden seien, haben wir die Daten aus unseren Online-Assessments einmal dahingehend analysiert.
Dafür haben wir uns das Abschneiden der Bewerbenden in verschiedenen kundenspezifische Online-Assessments über mehrere Jahre hinweg angeschaut. Dabei wurden unterschiedliche kognitive Leistungsverfahren und auch spezifische Wissenstests betrachtet. Der Analysezeitraum umfasste bis zu 6 aufeinanderfolgende Bewerbungsjahrgänge und begann mit den Daten ab Sommer 2016.
Anhand der Daten lässt sich statistisch überprüfen, inwiefern sich die jeweiligen Mittelwerte der Testergebnisse innerhalb der einzelnen Testverfahren über die Zeit hinweg verändern.
Die Testergebnisse aus allen 8 Stichproben sind über die betrachteten Jahrgänge hinweg relativ stabil. Schwankungen treten zwar auf, diese weisen jedoch keine eindeutige Richtung im Sinne einer stetigen Zu- oder Abnahme der Ergebnisse auf oder sind minimal. Im Mittel lösen die Testpersonen also über alle Jahrgänge hinweg annähernd die gleiche Anzahl an Aufgaben.
Die folgenden Diagramme verdeutlichen die Befunde grafisch. Zur besseren Vergleichbarkeit wurden jeweils Kunden und Jahrgänge gegenübergestellt, die das gleiche Testverfahren über einen Zeitraum von mindestens 4 Jahren nutzten. Bei den auf der Y-Achse angezeigten Werten (“Mittelwert”) handelt es sich um die sog. Rohwerte, also in diesem Fall die Anzahl richtig gelöster Aufgaben (“Items”) der Testverfahren.
Vergleich der verbalen kognitiven Leistungsfähigkeit (20 Items) über einen Zeitraum von 5 Jahren bei 4 Kunden unterschiedlicher Branchen. Die Abnahme der Mittelwerte bei Kunde C ist nur minimal und somit praktisch nicht bedeutsam.
Vergleich der figuralen kognitiven Leistungsfähigkeit (12 Items) über einen Zeitraum von 4 Jahren bei 5 Kunden unterschiedlicher Branchen. Hier wird die Unterschiedlichkeit der Schwankungen je Stichprobe ersichtlich. Während die Bewerbenden bei Kunde B eher etwas schwächer wurden, zeigte sich bei Kunde E eher ein gegenteiliger Trend.
Vergleich der numerischen kognitiven Leistungsfähigkeit (12 Items) über einen Zeitraum von 4 Jahren bei 5 Kunden unterschiedlicher Branchen. Hier wird ebenfalls ersichtlich, dass die Schwankungen minimal sind und sogar in verschiedene Richtungen laufen.
Minimale Tendenzen, sowohl in die eine oder andere Richtung, sind auf spezifische Testverfahren in spezifischen Branchen begrenzt und weisen bisher keine Zusammenhänge auf. So kann also weder auf einen allgemeinen (Anti-)Flynn-Effekt geschlossen werden noch zeigt die Betrachtung einzelner Stichproben über die betrachteten Zeiträume eine deutliche Zu- oder Abnahme der Leistung. Da die betrachteten Zeiträume bisher noch recht kurz sind, bleibt abzuwarten, ob weiterführende Analysen in Zukunft ein anderes Bild zeigen. Dabei ist vor allem interessant, ob sich die bisher minimalen Tendenzen weiter fortsetzen oder möglicherweise wieder umkehren.
Fazit: Online-Assessments funktionieren! Und auch wenn man nicht so viel Auswahl aufgrund mangelnder Bewerbungen hat, lohnt sich der Einsatz eines Online-Assessments. Denn: Egal, ob Leistungsfähigkeit zu- oder abnimmt, man sollte sie kennen, wenn man Personal rekrutiert… Mehr dazu hier in diesem Artikel.