Wie leicht lassen sich Auswahlverfahren eigentlich austricksen?
Diese Frage beschäftigt die Personaldiagnostik seit Jahrzehnten. Besonders kritisch wird es immer dann, wenn Bewerberinnen und Bewerber wissen, dass von ihren Testergebnissen etwas abhängt. Schließlich liegt der Gedanke nahe, sich möglichst vorteilhaft darzustellen.
Diese Thematik begegnet einem bei Leistungstests schon sehr lange, insb. seit diese remote in Form von Online-Assessments durchgeführt werden. Während hierbei früher eher auf „Papa, den großen Bruder oder den Mathe-Crack im Freundeskreis“ abgestellt wurde, stehen in letzter Zeit eher die zunehmend verbreiteten KI-Hilfsmittel im Mittelpunkt der Debatte. Zu diesem Thema wird es übrigens im Rahmen der Zukunft Personal eine empfehlenswerte Podiumsdiskussion mit Bastian Stolz, Jessica Lingenfelder, Wolfgang Brickwedde und mir geben, denn es gibt durchaus wirksame Methoden, das Faking-Problem bei Leistungstests zu beherrschen.
Aber auch diagnostische Verfahren, die eher der Messung „weicher“ Merkmale dienen, werden schon immer durch die Diskussion rund um das Faking begleitet. Die Stichworte hier lauten dann „Sozialerwünschtheit“ und „Impression Management“.
Nun fiel mir eine sehr spannende Studie hierzu in die Hände, die sich um Faking speziell bei der Methode sog. „Situational Judgement Tests“ drehte. Aufmerksame LeserInnen des Recrutainment Blogs werden sich vielleicht erinnern – wir haben der Methode der Situational Judgement Tests erst vor Kurzem eine eigene Folge „Eignungsdiagnostik kompakt“ gewidmet, weshalb ich mir hier die detaillierte Darstellung der Methode spare. Nur soviel: SJTs sind aktuell unheimlich stark nachgefragt und Bestandteil vieler (Online-)Assessments, sowohl im Recruiting- als auch im Entwicklungskontext. Wir bauen solche momentan in beinahe jedes neue oder überarbeitete Online-Assessment ein.
Neben der positiven diagnostischen Eigenschaften dieser Methode und geringer Anfälligkeit gegenüber KI-Verfälschung, vermitteln SJT nämlich auch immer einen gewissen Realistic Job Preview.
Die experimentelle Studie „Faking Does Not Impair the Validity of Construct‐Focused Situational Judgment Tests: An Experimental Study“ von Daniel Danner, Lydia Oeljeklaus und Stefan Höft ging wie der Titel schon sagt der Frage nach inwieweit konstruktorientierte Situational Judgement Test (SJT) zur Erfassung von Selbstorganisation anfällig für Faking sind.
Untersucht wurde, wie stark sich die Ergebnisse verändern, wenn Testpersonen einmal ehrlich antworten und ein anderes Mal bewusst versuchen, einen möglichst guten Eindruck zu hinterlassen.
An der Untersuchung nahmen 256 Beschäftigte einer Bundesbehörde teil, die parallel an einer dualen Hochschule (der Hochschule der Bundesagentur für Arbeit) studierten.
Verglichen wurden hierbei zwei Verfahren: Zum einen ein klassisches Selbstbeschreibungsitem, bei dem die Teilnehmenden ihr eigenes Verhalten einschätzen sollten. Zum anderen ein SJT mit Wissensinstruktion, bei dem die Frage lautete: „Wie sollte man sich in dieser Situation verhalten?“ Die Antworten wurden anschließend mit den Einschätzungen von Experten verglichen.
Das Ergebnis überrascht wenig, ist aber diagnostisch hochrelevant: Während sich die Werte des Selbstbeschreibungsitems unter „Faking-Bedingungen“ massiv veränderten, zeigte der SJT eine deutlich höhere Robustheit. Die Teilnehmenden konnten ihre Ergebnisse im Selbstbericht stark nach oben korrigieren, beim Situational Judgement Test gelang dies hingegen nur in vergleichsweise geringem Umfang.
Besonders interessant wird es beim Blick auf die Validität. Unter ehrlichen wie auch unter manipulierten Antwortbedingungen zeigte der SJT stabile Zusammenhänge mit den erwarteten Persönlichkeitsmerkmalen, insbesondere Gewissenhaftigkeit und Verträglichkeit. Die Konstruktvalidität blieb somit weitgehend unangetastet. Beim Selbstbericht hingegen verschlechterte sich die diagnostische Qualität unter Faking-Bedingungen deutlich.
Auch hinsichtlich der Kriteriumsvalidität, gemessen über die Studienleistungen der Teilnehmenden, ergaben sich keine negativen Auswirkungen für den SJT. Im Gegenteil: Die Zusammenhänge mit den Leistungsmaßen blieben stabil oder fielen sogar leicht stärker aus.
Ein interessanter „Beifang“ der Studie (wenngleich gar nicht der primäre Untersuchungsgegenstand): Personen, die bei Selbstauskünften mit einzelnen Aussagen am stärksten „faken“, scheinen nicht dieselben zu sein, die bei SJTs faken. Offenbar ist die „kognitive Anforderung“ bei Single Item Persönlichkeitstests zu faken eine andere als bei einem SJT…
Für die Personalauswahl liefert die Studie damit einen weiteren Hinweis darauf, dass konstruktorientierte SJTs eine interessante Alternative oder Ergänzung zu klassischen Selbstbeschreibungsverfahren darstellen können. Während die Selbstdarstellung bei direkten Fragen einfacher gelingt, scheinen situative Formate deutlich weniger anfällig für bewusste Antwortverzerrungen zu sein. Gerade in Auswahlkontexten, in denen Bewerbende naturgemäß motiviert sind, sich von ihrer besten Seite zu zeigen, ist das eine durchaus relevante Erkenntnis.
Die Studie kann hier kostenfrei heruntergeladen werden.
*****
Bisher in der Artikelreihe „Eignungsdiagnostik kompakt“ erschienen:
Eignungsdiagnostik kompakt: KI in der Eignungsdiagnostik? Chancen, Herausforderungen und ein Blick in die Zukunft
Eignungsdiagnostik kompakt: Was ist eigentlich ein…? Heute: Der Situational Judgment Test (SJT)
Eignungsdiagnostik kompakt: Vorhersagekraft von Auswahlmethoden – zum aktuellen Stand der Forschung
Assessment Center – fundierte Auswahl oder Münzwurf?
Was sind eigentlich…? Heute: Biografische Fragebögen: Wie gut ist unsere Vergangenheit als Karriere-Prognose?
Diskriminierung durch KI in der Personalauswahl. Und durch menschliche Recruiter. Zwei Studien.
Anforderungsanalyse: Der Schlüssel für präzise Personalentscheidungen
Arbeitszeugnis: Zwischen prognostischem Wert und Wohlwollen. Was die Wissenschaft dazu sagt…
Bias – Warum wir uns täuschen. Und wie wir es besser machen können.
Was sagen Noten über Intelligenz? Und sind sie ein guter Prädiktor für Berufserfolg?
Hobbies und ihre Relevanz in der Bewerbung…
Was ist eigentlich…? Heute: (berufsbezogene) Persönlichkeitstests im Recruiting: Mehr als nur ein Buzzword?
Wie lässt sich die Qualität des Recruitings „beziffern“? Das Brogden-Cronbach-Gleser-Modell…
Was ist eigentlich…? Heute: Kognitive Fähigkeitstests
Was ist eigentlich ein(e)…? Heute: Die Arbeitsprobe
Eignungsdiagnostik kompakt – Heute: Integritätstest
https://blog.recrutainment.de/2024/07/23/eignungsdiagnostik-kompakt-heute-integritaetstest/
Was ist eigentlich ein…? Heute: Das Strukturierte Einstellungsinterview
Warum wir Intelligenz nicht mit dem Lineal und Persönlichkeit nicht mit dem Thermometer messen können. Erläuterungen zur „klassischen Testtheorie“.
P.S.: Ihr wollt keinen Recrutainment Beitrag mehr verpassen? Meldet euch hier zum kostenlosen Newsletter an…