Wie gut sagen verschiedene Personalauswahlverfahren eigentlich Berufserfolg voraus? Diese Methoden bringen es wirklich…

Unternehmen scheuen keine Kosten und Mühen, um aus der Masse an Bewerberinnen und Bewerbern die Besten herauszufiltern. In aller Regel müssen die Bewerberinnen und Bewerber dabei mehrere Auswahlstufen durchlaufen, um zu beweisen, dass sie besonders geeignet für die offene Stelle sind.

Aber wie steht es eigentlich um die Validität der verschiedenen Auswahlmethoden?

Die (prognostische) Validität sagt etwas über die Vorhersagekraft einer Methode aus. Im Klartext: Wie gut kann man anhand der genutzten Auswahlmethode tatsächlich die spätere Leistung im Job vorhersagen? Es ist zwar schön und gut, wenn viel Energie in einen umfassenden, abwechslungsreichen Auswahlprozess investiert wird, aber ist dieser auch immer zielführend?

Es lohnt sich, einen Blick auf Forschungserkenntnisse zu werfen.

Bereits 1998 haben Frank Schmidt und John Hunter von den Universitäten Iowa und Michigan State eine Metaanalyse zur Validität verschiedenster Personalauswahlmethoden publiziert, über die bereits hier auf dem Recrutainment Blog berichtet wurde. Diese galt lange als umfassendste Untersuchung zu dieser bedeutenden Frage, weil sie quasi die Forschungsbefunde aus rund 85 Jahren zusammentrug.

Nun, knapp 20 Jahre später, haben Schmidt, Oh und Shaffer (2016) erneut eine solche Analyse durchgeführt – mit neueren Daten, mehr berücksichtigten Auswahlmethoden und genaueren Ergebnissen. Dabei konnten einige der Erkenntnisse von Schmidt und Hunter bestätigt oder sogar verstärkt werden, aber es gibt auch ein paar Überraschungen…

Die folgende Tabelle zeigt die Vorhersagekraft einiger Auswahlmethoden.

Der Validitätskoeffizient r gibt an, wie hoch der Zusammenhang des Prädiktors (also hier der entsprechenden Auswahlmethode) mit dem Zielkriterium (also hier dem Berufserfolg) ist.*

Der strahlende Sieger der Analyse heißt auch bei Schmidt, Oh und Shaffer wieder:

Kognitive Leistungstests, sprich Intelligenztests.

Mit keiner anderen Methode allein lässt sich der Berufserfolg so gut vorhersagen. Laut Schmidt, Oh und Shaffer ist die Vorhersagekraft von Intelligenz sogar noch etwas höher als zuvor angenommen. 1998 wurde der Intelligenz ein Validitätskoeffizient von r = .51 zugeordnet. Die aktualisierten Ergebnisse zeigen, dass der Koeffizient von Intelligenz sogar noch etwas höher liegt, nämlich bei r = .65.

Dass kognitive Leistungstests ein essentieller Bestandteil von Personalauswahlprozessen sein sollten, steht also außer Frage, was ja (nicht nur wir, sondern auch) führende deutsche Eignungsdiagnostiker wie Martin Kersting oder Uwe Kanning nicht müde werden zu betonen…

Aber welche anderen Auswahlmethoden sind aussagekräftig?

Hier ist es insbesondere interessant zu betrachten, welchen Erkenntniszuwachs eine Methode über einen Intelligenztest hinaus, also wenn sie mit einem Intelligenztest kombiniert wird, bieten kann.

Die nachfolgende Tabelle stellt dar, wie die Validität eines Auswahlprozesses ansteigt, wenn man einen Intelligenztest mit verschiedenen anderen Auswahlmethoden kombiniert.

Die höchste Vorhersagekraft erreicht man, wenn man einen Intelligenztest mit einem Integritätstest kombiniert. Durch den zusätzlichen Integritätstest kann eine 20% höhere Validität erreicht werden. Allerdings sind Integritätstests in Deutschland unüblich und erfreuen sich einer eher niedrigen Akzeptanz bei Bewerberinnen und Bewerbern.

Eine sinnvolle und flächendeckend akzeptierte und häufig durchgeführte Alternative sind Interviews. Ob strukturiert oder unstrukturiert macht dabei – interessanterweise – kaum einen Unterschied. In Kombi mit einem Intelligenztest bieten strukturierte Interviews einen etwas größeren Mehrwert (Anstieg der Validität um 18%) im Vergleich zu unstrukturierten Interviews (Anstieg der Validität um 13%).

Überraschend und sehr spannend ist, dass eine Überprüfung der Interessen einen höheren Validitätszuwachs (10%) bewirkt, als ein Telefoninterview (9%). Warum nicht also einen Interessentest auf der Karrierewebsite (wie dies etwa Lidl tut) einbinden und die Bewerberinnen und Bewerber schon im Vorhinein selbst checken lassen, welchen Stellen ihre Interessen entsprechen?

Auch Persönlichkeitseigenschaften (insbesondere Gewissenhaftigkeit und Offenheit für Erfahrungen) liefern Vorhersagewerte, die über Intelligenz hinaus aussagekräftig sein können – und zwar mehr, als das Betrachten von Referenzen oder biographischen Angaben. Auch zum Thema “Persönlichkeitstest” wird es hier im Blog in Kürze eine etwas größere Meldung – Spoiler…! – geben, die sehr schön zu diesen Forschungsergebnissen passt, doch da müsst Ihr noch knapp drei Wochen gedulden… ;-)

Zu den Verlierern der Metaanalyse könnte man durchaus Assessment-Center zählen. Ihre Validität für sich ist in Ordnung (r = .36), aber die Aussagekraft über Intelligenztests hinaus liegt quasi bei 0. Und spätestens, wenn man das Kosten-Nutzen-Verhältnis betrachtet, gibt es eigentlich kaum mehr Argumente pro Assessment-Center (Stichwort Reisekosten, Personalkosten, Interpretationsobjektivität etc. pp.).

Zu den großen (Negativ-)Überraschungen gehören auch die Arbeitsproben. Schmidt und Hunter gingen 1998 noch davon aus, dass Arbeitsproben kombiniert mit einem Intelligenztest nach der Kombi mit Integritätstests die zweit aussagekräftigste Auswahlprozedur darstellen. Diese Annahme wird nun entkräftet: Arbeitsproben liefern zusätzlich zu einem Intelligenztest überhaupt keinen Mehrwert.

Ähnlich bei Schulnoten: Über den Intelligenztest hinaus haben sie kaum Aussagekraft. Eine übermäßige Betrachtung der Schulzeugnisse kann man sich also getrost sparen, wenn sowieso ein Intelligenztest genutzt wird. Aber auch diese Erkenntnis sickert offenkundig bei immer mehr Unternehmen ein, die die Bedeutung von Schulnoten bei der Selektion deutlich reduzieren und stattdessen Tests einsetzen

Außerdem liefern uns Schmidt, Oh und Shaffer schwarz auf weiß: Das Alter von Bewerberinnen und Bewerbern sagt rein gar nichts über deren Leistung im Job aus. Das Alter schnitt von den 31 betrachteten Prädiktoren am allerschlechtesten ab.

Auch eine Analyse der Handschrift (Graphologie) ist nicht mehr als HokusPokus eine gelinde gesagt unaussagekräftige Auswahlmethode. Es gibt (Überraschung?!) überhaupt keinen Zusammenhang zwischen Berufserfolg und Schriftbild.

Fazit:

Uns war das ja schon länger klar, aber Schmidt, Oh und Shaffer haben es nun noch mal bestätigt: Kognitive Leistungstests innerhalb eines Auswahlprozesses machen einfach Sinn – zum Beispiel in Form eines Online-Assessments.

Und wenn das dann noch mit weiteren Methoden kombiniert wird, sollte es problemlos gelingen, aus einer großen Bewerbermenge die Besten herauszupicken.

Autorin: Anna Haußmann

***

* Da an dieser Stelle gern die Frage aufkommt, wie es denn sein könne, dass unstrukturierte Interviews die gleiche Validität wie strukturierte aufweisen, folgender Hinweis:

Harald Ackerschott, einer der Autoren der DIN 33430, konnte Frank Schmidt hierzu vor dessen Ableben noch befragen. Die Antwort ergab, dass die hohen Validitäten unstrukturierter Interviews eigentlich ein Studienartefakt sind. An die Studien zu unstrukturierten Interviews hatte er sehr hohe Anforderungen gestellt, um sie in seine Metanalyse aufzunehmen: Sie mussten Angaben zur Interraterreliabilität erhalten. Diese Studien waren so gut und die Interviews, die im Rahmen dieser Studien geführt wurden waren so gut, dass sie (im Schnitt) mit den strukturierten Interviews gleichzogen.

Denn auch das ist Struktur:
1. Hallo wie gehts, haben Sie uns gut gefunden / klappt die Verbindung … warm up phase …
2. Ich habe Ihren Lebenslauf noch nicht lesen können, erzählen Sie mal bitte…
3. Warum sind eigentlich Kanaldeckel rund?
4. Und, trauen Sie sich die Aufgabe zu?
5. Danke, cool down phase, verabreden zu den Vertragsverhandlungen…

2 Gedanken zu „Wie gut sagen verschiedene Personalauswahlverfahren eigentlich Berufserfolg voraus? Diese Methoden bringen es wirklich…

  1. Eine sehr schöne Zusammenfassung der Ergebnisse der Metastudie zu den Auswahlmethoden in der Personalauswahl.
    Allerdings genieße ich für meinen Teil alle Studien mit Vorsicht und rate dazu, die Prämissen und Rahmenbedingungen und auch die Ergebnisse als solches zu hinterfragen. Dies v.a., was Verallgemeinerungen anbelangen.
    Der Wichtigkeit und Aussagekraft für beruflichen Erfolg von kognitiven Tests (IQ-Tests) stimme zu, nur sollte hier auch bedacht werden, dass auch z.B. eine hohe allgemeine Intelligenz bei der Ausübung der Stelle tatsächlich auch die Chance haben muss, abgerufen zu werden, da sich sonst Unzufriedenheit bis hin zur Personalfluktuation einstellen kann.
    Was hier aber wirklich verwundert, ist, dass in der Einzelbetrachtung (Infografik 1) kein Unterschied zwischen strukturierten und unstrukturierten Interviews ausgewiesen wird (und auch, dass der Zuwachs an Zuverlässigkeit dann durch Hinzunahme [Infografik 2] einer der beiden Interviewarten aber um 5% abweicht). M.E. besteht ein gewaltiger Unterschied zwischen strukturierten und unstrukturierten Bewerberinterviews, gerade dann, wenn mehrere Gespräche geführt werden und nicht mit jeder Person vom gleichen Interviewer, denn wie soll dann eine gerechte Beurteilung erfolgen? Es bestehen in diesem Zusammenhang 6 Metaanalysen, die das gleiche aussagen wie Hoffcut & Arthur 1994: Unstrukturierte Interviews stehen mit 4% in Zusammenhang mit dem Berufserfolg und hoch strukturierte mit rund 30%.
    Biographische Daten (also wohl Lebenslauf des Bewerbers): Richtigkeit schwer überprüfbar, Lücken können unwahrheitsgemäß zugespachtelt werden.
    PErsönlichkeitsdimensionen Gewissenhaftigkeit und Extrovertiertheit: Wo bleibt denn hier der Bezug zum Job an sich? Eine kaufmännische Stelle in der Buchhaltung eines Konzerns (also ohne Kundengewinnung für diese administrativen Tätigkeiten) bedarf sicher einer hohen Gewissenhaftigkeit. Und auch die Offenheit für Erfahrungen wird z.B. in einer kundenorientierten Arbeitsstelle sicher auch hoch sein müssen.
    Im Zusammenhang mit der Extrovertiertheit steht hier dann auch die Veränderungsbereitschaft und letztere kann zunehmend an Bedeutung gewinnen. Um eine auf diesem Merkmal fussende Auswahlentscheidung mit einer Erfolgsaussicht zu versehen, ist es aber -wie auch bei allen anderen Persönlichkeitsmerkmalen inkl. IQ auch- notwendig, sich neben den Stellenanforderungen an sich auch deren Rahmenbedingungen wie die Unternehmenskultur und v.a. das Führungsverhalten des konkreten Vorgesetzten anzuschauen. Z.B. gibt es Vorgesetzte, die es nicht ertragen, gemeinsam mit intelligenteren Mitarbeitern zusammen zu arbeiten…

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert