In letzter Zeit häufen sie sich wieder. Die Berichte über Computerspiele, die als Auswahltests im Recruitingprozess eingesetzt werden. Heute.de widmete sich etwa dem Thema “Gamification im Recruiting” und die WELT titelte:

Sie wollen den Job? Gewinnen Sie beim Computerspiel!

Und darin geht es tatsächlich um Spiele, die von Unternehmen als Auswahltest eingesetzt werden, sprich: Spiele zu denen Bewerber explizit eingeladen werden, um dann aus dem im Spiel gezeigten Verhalten auf deren Eignung als Mitarbeiter zu schließen…

Mich überrascht das nicht. Viele Tech-Trends, deren Potentiale und Leistungsfähigkeit werden oft erstmal aus einer Spiel- oder Gamingperspektive betrachtet und erklärt. Das war/ist beim Thema Virtual-/Augmented Reality so und das war/ist auch beim Thema Artificial Intelligence so – IBM´s Deep Blue schlägt 1997 den amtierenden Schachweltmeister Garry Gasparov, Watson gewinnt 2001 gegen Menschen in Jeopardy, Google´s AlphaGo gewinnt 2016 gegen den besten Go-Spieler, 2017 gewinnt die AI DeepStack beim Poker…

Alles Spiele…

Nun, wir befassen uns bei CYQUEST schon ein wenig länger mit dieser Thematik. Man könnte auch sagen, wir waren Anfang 2000 wahrscheinlich die allerersten, die mit dem Erfolg-Reich-Spiel (später: “Karrierejagd durchs Netz“) überhaupt Eignungsdiagnostik und Spielen miteinander kombinierten.

Dieser anfangs noch sehr exotische – mithin auch häufig etwas belächelte – Ansatz ist unter dem Begriff Recrutainment inzwischen weitestgehend salonfähig und nicht nur bei zahlreichen Unternehmen angekommen, sondern auch fester Bestandteil der akademischen Fachdiskussion.

Von daher wundert es mich auch nicht, dass das Thema (mal wieder) die Headlines stürmt.

Aber was ist denn nun konkret dran an dem Thema? Und vor allem: Taugen Computerspiele als Auswahltest?

Nun, ich würde mich (vorerst) festlegen: Ja, nein, ich mein “Jein”!

Die Antwort ist nicht einfach, denn man muss ein wenig differenzieren und klar haben, was genau man meint, wenn man diese Frage stellt.

Was sich eindeutig zur Auswahl eignet sind Auswahltests. Also: Eignungsdiagnostische Messverfahren, die z.B. Intelligenz, Persönlichkeit, Interessen, Wissen, Kenntnisse oder kulturelle Passung überprüfen. Hier gibt es zwar auch viel Mist, aber wenn es sich um einen “guten” Test handelt, dann kann (und sollte!) man diesen natürlich als Auswahlinstrument verwenden.

Lassen sich Tests “spielerisch verpacken” – gamifizieren? Ja, auch das geht, sogar sehr gut. Man nennt das entsprechend “Gamified Assessment“. Das bedeutet konkret, dass das Testverfahren in einen simulativen Kontext, in eine Rahmenhandlung, in ein spielerisches Setting eingefügt wird.

Das heißt, um den Test herum kann es mehr oder weniger spielerisch zugehen, der Test an sich bleibt jedoch ein Test.

Das ist mittlerweile weitestgehend ausgepaukt. Es gibt – ein Blick in unsere Kundenliste sowie in nahezu jede Ausschreibung, die uns zum Thema Online-Assessment erreicht bezeugt dies – eigentlich niemanden mehr, der das ernsthaft in Zweifel zieht.

Aber…

Bedeutet das, dass dadurch Auswahltests zu Computerspielen werden bzw. sich Computerspiele als Auswahltests eignen? Oder um es nochmal anders zu fragen: Kann ich jemandem ein Computerspiel vorsetzen, schauen wie er sich so im Spiel verhält und daraus dann ableiten, ob ich denjenigen einstellen will oder nicht?

Hierbei geht es also nicht um eine spielerische Verpackung, die Gamifizierung eines Tests, sondern es geht darum, dass das Spiel selber der Test ist… Nicht Gamified Assessment, sondern “Game-Based Assessment“.

Hier treten aktuell ein paar Anbieter auf den Markt, die eben dies behaupten. Ich habe mir diese einmal genauer angeschaut und stelle ein bis zwei Beispiele davon weiter unten einmal vor.

Aber um das Ergebnis vorwegzunehmen: Ich bin hier sehr skeptisch. Wenn Ihr Euch die Beispiele weiter unten einmal anschaut, werdet Ihr möglicherweise ein wenig dieser Skepsis nachvollziehen können, aber ich möchte vorab eine Begründung liefern.

Wann eignet sich etwas überhaupt als Messinstrument?

Erstens: Ich brauche eine Theorie – “…weil Quecksilber sich bei verschiedenen Temperaturen unterschiedlich stark ausdehnt und diese Ausdehnungsveränderung mit jedem Grad Temperaturveränderung gleich groß ist, eignet es sich, um verschiedene Temperaturen anzeigen zu können…”. Diese Theorie gilt es dann zu überprüfen.

Zweitens: Habe ich ein Messinstrument gebaut, muss es kalibriert werden – “…welche Ausdehnung zeigt welche Temperatur an?…

Drittens: Habe ich das Messinstrument kalibriert, muss es wissenschaftlichen Gütekriterien genügen: Reliabilität – “kommen wiederholte Messungen zum gleichen Ergebnis?”…, Validität – “misst das Quecksilberthermometer überhaupt die Temperatur oder doch den Luftdruck?…, Objektivität – “das Thermometer zeigt 32° an und es ist egal, ob einer das für “viel” und ein anderer für “wenig” hält…”.

Viertens: Das Messinstrument braucht “Anforderungsbezug”. Hier wird es mit dem Thermometerbeispiel etwas schwierig, aber auf den Kontext “Auswahltest” übertragen heißt das, dass das was der Test misst einen Bezug dazu haben muss, was mit der Messung bezweckt wird. Wenn ich also Berufserfolg prognostizieren will (und nichts anderes ist Sinn und Zweck eines Auswahltests), dann muss das was man im Test macht einen Bezug dazu haben, womit sich Berufserfolg auch prognostizieren lässt.

Wenn also Berufserfolg sich gut durch Intelligenz prognostizieren lässt, dann macht es Sinn, mittels eines Tests Intelligenz zu messen und vor allem dem Testteilnehmer klarzumachen, warum und worauf er getestet wird.

Fünftens schließlich: “Akzeptanz”. Der Betroffene muss das Ergebnis und dessen Konsequenzen akzeptieren! Wenn ich mich gut fühle, Mama mich aber aufgrund der Fiebertemperaturmessung mit dem Quecksilberthermometer ins Bett steckt, statt mich ins Kino gehen zu lassen, dann werde ich das Messinstrument (und dessen Messung) nicht sonderlich gut finden und ihm möglicherweise auch misstrauen.

So, kleiner Exkurs… Zurück zum Thema: Spiele als Auswahltest.

Letztlich sind viele Assessment Center nichts anderes als Spiele mit dem Zweck der Berufserfolgsprognose. Kandidaten arbeiten an einem fiktiven Case und werden beobachtet, es finden Rollenspiele statt etc. Hier gibt es eine theoretische Idee, sofern es ein gutes AC ist, gibt es eine Kalibrierung und es gibt Gütekriterien. Und ja, es gibt einen Anforderungsbezug, weil sowohl der Kontext des Assessment Centers allen Teilnehmern klar ist (Auswahl für einen Job) UND die zu bearbeitenden “Spiele” in Bezug zu dem stehen, wofür ausgewählt wird.

Wie sieht das jetzt mit den Computerspielen aus?

Bei der Theorie wird es oft schon sehr dünn. Diese sind oftmals bestenfalls als “naive Theorien” einzustufen nach dem Muster: “Wenn jemand nicht lange überlegt und im Spiel von der Klippe springt, dann ist er risikofreudig!” oder “wenn jemand im Spiel erstmal alle Türen öffnet, ist er wankelmütig!” etc.

Kalibrierung? Ja, möglicherweise. Wenn man das Spielverhalten bspw. mit den Ergebnissen eines nachgewiesenermaßen validen Tests korreliert, dann kann es sein, dass man feststellt, dass diejenigen, die im Spiel ohne nachzudenken von der Klippe springen tatsächlich auch risikofreudig sind. Das spräche für Konstruktvalidität und wenn sich dieses Ergebnis auch noch verlässlich reproduzieren lässt auch für Reliabilität.

Diesen Nachweis treten die Anbieter solcher Auswahlspiele aber in aller Regel nicht an. Vielmehr wird eher blumig auf “neueste Erkenntnis der Neurowissenschaften” verwiesen oder man argumentiert mit “Big Data”… (oder beidem).

Aber Anforderungsbezug?

Tja, wir werfen mal einen Blick in solche vermeintlichen “Auswahlspiele”…

Erstes Beispiel:

Die Aufgabe besteht darin, Ballons aufzupumpen. Ich kann diese immer weiter aufpumpen und je größer der Ballon wird, desto mehr Geld verdiene ich. Aber irgendwann (wann weiß ich nicht und das ist auch bei jedem Ballon anders) platzt der Ballon und ich erhalte gar kein Geld.

Daraus wird dann auf die allgemeine Risikoneigung bei hohen Risiken geschlossen… Aha.

Stellt euch vor, Ihr bewerbt euch auf eine Stelle als Marketingtrainee. Was genau soll Ballons aufpumpen mit dem Job zu tun haben? Oder anders: Ihr erhaltet vom Unternehmen eine Absage und denkt euch, “warum soll ich keine Marketingprobleme lösen können, weil ich meine Ballons immer zu stark aufgepumpt habe…?”

Ja, eben.

Ein anderes Beispiel:

Ich erhalte 5 $ und ein fiktiver Spielpartner auch. Dann bekomme ich noch 5 $ zusätzlich obendrauf und kann nun entscheiden, ob ich meinem Spielpartner davon etwas abgebe und wenn ja wie viel oder ob ich meinem Spielpartner sogar noch etwas von seinem Geld wegnehme…

Daraus wird dann abgeleitet, wie altruistisch ich bin…

Oder (anderer Anbieter):

Man bedient in einem fiktiven Sushi-Restaurant. Den Gästen muss immer möglichst das passende Gericht zu deren jeweiliger emotionaler Verfassung serviert werden. Diese äußert sich immer im Gesichtsausdruck des Gastes. Dementsprechend muss das richtige Gericht angeklickt, kurz gewartet und dann dem Gast serviert werden. Hat ein Gast aufgegessen, muss der leere Teller noch in die Spüle gestellt werden. Je länger man die Gäste warten lässt, desto stärker sinkt deren Zufriedenheit, die natürlich möglichst hoch gehalten werden soll. Zusätzlich sollte natürlich jedem Gast auch das Gericht serviert werden, dass er oder sie auch bestellt hat.

Anforderungsbezug? Ja klar!

Wenn man Kellner werden will vielleicht. Aber doch nicht allgemeingültig!

Und je niedriger oder je schwieriger herzustellen der Anforderungsbezug ist, desto geringer die Übertragbarkeit auf den jeweiligen Auswahlzweck und desto niedriger die Akzeptanz.

Anbieter solcher “Auswahlspiele” argumentieren zwar mit einer hohen Akzeptanz beim Teilnehmer (“hat Spaß gemacht” usw.) aber hier werden ja auch typischerweise nur jene befragt, die letztlich auch erfolgreich waren – in dem Sinne, dass sie genommen wurden. Während bei Tests die Akzeptanz gegenüber dem Ergebnis insgesamt relativ hoch ist, auch bei Absagen (“Andere waren wohl besser…”), kann ich mir beim besten Willen nicht vorstellen, dass Kandidaten es so einfach hinnehmen, wenn sie abgelehnt werden, weil sie vermeintlich den Ballon zu prall aufgepumpt haben oder eben nicht zum Kellnern geboren sind… Außer wenn man sich als Ballonaufpumper oder Kellner beworben hat natürlich… ;-)

Und das scheint auch realen Bewerbern so zu gehen…

Fragt Euch doch mal selber: Wenn Ihr Euch überlegt, wie Ihr bei Euren Bewerbern wahrgenommen werden wollt, dann eher so…?

Oder so…?

Mein Votum wäre eindeutig…

Nun, nicht dass wir uns falsch verstehen. Es gibt durchaus “Spiele”, bei denen dieser Spagat gelingt. Die “Challenges” von EY (s.o.) sind solche Beispiele, die “Can you Crack it”-Spiele des britischen Geheimdienst GCHQ, die Simulation der französischen Bahn SNCF oder das jüngst von der Wollmilchsau beschriebene Beispiel von Jaguar und den Gorillaz ebenso.

Warum eignen sich diese Spiele als “Auswahltest”, die Ballons oder der Sushi-Kellner aber nicht? Ihr ahnt es: Anforderungsbezug. All diese genannten Beispiele sind “Spiele”, die konkreten Bezug zu dem haben, was das jeweilige Unternehmen tut!

Es handelt sich also wenn man so will um “standardisierte Arbeitsproben”. Diese liefern zwar keine valide Aussage über generelle Konstrukte wie Intelligenz oder Persönlichkeit, aber sie zeigen wie der Teilnehmer mit einem FÜR DIESES Unternehmen typischen Problem umgeht. Das Problem hierbei ist aber natürlich, dass solche Instrumente mit einem – je nach Gestaltung – nicht unbeträchtlichen Aufwand und Invest einhergehen…

Also, mein vorläufiges Fazit:

Hübsch und spielerisch eingepackte Tests? Ja, absolut. Spiele als Auswahltests? Eher nein, zumindest nicht in der aktuell von einigen Anbietern propagierten Form… Diese Meinung teilen wir übrigens mit einem unserer Wettbewerber, dessen Studien dies auch bestätigen.

Aber nicht dass wir uns jetzt falsch verstehen: Das bezieht sich auf Spiele, die zu Auswahlzwecken herangezogen werden. Hier gelten nun einmal ziemlich hohe methodische Anforderungen.

Spiele zur Berufsorientierung sind hingegen ein ganz anderes paar Schuhe. Da geht es nämlich in erster Linie darum, möglichst realistische Einblicke zu geben und nicht um eine (vermeintlich eignungsdiagnostisch valide) Einschätzung der Qualifizierung.

Solche “Recruiting Games” zur Orientierung machen absolut Sinn, denn sie adressieren in erster Linie die “Selbstauswahl”, einen wahrscheinlich in vielerlei Hinsicht sogar viel wirksameren aber immer noch dramatisch unterschätzten Auswahlhebel… Aber das könnt Ihr an anderer Stelle nachlesen…