Seit 2006 betreibt CYQUEST für die Citibank / Targobank ein Online-Assessment zur Vorauswahl von Auszubildenden. Zunächst unter dem Namen “citimove”, nach dem Übergang von der Citibank Privatkunden AG auf die TARGOBANK dann unter dem Titel “Targobank Tour” werden Ausbildungsplatzbewerber, die die erste Vorauswahl überstanden haben, im Rahmen dieses webbasierten Testverfahrens hinsichtlich berufbezogener kognitiver Leistungsfähigkeit und ausgewählter Kompetenzmerkmale getestet.

Die Testverfahren sind dabei in eine aufwendig gestaltete Rahmenhandlung eingebunden, die dem Teilnehmer neben den verschiedenen Testverfahren Einblicke in die Targobank gewährt. Z.B. lernt der Teilnehmer verschiedene Unternehmensbereiche wie eine Filiale, das Schulungszentrum der Targobank in Radevormwald oder das Servicezentrum in Duisburg kennen und erfährt einiges zu Themen wie Diversity oder Dresscodes bei der Targobank. Die Targobank Tour ist mithin in erster Linie Test, zweitens aber auch Personalmarketing-Instrument.

Insg. haben seit dem Start in 2006 ca. 24.000 Kandidaten das Verfahren durchlaufen. Wir werden häufig gefragt, wie eigentlich die Zielgruppe die Targobank beurteilt. Es gibt zwar durchaus einiges an wissenschaftlicher Literatur zu der Frage, warum der gesamte Auswahlprozess ansprechend sein sollte (also auch etwaig eingesetzte Testverfahren) – hierzu verweise ich gern auf diesen Beitrag, aber es gibt natürlich auch Stimmen von Teilnehmern selbst. Manchmal muss man eben nicht abstrakt über die Frage, ob der Köder eigentlich dem Fisch oder vielleicht nur dem Angler schmeckt philosophieren, sondern man bekommt eine direkte Rückmeldung von der Zielgruppe. Über einen Google Alert habe ich heute morgen folgenden Eintrag auf der Webseite Bankkaufmann.com gefunden, dem man eigentlich nichts mehr hinzufügen muss…

Unter dieser Schlagzeile “Intelligenztests sind besser als Assessment-Center” erschien vor kurzem ein Artikel bei Zeitonline. In dem Beitrag geht es zwar nicht nur um Assessment Center, also die Beurteilung von Kandidaten durch Assessoren in einer Beobachtungssituation, sondern allgemein um die Vorhersagegüte verschiedener Auswahlinstrumente hinsichtlich des zu prognostizierenden Berufserfolgs, aber es wird deutlich, dass in Deutschland der Einsatz von Tests zur Messung der kognitiven Leistungsfähigkeit (nennen wir es hier in Anlehnung an den Artikel mal “Intelligenz”) zu Unrecht stark unterrepräsentiert ist.

Wie so oft hilft ein Blick in die Forschung, um sich von der auf reiner Meinung basierenden weg, hin zu einer faktenbasierten Debatte zu bewegen.

Es gibt verschiedene Untersuchungen, die der Frage nachgingen, wie es denn mit der Vorhersagegüte (prognostische Validität) verschiedener Auswahlinstrumente so bestellt ist. Die wahrscheinlich bekannteste Meta-Analyse stammt von Frank L. Schmidt & John E. Hunter (The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274).

Nachfolgende Tabelle zeigt in einer Übersicht die prognostische Kraft verschiedener Auswahlinstrumente:

Wie man erkennt zeigen Arbeitsproben, kognitive Leistungstest und strukturierte Interviews die höchsten Aufklärungswerte hinsichtlich des späteren Berufserfolgs. Populäre Instrumente wie Assessment Center unstrukturierte Interviews fallen deutlich ab. Am Ende der Tabelle taucht hier auch die Analyse des Schriftbilds (“Graphologie”) auf. Nun, zu diesen Absurditäten haben wir uns ja auch kürzlich schon einmal an anderer Stelle geäußert (siehe: Absurde Methoden der Psychodiagnostik – von Schädeldeutern und Namenspsychologen).

Zu ähnlichen Befunden wie Schmidt & Hunter sind auch andere Analyse gekommen. Zu nennen wären hier etwa speziell für UK: Bertua, Anderson & Salgado (2005) “The predictive validity of cognitive ability tests: A UK meta-analysis” und speziell auf Deutschland bezogen: Hülsheger, Maier & Stumpp (2007), “Validity of General Mental Ability for the Prediction of Job Performance and Training Success in Germany: A meta-analysis”.

Dass hier keine Mißverständnisse aufkommen: Das heisst nicht, dass kognitive Fähigkeitstests das alleinige Allheilmittel wären. Ein guter Auswahlprozess kombiniert verschiedene Auswahlinstrumente, die an verschiedenen Stufen des Auswahlprozesses jeweils unterschiedliches messen. Durch eine solche Kombination lässt sich Gesamtvalidität des Auswahlprozesses natürlich erhöhen. Schmidt & Hunter etwa zeigen selber auf, dass die Qualität der Prognose von Berufserfolg, gemessen mit Hilfe des Validitätskoeffizienten, durch die Kombination von Intelligenztests und Arbeitsproben von r = .51 auf r = .63 steigt. Dies entspricht einem Validitätszuwachs von 24 Prozent hinsichtlich der Berufsleistung gegenüber der alleinigen Prädiktorleistung der Intelligenztests.

Es ist aber ein Plädoyer dafür, mindestens irgendwann innerhalb des Auswahlprozesses einen kognitiven Leistungstest einzubauen – nach unserem Dafürhalten möglichst früh. Speziell am Anfang der Auswahl sollten die Verfahren zum Einsatz kommen, die möglichst effizient einen Erkenntnisgewinn liefern (im Sinne eines Grenzertrags). D.h. Verfahren, die einerseits möglichst viel Unsicherheit aufklären und andererseits ökonomisch auf einer großen Fallzahl durchgeführt werden können. Beides gilt für kognitive Leistungstests, insb. dann wenn diese als eAssessment – d.h. ohne großen organisatorischen Aufwand für Terminplanung, Reisen etc. – durchgeführt werden.

In sofern ist die Schlagzeile der Zeit, die ich hier übernommen habe, sicherlich reißerisch und in ihrer Pauschalheit auch nicht korrekt. Aber an den wissenschaftlichen Erkenntnissen vorbei sollte man eben auch nicht agieren… Dass sich daraus ganz praktische Vorteile erzielen lassen, wissen wir aus zahlreichen Projekten (z.B. Targobank, Gruner+Jahr, Media-Saturn, Tchibo, Unilever usw.)

Die Citibank Privatkunden AG & Co. KGaA heisst ab Februar 2010 TARGOBANK. Hintergrund des Namenswechsel ist, dass die Bank seit Dezember 2008 zur französischen Genossenschaftsbank Crédit Mutuel gehört. Der Namenswechsel musste aufgrund der Übernahmevereinbarung mit der ehemaligen Muttergesellschaft Citigroup im Februar 2010 abgeschlossen sein.

In diesem Zusammenhang wurde auch das eAssessment Verfahren “citimove”, das CYQUEST 2006 für die Citibank entwickelt hat und seitdem betreibt, komplett auf den neuen Markenauftritt der TARGOBANK umgestellt. Das Instrument heisst fortan: “TARGOBANK Tour”.

Rolle im Auswahlprozess

Die eAssessment Anwendung „TARGOBANK Tour“ dient der Vorauswahl von Ausbildungsplatzbewerbern bei der TARGOBANK. Von den ca. 16.000 jährlich eingehenden Bewerbungen werden 7.000 bis 8.000 Kandidaten zur Teilnahme an der “TARGOBANK Tour“ eingeladen. Im Rahmen der aufwendig gestalteten Anwendung erlebt der Kandidat hautnah das Konzept der „Jungen Filiale“, bei dem Azubis im dritten Lehrjahr selbständig eine Bankfiliale leiten.

Testinhalte

Der Schwerpunkt der multimethodalen Testung in der „TARGOBANK Tour“ liegt auf der Überprüfung kognitiver Leistungsfähigkeit. Zudem werden Rechtschreibkenntnisse sowie verschiedene Softskills aus dem Kompetenzmodell der TARGOBANK mit der sog. Situational Judgment Technik überprüft.

Immer wieder begegnet einem der Einwand, dass Online-Tests im Rahmen von eAssessment-Verfahren ja “per se” problematisch seien, weil durch die unbeobachtete Testsituation der Manipulation durch den Testkandidaten ja Tür und Tor geöffnet sind. Man könne ja “einfach bessere” Leute vorschicken, die für einen den Test machen oder man setzt sich gleich mit einer Arbeitsgruppe vor den Bildschirm und findet in der Gruppe dann auch in erheblich besserem Maße die Lösungen. Auch “kursierende” Lösungslisten werden immer wieder als potentielles Problem genannt.

Nun, zunächst einmal: Wer glaubt denn ernsthaft, dass nicht z.B. auch ein für die Bewerbung individuell verfasstes Anschreiben nochmal von einer oder mehrerer weiterer Personen gegengelesen wird? Ist das auch Manipulation? Eigentlich schon, war aber schon immer so. Folglich wird es nicht mehr problematisiert. Führt man sich einmal vor Augen, dass zu einem Bewerbungsprozess immer auch ein Mindestmaß an Vertrauen gegenüber dem Bewerber gehört, so kann man diese Diskussion etwas “unaufgeregter” und sachlicher führen.

Sicherungsmaßnahmen innerhalb der Online-Tests

Zunächst einmal sind in den Online-Assessments seriöser Anbieter immer eine ganze Reihe an Sicherungsmechanismen vorgesehen:

• Registrierung: Wenn ein Kandidat sich entschließt, sich bei einem Unternehmen ernsthaft zu bewerben, dann reicht er zunächst seine biografischen Daten (Lebenslauf etc.) ein. Nur die Kandidaten, bei denen hieraus eine entsprechende Ehrlichkeit und Attraktivität für das Unternehmen hervorgeht, werden überhaupt für die eTests freigegeben. Sich also einen Zugang einfach nur mal so zum ausprobieren oder zum Anfertigen von Screenshots o.ä. zu verschaffen, setzt schon einmal die Fähigkeit voraus, eine zwar falsche aber echt und attraktiv aussehende Bewerbung zu erfinden.
• Nur einmalig verwendbarer Login-Code: Kandidaten, die die erste Sichtung ihrer Bewerberdaten erfolgreich überstehen und zu den eTests eingeladen werden, erhalten einen Zugangscode, der genau für eine einmalige Test-Durchführung gültig ist. Es ist fraglich und nach empirischen Untersuchungen von zu vernachlässigender Wahrscheinlichkeit, dass Bewerber diese eine Chance jemand anderem überlassen.
• Einzelitem-Präsentation und Variation der Testanordnungen: Im Gegensatz zu Pen&Paper-Tests, die unter physischer Aufsicht durchgeführt werden, wird bei der Durchführung als eAssessment jedes Testitem einzeln und ohne Rücksprungmöglichkeit präsentiert. Es wird somit vermieden, dass sich etwaige Arbeitsgruppen einen Vorteil bei der Bearbeitung verschaffen können, in dem etwa mehrere Personen sich die Bearbeitung der verschiedenen Aufgaben einer Seite aufteilen und diese parallel lösen.
• Permutierende Testinhalte: Um die Gefahr von Manipulationen zu minimieren, werden parallele Testversionen (z.B. durch Randomisierung der Itemreihenfolge, Randomisierung der Distraktorenreihenfolge, Farbgestaltung) entwickelt. Hat also ein Kandidat bspw. eine vermeintliche “Lösungsliste” für die Testinhalte, dann ist die Wahrscheinlichkeit enorm hoch, dass diese aber nicht zu den ihm gestellten Aufgaben passt.

Online-Assessment trifft keine Positivauswahl

Neben diesen innerhalb der Tests vorgesehenen Sicherungsmechanismen ist aber etwas Grundsätzliches noch viel entscheidender bei der Beurteilung der Manipulationsgefahren: eAssessment sollen in erster Linie Nicht-Geeignete erkennen und aussortieren und nicht die Geeigneten identifizieren (Negativselektion statt Positivselektion). Es geht ja keiner ernsthaft davon aus, dass es am Ende einer erfolgreichen Testteilnahme heisst: “Herzlichen Glückwunsch, bitte drucken Sie sich jetzt Ihren Arbeitsvertrag aus…”. Personen, die die Hürde eTest nicht überwinden (ob mit oder ohne Manipulation), zeigen nicht die erforderlichen Basiskompetenzen. Personen, die diese Hürde meistern (ob mit oder ohne Manipulation), befinden sich in der nächsten Auswahlstufe, am Ziel sind sie aber noch nicht. Eine Einstellung erfolgt erst aufgrund weiterer Face-to-Face Verfahren, die nicht oder zumindest weniger der Gefahr der Manipulation unterliegen.

CYQUEST hat im Zuge verschiedener Projekte diejenigen Kandidaten, die im Auswahlprozess bis zur letzten Stufe (also z.B. zum Präsenz-Assessment Center) gekommen sind, unter Aufsicht noch mal ähnliche Tests durchführen lassen, wie sie auch im eAssessment zu Beginn des Prozesses vorkamen. Eine signifikante Abweichung (quantifiziert über Äquidistanzmaße) wäre ein Indiz dafür gewesen, dass der Kandidat beim eAssessment geschummelt hätte. Die Ergebnisse waren sehr eindeutig: Der Anteil von Kandidaten mit derartigen Abweichungen lag etwa bei 1%. Allein die Möglichkeit zur Testwiederholung unter Präsenzbedingungen dürfte auf die meisten Kandidaten bereits eine hohe Abschreckungswirkung haben.

Fazit: Ja, auch für Online-Assessment gilt, dass es keine 100% Sicherheit dafür gibt, dass alles was ein Kandidat sagt, tut oder macht auch der Wirklichkeit entspricht. Damit befindet sich Online-Assessment in guter Gesellschaft, das das gleiche für jedwede Form des Bewerberkontakst wie etwa den Inhalten des Lebenslaufs, Inhalten von Zeugnissen oder vorgeblich gemachten und im Interview geschilderten Erfahrungen gilt. Führt man sich allerdings vor Augen, dass die faktische Gefahr der Manipulation von eAssessments verschwindend gering ist und dass selbst im Falle einer erfolgreichen Manipulation zunächst noch kein Auswahlfehler begangen wurde (sog. Fehler erster Art oder “false trues”), weil die Person ja noch weitere Auswahlschritte vor sich hat, so verliert die theoretische Gefahr weiter an Schrecken.

Hält man jedenfalls diese Gefahr den Vorteilen einer deutlich verbesserten Vorauswahl, der Reduzierung der Gefahr fälschlich abgelehnter Kandidaten (Fehler zweiter Art, “false negatives”) und den erheblichen Effizienzgewinnen durch eAssessments gegenüber, so überwiegen letztere unter kaufmännischen aber auch eignungsdiagnostischen Gesichtspunkten einfach deutlich. Jeder Zweifler ist herzlich eingeladen, sich hierzu eine Einschätzung von Unternehmen zu holen, die eAssessments seit Jahren erfolgreich einsetzen (z.B. Unilever, Citibank/Targobank, Tchibo, Media-Saturn, Gruner+Jahr, Commerzbank uvm).

Heute erschien im Saatkorn-Blog von Gero Hesse das Interview “Employer Branding, Social Media, eAssessments” mit CYQUEST-GF Joachim Diercks. Im Rahmen des Interviews werden folgende Fragen beantwortet:

- Was ist eigentlich unter SelfAssessment oder eAssessment zu verstehen?
- Was sind Grundvoraussetzungen für die Umsetzung solcher Verfahren für Unternehmen?
- Wo liegen die Vorteile für Unternehmen gegenüber realen, also nicht virtuellen Assessments?
- Gibt es auch Vorteile für die Kandidaten bzw. Teilnehmer?
- Was sind state of the art Lösungen in diesem Kontext? – Gibt es bestimmte Business Cases, die besonders interessant sind?
- Wie wird sich das Thema eAssessment in den nächsten 5 jahren angesichts der demographischen und technischen Veränderungen entwickeln?
- Wo ist der besondere Nutzen im Kontext Employer Branding?
- Inwiefern spielt Social Media eine rolle für eAssessments?