Manipulation bei Online-Tests? Ein paar klärende Anmerkungen

Immer wieder begegnet einem der Einwand, dass Online-Tests im Rahmen von Online-Assessment-Verfahren ja “per se” problematisch seien, weil durch die unbeobachtete Testsituation der Manipulation durch den Testkandidaten ja Tür und Tor geöffnet sind. Man könne ja “einfach bessere” Leute vorschicken, die für einen den Test machen oder man setzt sich gleich mit einer Arbeitsgruppe vor den Bildschirm und findet in der Gruppe dann auch in erheblich besserem Maße die Lösungen. Auch “kursierende” Lösungslisten werden immer wieder als potentielles Problem genannt.

Nun, zunächst einmal: Wer glaubt denn ernsthaft, dass nicht z.B. auch ein für die Bewerbung individuell verfasstes Anschreiben nochmal von einer oder mehrerer weiterer Personen gegengelesen wird? Ist das auch Manipulation? Eigentlich schon, war aber schon immer so. Folglich wird es nicht mehr problematisiert. Führt man sich einmal vor Augen, dass zu einem Bewerbungsprozess immer auch ein Mindestmaß an Vertrauen gegenüber dem Bewerber gehört, so kann man diese Diskussion etwas “unaufgeregter” und sachlicher führen.

Sicherungsmaßnahmen innerhalb der Online-Tests

Zunächst einmal sind in den Online-Assessments seriöser Anbieter immer eine ganze Reihe an Sicherungsmechanismen vorgesehen:

  • Registrierung: Wenn ein Kandidat sich entschließt, sich bei einem Unternehmen ernsthaft zu bewerben, dann reicht er zunächst seine biografischen Daten (Lebenslauf etc.) ein. Nur die Kandidaten, bei denen hieraus eine entsprechende Ehrlichkeit und Attraktivität für das Unternehmen hervorgeht, werden überhaupt für die eTests freigegeben. Sich also einen Zugang einfach nur mal so zum ausprobieren oder zum Anfertigen von Screenshots o.ä. zu verschaffen, setzt schon einmal die Fähigkeit voraus, eine zwar falsche aber echt und attraktiv aussehende Bewerbung zu erfinden.
  • Nur einmalig verwendbarer Login-Code: Kandidaten, die die erste Sichtung ihrer Bewerberdaten erfolgreich überstehen und zu den eTests eingeladen werden, erhalten einen Zugangscode, der genau für eine einmalige Test-Durchführung gültig ist. Es ist fraglich und nach empirischen Untersuchungen von zu vernachlässigender Wahrscheinlichkeit, dass Bewerber diese eine Chance jemand anderem überlassen.
  • Einzelitem-Präsentation und Variation der Testanordnungen: Im Gegensatz zu Pen&Paper-Tests, die unter physischer Aufsicht durchgeführt werden, wird bei der Durchführung als eAssessment jedes Testitem einzeln und ohne Rücksprungmöglichkeit präsentiert. Es wird somit vermieden, dass sich etwaige Arbeitsgruppen einen Vorteil bei der Bearbeitung verschaffen können, in dem etwa mehrere Personen sich die Bearbeitung der verschiedenen Aufgaben einer Seite aufteilen und diese parallel lösen.
  • Permutierende Testinhalte: Um die Gefahr von Manipulationen zu minimieren, werden parallele Testversionen (z.B. durch Randomisierung der Itemreihenfolge, Randomisierung der Distraktorenreihenfolge, Farbgestaltung) entwickelt. Hat also ein Kandidat bspw. eine vermeintliche “Lösungsliste” für die Testinhalte, dann ist die Wahrscheinlichkeit enorm hoch, dass diese aber nicht zu den ihm gestellten Aufgaben passt.

Online-Assessment trifft keine Positivauswahl

Neben diesen innerhalb der Tests vorgesehenen Sicherungsmechanismen ist aber etwas Grundsätzliches noch viel entscheidender bei der Beurteilung der Manipulationsgefahren: eAssessment sollen in erster Linie Nicht-Geeignete erkennen und aussortieren und nicht die Geeigneten identifizieren (Negativselektion statt Positivselektion). Es geht ja keiner ernsthaft davon aus, dass es am Ende einer erfolgreichen Testteilnahme heisst: “Herzlichen Glückwunsch, bitte drucken Sie sich jetzt Ihren Arbeitsvertrag aus…”. Personen, die die Hürde eTest nicht überwinden (ob mit oder ohne Manipulation), zeigen nicht die erforderlichen Basiskompetenzen. Personen, die diese Hürde meistern (ob mit oder ohne Manipulation), befinden sich in der nächsten Auswahlstufe, am Ziel sind sie aber noch nicht. Eine Einstellung erfolgt erst aufgrund weiterer Face-to-Face Verfahren, die nicht oder zumindest weniger der Gefahr der Manipulation unterliegen.

CYQUEST hat im Zuge verschiedener Projekte diejenigen Kandidaten, die im Auswahlprozess bis zur letzten Stufe (also z.B. zum Präsenz-Assessment Center) gekommen sind, unter Aufsicht noch mal ähnliche Tests durchführen lassen, wie sie auch im eAssessment zu Beginn des Prozesses vorkamen. Eine signifikante Abweichung (quantifiziert über Äquidistanzmaße) wäre ein Indiz dafür gewesen, dass der Kandidat beim Online-Test geschummelt hätte. Die Ergebnisse waren sehr eindeutig: Der Anteil von Kandidaten mit derartigen Abweichungen lag etwa bei 1%. Allein die Möglichkeit zur Testwiederholung unter Präsenzbedingungen dürfte auf die meisten Kandidaten bereits eine hohe Abschreckungswirkung haben.

Retest_unter_PräsenzbedingungenFazit

Ja, auch für Online-Assessment gilt, dass es keine 100% Sicherheit dafür gibt, dass alles was ein Kandidat sagt, tut oder macht auch der Wirklichkeit entspricht. Damit befindet sich Online-Assessment in guter Gesellschaft, das das gleiche für jedwede Form des Bewerberkontakst wie etwa den Inhalten des Lebenslaufs, Inhalten von Zeugnissen oder vorgeblich gemachten und im Interview geschilderten Erfahrungen gilt. Führt man sich allerdings vor Augen, dass die faktische Gefahr der Manipulation von eAssessments verschwindend gering ist und dass selbst im Falle einer erfolgreichen Manipulation zunächst noch kein Auswahlfehler begangen wurde (sog. Fehler erster Art oder “false trues”), weil die Person ja noch weitere Auswahlschritte vor sich hat, so verliert die theoretische Gefahr weiter an Schrecken.

Hält man jedenfalls diese Gefahr den Vorteilen einer deutlich verbesserten Vorauswahl, der Reduzierung der Gefahr fälschlich abgelehnter Kandidaten (Fehler zweiter Art, “false negatives”) und den erheblichen Effizienzgewinnen durch eAssessments gegenüber, so überwiegen letztere unter kaufmännischen aber auch eignungsdiagnostischen Gesichtspunkten einfach deutlich. Jeder Zweifler ist herzlich eingeladen, sich hierzu eine Einschätzung von Unternehmen zu holen, die Online-Assessments seit Jahren erfolgreich einsetzen (z.B. Unilever, Targobank, Tchibo, Media-Saturn, Gruner+Jahr, Commerzbank, Fielmann uvm).

2 Gedanken zu „Manipulation bei Online-Tests? Ein paar klärende Anmerkungen

  1. Ich habe in der Doktorarbeit meines Kollegen Kristof Kupka (http://opus.uni-lueneburg.de/opus/volltexte/2009/14175/pdf/E_Assessment_Dissertation_von_Kristof_Kupka_Version_04.03.pdf) auch nochmal eine hierzu passende Passage gefunden:
    >>
    Zu den wesentlichen Problemen mangelnder Kontrolle und Standardisierung der Testsituation bei einer Online-Durchführung zählt das Risiko einer möglichen Manipulation von Testergebnissen. Wenngleich eine völlige Kontrolle bei der Online-Durchführung kaum möglich sein dürfte, wird die reale Gefahr von Fälschungsversuchen jedoch laut Bartram (2005) zumeist überschätzt. Bartram und Brown (2004) legen in einer Untersuchung dar, dass lediglich zwei von 54 anonym befragten Kandidaten für einige Items weitere Personen zur Hilfe genommen haben, um einen Online-Fragebogen im Rahmen der Bewerberauswahl zu bearbeiten.
    Dem Risiko lässt sich mit Hilfe einer Reihe von Strategien begegnen. So ist es beispielsweise möglich, eine Freischaltung für die E-Assessment-Verfahren erst nach einer bestandenen Überprüfung der individuellen Voraussetzungen anhand von biografischen Daten zu gestatten oder Teile der E-Assessment-Verfahren innerhalb einer nachfolgenden Präsenzveranstaltung wiederholt darzubieten, um mit Hilfe von Äquidistanz-Maßen Manipulationsversuche zu identifizieren. Segall (2001, zitiert nach Naglieri et al., 2004) stellt in einer Studie dar, dass sich Verfälschungen effektiv identifizieren lassen, indem ein Testteil mit hoch diskriminierenden Items nach der Online-Bearbeitung innerhalb eines kontrollierten Settings erneut bearbeitet wird. Auch eine zielgerechte Kommunikation über die Folgen von Täuschungsversuchen kann hilfreich sein, um Manipulationen vorzubeugen (vgl. Naglieri et al., 2004).

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.