Es gibt im Zusammenhang mit dem Thema Online-Assessment zwei Fragen, die eigentlich immer mit am Tisch sitzen – wenn man so will die zwei “Gretchen-Fragen des Online-Assessments”:

Die erste Frage dreht sich darum, ob man es sich in Zeiten zurückgehender Bewerbungseingänge und zunehmenden Wettbewerbs um Talente noch leisten kann, Bewerber einem Test auszusetzen. Sinngemäß: “Wir haben eh schon so wenige BewerberInnen, und dann sollen die auch noch einen Test machen?”.

Nun, die Antwort auf diese Frage ist sehr kurz und einfach: Ja.

Gerade wenn man nicht mehr so aus dem Vollen schöpfen kann wie früher, muss man bei der Auswahlentscheidung genau hinschauen. Man kann ja buchstäblich nicht mehr einfach den nächsten in der Schlange nehmen, wenn man bei der Auswahlentscheidung danebengelegen hat. Der entscheidende Hebel im War for Talent ist Retention und damit es möglichst lange hält, sollte erst recht am Anfang möglichst genau hingeschaut werden. Außerdem ist es, wie gerade erst wieder eine Studie eindrucksvoll unterstrichen hat, schlichtweg falsch, dass Tests Bewerbende abschrecken. Vielmehr ist – speziell bei guten KandidatInnen – genau das Gegenteil der Fall.

Doch ich will mich heute vor allem der zweiten Frage zuwenden. Diese dreht sich um die Verlässlichkeit der Tests und zwar im Sinne der Verfälschbarkeit der Ergebnisse durch Schummeln. Wenn eine Person den Test ohne Aufsicht von zuhause macht, wie stellt man denn sicher, dass auch tatsächlich diese Person den Test absolviert hat? Und kann dabei nicht beliebig geschummelt werden?

Gut, wir machen das mit den Online-Tests ja nun so ein paar Tage – genaugenommen ca. 23 Jahre… – und früher war dies auch im Prinzip die einzige Gretchen-Frage, quasi das allererste was man gefragt wurde. Das hat sich über die Jahr(zehnt)e deutlich relativiert, weil man inzwischen verstanden hat, dass das erstens mit dem etwaigen Schummeln bei Online-Tests doch gar nicht so einfach ist, es einem zweitens auch gar nicht wirklich viel bringen würde (bzw. sogar im Gegenteil die eigene Bewerbungschance deutlich reduzieren, wenn nicht gar komplett zunichte machen würde), vor allem aber drittens, dass es sich um ein empirisch gesehen zu vernachlässigendes Problem handelt. Wer hier noch einmal tiefer einsteigen möchte, dem empfehle ich diese Zusammenfassung.

Die Wahrscheinlichkeit, dass bei einem Online-Test geschummelt wird, ist eh schon sehr gering und nicht höher als die Wahrscheinlichkeit, dass jemand ein Zeugnis fälscht oder eine Station im Lebenslauf erfindet. Und mal Hand auf´s Herz liebe RecruiterInnen, überprüft Ihr diese Informationen wasserdicht durch Backgroundchecks, Referenzen oder den Einsatz von Detektiven? Genau.

Warum bringe ich dieses Thema jetzt also wieder auf, wenn es sich doch gezeigt hat, dass es eigentlich ein zu vernachlässigendes “Problem” darstellt?

Das hat was mit einem Thema zu tun, was in den letzten ein-zwei Jahren aufgekommen ist: Das sog. “Proctoring“.

Und wie das manchmal so ist, rückt unter einem neuen Schlagwort auch eine olle Kamelle wie das Thema “Schummeln beim Online-Assessment” wieder vermehrt in den Fokus. Auch wir werden danach gefragt. Darum möchte ich nachfolgend das Thema einmal vorstellen und einordnen, nicht primär danach, ob man es machen kann (ja, kann man), sondern vor allem ob es sinnvoll ist (nein) und welche Probleme damit einhergehen (jede Menge, sehr gravierende, mit erheblichen Risiken verbundene – rechtlich, ethisch und bzgl. der Akzeptanz).

Doch der Reihe nach:

Was ist überhaupt “Proctoring”?

“Proctoring” ist definiert als Beaufsichtigung einer Prüfung, die die Identität der zu testenden Person sowie die Integrität der Testsituation sichergestellt.

Es geht also darum zu gewährleisten, dass auch diejenige Person die Testung absolviert, die sie absolvieren soll und dass diese Person sich bei der Testung an die vorgegebenen Regeln hält, also z.B. keine unerlaubten Hilfsmittel verwendet.

Das Thema fristete lange ein Schattendasein und spielte eigentlich nur eine Rolle an Bildungseinrichtungen wie Hochschulen, die Prüfungen (auch) über die Distanz abnehmen. D.h. ein klassischer Kontext waren Klausuren etwa an Fern-Hochschulen. Durch die Corona-Pandemie wurde aber der Ausnahmefall des “Remote-Studiums” bei den allermeisten Hochschulen zumindest phasenweise zum Regelfall, wodurch auch die Frage der rechtsicheren Abnahme von Prüfungsleistungen über die Distanz in den Fokus rückte.

Wenn man also über Proctoring spricht, dann dreht es sich dabei eigentlich um Prüfungen der Lernfortschrittskontrolle im Hochschulkontext, aber die erhöhte Relevanz dieser Thematik sorgte dann offenkundig dafür, auch einen Querbezug zum Recruiting herzustellen bzw. Analogien zum Online-Assessment, also Auswahltests in der Personalauswahl herzustellen; auch wenn es sich hier um einen völlig anderen Kontext handelt und auch die Bewertung noch einmal vollkommen anders ausfallen wird.

Beim Proctoring kommen je nach individuellem Prozess, je nach verwendeter Technologie und je nach Hersteller unterschiedliche Überwachungsmaßnahmen und -Technologien zum Einsatz. Dazu zählen z.B. das Filmen der Testperson mithilfe der Webcams der eingesetzten Laptops während der gesamten Prüfung, eine Aufforderung zum Abfilmen des (privaten) Raumes, in dem die Prüfung absolviert wird (z.B. mit Hilfe einer Smartphone-Kamera), die Verwendung eines eingebauten oder externen Mikrofons, Gesichtserkennung durch Menschen (sogenannte menschliche Proctoren) oder Künstliche Intelligenz (KI), Verhaltenskontrolle durch Menschen bzw. maschinelle Verhaltenserkennung durch KI, Stimmerkennung, Analyse des Tipp-Verhaltens auf der Computer-Tastatur, Überwachung der Interaktionen auf den Rechnern der Test-Absolvierenden oder eine automatisierte Plagiaterkennung von während der Prüfung durch die Testperson eingegebenen Inhalten.

Man kann also eine grobe Unterscheidung in sog. Live-Proctoring (Überwachung durch eine vor einem Rechner sitzende, menschliche Person) und automatisches bzw. automatisiertes Proctoring (Überwachung mithilfe von Machine Learning bzw. KI) vornehmen, jede Menge vorstellbare Mischformen natürlich inbegriffen.

Jeder/m PersonalerIn, der/die schon einmal mit IT-Security-, Compliance-, Legal- und natürlich Datenschutzthemen oder -verantwortlichen zu tun hatte, dürften an dieser Stelle schon so viele rote Warnleuchten entgegenstrahlen, dass man es hier eigentlich beenden könnte.

Ich habe aber dennoch nochmal an eine Aufzählung (höchst)problematischer Aspekte gewagt:

Gesichtserkennung

Bei menschlicher oder maschineller Identifikation der Testperson kommt es meist zu einer Form der Gesichtserkennung. Diese öffnet der Benachteiligung einzelner ethnischer Gruppen unweigerlich Tür und Tor und ist allein deshalb aus Sicht des Bundesdatenschutzbeauftragten schon nicht zulässig.

Eine solche Identifikation ist zudem selber manipulierbar. Erkennen Menschen immer zuverlässig die Person als solche wieder, deren Foto mit der Bewerbung eingereicht wurde oder die auf dem ebenfalls ins Bild gehaltenen Ausweisdokument zu sehen ist? Wer kann sicher sagen, dass es sich nicht doch um den halbwegs ähnlichen Bruder handelt? Auch maschinelle Gesichtserkennung lässt sich hier täuschen – ich verweise gern auf diesen Artikel, sucht darin mal nach den Begriffen “Okklusion” und “Konfusion”.

Und was ist, wenn im Zimmer der Testperson ein Bild oder Poster an der Wand hängt, auf dem ein Gesicht zu sehen ist? Wie wertet die Gesichtserkennungs-KI das? Erkennt die KI das Gesicht auf dem Poster und markiert dies als Abweichung zum Gesicht der Testperson als “Manipulations-Marker”, weil vermeintlich eine weitere Person zugegen ist?

Keystroke Pattern

Manche Systeme nehmen die Identifikation über sog. “Biometric Keystroke Patterns” vor. Es wird also angeblich aus dem individuellen Tastenanschlag abgeleitet, dass es sich auch um die zu testende Person handelt. Manche Systeme geben vor, dass hierfür schon eine sehr kurze Texteingabe wie z.B. der eigene Name ausreicht. Wie das bei kurzen Namen (z.B. heißt die Testperson “Jo Lee”) verlässlich gehen soll, dürfte höchst fraglich bleiben. Und wenn man dies “richtig” macht – z.B. verlangt das von der EU geförderte Projekt TeSLA – An Adaptive Trust-based e-assessment System for Learning – 2500 Wörter – dann wird diese Eingabe wieder zu einer enormen Hürde. Ganz sicher nicht das, wo KandidatInnen fröhlich Hurra rufen. Und natürlich liefern auch die Vektoren der Keystroke Patterns am Ende nur Abweichungs-Wahrscheinlichkeiten, keine Beweise. Dass zudem das individuelle Tipp-Verhalten an Tastaturen vollkommen anders sein kann als an mobilen Endgeräten, macht zudem einen parallelen Einsatz im “Mobile Recruiting” so gut wie unmöglich.

Installation lokal laufender Software

Viele Proctoring-Lösungen benötigen die Installation spezieller Software, lokal beim User! Diese Installation bzw. die Nutzung setzen dann wiederum zuweilen spezielle Betriebssysteme oder Browser oder Betriebssystem-Browser-Kombinationen voraus. Auch müssen beim System des Nutzenden z.B. Webcam und/oder Mikrofon vorhanden und funktional sein, was man für typische Online-Assessments alles gar nicht braucht.

Abgesehen davon, dass all dies im Klartext nichts anderes bedeuten würde, als seine Bewerbenden zur Installation von im wahrsten Sinne Spyware zu zwingen aufzufordern, führt dies natürlich den möglichst einfachen Zugang zum Online-Test (diese erfordern mittlerweile ja wirklich nur noch eine Internetverbindung und einen halbwegs aktuellen Browser, weil sie komplett in HTML5 mit kleinen Javascript-Anteilen laufen) ad absurdum. Und mit “Mobile Recruiting” ist dann auch mit ziemlich hoher Sicherheit schonmal gar nix…

Teilweise wird zudem noch eine separate Registrierung bei dem jeweiligen Proctoring-Service-Provider erforderlich mit allen an einer solchen Registrierung hängenden Problemfeldern (Auftragsverarbeitungsvereinbarung gem. Art 28 DSGVO mit dem Provider, separate Information zur Datenverarbeitung / Datenschutzerklärung, etwaige Einwilligung des Users, technische und rechtliche Prüfungen etc.). Das kann der Arbeitgeber auch nicht einfach abwälzen, denn er bleibt in diesem Kontext der im datenschutzrechtlichen Sinne “Verantwortliche”.

Closed Book vs. Open Book

Dass Proctoring im (hoch)schulischen Kontext eine gewisse Daseinsberechtigung hat, leuchtet bis zu einem gewissen Grad ja noch ein. Die Prüfungen müssen rechtssicher sein, weil am Ende ja auch hoheitliche Leistungszertifikate vergeben werden. Online-Assessments im Personalauswahlkontext hingegen sind ein Bestandteil der Bewertung, die zudem noch eine privatwirtschaftliche ist. Wenn ein Unternehmen sagt “die Bewerberin hatte zwar ein schlechtes Testergebnis, wir stellen sie aber trotzdem ein” so liegt diese Entscheidung in der unternehmerischen Freiheit. Eine Hochschule kann nicht einfach sagen “der Student hat zwar miserable Prüfungsleistungen erbracht, bekommt aber trotzdem ein Prädikat”.

Zudem “lohnt” der mit dem Proctoring einhergehende Aufwand – vor allem derjenige für den User wie Software-Installation, Anschaffung von Webcam, Mikrofon usw. – sich auch eher, wenn dieser sich wie an der Hochschule auf viele Prüfungen über einen Zeitraum von idR. mehreren Jahren verteilt. Ein Online-Assessment im Rahmen der Bewerbung ist aber eben nicht ständig zu absolvieren, sondern punktuell bezogen auf einen konkreten Bewerbungskontext. Also im Schnitt vielleicht mal alle paar Jahre.

An einer (Hoch)Schule kann eine Testperson auch nicht einfach entscheiden, keine Prüfung abzulegen. Wenn die Bildungseinrichtung vorgibt, dass die Prüfung auf eine bestimmte Art erfolgt, dann kann die Testperson nicht einfach entscheiden, nicht daran teilzunehmen. Zumindest nicht ohne gravierende Konsequenzen fürchten zu müssen. Einen durch übergriffiges Proctoring als unzumutbar empfundenen Auswahltest bei einer Bewerbung nicht zu machen hingegen, das können Kandidaten selbstverständlich entscheiden. Klar, sie bekommen dann den Job ggf. nicht, aber die Frage ist, wer sich damit mehr ins Fleisch schneidet – Unternehmen oder BewerberIn…? Das gilt zwar auch für Tests OHNE Proctoring, aber die auf sich zu nehmenden Hürden sind bei einem Test ohne Proctoring natürlich gravierend niedriger. Hier muss die Testperson ja nur auf einen Link klicken und kann loslegen.

Es gibt aber noch einen sehr entscheidenden Unterschied zwischen Prüfungen an der (Hoch)Schule und Online-Einstellungstests: Leistungsnachweise an der (Hoch)Schule sind typischerweise “Closed Book”-Prüfungen, d.h. es wird überprüft, was eine Person weiß oder kann, OHNE dabei Informationen nachlesen oder googeln zu können. Online-Assessments sind aber “Open Book”-Settings: Die Testpersonen sitzen PER DEFINITION online vor dem Internet, d.h. jedwede nur erdenkliche Information ist grundsätzlich nur einen Klick entfernt. “Offener” kann “das Book” also kaum sein… Darum macht es auch wenig Sinn, Wissen zu testen. Stattdessen werden Dinge überprüft, die man nicht oder nicht sinnvoll nachlesen kann, sondern die “von Natur aus” mehr oder weniger schon im Kopf der Person vorhanden sind (z.B. Problemlösekompetenz) oder bei denen es sich um die richtige ANWENDUNG von Wissen handelt (z.B. Sprach- oder Mathematikkenntnisse). Was ich meine? Versucht doch die Lösung für folgende Aufgabe mal zu googeln…

Man kann also Tests an einer (Hoch)Schule überhaupt nicht mit jenen in der Personalauswahl vergleichen. Und wenn selbst Unis – wie etwa meine Alma Mater, die UC Berkeley – den Einsatz von Proctoring bei Prüfungen explizit verbieten, spricht das schon Bände.

Datenschutz

Die mit Proctoring einhergehenden datenschutzrechtlichen Probleme hier auch nur annähernd abschließend zu diskutieren würde bei Weitem den Rahmen sprengen, daher möchte ich es fast auf eine Art Stichwortliste beschränken:

Was ist zu definieren und zu klären beim Einsatz externer Lösungen?

• Zugriff auf den Rechner der Testperson: Wie, in welcher Form, was wird ausgespäht?
• Speicherung und Verarbeitung biometrischer Daten. Werden die Daten “roh” gespeichert (also z.B. das Bild oder das Video einer Person – Achtung: Das Bildnis eines Menschen kann Rückschlüsse auf etwaige Krankheitsbilder ermöglichen und zack sind diese Daten “sensible” Gesundheitsdaten!) oder in Form sog. “Templates”, also mathematischer Komprimate?
• Durch wen werden die Daten gespeichert / verarbeitet? Wie lange? Wofür? In welcher Form? Wer hat Zugriff?
• Übertragung der Daten in die USA?
• Hält all dies einer juristischen Prüfung iSd. DSGVO stand, sprich verfolgt diese Datenverarbeitung einem legitimen Zweck, ist sie geeignet, ist sie erforderlich (=geeignet und es gibt keine mildere Form), ist sie freiwillig und ist sie verhältnismäßig (Grundrechteabwägung)? Insb. stellt sich bei der Verhältnismäßigkeit die Frage, warum all diese gravierenden Eingriffe während im Recruiting ja quasi niemand auf die Idee käme, auch nur annähernd einen vergleichbaren Aufwand zur Überprüfung von Zeugnissen, Noten oder Lebenslaufeinträgen vorzunehmen…

An dieser Stelle sei nur kurz eingeworfen, dass eine unzulässige Datenverarbeitung auch nicht durch eine Einwilligung geheilt werden kann, denn diese muss (im arbeitsrechtliche Sinne!) “freiwillig” erfolgen.

Mir fällt es recht schwer, mir vorzustellen, wie PersonalerInnen all dies ihrem Datenschutzbeauftragten erklären wollen und diesen überzeugt bekommen und wie dieser das dann den zuständigen Aufsichtsbehörden schmackhaft gemacht bekommen soll… Ich bilde mir ein, das ein ganz wenig einschätzen zu können, denn wir führen regelmäßig Gespräche mit Konzern-DSBs und ich habe ja gerade erst vor ein paar Wochen den versammelten deutschen Datenschutzaufsichtsbehörden bei einer Fachtagung in Hannover ein paar Themen rund um das Thema Online-Assessment vorstellen dürfen…

Erschreckend hohe False-Rates

Jetzt könnte man ja meinen, dass all diese genannten Punkte zwar schwierig aber am Ende doch zu rechtfertigen und zu entkräften seien, wenn denn die Proctoring-Lösungen zumindest verlässlich funktionieren würden.

Aber das Gegenteil ist der Fall:

Bei Gesichtserkennung durch menschliche Proktoren liegt die Fehlerquote nach Forschungsbefunden bei erschreckenden 8%. D.h. jeder 12te wird nicht für die Person gehalten, die er ist! Bei Stimmerkennung sind es auch rund 8%. Bei der Identifikation über Keystroke Pattern (selbst bei der “guten”, die aber eben auch ein paar Tausend Wörter braucht) sind es immer noch ca. 2%. Bei Gesichtserkennung durch KI liegt die False-Rate mit gut einem Prozent zwar deutlich niedriger, aber selbst hier heißt das, dass jeder Hundertste fälschlicherweise zu einem Betrug-Verdachtsfall wird. Und die Fehlerquote unterscheidet sich zudem noch bei der Erkennung von Menschen verschiedener Ethnien. Wenn man bedenkt, dass die leichte Wahrscheinlichkeit bei einem Online-Assessment zu schummeln, auch nur im mittleren einstelligen Prozentbereich liegt (die hohe Wahrscheinlichkeit sogar nur im Promille-Bereich, dazu noch mehr am Ende des Beitrags…) führt der Einsatz von Proctoring also sogar möglicherweise zu einer Vergrößerung des Problems statt dieses zu reduzieren, weil es mehr Verdachtsfälle meldet als es eigentlich gibt.

***

So, liebe(r) LeserIn, kurzer Fun-Fact: Bis hierhin hast du nun ca. 2500 Wörter gelesen. Das wäre also z.B. erforderlich, um aus meinem Tastenanschlag ein halbwegs valides Keystroke-Pattern zur Identifikation zu erstellen…

***

Weiter im Text:

Eingriff in Persönlichkeitsrechte

Auch dieses Themenfeld möchte ich hier nur anreißen, weil es allein sicherlich Hunderte Seiten juristischer Gutachten füllen könnte:

• Wie steht es um das Recht am eigenen Bild?
• Auf welcher Grundlage darf der private Bereich (z.B. das Schlafzimmer, in dem der Computer steht) ausgespäht werden?
• Wie wird ausgeschlossen, dass die “Bewertung” am Ende nicht auf sachfremden Kriterien (das SPD-Plakat an der Wand, das unaufgeräumte Zimmer im Hintergrund etc.) getroffen wird?
• Was ist, wenn während der Prüfung die zweijährige Tochter ins Zimmer kommt und durchs Bild läuft. Und was ist, wenn diese nackt durchs Bild läuft…? Wer stellt sicher, dass mit solchen Aufnahmen nachher so umgegangen wird, wie damit umgegangen werden muss (nämlich umgehende Löschung)?
• Was ist, wenn jemand während der Testung auf die Toilette muss? Bei Präsenzprüfungen vollkommen selbstverständlich erlaubt, aber um das im Proctored Mode bei einer Online-Prüfung zu machen, müsste dann absurderweise  die Webcam mit auf die Toilette genommen werden? Oder verbietet man den Toilettengang, was man juristisch durchaus – nein, kein Flax… – als Folter, Nötigung, Körperverletzung oder Verstoß gegen die Menschenrechtskonvention werten kann?

Was ist überhaupt ein Verdachtsfall? Problem mit der Barrierearmut

Proctoring liefert immer nur eine gewisse Wahrscheinlichkeit, ob alles mit rechten Dingen zugeht, keine Garantie. Im Bereich der Identifikation mag diese Wahrscheinlichkeit sogar noch recht hoch sein, aber wie sieht es im Bereich der Integrität aus?

Oder anders formuliert: Was genau ist denn überhaupt ein Verdachtsfall? Wenn die Testperson während des Test dreimal nach rechts geschaut hat? Oder erst bei viermal? Gilt die durch die Kamera aufgenommene Bewegung der Lippen als verdächtig? Wer legt das fest? Etwaige eingesetzte KI liefert bestenfalls Manipulationswahrscheinlichkeiten, aber diese Fälle müssen dann durch Menschen bewertet werden – mit allen Folgeproblemen, die das dann wieder auslöst.

In diesem Zusammenhang sei auch noch einmal kurz auf das Thema Barrierearmut verwiesen. Wie interpretiert Proctoring es beispielsweise, wenn sehbehinderte Menschen während der Testbearbeitung mit den Augen rollen? Oder andere Eingabehilfen verwenden, weil sie normale Tastaturen nicht verwenden können?

Und wie geht man damit um, wenn beim Testteilnehmer während der Testdurchführung das Internet ausfällt oder der Rechner abstürzt. Es gibt insg. extrem wenige Supportfälle beim Online-Assessment, aber wenn es überhaupt eine Fehlerart gibt, die sich zumindest regelmäßig zeigt, dann die dass die Testperson lokale Probleme mit dem Internet hat. Ist dann zukünftig jede Testperson, deren Internetverbindung unterwegs verlorengeht oder deren Rechner abstürzt automatisch ein Verdachtsfall? Und wer bewertet das? Diese Bewertung allein einer Maschine zu überantworten verbietet schon die nur in sehr engen Grenzen überhaupt zulässige automatisierte Einzelfallentscheidung. D.h. auch hier müsste auf jeden Fall der Mensch ran. Lieber RecruiterInnen, wenn Ihr überlegt Proctoring bei Auswahltests einzuführen, dann seht gleich entsprechende Kosten und/oder personelle Ressourcen für diese Fälle vor!

Auch hier stellt sich die Frage, warum all dieser Stress, all diese Probleme, um etwaige Manipulation bei Online-Assessments zu reduzieren, während kein Zeugnis, kein Lebenslaufeintrag, keine Note etc. auch nur annähernd ähnlich aufwendig überprüft wird.

Genau das Gegenteil von “niedrigschwellig”. Das Problem mit der Akzeptanz

Ich glaube es dürfte bis hierhin schon klargeworden sein, warum Proctoring wirklich problematisch ist. Aber treten wir nochmal einen Schritt zurück und kommen vielleicht nochmal auf Gretchenfrage Nummer 1 zurück: Die Akzeptanz.

Insgesamt ist die bewerberseitige Akzeptanz von Online-Assessments sehr hoch. Ein Hauptargument dafür ist neben der wahrgenommenen Fairness auch der sehr hohe Komfort: Testpersonen können den Test bequem von zuhause zu jeder Tag- oder Nachtzeit durchführen und brauchen dafür nur ein internetfähiges Endgerät. Und selbst hier befürchten einige Personaler ja schon, dass man dieses den Bewerbenden in Zeiten von Arbeitskräftemangel kaum noch zumuten könne. Wie soll das denn erst aussehen, wenn die Testperson sich noch der ganzen Proctoring-Prozedur unterziehen soll?

Proctoring mit all den beschriebenen Hürden führt ein Hauptargument PRO Online-Assessment komplett ad absurdum: Die Flexibilität. Normale Online-Assessment lassen sich 24/7 in jedem Outfit und von jedem Ort durchführen. Und dabei ist die Möglichkeit, die Tests zu unterbrechen ganz explizit ERLAUBT. Bei Proctoring geht all das nicht mehr so ohne weiteres.

Auch und gerade die Tatsache, dass man NICHT beobachtet wird während der Testbearbeitung senkt den Prüfungsstress und trägt somit zu einer genaueren und damit valideren Messung bei, weil der Stress als moderierende Variable nicht so stark in die Messung hineinwirkt.

Und wie toll es jemand findet, wenn der potenzielle zukünftige Arbeitgeber durch das Proctoring erstmal die Botschaft vermittelt “wir misstrauen dir”, sei auch mal dahingestellt… Auf jeden Fall ist das für viele ganz sicher kein Indikator für “Wunscharbeitgeber”, wenn völlig normales Verhalten wie Augenschließen, Lippen bewegen oder während des Nachdenkens den Blick schweifen lassen dazu führt, dass man unter Betrugsverdacht gerät. Ein Arbeitgeber, der mich zwingt, eine Stunde lang konzentriert in eine Webcam zu starren, müsste mir das schon sehr gut erklären…

Auf jeden Fall ist Proctoring an sich eine viel größer Hürde – rein technisch und prozessual – als es die eigentliche Testbearbeitung ist.

“Rattenrennen”-Problematik

Auch die von mir schon verschiedentlich im Zusammenhang mit dem Einsatz “automatisierter Entscheidungssysteme” beschriebene “Rattenrennen-Problematik” soll nicht unerwähnt bleiben: Sämtliche Technik zur Manipulationerkennung kann wiederum durch Gegenmanipulation manipuliert werden: Man klebt Tesafilm auf die Webcam und diese erkennt nicht mehr sauber, man trägt Minikopfhörer im Ohr und lässt sich die Lösungen zuflüstern, man nutzt separate Screens, die durch das Setup einer Virtuellen Maschine nicht durch die Proctoring-Software erkannt werden. Oder man verkleidet oder schminkt sich ganz Old School. Von etwaigen Deep Fakes-Technologien mal ganz zu schweigen. Ich meine, es ist ja offenbar sogar möglich, das sich die BürgermeisterInnen mehrerer europäischer Hauptstädte weismachen lassen, sich in einer Videoschalte mit Vitali Klitschko zu befinden…

Und um das wiederum halbwegs beherrschbar zu halten, dürfte man eigentlich nicht allzu detailliert darüber aufklären, welche Checks alle im Hintergrund laufen. Was dann wiederum fundamental dem Transparenzgedanken der KI-Ethik (für HR u.a. formuliert durch den Ethikbeirat HR-Tech) widerspricht…

Erhebliche Kosten

Gut, dass es auch Proctoring nicht zum Nulltarif gibt, dürfte klar sein. Die Preise unterscheiden sich je nach Technologie, Anbieter und Abrechnungsmodell (zum Beispiel nach Stunde oder pro Fall) aber egal wie kommen beim Proctoring ganz schnell Kosten von mehreren (teilweise mehreren Zehn…) Euro pro überprüfter Testperson zusammen. D.h. die Kosten für das Proctoring übersteigen unter Umständen ganz schnell die Kosten für die eigentliche Testung.

Und nicht vergessen: Die Vorsichtskasse für etwaige Bußgelder der Datenschutz-Aufsichtsbehörden und mögliche Rechtsstreite nach AGG oder DSGVO sollte auch gleich mitgefüllt werden…

Ein Zwischenfazit:

Betrachtet man all die oben beschriebenen Problemfelder kommt z.B. die Website des Hacker & Makerspace Koblenz zu folgendem Fazit:

[Proctoring] beschneidet […] massiv die Freiheits- und Persönlichkeitsrechte […]. Man wird eventuell verdächtigt, wenn man sich im Stuhl zurücklehnt oder während einer Klausur kurz die Augen schließt, was während Präsenzprüfungen als ziemlich normales Verhalten gewertet würde. Oder [wird] von Proctoren dazu aufgefordert, sein Gesicht mit mehr Licht zu bescheinen, wenn man dunkle Hautfarbe hat. Der eigene Rechner wird mit einer Software verwanzt, die normalerweise als Schadsoftware betrachtet würde. Und man muss damit rechnen, dass Dozierende Exklusiv-Zugriff auf stundenlange Videos von einem unter Stresssituationen aus der privaten Umgebung bekommen.

Und all das, um ein Problem noch etwas zu reduzieren, das eh schon sehr klein ist…

Es gibt mittlerweile eine Reihe gesicherter Befunde dazu, dass die Wahrscheinlichkeit, dass im Rahmen von Online-Assessments überhaupt geschummelt wird, sehr niedrig ist. Überprüft wird dies z.B. über vor Ort – also unter Aufsicht – durchgeführte Re-Tests. Mittels sogenannter Äquidistanzen lassen sich dabei “Verdachtsfälle” erkennen, nämlich z.B. dann wenn eine Person unter Aufsicht in artähnlichen Tests deutlich schlechter abschneidet als im unbeaufsichtigten Online-Test. Das Resultat: Nur bei einem sehr kleinen Teil der Testpersonen tritt dieser Befund auf (und selbst dann handelt es sich nur um ein Indiz, denn das schwächere Abschneiden kann ja auch ganz andere Gründe haben wie z.B. erhöhte Aufregung vor Ort). Arthur et. al (2010) kommen diesbzgl. zu folgender Schlussfolgerung:

…results indicate that the use of a UIT [unproctored internet-based testing] administration does not uniquely threaten (…) measures…

Zum anderen müsste man ja auch über längere betrachtete Zeiträume eine tendenzielle Verbesserung der Testergebnisse sehen, z.B. weil sich Testinhalte über den Zeitverlauf zunehmend verbreiten bzw. vermeintliche Lösungslisten im Umlauf sind oder in zunehmendem Maße unerlaubte Hilfen in Anspruch genommen werden. Aber genau dies zeigt sich empirisch NICHT! Wir haben Kunden, für die wir inzwischen seit deutlich über 15 Jahre das Online-Assessment betreiben mit einer Historie von teilweise mehreren Hunderttausend absolvierten Tests und wenn überhaupt, dann sind leichte Tendenzen zu erkennen, dass die Testergebnisse sich leicht verschlechtern.

Nochmal: Wer zu der Frage der Manipulation bei Online-Tests nochmal nachlesen möchte, der kann dies hier tun.

Was Proctoring konkret beziffert “bringt”, dazu finden sich z.B. empirische Befunde bei AON:

• 19,4 % derjenigen, die einen nicht beaufsichtigten Test absolvierten, verließen mindestens einmal das aktive Testfenster. Bei den beaufsichtigten Tests taten dies 12,3 %.
• Bei 0,07 % der unkontrollierten Prüfungen wurde eine hohe Wahrscheinlichkeit des “Schummelns” festgestellt, während es bei den kontrollierten Prüfungen 0,02 % waren.
• 6,52 % der Teilnehmer an einer nicht beaufsichtigten Prüfung zeigten eine leichte Wahrscheinlichkeit des “Schummelns”. Bei der durch Proctoring beaufsichtigten Prüfung lag der Wert bei 2,25 %.

Auch vor diesem Hintergrund erscheint jedwedes Proctoring umso mehr wie das Schießen mit Kanonen auf Spatzen.