Müssen (Recruiting-)Algorithmen beaufsichtigt werden? Und wenn ja, durch wen?

Algorithmen im Recruiting? Ja, die wird es wohl unausweichlich geben, soviel dürfte feststehen. Auch wenn einem das als Recruiter möglicherweise nicht gefällt, der Weg zu einem mehr oder weniger weitreichenden „Robot-Recruiting“ ist eingeschlagen.

Allerdings kann auf die Richtung, die dieser Weg nehmen wird, natürlich Einfluss genommen werden. Oder besser: Darauf MUSS Einfluss genommen werden. Wenn HR vermeiden möchte, dass irgendwann „Dritte“, z.B. die IT, durch die Tür kommen und HR ihre Algorithmen aufzwingen, ist es unerlässlich, dass HR sich insgesamt aufmacht, die eigenen Wünsche und Vorstellungen in die Entwicklung von Recruiting- und People Analytics-Algorithmen hineinzugeben.

Auf die Problematik, dass auch die vermeintlich so bahnbrechenden Möglichkeiten der neuen Big Data-Welt überhaupt nicht davor gefeit sind, zwar ziemlich exakt ausgerechnete, aber letztlich falsche (oder sogar ziemlich blödsinnige) Zusammenhänge herzustellen, weise ich ja bei jeder sich bietenden Gelegenheit hin:

Wenn man zwei Merkmale nimmt, dann haben diese auch immer eine Korrelation, d.h. die Ausprägung des einen Merkmals hängt statistisch immer mit der Ausprägung des anderen zusammen. Diese Korrelation kann stark oder schwach und sie kann positiv oder negativ sein, aber eine Korrelation gibt es immer. Und wenn die Datenmenge groß genug ist, wird – etwas vereinfacht ausgedrückt – auch jeder Zusammenhang irgendwann signifikant.

Und so lässt sich dann bspw. auch „beweisen“, dass Menschen, die gedrehte Pommes (Curly Fries) lieber mögen als gerade Pommes, intelligenter sind. Stumpf auf den Recruiting-Kontext übertragen hieße das:

Frage die Leute nach ihrer Pommes-Präferenz und stelle die Curly-Fries-Esser ein…

Merkt Ihr selber, oder? Ist natürlich Blödsinn, man spricht von einer sog. Scheinkorrelation. Statistisch kann man zwischen allem Bezüge herstellen, inhaltlich oder sogar „kausal“ sind sie deshalb noch lange nicht.

Aber auf solchen anlasslos und theoriefrei festgestellten Zusammenhängen beruhen viele der „Big-Data-meets-neueste-Erkenntnisse-der-Neurowissenschaften-und-kommt-aus-dem-Silicon-Valley-Algorithmen“ leider immer noch. Nur dass diese sich hinter sehr ausgefuchster Mathematik ziemlich gut verstecken können. Anders kann ich mir das momentan zu beobachtende Phänomen nicht erklären, dass viele aus gutem Grund eigentlich auf dem Friedhof der unbrauchbaren eignungsdiagnostischen Verfahren entsorgten Methoden (z.B. Face- oder Palmreading, Schrift-, Stimm-, Sprach-, Namens- oder Geburtstagsanalyse) momentan ihr Comeback feiern und dabei oft auch noch völlig kritikfrei vom Boulevard gefeiert werden oder auf einschlägigen Branchenveranstaltungen eine große Bühne geboten bekommen…

In einem sehr lesenswerten Beitrag hat auch Eva Zils sich erst vor ein paar Tagen mit dem Phänomen des „Algorithmic Bias“ beschäftigt.

Vor der Abbildung in einem mehr oder weniger automatisierten Prozess oder Algorithmus muss daher immer erst die Kenntnis und der Nachweis von Zusammenhängen stehen oder wie es letzte Woche erst aus dem Interview mit BearingPoint Recruiting-Chef Tim Verhoeven hervorging:

Vor dem Robo-Recruiting kommt Recruiting-Analytics.

Nun, inzwischen hat die Bundesregierung das politische Ziel formuliert, Deutschland zur führenden KI-Nation zu machen und allen – typisch deutschen Untergangsphantasien – stehen die Chancen dafür auch gar nicht so schlecht.

Und so gibt es inzwischen auch verschiedene Akteure und Projekte, die sich der Frage widmen, nach welchen Spielregeln denn die ganzen auf uns zurollenden Algorithmen funktionieren dürfen. Denn eines sollte klar sein: Auch Algorithmen brauchen Regeln – nicht nur technischer, sondern vor allem inhaltlich-methodischer, rechtlicher und selbstverständlich ethischer Art.

So war ich folglich vor meinem Sommerurlaub auf einem „intersektoralen Workshop“ der Stiftung Neue Verantwortung und der Bertelsmann-Stiftung in Berlin, wo wir die Frage intensiv diskutierten, wie denn Recruiting-Algorithmen im Speziellen aussehen müssten, damit sie auch mehr Segen als Fluch produzieren (oder wie es dort offiziell heißt: das Gemeinwohl fördern). Es war schon sehr erhellend, hier die Sichtweisen von Gewerkschaften, Arbeitgeberverbänden, Data Scientists, Datenschützern, dem Bundesministerium für Arbeit, dem Bundesministerium der Justiz, von Juristen und letztlich auch von Personalern aufeinandertreffen zu sehen…

Nach meinem Urlaub folgte dann beinahe nahtlos eine Fokusgruppen-Veranstaltung im Rahmen des Projekts „ABIDA“ (Assessing BIg DAta), einem auf vier Jahre angelegten Forschungsprojekt der Unis Münster und Hannover, der TU Dortmund, der LMU, dem Berliner Wissenschaftszentrum für Sozialforschung und dem Karlsruher Zentrum für Technologie, gefördert durch das BMBF, wo es konkret um das Diskriminierungspotential von Recruiting-Algorithmen ging.

Die Frage: Führt hier evtl. der Hund das Herrchen an der Leine? Oder anders:

Müssen Algorithmen beaufsichtigt oder gar reguliert werden? Und wenn ja, durch wen?

Eine hierbei immer wieder intensiv diskutierte Frage ist, ob Recruiting-Algorithmen eigentlich einer Aufsicht bedürfen, ob es ggf. sogar so etwas wie einer Regulierung oder Zertifizierung bedarf.

Und daran schließt sich, sofern man diese Frage(n) bejaht, wofür es viele gute Argumente gibt, dann natürlich zwingend umgehend die Frage an, durch wen eine solche Beaufsichtigung denn erfolgen könnte.

Was für mich klar ist, dass es so etwas wie eine Art „Gütekriterienkatalog“ für Algorithmen geben muss, also Qualitätsanforderungen, die die Entwicklung wie eine Art Kompass lenken. Hier leistet der sog. #algorules-Prozess des iRights.Lab und der Bertelsmann Stiftung schon sehr gute Grundlagenarbeit.

Aber je grundlegender Algorithmen in die Lebenswirklichkeiten vieler Menschen eingreifen, desto mehr wird sich darüber hinaus auch die Frage stellen, ob inhaltlich-methodische Qualitätsanforderungen wie Transparenz oder Nachvollziehbarkeit ausreichen werden. Und wenn nicht, wie und vor allem wer übernimmt dann die Aufsicht?

Nun, ich bin ganz ehrlich, ich habe hierzu noch keine abschließende Meinung gebildet. Daher ist die folgende Aufzählung auch zunächst einmal nicht mehr als ein paar lose zusammengetragene laute Gedanken hierzu. Ohne abschließende Bewertung.

  • Zertifizierung, Algo-TÜV?

Man könnte natürlich überlegen, ob es nicht für Algorithmen oder zumindest verschiedene Kategorien von Algorithmen ein Zertifizierungswesen, organisiert z.B. durch staatliche Stellen oder ausgelagert an Dienstleister wie DEKRA oder TÜV, geben sollte.

Ehrlich gesagt. Hier bin ich skeptisch. Nicht (nur) weil speziell Zertifizierungs-Dienstleister wie DEKRA oder die TÜVs als gewinnorientierte Unternehmen nie ganz marktneutral sein können, sondern weil ich mich schlichtweg frage, ob externe Zertifizierungsstellen hierbei nicht heillos überfordert wären. Ich meine, wenn ich mir als genialischer Data-Scientist einen revolutionären und bahnbrechenden neuen Algorithmus ausdenke, dann wage ich stark zu bezweifeln, dass es in einer Behörde oder bei einem Zertifizierer überhaupt genügend Kompetenz geben kann, den Algorithmus hinreichend zu durchdringen und abzunehmen. Denn: Wenn man dort so gut wäre, dann würde man ja eher selber solche Werkzeuge entwickeln.

Das Kraftfahrt-Bundesamt war ja offenkundig auch nicht in der Lage (oder Willens…?), manipulierende Software in Motoren verschiedener Hersteller zu entdecken… ;-)

  • (DIN-)Normen als Richtlinien

Eine andere Möglichkeit könnten Normen sein, die zwar vielleicht nicht bindend sind, aber doch perspektivisch so etwas wie einen Industrie-Standard schaffen.

Wir bei CYQUEST orientieren uns bspw. als Entwickler eignungsdiagnostischer Testverfahren (das sind natürlich Algorithmen!) an der DIN 33430. Diese stellt als Prozessnorm eine Art Referenzrahmen dar, an den wir uns halten. Die Norm formuliert bspw. Qualitätskriterien und -standards für Verfahren zur berufsbezogenen Eignungsbeurteilung und verlangt dabei etwa das Vorhandensein und die Nachweisbarkeit von Testgütekriterien wie Objektivität, Zuverlässigkeit (Reliabilität) und Gültigkeit (Validität), die regelmäßige Überprüfung von Normen und Referenzkennwerten und eine saubere Dokumentation von Auswahl, Zusammenstellung und Anwendung der Verfahren.

Das funktioniert aus meiner Sicht ganz gut und gibt zumindest jedem unserer Kunden ein bisschen Sicherheit, dass wir die Testergebnisse nicht würfeln, sondern wirklich messen.

Aber: Eine solche Norm wie die 33430 wird natürlich inhaltlich von Eignungsdiagnostikern erarbeitet (was sinnvoll ist, da diese ja auch vom Fach sind), die aber teilweise nicht nur renommierte Akademiker sind, sondern teilweise auch selber Tests zur kommerziellen Verwendung entwickeln und vertreiben. Und damit können solche DIN- oder ISO-Normen auch wieder nicht ganz frei von Tendenzen und Biases sein. Wer würde es IBM verdenken, wenn die DIN-Norm für Recruiting-Algorithmen, an der IBM selber mitgewirkt hat, nachher auch Watson-Algorithmen auf den Leib geschneidert ist…?

Auch nicht perfekt, aber insg. halte ich die Idee solcher Prozess-Normen doch immer noch für deutlich besser und praktikabler als eine wirkliche Zertifizierung.

  • Vereine oder (Verbraucherschutz-)Verbände

Auch Verbände (z.B. für Verbraucherschutz, aber auch Branchenverbände, die für Digitalthemen stehen – etwas BVDW, eco – oder sich HR-Themen widmen – DGFP, BPM, Queb usw.) könnten zu Instanzen werden, die eine gewisse Aufsichtsfunktion übernehmen.

Die bereits oben skizzierten Probleme, dass hier oft nicht die erforderliche Fachkenntnis vorhanden ist und/oder solche Verbände und deren Mitglieder wiederum ja selber – qua ihres jeweiligen Auftrags – eigene Agenden verfolgen, gelten hier allerdings ebenso. Als neutrale Zertifizierungs- oder Aufsichtsstellen eignen sich Verbände daher nur bedingt.

Etwas anders könnte (bewusst konjunktiv!) es aussehen bei Vereinen, die sich gezielt der kritischen Überwachung von Algorithmen widmen. Im deutschsprachigen Raum fällt mir als allererstes AlgorithmWatch ein. Zwar gefördert durch Bertelsmann Stiftung und Hans Boeckler Stiftung aber weisungsungebunden und organisiert als gemeinnützige GmbH unternimmt man hier den Versuch, die zur Zeit wildwuchernden Entwicklungen im Bereich der Algorithmen zumindest zu sortieren und – das suggeriert ja schon der Name („…Watch“) – perspektivisch so etwas wie eine Watchdog-Instanz zu werden.

Vereine wie AlgorithmWatch wären wahrscheinlich schon in der Lage, die technische Beurteilungskompetenz aufzubauen und möglicherweise (wieder bewusst konjunktiv) auch hinreichend neutral, um eine wichtige Rolle bei der Aufsicht von Algorithmen zu spielen.

  • Mitbestimmung, Compliance, Beauftragte

Die gute alte Mitbestimmung… Tja, wenn ich aus eigener Erfahrung bei der Einführung von Online-Assessments berichten darf, dann sitzt in den allermeisten Fällen die Mitbestimmung in irgendeiner Form mit am Tisch. So ist bspw. die Einführung von Auswahltests für Azubis in vielen der Mitbestimmung unterliegenden Unternehmen mitbestimmungspflichtig, d.h. es muss eine entsprechende Betriebsvereinbarung geschlossen werden. Und selbst wenn nicht, tun die Unternehmen aus ureigenem Interesse oft sehr gut daran, die Arbeitnehmerseite in den Prozess einzubeziehen.

Das gleiche gilt für die Compliance-Abteilungen der Unternehmen sowie die Beauftragten (z.B. für Gleichstellung, Behinderte und natürlich Datenschutz).

Und bei der Einbeziehung all dieser Akteure in den Prozess wird oft schon sehr genau hingeschaut und detailliert nachgefragt: Was misst der Test, wie verlässlich ist die Messung, wie lange werden die Daten gespeichert, bei wem, wer hat Zugriff auf die Daten und macht damit was, wie erfolgt die Bewertung, usw.? All das sind Fragen, zu denen man Antworten liefern muss. Meine Erfahrung dabei: Die Fachkenntnis bei all diesen Akteuren ist sicherlich zuweilen ausbaufähig, aber allein die Tatsache, dass all diese zurecht kritischen Fragen gestellt werden, sorgt für bessere und transparentere Algorithmen.

So kann bspw. eine nicht vorhandene oder nicht gut genug nachweisbare eignungsdiagnostische Fundierung von im Recruiting eingesetzten Algorithmen dazu führen, dass diese vor dem Hintergrund der DSGVO aus Datenschutzgründen vom Unternehmen gar nicht eingesetzt werden dürfen (etwas detaillierter hier nachzulesen). Da wird es dann für Face- und Palmreading-Algorithmen oder für (vermeintliche) „Persönlichkeitsmessung“ durch Sprachanalyse schon sehr eng.

Könnten also Betriebsräte, Beauftragte oder die Compliance der Unternehmen eine Aufsichtsfunktion übernehmen? Ja, ich glaube schon, wenn sie a. die erforderliche Fachexpertise hierfür aufbauen und b. diese Aufsichtsrolle auch einfordern. Zumindest ist das Gute daran, dass diese Instanzen nicht extra geschaffen werden müssen, sondern oft ohnehin schon vorhanden sind.

Wie gesagt, all diese Gedanken erheben keinen Anspruch auf Vollständigkeit und alle diskutierten Varianten haben ihre Lücken. Aber dass wir nicht umhin kommen werden, auch Algorithmen an die Leine zu nehmen und dabei demokratisch verankerte Regeln anzuwenden und einzuhalten, das steht für mich fest.

Ich bin mal sehr gespannt, wo der Zug hinfährt…

Dieser Artikel ist ein Beitrag zur Blogparade „Künstliche Intelligenz fürs Gemeinwohl? Sagt uns Eure Meinung!“ des Blogs Algorithmenethik der Bertelsmann Stiftung.

2 Gedanken zu „Müssen (Recruiting-)Algorithmen beaufsichtigt werden? Und wenn ja, durch wen?

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.