Es ist nach meinem Empfinden insgesamt etwas ruhiger geworden rund um das Thema “Sprachanalyse”. So scheint man sich mittlerweile bei der ganzen Debatte um “KI im Personalwesen” (und speziell auch im Recruiting) erheblich mehr Gedanken über die “methodische Qualität” und “ethische Zulässigkeit” bzw. die “ethischen Grundsätze und Grenzen” solcher Technologien zu machen als blindlings alles hochzujubeln wo “KI” draufsteht.

Gut so.

Jetzt fiel mir kürzlich ein Artikel in die Hände, den Prof. Lothar Schmidt-Atzert, einer der profiliertesten deutschen Eignungsdiagnostiker und langjähriger Inhaber des Lehrstuhls für Psychologische Diagnostik am Fachbereich Psychologie der Philipps-Universität Marburg, gemeinsam mit Janina Künecke von der Psychologischen Hochschule Berlin und Johannes Zimmermann von der Uni Kassel verfasst hat.

Der Inhalt: Eine “Testrezension über die Sprachanalysesoftware “PRECIRE” im Auftrag des Diagnostik-und Testkuratoriums der Föderation Deutscher Psychologenvereinigungen (DGPs und BDP) gemäß TBS-DTK (Diagnostik- und Testkuratorium, 2018).

Diese Testrezension geht systematisch die Anforderungen durch, die an ein psychologisches Messverfahren gestellt werden:

• Informationsgehalt der Verfahrenshinweise
• Theoretische Grundlagen
• Objektivität
• Normierung
• Zuverlässigkeit
• Gültigkeit
• Weitere Gütekriterien

Ich lege es jedem, der sich eingehender mit der Materie beschäftigen möchte sehr nahe, sich die Testrezension einmal selber in Gänze durchzulesen (sehr kurz, sind nur zwei Seiten), ich habe aber mal ein paar Stellen zitatweise herauskopiert:

… ist von einer Überschätzung der Reliabilität auszugehen…

… Das Verfahren wirft ethische und rechtliche Fragen auf…

… Die Annahme der Unverfälschbarkeit erscheint weitgehend plausibel…

…ungewöhnlich ist die schlechte Dokumentation des methodischen Vorgehens…

…Das Verhältnis von untersuchten Personen (N = 5.201) zu analysierten Variablen (564.367 Features) bei der Erstellung eines Vorhersagemodells für psychologische Merkmale ist sehr ungünstig…

…Angaben zur Kriteriumsvalidität sind ungenügend…

…Vor allem fehlt ein Nachweis, dass das Verfahren eine inkrementelle Validität gegenüber den Persönlichkeitsfragebogen aufweist, anhand derer es entwickelt wurde…

… Insgesamt ist die psychometrische Qualität des Verfahrens nicht hinreichend belegt.

Das ist insgesamt schon mehr als deutlich, würde ich sagen.

Nun, wer sich selber ein Bild von der “Qualität” der Software machen will, dem sei der Besuch der folgenden Website empfohlen: https://precire.com/demos/speech_demo/index.html

Gebt da einfach mal von euch selbst verfassten Text ein und schaut, was für eine Persönlichkeit euch die Software attestiert…

Ich habe das spaßeshalber mal gemacht. Und zwar habe ich dafür einen meiner letzten Blogartikel (den über Lena Meyer Landruts Suche nach einem neuen Assistenten) genommen und habe zunächst die ersten vier Absätze…

…und dann in einem zweiten Schritt den vorletzten Absatz hineinkopiert…

Merkt Ihr selber, oder?

Ich meine, ich bin ja für beide Textabschnitte selber verantwortlich und sicherlich ist meine Persönlichkeit nicht so gespalten, dass ich mal der Jogi Löw-Optimist bin und mal nur den Optimismus des ehem. VW-CEO Matthias Müller aufbringe. Genauso unwahrscheinlich ist, dass meine “Zukunftsorientierung” von einem Absatz zum anderen von Ex-Bahnchef Grube- auf Horst Seehofer-Niveau springt…

Das kann auch nicht mal etwas mit Tagesform oder ähnlichem zu tun haben, weil zwischen dem Verfassen der verschiedenen Absätze nur ca. 10 Minuten lagen.

Abgesehen davon, dass eine solche Typologie eh immer schon schwierig ist und ich mir zudem nicht wirklich sicher bin, wie das die hier abgebildeten Personen eigentlich finden (ob Rüdiger Grube happy ist, als Archetyp des “Wenig-Zukunftsorientierten” herhalten zu müssen…?), wirft das “Messergebnis” mehr als große Zweifel hinsichtlich der Messgüte auf…

Aber man muss sich nicht grämen. Wenn einem das “Testergebnis” nicht passt, dann kann man das ganz leicht ändern. Ich habe meinen Absatz nochmal ein wenig gepimpt und an einigen Stellen “optimistische Begriffe” eingebaut. Das ist zwar orthografisch kompletter Mumpitz, aber mein Ergebnis fällt erheblich optimistisch-zukunftsorientierter aus!

Da soll nochmal einer sagen, die Maschine ließe nicht mit sich reden… ;-) So schnell wird man zu Steve Zuckerberg… Oder wie war das noch mit der Unverfälschbarkeit?