Es ist nach meinem Empfinden insgesamt etwas ruhiger geworden rund um das Thema „Sprachanalyse“. So scheint man sich mittlerweile bei der ganzen Debatte um „KI im Personalwesen“ (und speziell auch im Recruiting) erheblich mehr Gedanken über die „methodische Qualität“ und „ethische Zulässigkeit“ bzw. die „ethischen Grundsätze und Grenzen“ solcher Technologien zu machen als blindlings alles hochzujubeln wo „KI“ draufsteht.
Gut so.
Jetzt fiel mir kürzlich ein Artikel in die Hände, den Prof. Lothar Schmidt-Atzert, einer der profiliertesten deutschen Eignungsdiagnostiker und langjähriger Inhaber des Lehrstuhls für Psychologische Diagnostik am Fachbereich Psychologie der Philipps-Universität Marburg, gemeinsam mit Janina Künecke von der Psychologischen Hochschule Berlin und Johannes Zimmermann von der Uni Kassel verfasst hat.
Der Inhalt: Eine „Testrezension über die Sprachanalysesoftware „PRECIRE“ im Auftrag des Diagnostik-und Testkuratoriums der Föderation Deutscher Psychologenvereinigungen (DGPs und BDP) gemäß TBS-DTK (Diagnostik- und Testkuratorium, 2018).
Diese Testrezension geht systematisch die Anforderungen durch, die an ein psychologisches Messverfahren gestellt werden:
- Informationsgehalt der Verfahrenshinweise
- Theoretische Grundlagen
- Objektivität
- Normierung
- Zuverlässigkeit
- Gültigkeit
- Weitere Gütekriterien
Ich lege es jedem, der sich eingehender mit der Materie beschäftigen möchte sehr nahe, sich die Testrezension einmal selber in Gänze durchzulesen (sehr kurz, sind nur zwei Seiten), ich habe aber mal ein paar Stellen zitatweise herauskopiert:
… ist von einer Überschätzung der Reliabilität auszugehen…
… Das Verfahren wirft ethische und rechtliche Fragen auf…
… Die Annahme der Unverfälschbarkeit erscheint weitgehend plausibel…
…ungewöhnlich ist die schlechte Dokumentation des methodischen Vorgehens…
…Das Verhältnis von untersuchten Personen (N = 5.201) zu analysierten Variablen (564.367 Features) bei der Erstellung eines Vorhersagemodells für psychologische Merkmale ist sehr ungünstig…
…Angaben zur Kriteriumsvalidität sind ungenügend…
…Vor allem fehlt ein Nachweis, dass das Verfahren eine inkrementelle Validität gegenüber den Persönlichkeitsfragebogen aufweist, anhand derer es entwickelt wurde…
… Insgesamt ist die psychometrische Qualität des Verfahrens nicht hinreichend belegt.
Das ist insgesamt schon mehr als deutlich, würde ich sagen.
Nun, wer sich selber ein Bild von der „Qualität“ der Software machen will, dem sei der Besuch der folgenden Website empfohlen: https://precire.com/demos/speech_demo/index.html
Gebt da einfach mal von euch selbst verfassten Text ein und schaut, was für eine Persönlichkeit euch die Software attestiert…
Ich habe das spaßeshalber mal gemacht. Und zwar habe ich dafür einen meiner letzten Blogartikel (den über Lena Meyer Landruts Suche nach einem neuen Assistenten) genommen und habe zunächst die ersten vier Absätze…
…und dann in einem zweiten Schritt den vorletzten Absatz hineinkopiert…
Merkt Ihr selber, oder?
Ich meine, ich bin ja für beide Textabschnitte selber verantwortlich und sicherlich ist meine Persönlichkeit nicht so gespalten, dass ich mal der Jogi Löw-Optimist bin und mal nur den Optimismus des ehem. VW-CEO Matthias Müller aufbringe. Genauso unwahrscheinlich ist, dass meine „Zukunftsorientierung“ von einem Absatz zum anderen von Ex-Bahnchef Grube- auf Horst Seehofer-Niveau springt…
Das kann auch nicht mal etwas mit Tagesform oder ähnlichem zu tun haben, weil zwischen dem Verfassen der verschiedenen Absätze nur ca. 10 Minuten lagen.
Abgesehen davon, dass eine solche Typologie eh immer schon schwierig ist und ich mir zudem nicht wirklich sicher bin, wie das die hier abgebildeten Personen eigentlich finden (ob Rüdiger Grube happy ist, als Archetyp des „Wenig-Zukunftsorientierten“ herhalten zu müssen…?), wirft das „Messergebnis“ mehr als große Zweifel hinsichtlich der Messgüte auf…
Aber man muss sich nicht grämen. Wenn einem das „Testergebnis“ nicht passt, dann kann man das ganz leicht ändern. Ich habe meinen Absatz nochmal ein wenig gepimpt und an einigen Stellen „optimistische Begriffe“ eingebaut. Das ist zwar orthografisch kompletter Mumpitz, aber mein Ergebnis fällt erheblich optimistisch-zukunftsorientierter aus!
Da soll nochmal einer sagen, die Maschine ließe nicht mit sich reden… ;-) So schnell wird man zu Steve Zuckerberg… Oder wie war das noch mit der Unverfälschbarkeit?
Da ist noch viel Potential nach oben! Und das ist noch positiv formuliert.
Ich denke nicht, dass sich aus der Stimme und dem gesprochenen Wort alleine – ohne auf den Kontext einzugehen – zuverlässig Persönlichkeitsmerkmale extrahieren lassen. In dem Punkt fand ich die Rezension sogar erstaunlich milde.
Ja, das stimmt. Dass es INSGESAMT sehr grundlegende Zweifel daran gibt, überhaupt aus Sprache (oder dem Aussehen) auf Persönlichkeit schließen zu können, da bin ich an anderer Stelle schon sehr viel deutlicher geworden. Stimme (genauso wie Mimik) sagt etwas über Menschen aus, aber eben über Gemütsverfassung oder Stimmung, nicht Charakter oder Persönlichkeit. So wie Regen etwas über das Wetter aussagt, aber nicht über das Klima. Siehe hierzu auch: https://blog.recrutainment.de/2019/04/02/ki-gesichtserkennung-findet-waldo-erkennt-sie-auch-persoenlichkeit/