Persönlichkeitsmessung durch Sprachanalyse. Ein Gastbeitrag. Und eine kritische Betrachtung.

Es gibt Blogartikel, die stehen einem irgendwie “ ein bisschen bevor“. Warum? Weil man weiß, dass man sich hier auf „vermintes“ Terrain begibt und ein kontroverses Thema anpackt. Und dabei möchte man natürlich die richtige Wortwahl treffen.

Nun, heute geht es um ein solches Thema. Es geht leicht abgekürzt um die Ableitung von Persönlichkeitsmerkmalen aus Sprache oder anders:

Persönlichkeitsmessung durch Sprachanalyse.

Das ist ein heikles Thema und um eines klar und unmissverständlich vorweg zu schicken: Ich bin diesbzgl. sehr skeptisch.

Der Anbieter Precire bspw., den wir hier im Blog vor zwei Jahren bereits einmal vorgestellt haben,  bietet eine Software, die (angeblich) aus ca. 15 Minuten Sprachprobe ein komplettes Persönlichkeitsprofil ableiten kann – unabhängig davon „was“ jemand sagt, sondern nur „wie“ gesprochen wird. Big Data sei Dank…

Das mutet toll an, lässt einen als Eignungsdiagnostiker aber auch gleich aufschrecken, erinnert es doch allzu sehr an andere vermeintlich genial einfache (aber zu recht inzwischen auf dem Friedhof vermeintlich magischer Diagnosetools entsorgter) Methoden wie Schädeldeutung Physiognomie, Namensanalyse, Palm-Reading der Graphologie.

Hauptkritikpunkt ist dabei neben einem sehr dünnen theoretischen Unterbau vor allem der Mangel an empirischer Evidenz. Behaupten kann man viel. Ohne Nachweis bleibt alles auf dem Niveau des Wahrsagerzelts auf der Kirmes. Wobei: Selbst auf „Wirtschaftsastrologen“ wurden und werden immer noch Zeitungszeilen ver(sch)wendet…

Dass die vermeintlich tollen Möglichkeiten der neuen Technologien, Stichworte: Big Data, KI, Gesichtserkennung usw., all diese Themen neu befeuern, ändert an der Anforderung der empirischen Evidenz nichts.

Der wahrscheinlich profilierteste Kritiker dieser schönen neuen Welt, Prof. Kanning, brachte es kürzlich mit viel Ironie sehr treffend auf den Punkt:

„Es reicht vollkommen, wenn man den Glauben an die Software erfolgreich vermarktet“

und mit Blick auf Algorithmen und KI:

„Da kann fast niemand mehr mitreden und gerade deshalb eignen sie sich so hervorragend zum Marketing“

Wer hier tiefer einsteigen will, dem empfehle ich sehr die Beiträge von Kanning und Bärbel Schwertfeger in der vorletzten Ausgabe der Zeitschrift „Skeptiker“ oder die Anmerkungen vieler gestandener Eignungsdiagnostiker in dem Thread unter meiner Meinungsbekundung bei LinkedIn anlässlich der Meldung, dass ein Versicherungskonzern nun offenbar Precire in der Personalauswahl einsetzt.

Auch den Podcast mit dem Interview von Henrik Zaborowoski mit Dr. Hossiep, Leiter des Projektteams Testentwicklung an der Ruhr-Uni Bochum, lege ich Euch in diesem Zusammenhang sehr ans Herz.

Dies ist der Hintergrund vor dem mich kürzlich die Nachricht eines anderen Startups erreichte, ob man die eigene Erfindung nicht möglicherweise einmal im Recrutainment Blog vorstellen könne.

Es handelte sich dabei um das Heilbronner Startup „100 Worte“, das ähnlich wie Precire einen Algorithmus entwickelt hat, der vorgeblich aus der Analyse der Sprache auf die Persönlichkeit des Verfassers schließen lässt. Im Unterschied zu Precire dreht es sich hier allerdings nicht um gesprochene sondern verschriftlichte Sprache.

Ich habe 100 Worte gegenüber meine Skepsis (s.o.) sehr deutlich zum Ausdruck gebracht, mich aber letztlich doch dafür entschieden, einen Gastartikel zuzulassen.

Warum tue ich das? Warum biete ich einem Thema, dem ich selber mehr als skeptisch gegenüberstehe also freiwillig eine Bühne?

Das hat zwei Gründe:

Erstens finde ich all die neuen Ansätze der Diagnostik interessant. Vieles davon haben wir hier im Blog schon beschrieben und vieles habe ich regelmäßig in meinen Vorträgen über Bots und Algorithmen dabei – das nächste Mal am 13.6. bei der Veranstaltung „Automatisierung in der Arbeitswelt – geht uns die Arbeit aus?“ im Vorfeld der Mitgliederversammlung des BVDW in Berlin.

Allein die schiere Menge dieser Ansätze, der Hype (und damit das enorm viele Wagniskapital), der/das diesen Themen zugedacht wird und letztlich tagesaktuelle Ereignisse, die die Welt bewegen – ich sage nur Cambridge Analytica und die Frage, ob man aus Facebookprofilen valide auf die Persönlichkeit geschlossen werden kann, gebietet es förmlich, sich mit diesen Themen zu beschäftigen. Auch und gerade für Personaler…

Und zweitens: Zweitens gebietet es sich, sich kritisch mit diesen Entwicklungen auseinanderzusetzen.

Und zu dieser kritischen Auseinandersetzung gehört Informiertheit!

Ich will, dass diese Ansätze kontrovers diskutiert werden und sich nicht jeder in seine Filterblase und Komfortzone zurückziehen kann. Genau so habe ich mich auch bereits sehr kritisch mit einer ganzen Reihe von „neuen Tools“ beschäftigt, ob diese nun Good&Co, Knack oder Pymetrics heißen…

Deshalb liebe Leser folgt nun ein Gastbeitrag von 100 Worte. Dieser ist vollkommen unverändert, d.h. 1:1 so von 100 Worte eingereicht worden. Da ich aber mit der kontroversen Diskussion gleich mal beginnen möchte, habe ich ein paar kritische Anmerkungen direkt unter den Beitrag gestellt. Und ich würde mich sehr freuen, wenn das der eine oder andere ebenfalls täte – die Kommentarfunktion unter dem Beitrag wartet…

So, genug der Vorrede. Bühne frei!

>>

Gastbeitrag von Bianca-Tamara Jung, 100 Worte Sprachanalyse GmbH:

Wie ein Sprachanalysetool die Personalauswahl vereinfachen soll

Immer häufiger liest man von neuen Tools, die die HR-Branche revolutionieren sollen. Die verschiedensten Software-Anbieter offerieren Persönlichkeitserkennungsverfahren via Sprachanalyse. Sei es die Auswertung gesprochener oder geschriebener Sprache aus Posts, Tweets, Reviews oder sonstigen online verfassten Texten. Doch was sind solche Analyseverfahren eigentlich? Völliger Humbug oder eine tatsächliche Bereicherung für die Personalabteilung – und damit ein nicht mehr wegzudenkendes Tool für die Digitalisierung des Personalwesens?

Wir von 100 Worte – einem Startup aus Heilbronn – haben es uns zum Ziel gesetzt, auf Basis sozialpsychologischer Erkenntnisse, die bisher wenig Anwendung in der Praxis fanden, ein Sprachanalyseverfahren zu entwickeln. Dieses ist in der Lage, Bewerbungsschreiben auszuwerten und dabei Persönlichkeitsmerkmale, wie Denkstil, Motivationen oder Emotionen, seines Verfassers abzuleiten.

Soft Skills in der Vorauswahl zu erfassen, war bisher so gut wie unmöglich

Zusätzlich zu den fachlichen Qualifikationen, die ein Bewerber mitbringen sollte, sind Personaler heutzutage mehr denn je an den Persönlichkeitsmerkmalen – den Soft Skills – der Bewerber interessiert. Eine Anfang des letzten Jahres gemeinsam mit Bitkom durchgeführte Studie von LinkedIn hat gezeigt, dass Sozialkompetenzen in den nächsten zehn Jahren an Bedeutung dazugewinnen werden. Im Gegensatz dazu stagniert die Entwicklung der Hard Skills. In der Studie sollten Vorstände und Personalverantwortliche Auskunft zur Entwicklung der Nachfrage spezieller Fähigkeiten geben.

Bisher waren diese Persönlichkeitsmerkmale in der Vorauswahl allerdings nur schwer zu erfassen. Wenn man bedenkt, dass sich Personaler lediglich 2-3 Minuten Zeit nehmen, um eine Bewerbung zu sichten, kann man sich nur schwer vorstellen, dass sich dieser ausführliche Gedanken über die Soft Skills des Bewerbers machen kann. Die logische Konsequenz wäre, sich mehr Zeit in der Vorauswahl zu nehmen, um eine verlässliche Aussage treffen zu können. Nur ist das nicht möglich – viel zu zeit- und kostenintensiv. Also ist die tatsächliche Konsequenz, dass womöglich genau der passende Bewerber durch das Raster fällt, weil sein Bewerbungsschreiben im Hinblick auf seine Persönlichkeitsmerkmale nicht gründlich genug studiert wurde. Dass er trotzdem für die Stelle geeignet wäre, meint Recruitingspezialist Henrik Zaborowski: „30% der Bewerber, denen wir anhand der Bewerbungsunterlagen absagen, können den Job.“

Sollte man feststellen müssen, dass man eine Stelle fehlbesetzt hat, kann dies den Verlust eines Jahresgehalts verursachen. Was aber fast noch schlimmer ist: Der Recruiting-Prozess muss neu gestartet werden, wichtige Aufträge bleiben liegen und im Worst Case hat man aus seinen bereits begangenen Fehlern nicht dazu gelernt.

Dein Sprachgebrauch verrät etwas über deine Persönlichkeit!

Was wie der Titel eines albernen Psychotests aus einer journalistisch weniger hochwertigen Zeitschrift lauten mag, können wir belegen. Mit unserem Analyseverfahren wollen wir dem oben beschriebenen Problem Abhilfe verschaffen: Der Competence-Monitor ist ein Tool, das anhand der Sprache, die ein Bewerber in seinem Motivationsschreiben verwendet, Soft Skills ausfindig machen kann. Dominanz versus Nachgiebigkeit, Leistungs-, Beziehungs- und Machtmotivation, wie analytisch oder spontan jemand denkt (Denkstil), wie frei heraus oder wie förmlich jemand handelt (Authentizität) – all diese Eigenschaften sind aus den Bewerbungsschreiben ableitbar. Dass Sprache Persönlichkeit ausdrückt, ist leicht nachvollziehbar. Ist doch die Sprache das zentrale Mittel um Inneres nach außen zu bringen. Übrigens sind die Big Five – die wohl bekanntesten und akzeptiertesten Persönlichkeitsdimensionen in der Psychologie – auch durch einen lexikalischen Ansatz entstanden. Beim lexikalischen Ansatz wird angenommen, dass Persönlichkeitseigenschaften durch Eigenschaftsworte repräsentiert sind.

Funktionswörter, Inhaltswörter und was sie mit der Psyche eines Menschen zu tun haben

Das Analyseverfahren steht im Kontext der konsequenten Weiterentwicklung wissenschaftlicher Psychometrie-Verfahren und fußt auf den Erkenntnissen der letzten 30 Jahre. Studien von u.a. James W. Pennebaker (US-amerikanischer Sozialpsychologe), bei denen durch statistische Auswertung und Korrelation von Sprache in ihrer Sprachverwendung tiefe Einblicke in die Persönlichkeitsstruktur gewonnen werden, bilden das Fundament des Tools.

Anders als bei bisherigen Analysen wird nicht nur das „Was“ – der Inhalt der Sprache – sondern auch das „Wie“ – die Struktur der Sprache – beachtet. Inhaltswörter (Substantive, Adjektive oder Verben) geben der Sprache Leben und legen fest, um was es geht. Vor allem Stimmungen und Emotionen werden über Inhaltswörter vermittelt. Im Satz „Ich habe dich sehr gern“ ist die Zuneigung, die sich über die Wörter „sehr gern“ ausdrücken, leicht erkennbar. Andere Merkmale wie beispielsweise das Durchsetzungsvermögen äußern sich dagegen über die Struktur der Sprache. Dafür sind Funktionswörter verantwortlich, die sehr häufig und meist unbewusst verwendet werden. Obwohl gerade einmal 400 der etwa 16.000 Worte in der deutschen Sprache Funktionsworte sind, machen sie doch die Hälfte der Worte aus, die wir täglich benutzen. Weiterhin haben Funktionswörter im Gegensatz zu Inhaltswörtern keine inhaltliche Bedeutung. Sie sind stattdessen für die Konstruktion (Grammatik) eines Satzes wichtig.

Wie Menschen denken – eher analytisch oder intuitiv – bildet sich ebenfalls in Sprache ab. So verwenden Menschen mit analytischem Denkstil vermehrt Funktionswörter, die der Sprache Genauigkeit geben. Diesen Zusammenhang entdeckten Forscher als sie Motivationsschreiben von Studenten untersuchten (Pennebaker et al., 2014).

Auch die Dominanz von Menschen lässt sich aus Sprache ableiten. Dazu wurde in mehreren Studien untersucht, wie dominante Menschen im Vergleich zu anderen Mitgliedern einer Gruppe diskutieren. Kacewicz und Kollegen (2013) konnten diesen Zusammenhang in ihrer Studie Pronoun Use Reflects Standings in Social Hierarchies (2013) zeigen.

IBM Watson ToneAnalyzer, Apply Magic Sauce – was kann 100 Worte?

Die Cloud-Plattform ermöglicht es, jegliche Art von Texten – egal ob Bewerbungsschreiben, E-Mail-Verläufe, Social-Media-Posts oder andere – in Echtzeit und objektiv zu analysieren und aus diesen die Persönlichkeitsmerkmale des Verfassers abzuleiten. Darin liegt der erste Unterschied zu anderen Produkten im Bereich Sprachanalyse, wie beispielsweise IBM Watsons ToneAnalyzer, mit dem nur online verfasste Texte ausgewertet werden können. Anders als Apply Magic Sauce ist unser Tool dazu fähig, nicht nur englischsprachige, sondern auch deutsche Texte auszuwerten und beschränkt sich dabei nicht lediglich auf Facebook-Daten.

Die Motivationsschreiben können in den gängigen Textformaten hochgeladen werden. Anschließend werden die Ergebnisse in sieben übersichtlichen Diagrammcharts ausgegeben. Motive, wie Führungs-, Leistungs- und Beziehungsmotivation, Eigenschaften, wie Stimmung, Denkstil und Authentizität, sowie Sozialkompetenz werden dabei erfasst. Sollten analoge Bewerbungen ins Haus flattern, müssen diese nur eingescannt werden und das Tool ist in der Lage, die Anschreiben auszuwerten. Neben der Möglichkeit, die Ergebnisse des einzelnen Bewerbers zu betrachten, können Personaler ebenso direkt die Bewerber miteinander vergleichen. Weiterhin ist es möglich, den Soll-Kandidaten zu finden, indem man angibt, wie hoch der Bewerber in welchen Kategorien ranken soll:

Wie genau ist die Analyse?

Bei der Entwicklung der 100 Worte-Analyse wurden zahlreiche psychologische Studien berücksichtigt, an denen Forscher aus verschiedenen Disziplinen beteiligt waren. Die Forscher haben sich bereits die Frage gestellt, wie stark Sprachelemente mit Persönlichkeitsmerkmalen zusammenhängen. Darüber hinaus haben wir zur Überprüfung selbst Validierungen durchgeführt. Ein gängiges Maß für den Zusammenhang zwischen Merkmalen ist die Korrelation. Die Korrelation kann Werte zwischen 1 (für einen perfekten positiven Zusammenhang), -1 (für einen perfekten negativen Zusammenhang) und 0 (wenn es keinen Zusammenhang gibt) annehmen. Weil aber Persönlichkeitsmerkmale oftmals von anderen Einflüssen verdeckt sind, werden nur selten Korrelationen über 0,4 gefunden. In der psychologischen Forschung gelten Werte ab 0,2 als valide und ab 0,3 als gut. Die folgende Tabelle zeigt die Stärke der Zusammenhänge:

Was, wenn das Bewerbungsschreiben aber von Dritten korrigiert oder sogar vollständig vorformuliert wurde?

Diese Bedenken kriegen wir von Personalern häufig zu hören – eine berechtigte Frage, aber keine, die nicht zu beantworten ist. Denn in der Wissenschaft ist die soziale Erwünschtheit oft ein Dorn im Auge der Forscher. Ihre Effekte lassen sich nämlich nie gänzlich beseitigen. Menschen antworten in Fragebogen, Persönlichkeitstest oder Bewerbungsgesprächen vorwiegend so, wie sie glauben, dass das Gegenüber es sich von ihnen wünscht. Dass Bewerbungsschreiben in der Regel der sozialen Erwünschtheit entsprechend formuliert oder von Dritten mehrmals Korrektur gelesen werden, stellt für unser Sprachanalyseverfahren kein Problem dar. Denn die Überlegungen, die ein Bewerber im Rahmen der sozialen Erwünschtheit anstellt, sprechen vielmehr für ihn und seine sozialen Kompetenzen. Die Effektstärke der sozialen Erwünschtheit ist bei unserer Analyse ähnlich ausgeprägt wie bei herkömmlichen Persönlichkeitstests, die im Rahmen des Bewerbungsprozesses durchgeführt werden. Fällt das Ausmaß der sozialen Erwünschtheit bei allen Bewerbern etwa gleich aus, so ist dieser Fehler auch zwischen den Bewerbern vergleichbar und kann vernachlässigt werden.

Wer kann das Tool verwenden?

In erster Linie sind natürlich alle Personalverantwortlichen angesprochen. Primär ist das Tool aber an mittelständische und große Unternehmen ab 500 Mitarbeitern gerichtet, die mit hohen Bewerberzahlen auf ihre Stellenausschreibungen rechnen müssen und mithilfe unserer Lösung Zeit einsparen und ihre Entscheidungen wissenschaftlich begründet treffen können. Genau wie die Software anderer Anbieter soll unsere Lösung keine Personaler ersetzen, sondern lediglich in ihrer Arbeit unterstützen und für weniger Fehlentscheidungen sorgen – Zeit, Kosten und andere Ressourcen können also eingespart werden.

Wir planen, die Analyse zukünftig auch für weitere Sprachen, wie Spanisch oder Französisch, umzusetzen. Im Moment konzentrieren wir uns aber auf die Verfeinerung unseres Produktes.

Zitierte Studien:

Kacewicz, E., Pennebaker, J. W., Davis, M., Jeon, M., & Graesser, A.C. (2013). Pronoun use reflects standings in social hierarchies. J Lang Soc Psychol, 33, 125-143.

Newman, M. L., Groom, C. J., Handelman, L. D., & Pennebaker, J. W. (2008). Gender differences in language use: An analysis of 14,000 text samples. Discourse Processes, 45, 211-236.

Pennebaker, J.W., Chung, C.K., Frazee, J., Lavergne, G.M., & Beaver, D.I. (2014): When Small Words Foretell Academic Success: The Case of College Admissions Essays. PLo ONE, 9 (12). doi: 10.1371/journal.pone.0115844

Schultheiss, O. (2013). Are implicit motives revealed in mere words? Testing the marker-word hypothesis with computer-based text analysis. Frontiers in Psychology, 4, 748.

<<

Vielen Dank für den Gastbeitrag!

Wie oben angekündigt wollen wir hier dann sogleich mit der kontroversen Diskussion beginnen. Wir – das sind mein Kollege Dr. Kristof Kupka und ich – haben uns ein paar Passagen des Beitrags einmal rausgegriffen und merken dazu folgendes an:

„Dieses ist in der Lage, Bewerbungsschreiben auszuwerten und dabei Persönlichkeitsmerkmale, wie Denkstil, Motivationen oder Emotionen, seines Verfassers abzuleiten.“

Das ist eine gewagte Hypothese, die es zu belegen gilt…

„Soft Skills in der Vorauswahl zu erfassen, war bisher so gut wie unmöglich.“

Was ist mit Persönlichkeitstests? Video-Interviews? Telefoninterviews?

„Der Competence-Monitor ist ein Tool, das anhand der Sprache, die ein Bewerber in seinem Motivationsschreiben verwendet, Soft Skills ausfindig machen kann.“

Was ist mit Manipulierbarkeit? Was ist mit dem typischen Vorgehen: Zeig mir mal dein Anschreiben, bei dem es geklappt hat und ich nehme das auch?

„Im Satz „Ich habe dich sehr gern“ ist die Zuneigung, die sich über die Wörter „sehr gern“ ausdrücken, leicht erkennbar.“

Richtig. Aber was ist „Zuneigung“ für eine Persönlichkeitseigenschaft?

„Andere Merkmale wie beispielsweise das Durchsetzungsvermögen äußern sich dagegen über die Struktur der Sprache.“

Behauptung. Wer sagt das? Wie ist das belegt?

„Dafür sind Funktionswörter verantwortlich, die sehr häufig und meist unbewusst verwendet werden.“

Warum? Belege?

„Die Cloud-Plattform ermöglicht es, jegliche Art von Texten – egal ob Bewerbungsschreiben, E-Mail-Verläufe, Social-Media-Posts oder andere – in Echtzeit und objektiv zu analysieren und aus diesen die Persönlichkeitsmerkmale des Verfassers abzuleiten.“

Objektivität ist ein Testgütekriterium. Wodurch ist die hier gegeben?

„In der psychologischen Forschung gelten Werte ab 0,2 als valide und ab 0,3 als gut.“

Ab 0,2 valide? Wo steht das? Und wofür valide? Ist hier die Konstruktvalidität gemeint, dann wäre 0,2 sehr niedrig.

Wenn ich das richtig interpretiere, dann liefert die Tabelle nur Werte für 100 Worte hinsichtlich der Merkmale Stimmung und Geschlecht. Das sind aber beides keine Persönlichkeitsmerkmale. Entscheidend wäre doch empirische Evidenz für die nachfolgend genannten Merkmale.

„Denn die Überlegungen, die ein Bewerber im Rahmen der sozialen Erwünschtheit anstellt, sprechen vielmehr für ihn und seine sozialen Kompetenzen.“

Hmm, das mag bestenfalls für den Bewerber sprechen, wenn es um soziale Erwünschtheit, aber nicht wenn es wie in der Überschrift des Absatzes um Manipulation durch Abschreiben oder Verwendung fremder Formulierungen geht.

Genau hierin sehe ich letztlich auch das größte Problem dieses Ansatzes. Das Problem des Rattenrennens. Wenn der Algorithmus gewisse Formulierungen gut findet, andere nicht so, dann verwenden Bewerber ja auch genau diese Formulierungen. Das Problem der uniformen Anschreiben ist ja kein neues… Und wenn die KI, um dieses zu erkennen möglicherweise immer ausgefuchster wird, dann wird die KI, die diese austricksen soll, es auch.

Was habe ich gestern gerade gelesen. Forschern der Uni Toronto ist es gelungen, eine KI zu entwickeln, die Merkmale von Gesichtern so verändert, dass die KI von Gesichtserkennungs-Software scheitert… Da erscheint mir die KI-unterstützte Manipulation von geschriebener Sprache noch vergleichsweise Old School…

So, aber nun ist gut. Die Debatte ist eröffnet…

6 Gedanken zu „Persönlichkeitsmessung durch Sprachanalyse. Ein Gastbeitrag. Und eine kritische Betrachtung.

  1. Moin Jo,

    finde ich super, dass Du auf Deinem blog mal wieder über eine Lösung berichtest, auch wenn Du sie eher skeptisch siehst. Schließe mich Dir übrigens an ;-) Und zwar aus folgenden Gründen:
    – Bewerbungsanschreiben: Sind eh Müll! Inhaltlich liefern sie so gut wie keinen Mehrwert. Die wird es eh bald nciht mehr geben! Und sprachlich … tja … ein Bewerbungsschreiben ist ein künstliches Konstrukt, in dem auch ich früher mich angepasst habe. Natürlich schreibe ich anders als andere und ja, sicherlich lässt sich daraus etwas erkennen. Aber mehr als ganz grobe Akzente kann ich mir nicht vorstellen.
    Das bringt uns zu Texten aus anderen Kontexten/Kanälen. Ich frage mich immer wieder, wie valide die paar Worte, die die meisten Menschen auf SoMe schreiben (und in der Art wie sie es tun) das Futter für eine umfangreiche, fundierte Persönlichkeitsanalyse liefern sollen.

    – Viel entscheidender finde ich aber: Analysiert doch bitte nicht ungefragt Material, dass gar nicht für den Zweck zur Verfügung gestellt wird! Dr. Hossiep hat das in meinem podcast (vielen Dank für die Verlinkung, Jo) klar gesagt: Der Teilnehmer muss wissen, worauf er „getestet“ wird. Er muss den Kontext kennen. Natürlich ist dann Manipulation möglich! Die ist aber immer möglich. Wer versucht, Manipulation durch ungefragte Analyse irgendwelcher Daten aus irgendeinem Zusammenhang auszuschließen, manipuliert aus meiner Sicht selber.

    Jetzt muss ich dazu sagen: Ich bin kein Eignungsdiagnostiker! Und ja, vielleicht gibt es ja wirklcih Methoden, gegen die ich mich bloß aus Unwissenheit wehre?

    Allerdings finde ich das Leben so komplex (und berufliche Konstellationen übrigens auch), dass mich Lösungen, die die Komplexität des Lebens nicht abdecken können, eher abschrecken.

    Ich stelle witzigerweise morgen in meinem blog ein Tool vor, das ganz anders funktioniert. Nämlich, in dem es Teilnehmer in entspannter Atmosphäre ganz offen fragt! Manipulation möglich? Auf jeden Fall! Aber warum sollte jemand manipulieren, wenn er den Job haben möchte, der am besten zu ihm/ihr passt?

    Also, ich bin sehr gespannt, was Deine anderen Leser so sagen.

    Herzlichen Gruß,
    Henrik

  2. Hallo Jo,

    starker Artikel – wertvolle Diskussion. Ich sehe das durchaus ähnlich skeptisch, aber Dein Ansatz hier finde ich sehr schön. Daumen hoch!

    Inhaltlich nur eine Anmerkung: Sprache ist auch immer ein Produkt unseres Kontextes (d.h. man spricht idR vermutlich anders auf einer Fachkonferenz, als im Fussballstadion). Von der Software werden Texte im formalen Karrierekontext analysiert und ausgewertet. Formal weil ein Bewerberanschreiben und CV besonders formalisierte Dokumente sind. Vorausgesetzt das Ganze funktioniert (was recht fraglich scheint), würde das aber bedeutet, dass nur ein recht kleiner Ausschnitt zu der Sprache einer Person (hier ein sehr formalisierter Sprachkontext) dann eine Aussage über Persönlichkeitsaspekte einer ganzheitlichen Person machen soll (quasi über über alle Kontexte). Auch diesen Punkt halte ich für fragwürdig und verzerrend.

    Go on, Jo, und Danke.

  3. Lieber Herr Diercks, vielen Dank für die kritischen Kommentare und die Möglichkeit darauf im Folgenden Stellung zu nehmen. Ich bin Daniel Spitzer, Mitgründer und wissenschaftlicher Leiter bei 100 Worte. Ich habe versucht, ihre Kommentare in Zwischenüberschriften aufzugreifen.

    Warum Soft Skills in der Vorauswahl bisher schwer zu erfassen waren:
    Unser Tool soll Personalern dabei helfen, noch bevor Bewerber zu Video- oder Telefoninterviews oder Assessment-Centern eingeladen werden, bereits eine Vorauswahl auf Basis ihrer Soft Skills zu treffen. Gleich ab Eingang der Bewerbungen sollen Personaler in ihren Entscheidungen unterstützt werden.

    Inwiefern ist unser Analysetool manipulierbar?
    Bezüglich der Manipulierbarkeit der Analyse können wir sagen, dass unsere Erfahrung dafürspricht, dass die wenigsten Bewerbungen völlig unabhängig von der Absicht des Bewerbers geschrieben wurden, wenn sie von diesem nicht selbst verfasst wurden. Auch wenn der Bewerber Teile aus erfolgreichen Anschreiben frei nach Copy/Paste das perfekte Motivationsschreiben zusammengestellt hat, ist dies doch nach seiner Absicht entstanden. Sollte eine Bewerbung jedoch gänzlich aus dem Netz kopiert worden sein, können wir in unserer Datenbank auf Musterbewerbungen zurückgreifen, die wir als Plagiatscheck bei jeder zu analysierenden Bewerbung verwenden.

    Zuneigung ist eine Ausprägung der Beziehungsmotivation
    Die Beziehungsmotivation äußert sich beispielsweise über Wörter, die Zuneigung ausdrücken. Wenn jemand einer anderen Person zugeneigt ist und dies in einem Schriftstück zum Ausdruck bringt, kann man davon ausgehen, dass der Verfasser eine verstärkte Beziehungsmotivation hat. Im Kontext von Bewerbungsschreiben wird diese Persönlichkeitseigenschaft zum Beispiel über Wörter wie „teamorientiert“ oder „gemeinsam“ sichtbar. Wenn ein Bewerber solche Inhaltswörter in seinem Anschreiben verwendet, ist mit hoher Wahrscheinlichkeit davon auszugehen, dass es sich um einen beziehungsmotivierten Bewerber handelt.

    Welche Quellen belegen, dass sich das Durchsetzungsvermögen über die Struktur der Sprache ausdrückt?
    Dass sich Persönlichkeitsmerkmale aus der Struktur der Sprache ableiten lassen, zeigen verschiedene Studien. Für einen Überblick des Forschungsstandes empfehle ich den bereits zitierten Artikel von Tausczik und Pennebaker (2010). Für eine Einführung eignet sich auch das eher populärwissenschaftliche Buch The Secret Life of Pronouns: What Our Words Say About Us (Pennebaker, 2011). Wie sich die Durchsetzungsstärke im Speziellen aus der Struktur der Sprache ermitteln lässt, untersuchten u.a. Kacewicz et al. (2013). Die Forscher verglichen die Sprache von Menschen, die entweder einen hohen oder einen niedrigen Status hatten. Konsistent über die vier Experimente hinweg waren überzufällige Unterschiede in der Verwendung von Funktionsworten (namentlich Personalpronomen) zwischen Vergleichs- und Experimentalbedingung feststellbar. Menschen mit hohem Status verwendeten weniger die erste Person Singular, aber häufiger die erste Person Plural. Zu diesem Befund kamen einige Jahre zuvor auch schon Sexton und Helmreich (2000). Sie untersuchten die Sprache von Crew-Mitgliedern in einem Simulator.

    Welche Persönlichkeitsmerkmale werden von Funktionswörtern angezeigt und warum machen sie einen so großen Anteil unserer alltäglichen Sprache aus?
    Die Analyse von Sprache reicht zu den Anfängen der Psychologie zurück. Bereits Sigmund Freud beschäftigte sich 1901 in seinem Werk Zur Psychopathologie des Alltagslebens mit Versprechern und wie diese Aufschluss über Inneres geben können. Rorschach (1921) entwickelte projektive Tests, um über Beschreibungen von mehrdeutigen Tintenflecken auf Motive und Gefühle zu schließen. Und beim Aufkommen von Computern war die Analyse von Texten eines der ersten Anwendungsfelder (z. B. Rosenberg & Tucker, 1978). Die Bedeutung von Funktionswörtern für die Ermittlung von Persönlichkeit in Texten hebt zum ersten Mal James Pennebaker hervor. In den 1980ern untersucht er zunächst Briefe von depressiven Menschen und stellte fest, dass Funktionswörter prädiktiv für Depression sein können (Pennebaker und Beall, 1986). Diesen ersten Befunden folgten weitere und auch andere Wissenschaftler forschten zur Fragestellung, wie Funktionswörter mit Persönlichkeit zusammenhängen. Funktionswörter tragen, anders als Inhaltswörter, nichts zum Verständnis eines Textes bei. Stattdessen dienen sie als Gerüst der Inhaltswörter. Funktionswörter sind z. B. Personalpronomen, Artikel oder Quantoren. In unserem geistigen Wortschatz machen sie nur 0,05% der Wörter aus, die wir kennen. 55% der Wörter, die wir sprechen, schreiben oder lesen, sind allerdings Funktionswörter (vgl. Tausczik, 2009). Daraus ergibt sich auch, dass Funktionswörter bewusst kaum gesteuert werden können. Wollten wir es doch, wäre unsere Sprache abgehakt und unverbunden.

    Warum können wir behaupten, dass die Analyse objektiv ist?
    Mit der Objektivität eines Tests ist die Unabhängigkeit von störenden Außeneinflüssen gemeint. Üblicherweise wird das Gütemaß nochmals in drei Dimensionen aufgeteilt: Durchführungs-, Auswertungs- und Interpretationsobjektivität. Bei erstem können wir natürlich keine Aussage über die Objektivität treffen, da wir nicht wissen, unter welchen Umständen Bewerbungsschreiben verfasst wurden. Dies gilt allerdings im gleichen Maße auch für jeden online ausgefüllten Fragebogen. Lediglich im Assessment-Center lässt sich eine laborähnliche Situation herstellen, die in etwa den Anforderungen der Durchführungsobjektivität genügt. Was die Auswertungsobjektivität angeht, so erlauben wir uns zu behaupten, dass diese gegeben ist. Gegenüber menschlichen Auswertern bringt ein Algorithmus den Vorteil, dass er nicht-relevante Merkmale wie Alter, Geschlecht, Hautfarbe, etc. ignoriert.
    Eine Interpretation der Ergebnisse machen wir nicht. Das ist und bleibt Aufgabe des Personalers. Wir verstehen unser Tool als Informationsquelle für softe Faktoren, die in der frühen Bewerberphase bisher kaum zu erfassen sind.

    Auf welche Datensätze zur Validierung stützen wir uns?
    Bei der Entwicklung der 100 Worte-Analyse wurden zahlreiche psychologische Studien berücksichtigt, an denen Forscher aus verschiedenen Disziplinen beteiligt waren. Die Forscher haben sich bereits die Frage gestellt, wie stark Sprachelemente mit Persönlichkeitsmerkmalen zusammenhängen. Auf deren Befunde beriefen wir uns bei der Konstruktion unserer Auswertung. Daneben haben wir bereits für die Merkmale Stimmung und Geschlecht selbst Validierungen vorgenommen. Aktuell arbeiten wir mit verschiedenen Forschungseinrichtungen (u. a. mit dem psychologischen Institut der Universität Heidelberg) zusammen und werden von dort Datensätze zur Validierung weiterer Persönlichkeitsmerkmale erhalten. Wir planen unsere Befunde in einem wissenschaftlichen Journal zu veröffentlichen.
    Bei der Bewertung der Korrelationsmaße orientieren wir uns an der weithin akzeptierten Empfehlung von Cohen (1988). Jedoch müssen bei der Interpretation der Werte auch die Anwendungsgebiete berücksichtigt werden. Wie bereits beschrieben, sind psychologische Maße schwer zu erfassen, weil sie von mehreren Faktoren bedingt sind. Alle beeinflussenden Faktoren zu erfassen und zu kontrollieren, schafft kein Test. Daher sind in unserem Anwendungsgebiet eher niedrigere Werte zu erwarten. Auch andere Anbieter von Textanalysen sind mit dem Problem der Konfundierung von Zusammenhängen konfrontiert. Ähnlich wie wir, empfiehlt IBM Watson Personality Insights ein Zusammenhangsmaß ab 0,2 als akzeptabel. In diesem Zusammenhang erscheint unsere Formulierung („valide“) irreführend und wäre wohl besser mit der Bezeichnung von IBM zu benennen.

    Literatur:
    Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Hillsdale: Erlbaum.
    Freud, S. (1901). Zur Psychopathologie des Alltagslebens. FISCHER Taschenbuch; Auflage: 3 (1. März 2009)
    Kacewicz, E., Pennebaker, J. W., Davis, M., Jeon, M., & Graesser, A. C. (2013). Pronoun Use Reflects Standings in Social Hierarchies. Journal of Personality and Social Psychology. Vol 33, Issue 2, pp.125-143
    Pennebaker, J. W., & Beall, K. S. (1986). Confronting a traumatic event: Toward an understanding of inhibition and disease. Journal of Abnormal Psychology, 95, 274-281.

    Rorschach, H. (1921). Psychodiagnostik. Leipzig, Germany: Ernst Bircher Verlag.

    Rosenberg, S. D., & Tucker, G. J. (1978). Verbal behavior and schizophrenia: The semantic dimension. Archives of General Psychiatry, 36, 1331-1337.
    Sexton, J. B., & Helmreich, R. L. (2000). Analyzing cockpit communications: The links between language, performance, and workload. Human Performance in Extreme Environments, 5, 63-68.

  4. Hallo Herr Spitzer,

    darauf, dass Sprachelemente mit Persönlichkeitsmerkmalen zusammenhängen möchte ich gar nicht eingehen. Die Literaturhinweise dazu bringen wenig, da das Problem Ihres Ansatzes im Vorgehen liegt.

    Ich konnte kaum glauben, was ich gelesen habe. Sie sind wissenschaftlicher Leiter eines Tools, mit dem Sie entscheiden wollen, welchen Bewerber*innen abgesagt werden soll und welchen nicht. Und dann schreiben Sie, dass Sie ein Verfahren ohne Durchführungsobjektivität haben, aber dennoch danach ausgesucht werden soll!? Eine klare Verletzung der DIN33430 und gegen jede Regel der Kunst. Und Sie haben übrigens mit Ihrem Hinweis auf Online-Tests nicht recht. Es gibt seriöse Persönlichkeitstests, die darauf hinweisen, dass nicht alleine auf der Grundlage des Tests eine Auswahl stattfinden sollte. Auch wenn ich das Vorgehen von Precire ebenfalls kritisch sehe, wird auch dort darauf hingewiesen. Und nur weil es schwarze Schafe gibt, machen Sie das auch?

    Was sollen Validierungsstudien von Hochschulen bringen? Ich nehme an, dort werden Studierende gebeten ein Bewerbungsanschreiben zu verfassen und einen Persönlichkeitstests durchzuführen. Aber das löst doch nicht das Problem des sozial erwünschten Schreibens. Hinzu kommt, dass die Studierenden gar keine Motivation haben unehrlich zu schreiben, im Gegensatz zu den Bewerber*innen, die Sie nachher beurteilen.

    Sie drehen das ständige Problem des sozial erwünschten Antwortens einfach ins Positive, indem Sie sagen, dass wir genug über die Bewerber*innen lernen, wenn wir wissen wie diese denken sein zu müssen für die Stelle bzw. was Ihre Absicht sei. Alle Forscher, die versuchen „Lügenskalen“ oder Bedingungen zu entwickeln, unter denen dieses Phänomen unterdrückt wird, hätten besser so wie sie argumentieren sollen.

    Ob es jemanden weiterhilft, eine Vorauswahl nach Bewerbungsanschreiben durchzuführen, von denen man nicht weiß wer diese schreibt, von denen bezweifelt werden kann, wie ehrlich diese sind und die man aus Texten aus dem Internet zusammenstellen kann, glaube ich nicht.

    Es ist schon irre, wenn man sich Gedanken darüber macht, wieviel Glück (nicht Eignung) Personen haben müssen um einen Job zu bekommen.

    Beste Grüße,
    Christian Reiß

  5. Sehr geehrter Herr Reiß, wir haben diesen Gastbeitrag wohlwissend der konträren Grundhaltung dennoch bei Herrn Diercks Recruiting Blog angefragt und waren positiv eingestimmt, einen auf fachlicher Ebene angelegten und begonnenen Beitrag zur digitalen Transformation in der Arbeitswelt zu geben. Auf die deutlich persönliche Ebene ihres Kommentars ist hier nicht einzugehen. In kurzen Worten jedoch eine Richtigstellung der vorangegangenen Auslegungen, die gerade fachlich zu widerlegen sind.
    @ Anwendung des Competence Monitor, des Tools: In keiner unserer Darstellungen und Informationen wird der Competence Monitor als dezidiert exklusives Anwendungsverfahren herausgestellt. Sowohl in unserem Blogbeitrag als auch im Kommentar versuchten wir darzustellen, dass der Anwender in Gewichtung der Anforderung und Ausprägung entscheidet. Mit der Anwendung ist es möglich sowohl zu strukturieren, einen Erwartungshorizont an die Stelle transparent zu bestimmen, und – in Überprüfung auch der eigenen Position – anzuwenden. Der Competence Monitor ist ein Assistenzsystem.
    @ Durchführungsobjektivität: Es ist falsch wenn Sie unserem Tool vorwerfen nicht durchführungsobjektiv zu sein, weil wir die Bewerber nicht darüber informieren, dass auch andere Kriterien zur Auswahl hinizugezogen werden sollen. Erstens erheben wir an keiner Stelle einen Absolutheitsanspruch wie oben und an anderen Stellen mehrmals formuliert. Zweitens geht es bei der Durchführungsobjektivität zunächst um die Gleichheit der Bedingungen, unter denen ein Test erhoben wird. Hier unterscheiden wir uns – wie von uns schon dargestellt – nicht von anderen Online-Test, die außerhalb des Assessment-Centers erhoben werden.
    Da wir an einer kritischen Diskussion und Auseinandersetzung stets interessiert sind und um Ihnen die Mölglichkeit zu geben, unser Tool besser kennen zu lernen , laden wir Sie nach Heilbronn zu 100 Worte ein.
    Freundliche Grüße, Daniel Spitzer

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.