Bei CYQUEST haben wir schon zahlreiche Online-Assessments mit Recrutainment entwickelt, beispielsweise die Online-Assessments von Telekom, BARMER oder Douglas.

Was genau möchten wir aber eigentlich mit den Recrutainment-Anteilen erreichen?

Kurz gesagt: Die BewerberInnen sollen im Online-Assessment nicht nur getestet werden. Es geht aber auch nicht darum nur unterhalten werden, sondern auch und vor allem darum, mit Informationen zum Unternehmen und den ausgeschriebenen Stellen versorgt zu werden. Wir möchten ihnen damit ermöglichen, während des Online-Assessments Wissen über das Unternehmen und die Anforderungen zu erwerben, um sich ein möglichst realistisches Bild von ihrem potentiellen zukünftigen Arbeitgeber machen zu können. Sie lernen also optimalerweise, während sie das Online-Assessment bearbeiten. Und je mehr die psychometrischen Verfahren spielerisch eingebettet sind, desto höher wird vermutlich auch die Akzeptanz und die Candidate Experience ausfallen, weil sowohl das Unternehmen als auch das Online-Assessment an sich mit einem positiven Gesamteindruck punkten.

So die Annahmen. Aber welche empirischen Erkenntnisse gibt es dazu bereits?

Hillers und Dries (2016) fanden heraus, dass spielerische Elemente zu einem signifikant höheren Interesse am Unternehmen führen können. Auf die reinen Akzeptanzwerte (gemessen über die AKZEPT!-Skala von Kersting, 2008) hatten die spielerischen Elemente in ihrer Untersuchung allerdings keinen Einfluss. Diesbezüglich schnitten die Tests fast identisch ab – egal, ob sie vollkommen neutral vorgegeben wurden oder Spielelemente enthielten. Es gibt aber auch Hinweise darauf, dass auch die Akzeptanz an sich von Recrutainment profitiert. Kupka (2013) analysierte die Daten von fast 1.000 BewerberInnen in echten Auswahlsituationen, die an Online-Assessments mit Recrutainment-Format teilnahmen. Dabei zeigte sich eine deutlich höhere Augenscheinvalidität und ein besseres Gesamturteil für die Assessments mit Recrutainment. Zum Vergleich zog er damals die berichteten Akzeptanzwerte anderer Studien heran, in denen klassische Intelligenztests wie der IST-2000R bearbeitet wurden.

Was ebenfalls einen Einfluss auf die Bewertung eines Online-Assessments haben dürfte, ist der Berufsbezug. Und damit meinen wir nicht nur den Berufsbezug, der über die oben beschriebenen – die Testverfahren begleitenden – spielerischen Elemente hergestellt werden kann. Vielmehr geht es uns um den Berufsbezug der Items und psychometrischen Testverfahren an sich. Und das kann neben der Rahmenhandlung und den Zusatzinformationen ebenfalls ein Aspekt des Recrutainments sein, der auch bei Kupka (2013) vorhanden war. Hier lautet unsere Annahme: Je mehr Berufsbezug die Items aufweisen, desto höher sollte die Augenscheinvalidität und damit die Testakzeptanz insgesamt ausfallen. Benit (2013) verglich einen abstrakten Matrizentest mit einem berufsbezogenen Matrizentest (der berufsbezogene Symbole enthielt) und stellte fest, dass der Test mit Berufsbezug eine höhere Augenscheinvalidität erreichte. Auch der von ihm entwickelte berufsbezogene kognitive Leistungstest erreichte eine höhere Akzeptanz als ein allgemeiner Intelligenztest. Der Berufsbezug scheint also ein vielversprechender Ansatz zu sein, um die Akzeptanz eines Online-Assessments zu steigern. Dies sieht auch Kanning (2015) so, der ebenfalls angibt, dass Testverfahren positiver bewertet werden, wenn sie einen deutlichen Bezug zum Berufsfeld herstellen.

Wir haben dazu kürzlich eigene Daten erhoben. Zum Einsatz kam ein neu entwickelter Multitasking-Test mit Berufsbezug. Dabei realisierte sich der Berufsbezug auf zwei verschiedenen Ebenen:

1. Itemmaterial: Es werden Chatanfragen und berufsbezogene Konzentrationstestaufgaben in Form eines Adressenvergleichs verwendet.
2. Testsituation: Wie häufig in beruflichen Situationen ist Multitasking erforderlich, da beide Aufgaben parallel bearbeitet werden müssen.

Die TeilnehmerInnen bearbeiteten zudem zwei Testverfahren mit weniger Berufsbezug: Das waren zum einen Zahlenreihen – ein klassisches Intelligenztestverfahren – und zum anderen ein Konzentrationstest, bei dem Soll-Ist-Zahlen verglichen werden mussten. Alle drei Testverfahren waren sehr ähnlich gestaltet und hatten jeweils eine umfangreiche Einführung, in der transparent dargestellt wurde, warum sie eingesetzt wurden.

Als Akzeptanzkriterien interessierten uns insbesondere drei Maße:

• Die Augenscheinvalidität
• Der wahrgenommene Spaß am Test
• Die Gesamtbewertung des Tests

Die Ergebnisse der Akzeptanzwerte

Die verschiedenen Akzeptanzkriterien wurden nach jedem bearbeiteten Test durch jeweils ein Item bei den TeilnehmerInnen abgefragt. Somit ergaben sich für alle drei Testverfahren separate Akzeptanzwerte, die mittels statistischer Analysen einen Vergleich des berufsbezogenen Verfahrens mit den weniger berufsbezogenen Verfahren zuließen. Die folgenden Diagramme verdeutlichen die unterschiedlichen Bewertungen in den drei Kriterien der Testakzeptanz. Der berufsbezogene Multitasking-Test schneidet im Vergleich zu den Testverfahren mit weniger Berufsbezug in allen Akzeptanzbereichen signifikant besser ab. Die dazugehörigen Effektstärken liegen im mittleren bis hohen Bereich.

Die Augenscheinvalidität wurde mit einem Item aus der AKZEPT!-Skala von Kersting (2008) gemessen („Die Testaufgaben spiegeln Anforderungen wider, die auch im Berufsleben gefordert sind.“).

Mit einer durchschnittlichen Bewertung von 6,95 (SD = 2,60) schneidet der Multitasking-Test signifikant besser in der Bewertung der Augenscheinvalidität ab als die Testverfahren Zahlenreihen (M = 4,69, SD = 2,67, d = 0,72) und der Vergleich von Soll-Ist-Zahlen (M = 5,8, SD = 2,67, d = 0,42).

Der wahrgenommene Spaß an dem Test wurde mit einem Item aus der Recrutainment-Skala von Kupka (2013) erfasst („Die Teilnahme an dem Test hat mir Spaß gemacht.“).

Der wahrgenommene Spaß an dem Test fällt mit einem durchschnittlichen Wert von 7,03 (SD = 2,51) beim Multitasking-Test am höchsten aus. Damit unterscheidet sich die Bewertung signifikant zu den Bewertungen der Zahlenreihen (M = 5,15, SD = 3,21, d = 0,52) und dem Vergleich von Soll-Ist-Zahlen (M = 5,47, SD = 2,65, d = 0,52).

Für die Gesamtbewertung vergaben die TeilnehmerInnen eine Schulnote. Dafür wurde ein Item angelehnt an die AKZEPT!-Skala von Kersting (2008) verwendet („Welche Schulnote würden Sie dem Test geben?“).

Mit einer durchschnittlichen Note von 1,89 (SD = 0,77) erhält der Multitasking-Test eine signifikant bessere Gesamtbewertung als die anderen beiden Testverfahren (d = 0,57 bei den Zahlenreihen und d = 0,51 beim Soll-Ist-Zahlen-Vergleich). Die Durchschnittsnote der Zahlenreihen liegt bei 2,63 (SD = 1,28) und vom Soll-Ist-Zahlen Vergleich bei 2,48 (SD = 1,12).

Auch für die meisten anderen Akzeptanzitems (z.B. Kontrollierbarkeit und Belastungsfreiheit) fanden sich signifikante Unterschiede zugunsten des Multitasking-Tests, allerdings mit niedrigeren Effektstärken.

Was bedeuten die Ergebnisse für den Einsatz von Testverfahren in der Praxis?

Die Ergebnisse legen nahe, dass vor allem Testverfahren mit deutlich erkennbarem Berufsbezug von den TeilnehmerInnen in den abgefragten Akzeptanzkriterien besser bewertet werden. Die Augenscheinvalidität, der wahrgenommene Spaß sowie die Gesamtbewertung fallen bei dem berufsbezogenen Multitasking-Test signifikant höher aus als bei den beiden Testverfahren mit deutlich weniger Berufsbezug.

Für die unternehmerische Praxis bedeutet dies, dass ein stimmiger Auswahlprozess nicht bei den Testverfahren aufhören sollte. Oftmals erleben die BewerberInnen hier den ersten richtigen Unternehmenskontakt. Neben den klassischen Gütekriterien und insbesondere der prognostischen Validität sollte die berufsbezogene Formulierung und damit einhergehend eine möglichst hohe Akzeptanz durch die BewerberInnen eine Rolle bei der Auswahl von Testverfahren spielen. Für den optimalen Einsatz in der Praxis sollten Testverfahren daher Berufsbezug herstellen.

Verwendete Literatur:

Benit, N. (2013). Man kann nicht immer alles haben? Vereinbarkeit von Validität und Akzeptanz bei eignungsdiagnostischen Auswahlverfahren. Dissertation. Hildesheim: Stiftung Universität Hildesheim. Online verfügbar unter: https://hildok.bsz-bw.de/frontdoor/index/index/year/2013/docId/167 (letzter Abruf am 19.05.2022)

Hillers, M. & Dries, C. (2016). Spiel oder Ernst? Eine experimentelle Untersuchung zur Wirkung von Spielelementen auf die Akzeptanz diagnostischer Verfahren. Vortrag bei der 20. Fachtagung der GWPs in Hamburg am 27.02.2016. Online verfügbar unter: https://www.ki-management.com/frontend/media/downloads/publikationen/160227_recrutainment_hillers_dries.pdf (letzter Abruf am 19.05.2022)

Kanning, U. P. (2015). Personalauswahl zwischen Anspruch und Wirklichkeit: Eine wirtschaftspsychologische Analyse. Berlin: Springer.

Kersting, M. (2008). Zur Akzeptanz von Intelligenz- und Leistungstests. Report Psychologie, 33, 420-433.

Weitere Informationen zum AKZEPT! sind online verfügbar unter: http://kersting-internet.de/testentwicklungen/akzept-fragebogen/ (letzter Abruf am 19.05.2022)

Kupka, K. (2013). Online-Assessments im Recrutainment-Format: Wie gefällt das eigentlich den Bewerbern in der echten Auswahlsituation? In J. Diercks & K. Kupka (Hrsg.), Recrutainment. Spielerische Ansätze in Personalmarketing und -auswahl (S. 53-66). Wiesbaden: Springer Gabler.

Autorinnen: Svea Hasenberg und Yasmin Fares