Einsatz von Retorio im Personalwesen

Retorio wurde 2018 von Dr. Christoph Hohenberger und Dr. Patrick Oehler an der TU München gegründet. Ziel des Unternehmens ist es, Jobsuchenden und Firmen mittels neuer Technologien dabei zu helfen, bessere Entscheidungen zu treffen, fairere Prozesse zu gestalten und möglichst vielen Menschen Zugang zu individualisierter und möglichst persönlicher Weiterbildung zu ermöglichen.

Um ein besseres Verständnis zu vermitteln, was Retorio ist und wie es funktioniert, haben wir die wichtigsten Fragen und Antworten zu Retorio im Folgenden zusammengefasst.

Executive Summary

Unsere Nutzenversprechen:

• Ungleichbehandlung in HR-Prozessen durch Standardisierung und Daten vorbeugen.
• Die Person ins Zentrum des Bewerbungsprozesses stellen.
• Jobsuchende in der Vorbereitung von Interviews unterstützen.
• Zugang zu individualisierten Trainings ermöglichen.

Wie funktioniert Retorio:

• Retorios KI misst beobachtetes Verhalten und Wirkung anhand von Videoaufzeichnungen (keine Diagnostik im klassischen Sinne).
• Recruiter sehen sich zunächst Bewerbungsvideos an, anschließend stellt Retorio eine Zweitmeinung bereit.
• Retorio trifft keine Personalentscheidungen sondern bildet eine Datengrundlage.
• Retorios KI ist nicht selbstlernend.

Wie zuverlässig ist Retorio: 

• Retorio ist ca. 92% präzise. Wie in jedem anderen Messverfahren gibt es Messabweichungen (ca. 8%). Diese führen jedoch zu keiner systematischen Benachteiligung.
• Die KI wurde an weltweit 100.000 Personen getestet und diskriminiert nachweislich nicht.
• Als Grundlage für Retorio dienen empirische und wissenschaftliche Studien.

Die Retorio User Experience:

• Nutzer/innen  bestimmen selbst, ob sie teilnehmen und welche Videos sie einreichen. 
• Es besteht keine Pflicht zur Teilnahme für Bewerber bzw. Bewerberinnen.
• Mit Retorio erhält jede/r Bewerber/in die Chance, einen persönlichen Eindruck zu hinterlassen.

Welches Problem löst Retorio eigentlich?

Retorio wird vor allem in Personalprozessen eingesetzt, um z.B. Unternehmen bei der Auswahl von Mitarbeitern und Mitarbeiterinnen zu unterstützen und Personalentwicklungsmaßnahmen zu begleiten.

Hierbei handelt es sich um erfolgskritische Prozesse, die stark durch unterbewusste Einflüsse geprägt werden. Die große Bedeutung des Bauchgefühls seitens der Entscheider hat teils gravierende Konsequenzen.

Ungleichbehandlung in Personalprozessen

In Deutschland (und in vielen anderen Ländern) werden Bewerbende nach wie vor aufgrund ihrer Hautfarbe, Religion, und Kultur diskriminiert, und dies in teils drastischen Ausmaßen. 

Anhand eines Feldexperiments, zeigt z.B. eine Studie des Wissenschaftszentrum für Sozialforschung (WZB) von 2018, dass z.B. schwarze und weiße Bewerbende in Deutschland signifikant unterschiedlich behandelt werden, selbst wenn sie sich mit einem identischen Lebenslauf bewerben.  

Veränderung der positiven Rückmeldungsquote für Bewerbende mit und ohne Migrationshintergrund nach Koopmans et al (2018).

Je nach Religion und Phänotyp (kontrolliert für Berufsgruppe, Geschlecht, Noten, etc…).

Wie die zitierte WZB-Studie zeigt, haben in Deutschland bereits der Name und die Hautfarbe der Bewerbenden einen deutlichen Einfluss auf die Wahrscheinlichkeit, für ein Bewerbungsgespräch eingeladen zu werden. Bewerbende mit einem türkischen Nachnamen wurden z.B bei gleicher Eignung ca. 22% weniger oft für ein Gespräch eingeladen. Allein die Tatsache, ob jemand türkische oder deutsche Eltern hat, hatte mehr Einfluss auf die Wahrscheinlichkeit, in ein Bewerbungsgespräch eingeladen zu werden, als alle anderen Angaben im Lebenslauf.

Überlastete Personalabteilungen 

Für viele Firmen hat sich die Anzahl der Bewerbungen auf eine Stelle in der Krise drastisch erhöht. Überlasteten Personalabteilungen bleibt oftmals wenig Zeit für die Vor- und Nachbereitung ihrer Gespräche. Sie müssen sich in ihrem beschleunigten Arbeitsalltag auf ihre Intuition verlassen.

Wie aus der Wissenschaft bekannt ist, können schon einfache Störfaktoren wie Schlafmangel, Anstrengung über den Tag hinweg, oder die Menge an Auswahloptionen unser Urteilsvermögen beeinflussen. In der aktuellen Covid-19-Situation sind viele Personaler und Personalerinnen besonders überlastet. 

Ohne neuartige Technologien, wie Retorio, ist es somit unausweichlich, dass nur ein Bruchteil der Bewerber eine faire Chance erhält, einen persönlichen Eindruck zu hinterlassen. Und selbst wenn eine persönliche Interaktion stattfindet, so ist es wahrscheinlich, dass Einstellungsentscheidungen unter Zeitdruck und ohne fundierte Datenbasis getroffen werden.

Wie unterstützt Retorio Bewerbende und Personalabteilungen?

Aus unserer eigenen Forschung wissen wir: Künstliche Intelligenz kann eingesetzt werden, um Diskriminierung und Arbeitsüberlastung vorzubeugen. 

Talente objektiver beurteilen

Menschen verlassen sich in der Beurteilung anderer Menschen zumeist auf ihre Intuition. Die kann in vielen Fällen von Vorteil sein, sich aber auch nachteilig auswirken. Wenn Menschen viel Erfahrung haben, dann kann sich diese Intuition verfestigen und ist nur schwer zu ändern. Menschen sind nur begrenzt aufnahmefähig und werden auch mit mehr Erfahrung nicht aufnahmefähiger.

Retorios KI hingegen hat gelernt, Menschen unabhängig von ihrer Hautfarbe, ihres Geschlechts, oder ihres Alters zu betrachten. Zudem spiegelt Retorios Ergebnis die Wahrnehmung tausender Menschen gleichzeitig wieder. KI kann den Dialekt einer Person, den Hintergrund eines Bewerbungsvideos oder die Haarfarbe der Bewerbenden in der Beurteilung per Knopfdruck ein oder ausschalten. Für Menschen ist das deutlich schwieriger.

Mehr Talente berücksichtigen

Der Einsatz von Retorio bringt weitere Vorteile mit sich:

Während sich in der Vergangenheit in der Regel nur ein Bruchteil aller Bewerber persönlich vorstellen konnte, stellt Retorio sicher, dass sich jede(r) einzelne Bewerberende vorstellen und genau das zeigen kann, was aus einem Lebenslauf nicht hervorgeht: Wer er oder sie ist.

Bewerbende kontrollieren dabei selbst, welche Videos sie von sich abschicken. Anders als bei einem persönlichen Vorgespräch, gibt es durch die Wiederholung der Aufnahme eine zweite Chance. Sind sie unzufrieden mit ihrem Auftreten, können Bewerbende ihre Daten einfach löschen lassen. 

Personalsuchende sehen sich jede eingegangene Videobewerbung an und bilden sich ein eigenes Urteil. Diese Vorstellung wird ergänzt durch die Einschätzung Retorios, die Entscheidern eine nüchterne und datenbasierte Beschreibung der Person bietet. Dadurch werden Biase vermieden und Unternehmen gelangen zu einer deutlich breiter abgestützten und unvoreingenommenen Bewertung.

Manche Unternehmen spiegeln Bewerbenden die Bewertung der Retorio KI zurück. So ist Transparenz sichergestellt und Bewerbende lernen aus ihrer Erfahrung.

Grundsätzlich gilt: Menschen neigen leider zu Diskriminierung. Maschinen sind grundsätzlich neutral. Sie lernen zwar in Einzelfällen aus menschlicher Diskriminierung. Hierdurch wird die Diskriminierung jedoch erst sichtbar. Wenn man nun die Maschinen abstellt, löst dies das eigentliche Problem nicht sondern verbirgt es nur. Im Gegensatz zu Menschen lassen sich Maschinen deutlich einfacher korrigieren.

Wie funktioniert Retorio eigentlich?

Retorio setzt Machine Learning Technologien ein, um aus Videodaten menschliches Verhalten zu beschreiben und hieraus eine zusammengefasste Beschreibung nach dem wissenschaftlich fundierten Big5-Persönlichkeitsmodell abzugeben. Das Retorio-Verfahren vereint Machine-Learning Ansätze und sogenannte Big-5 Observer-Ratings, die in einen großen Basisdatensatz einfließen.

Funktionsweise Retorio KI

Abgrenzung ggü. traditionellen Algorithmen

Machine Learning

Die beschriebenen Daten werden anhand von Machine Learning Verfahren ausgewertet. Dabei handelt es sich um statistische Verfahren, über die verschiedene “KI”-Modelle antrainiert und getestet werden. Retorio setzt z.B. neuronale Netze und NLP ein, um aus Videodaten Gesichtsausdruck, Gestik, Stimme und menschliches Verhalten zu analysieren und aus dem Verhalten heraus ein Persönlichkeitsprofil nach dem wissenschaftlich fundierten Big-5-Persönlichkeitsmodell zu erstellen.

Die Modelle haben weder ein Bewusstsein noch eine Intuition. Sie sind auf Daten als Erfahrung angewiesen. D.h. eine KI ist eine Ansammlung von Erfahrungen (Datenpunkten). Dabei gilt nicht, dass allein die Masse der Erfahrungen ausschlaggebend ist, sondern, die Art der Daten, die Datenvielfalt und die Datenqualität. Wir orientieren uns in der Generierung von Datensätzen an wissenschaftlichen Taxonomien, wie dem Big-5 Modell.

Die Vorgehensweise unserer KI ist dabei grundsätzlich nachvollziehbar; Es handelt sich um keine Black-Box, die willkürlich Ergebnisse ausspuckt. Selbst komplexe neuronale Netze sind letztendlich auch nur statistische Modelle, deren Funktionsweise mittels systematischer Tests nachvollziehbar wird. Die Kombination verschiedener Machine-Learning-Verfahren bietet zudem Sicherheit und tiefere Erkenntnisse.

Psychologische Grundlagen

Retorio basiert auf dem wissenschaftlich validierten Big-5 Modell. Das Big-5 Modell beschreibt die Persönlichkeit einer Person anhand von fünf Dimensionen: 

• Offenheit
• Gewissenhaftigkeit
• Extraversion
• Verträglichkeit 
• und Neurotizismus (emotionale Stabilität). 

Jede dieser Eigenschaften besitzt weitere beschreibende Subdimensionen. Offenheit basiert z.B. auf den Unterdimensionen intellektuelle Neugierde, ästhetisches Interesse und kreative Vorstellungskraft. Gewissenhaftigkeit misst das Verhalten einer Person in Bezug auf ihr Leistungsstreben oder ihre Impulskontrolle. Extraversion beschreibt das soziale Verhalten einer Person, ihre Energiegeladenheit und ihr Durchsetzungsvermögen. Verträglichkeit erfasst wie mitfühlend oder sanftmütig eine Person ist. Wichtig ist, dass das Modell nicht zwischen gut oder schlecht unterscheidet. Es erfasst lediglich den Eindruck, den die Person im Video vermittelt.

Retorio beschreibt Persönlichkeit anhand von Verhalten, und nicht (wie oft üblich) anhand einer fragebogenbasierten Selbsteinschätzung. Menschen neigen in fragebogenbasierten Tests zu strategischen Antworten. Sie versuchen die Chancen einer Einstellung zu maximieren und geben somit ein falsches Selbstbild ab

Studien zeigen hingegen, dass Außenwahrnehmung von Persönlichkeit oftmals relevanter ist im Job, als die Selbsteinschätzung einer Person. Sie kann sogar von Fremden zuverlässig erfasst werden. Eine verhaltensbasierte Big-5 Bewertung kann zwar grundsätzlich auch beeinflusst werden, jedoch erfordert dies mehr, als ein paar falsche Kreuzchen auf einem Blatt Papier. Bewerber/Mitarbeiter müssen für eine veränderte Beurteilung ihr Verhalten (konsistent und glaubwürdig) verändern.

Eine Person, die in der Lage ist, durch ihr Verhalten eine veränderte Persönlichkeit zum Ausdruck zu bringen, wird hierfür nicht "bestraft". Schließlich kann auch angelerntes Verhalten zu beruflichem Erfolg führen. Diese Tatsache bietet eine Grundlage für den Einsatz von Retorio im Rahmen von Trainings und Weiterbildungen.

Datensatz

In Retorios Verfahren wurde zunächst ein Video-Datensatz mit 12.000 Personen geschaffen, die von 2.500 Beobachtern aus fünf Kontinenten anhand der Big 5 Taxonomie bewertet wurden. Die Personen in den Videos sind ebenfalls gleichmäßig bzgl. Geschlecht, Ethnie und Alter verteilt. Um maximale Objektivität sicherzustellen, wurden mehrere Bewertungen pro Video eingeholt. 

Retorio setzt bewusst auf Bewertungen aus unterschiedlichen Bevölkerungsgruppen, um zu möglichst repräsentativen Ergebnissen zu gelangen und Voreingenommenheit (die ggf. in Personalabteilungen vorhanden ist) zu vermeiden.

Genauigkeit

Die Vorhersageprognose gibt an, wie weit Retorios Vorhersagen im Durchschnitt von der Wahrnehmung entfernt sind, die eine repräsentative Gruppe von Menschen gegenüber einem Individuum hat. Dabei erreicht Retorio eine Genauigkeit von ca. 92%. 

Im Versuch, die Außenwirkung einer Person anhand der Big-5 Taxonomie vorherzusagen, beobachten wir somit im Durchschnitt eine Abweichung von ca. 8%. Diese Abweichung entspricht dem Messfehler unserer Verfahrens. 

Hierbei ist zu beachten, dass unsere KI für einen speziellen Zweck antrainiert wurde: Nämlich typische Bewerbungsvideos oder Alltagssituationen in Organisationen auszuwerten. Die KI ist nicht dafür geeignet, Videos auszuwerten, die in anderen Kontexten entstanden sind (z.B. Filme, Fernsehbeiträge, etc.). 

Debiasing und Vorbeugung von Diskriminierung 

Wir stellen sicher, dass der zu erwartende Messfehler nicht systematisch auftritt, indem wir die von Beurteilenden abgegebenen Big-5 Bewertungen auf mögliche systematische Verzerrungen (z.B. Diskriminierung) überprüfen. 

“Aus algorithmenbasierten Differenzierungen werden insbesondere dann Diskriminierungen, wenn sie eine ungerechtfertigte Benachteiligung von Personen darstellen, die durch geschützte Merkmale (insbesondere Alter, Geschlecht, ethnische Herkunft, Religion, sexuelle Orientierung oder Behinderung) gekennzeichnet sind”

(Quelle: Antidiskriminierungsstelle des Bundes)

Retorio stellt sicher, dass nur Faktoren, die in der Hand des Bewerbenden liegen, in das Ergebnis einfließen. Zum Beispiel vergleichen wir in unseren Datensätzen die Mittelwerte der Big-5 Dimension Extraversion zwischen Kaukasier/innen und Schwarzen. Wenn wir signifikante Mittelwertunterschiede entdeckten, die auf die Zugehörigkeit zu einer Gruppe zurückzuführen sind, gleichen wir den Mittelwert und die Verteilung an, um diskriminierende Verzerrungen in den Trainings- und Testsätzen auszugleichen. 

Die korrigierten Modelle testen wir regelmäßig anhand von großen, wissenschaftlich fundierten Datensätzen, wie z.B. dem Fairface Datensatz der UCLA, der ca. 100.000 Personen aus verschiedenen Kulturen, Altersgruppen, etc. enthält. Unsere Ergebnisse veröffentlichen wir transparent. (https://f.hubspotusercontent40.net/hubfs/4733742/AI%20Personality%20Whitepaper.pdf). Unsere Untersuchungen zeigen deutlich auf, dass Retorio Bewerbende unabhängig von ihrer Hautfarbe, ihres Geschlechts oder Alters beurteilt.

Ergebnisse Retorio Big-5 Auswertung über verschiedene Bevölkerungsgruppen hinweg (Stichprobe = 100.000 Teilnehmer)

Zusammenfassung

Mit Retorio bekämpfen wir wichtige gesellschaftliche Probleme, wie Diskriminierung von Bewerbenden und Mitarbeiterüberbelastung. Gleichzeitig sehen wir, dass unsere KI selbst in einem frühen Stadium, bereits einen großen Beitrag zur Behebung dieser Probleme leisten kann. Zudem lernen Technologien wie Retorio aus Daten, die durch ihre Nutzung generiert werden. Somit ist die frühe Nutzung der Technologie entscheidend für ihren späteren Erfolg.

KI Systeme im Personalwesen sind vergleichbar mit Assistenzsystemen in Autos. Selbst wenn bestehenden KI-Technologien in Autos noch nicht unbedingt sicher genug sind, um menschliche Fahrende zu ersetzen, können sie als Assistenzsystem bereits heute viele Unfälle vermeiden. Ähnlich wie im Auto, schafft auch im Personalbereich die Kombination aus Mensch und Maschine derzeit maximale Sicherheit. Gleichzeitig lernt die Maschine und wird zunehmend zuverlässiger in ihrem Urteil. Der frühe Einsatz der Technologie zahlt sich somit langfristig aus.

Sollten Sie Interesse an unserer Technologie gewonnen haben, so können Sie sich hier mit uns in Kontakt setzen und Retorio gratis testen.