Vergleich der Ergebnisse einer auf künstlicher Intelligenz basierenden Bewertung mit den von Menschen durchgeführten Bewertungen
Wir veröffentlichen den Untersuchungsplan, bevor die Ergebnisse bekannt gegeben werden. Die Untersuchung besteht darin, die von der künstlichen Intelligenz zu einem bestimmten Gespräch gezogenen Schlussfolgerungen mit den Schlussfolgerungen unabhängiger menschlicher Bewerter zum selben Gespräch zu vergleichen. Die Methodik wurde bereits ausgearbeitet, und nun steht die Testphase bevor - auf dieser Seite wird beschrieben, was wir vorhaben, und nach der Veröffentlichung der Ergebnisse wird diese Seite unter dieser Adresse aktualisiert.
Metaskills Validierungsstudie - Konzeption
Warum einen Entwurf veröffentlichen, bevor die Ergebnisse vorliegen?
Wie ist es aufgebaut? Vergleich
Das gleiche Szenario, zweimal
Der Teilnehmer führt ein strukturiertes Gespräch mit einem auf künstlicher Intelligenz basierenden Avatar und parallel dazu dasselbe Szenario mit einem echten Schauspieler, der sich nach identischen Vorgaben verhält. Es ändert sich nur eine Variable; alle anderen bleiben unverändert.
Zwei unabhängige Gutachter aus einer Gruppe von Personen
Qualifizierte Prüfer analysieren die Transkripte, ohne Zugriff auf die von der künstlichen Intelligenz generierten Ergebnisse zu haben. Genau darum geht es: um die Unabhängigkeit - ein Prüfer, der die maschinengenerierte Antwort gesehen hat, gilt nicht mehr als Kontrollinstanz.
Vorlagen für Beobachtungsbögen
Die Bewerter verwenden spezielle Bewertungsbögen, die auf die zu bewertenden Kompetenzen zugeschnitten sind, und orientieren sich dabei an denselben Dimensionen, Grenzwerten und Leistungsstufen, wie sie im Modell festgelegt sind - sodass sowohl Menschen als auch Maschinen dieselbe Frage beantworten.
Vergleichen Sie die Daten und erstellen Sie anschließend einen Bericht
Die von der künstlichen Intelligenz generierten Ergebnisse sowie die Interpretationen des Verhaltens werden mit den Bewertungen derselben Gespräche durch Menschen verglichen. Die Ergebnisse, einschließlich der Fälle, in denen Abweichungen auftreten, werden unter dieser Adresse veröffentlicht.
Sechs Kompetenzen in der ersten Runde
Anpassungsfähigkeit
Den Ansatz anpassen, wenn sich die Situation ändert, ohne dabei das wesentliche Ergebnis aus den Augen zu verlieren.
Aktives Zuhören
Das Gesagte aufnehmen, überprüfen und widerspiegeln.
Durchsetzungsfähigkeit
Seinen Standpunkt vertreten und Grenzen setzen, ohne dass die Diskussion eskaliert.
Empathie
Die Gefühle des Gegenübers wahrnehmen und darauf eingehen.
Evidenzbasierter Ansatz
Eine Position eher auf Beweise als auf Status oder Umfang stützen.
Aufschlussreiche Klarheit
Eine komplexe Sache für die Person, die tatsächlich im Raum ist, verständlich machen.
Wer nimmt teil, und warum ist das wichtig?
Quelle
Metaskills
2026-08-24
Das Studiendesign wurde von Metaskills in Zusammenarbeit mit einem externen Team aus Spezialisten für Psychometrie und Führungskräftebewertung erstellt. Das Design wurde bereits vor Beginn der Studien veröffentlicht; diese Seite wird unter derselben Adresse mit den Ergebnissen aktualisiert.
Entsprechende Beweise
Das Kompetenzmodell
Die 18 Kompetenzen, die vier Bereiche und die Struktur, die hier validiert werden.
Das KompetenzmodellBenutzerfreundlichkeit von avatarbasierten VR-Schulungen
Eine Studie, in der berichtet wird, dass 47 Teilnehmer die Trainingserfahrung bewertet haben, wobei die eigenen Grenzen der Studie angegeben wurden.
Benutzerfreundlichkeit von avatarbasierten VR-SchulungenForschung und wissenschaftliche Erkenntnisse
Alles, was wir veröffentlicht haben, mit Angabe der Quellen und Einschränkungen.
Forschung und wissenschaftliche Erkenntnisse