Porównanie wyników oceny opartej na sztucznej inteligencji z ocenami przeprowadzonymi przez ludzi

Każdy dostawca może ogłosić, że jego sztuczna inteligencja pokrywa się z opinią ekspertów, gdy tylko pojawią się dane liczbowe, a niewygodne warianty zostaną po cichu pominięte. Opublikowanie najpierw samej metody jest sposobem na pozbawienie się tej możliwości. Mówiąc wprost: opisane poniżej badania walidacyjne nie zostały jeszcze przeprowadzone. Żadna z informacji na tej stronie nie stanowi wyniku. To, co mamy dzisiaj, to gotowy projekt badania, określony zakres, zdefiniowana grupa uczestników oraz narzędzia oceny, z których będą korzystać oceniający.

Grupa uczestników składa się z pracowników ochrony zdrowia i kierowników klinicznych, którzy wyrazili zgodę na udział w badaniach. Jest to raczej celowe ograniczenie niż kwestia wygody. Kompetencje komunikacyjne są związane z konkretnym kontekstem. Model zweryfikowany na podstawie ćwiczeń przeprowadzanych w centrach oceny absolwentów niewiele mówi o sytuacji, w której konsultant wyjaśnia decyzję dotyczącą leczenia przestraszonej rodzinie lub kierownik oddziału przydziela na nowo obowiązki w trakcie zmiany. Jeśli zamierzamy wykorzystać model kompetencji w zarządzaniu oddziałami (Digital Twin) w ochronie zdrowia, walidacja musi odbywać się z udziałem osób, które faktycznie prowadzą takie rozmowy. Wstępne porównanie, przeprowadzone w odniesieniu do jednej kompetencji podczas kalibracji modelu, wpłynęło na projekt niniejszego badania. Było ono zbyt małe, by stanowić dowód dokładności, i nie przedstawiamy go jako takiego - wskazało nam jednak, w jakich obszarach badanie musiało być bardziej rygorystyczne.