Prywatność, stronniczość i ludzki czynnik

Na tej stronie opisano ramy projektowe: zasady i ograniczenia, zgodnie z którymi tworzony jest system Digital Twin. Nie jest to opis systemu produkcyjnego i nie należy go tak traktować. Jeśli chcesz dowiedzieć się, co obecnie działa - gdzie znajdują się dane, kto ma do nich dostęp, co przewidują umowy - zajrzyj na stronę poświęconą bezpieczeństwu; jest to jedyna strona, którą traktujemy jako wiarygodne źródło informacji o aktualnym stanie rzeczy. Chodzi właśnie o to, by rozróżniać te dwie rzeczy: zasada projektowa a wdrożony mechanizm kontroli to dwie różne rzeczy, a ich zacieranie prowadzi do sytuacji, w której dostawcy obiecują infrastrukturę, której w rzeczywistości nie posiadają.

Na tej stronie najczęściej zadaje się dwa pytania: czy dane klientów są wykorzystywane do szkolenia modeli oraz gdzie faktycznie są one przechowywane. Odpowiedzi na oba pytania znajdują się na stronie poświęconej bezpieczeństwu i celowo nie powtarzamy ich tutaj. Zobowiązanie zapisane w dwóch miejscach, w czterech językach, to zobowiązanie, które ostatecznie będzie zawierało dwie różne treści - dlatego istnieje jedna strona, na której są one zawarte, oraz jedna strona, którą należy aktualizować w razie zmian. Opisane tutaj ramy dotyczą sposobu działania procesu oceny. Nie zastępują one dokumentacji technicznej ani umownej, a w przypadku rozbieżności między nimi pierwszeństwo ma strona poświęcona bezpieczeństwu.

Każdemu z tych uprzedzeń przeciwdziała się w ten sam sposób: ocena opiera się na tym, co zostało powiedziane, a nie na tym, jak to brzmiało ani na tym, kto wydawał się to mówić. Silnik otrzymuje polecenie, by ignorować imiona, zaimki i cechy demograficzne, jeśli się pojawią, oraz by nie zwracać uwagi na błędy gramatyczne, zawahania i kolokwializmy, skupiając się na intencji leżącej u ich podstaw. Jest to rozwiązanie projektowe mające na celu przeciwdziałanie uprzedzeniom związanym z elokwencją i stereotypami. W przypadku halucynacji zasada jest bardziej rygorystyczna. Ocena musi zawierać dokładny cytat z transkrypcji, który ją uzasadnia. Jeśli cytatu nie ma, ocena zostaje odrzucona, a nie zgłoszona - twierdzenie dotyczące czyjegoś zachowania, za którym nie stoi żaden cytat, nie jest ustaleniem, lecz domysłem sformułowanym poprawnie gramatycznie. Żadne z tych rozwiązań nie eliminuje stronniczości. Usuwa jednak najłatwiejsze drogi do niej i uwidacznia pozostałe, dlatego badanie walidacyjne jest przeprowadzane w oparciu o ocenę ludzkich ekspertów, a nie w oparciu o nasze własne oczekiwania.

Model oceny pozostawiony samemu sobie ulega dryfowi. Kryteria ulegają rozluźnieniu, to samo zachowanie otrzymuje inną ocenę w marcu niż w styczniu, a nikt tego nie zauważa, ponieważ nie ma punktu odniesienia. Ramy te rozwiązują ten problem poprzez monitorowanie z udziałem człowieka: przeszkoleni oceniający zachowania przeglądają anonimowe próbki transkrypcji w trybie ślepym i porównują swoje oceny z wynikami wygenerowanymi przez system. W przypadku rozbieżności kryteria są ponownie kalibrowane. To właśnie to porównanie stanowi sedno badania walidacyjnego, prowadzonego jako ciągła kontrola, a nie jednorazowa procedura. Uczestnik szkolenia może również poprosić o weryfikację przez człowieka informacji zwrotnej, z którą się nie zgadza. Zautomatyzowana informacja zwrotna, której nie można poddać w wątpliwość, nie jest informacją zwrotną - jest wyrokiem, a ten system nie został zaprojektowany do wydawania wyroków.