Déjà vu czyli "AI tak dobre jak ekspert"
Może tym razem historia się nie powtórzy... aż tak bardzo.
Moderna, OpenAI i w końcu sensowny model wdrożenia
Inspiracją dla tego maila jest ostatnia historia wdrożenia generatywnej sztucznej inteligencji przez jednego ze światowych gigantów branży farmaceutycznej, firmę Moderna. Ale zacznijmy od kontekstu historycznego, bo wtedy łatwiej Wam będzie zrozumieć, jak bardzo ta historia różni się od podobnych (typu: branża medyczna i AI) na przestrzeni ostatnich 50 lat.
Tak 50 lat, bo chcę sięgnąć do lat 70-tych. Wówczas na Uniwersytecie Stanforda opracowany został komputerowy program MYCIN, który używał dość prymitywnej architektury (którą jednak można zaklasyfikować do “sztucznej inteligencji”) do identyfikacji zakażeń bakteryjnych i odpowiedniego doboru leków i ich dawek. System miał podobną skuteczność co panel pięciu ekspertów. Tak, to było na początku lat 70-tych. MYCIN nigdy nie został wdrożony z przyczyn techniczno-organizacyjnych, ale zainspirował szereg podobnych systemów.
Przez kolejne kilkadziesiąt lat media karmione były historiami spektakularnych sukcesów naukowców, którzy opracowali system “tak dobry jak eksperci” (jakby to była jakaś nowość). Pod spodem zmieniała się technologia, rodzaj danych (w którymś momencie systemy uczenia maszynowego były w stanie analizować obrazy), ale wciąż mieliśmy systemy “tak dobre jak eksperci”. W ostatnich latach na przykład media przewidywały ustami innych “ekspertów”, że radiolodzy będą niepotrzebni, bo pojawiły się systemy, które tak dobrze jak radiolodzy potrafią analizować obrazy z tomografu komputerowego.
Z tego co wiem, żaden radiolog nie został zastąpiony przez AI. Podobnie jak w większości innych przypadków, w których wieszczono ostateczne zwycięstwo technologii nad ekspertyzą (tak, po wprowadzeniu procesorów tekstu takich jak Word, stanowisko stenotypisty zniknęło z kancelarii prawnych, ale prawnicy się ostali - w tym artykule mówię o systemach eksperckich).
Dlaczego? Bo model to nie produkt.
To częsty i podstawowy błąd wynikający z naiwnego postrzegania skomplikowanego kroku jakim jest integracja rzeczywistych (a nie wirtualnych, zdigitalizowanych) procesów z technologią. Model nie jest produktem, wygodne oprogramowanie dla radiologów jest. Model nie jest produktem, wygodne oprogramowanie generujące sensowne artykuły nt. prognozy pogody jest. Model nie jest produktem, poprawny i klarowny kod źródłowy jest.
Niezależnie od tego jakie wyniki w syntetycznych benchmarkach osiąga model, jego integracja z rzeczywistym procesem jest główną przeszkodą, jeśli chodzi o wykorzystanie modelu w praktyce. Systemy AI o porównywalnych kompetencjach do ekspertów mamy od 50 lat. A i tak, nawet w branżach nieregulowanych (czyli np. poza medycyną czy prawem), automatów AI nie ma zbyt wiele. Będzie więcej z czasem, to pewne. Ale to, czy dany model osiąga 50% czy 90% w jakichś testach nie będzie głównym powodem, dla którego takie wdrożenie się uda.
Dlatego też bardzo ucieszyłem się z artykułu opisującego jak Moderna wdrożyła technologię od OpenAI. Jak pominiemy tradycyjny bełkot korporacyjny nt. “zmiany świata”, to znajdziemy kilka perełek, które są zgodne ze zdrowym rozsądkiem (do czego duże modele językowe się nadają), a jednocześnie nie wymagały od Moderny kosmicznych inwestycji.
Po pierwsze, Moderna nie zaczęła od trenowania własnego modelu, lub dotrenowywania modelu od OpenAI. Celem firmy była 100% adopcja (to był “produkt”) a nie jeszcze jeden model uczenia maszynowego.
Po drugie, wykorzystano cały stack technologiczny od OpenAI (łącznie z "Asystentami”) do stworzenia ponad 750 (słownie siedemset pięćdziesięciu) własnych GPT dla wszystkich funkcji w firmie. Tak, nie inwestowano w nowe ulepszone lub skomplikowane procesy. Własne interfejs czatowy (mChat) przegrał w oczach samych pracowników z interfejsem oferowanym przez OpenAI. Ten sam proces tworzenia własnego GPT dostępny dla subskrybentów ChatGPT Plus zagrał i tutaj. Jeden z przykładów dotyczy weryfikacji i analizy danych klinicznych. Proste a i tak wymaga (wielokrotnej) weryfikacji człowieka, więc ryzyko zostało zaadresowane. Inny przykład dotyczy komunikacji korporacyjnej - też super.
Po trzecie, użyto procesu, który sami rekomendujemy - zmiana odbyła się przy udziale “czempionów AI” (oczywiście - duża firma to czempionów było więcej niż jeden). Dzięki temu osiągnięto kosmiczny wynik wdrożenia - każdy użytkownik ChatGPT Enterprise z tej firmy ma średnio 120 konwersacji z wewnętrznymi GPT tygodniowo.
CIO Moderny, Brad Miller podsumował to słowami:
90% firm chce wdrożyć GenAI (Generatywną Sztuczną Inteligencję), ale tylko 10% z nich odnosi sukces. Powodem niepowodzenia jest to, że te firmy nie zbudowały mechanizmów faktycznej transformacji, aby dostosować się do nowych technologii i możliwości.
To jak Moderna wdrożyła AI jest wyjątkiem w historii wdrożeń nowych technologii w firmach. Zazwyczaj odbywa się to w cyklu: 1.) mamy dane, które pasują do nowej technologii 2.) budujemy własny model, który da nam przewagę konkurencyjną, który jest “tak dobry jak ekspert” 3.) szukamy (bezskutecznie) sposobu na praktyczne wdrożenie przygotowanego modelu/narzędzia, bo nigdzie nie pasuje idealnie 4.) minęło kilka lat, pojawiła się nowa ekscytująca technologia, zarzucamy projekt 5.) powtarzamy cykl, bo to nie jest tak, że wdrożenie się nie powiodło, tylko po prostu model był za słaby - i wracamy do punktu 1.).
Uczmy się od Moderny.
Wydarzenia
W ramach długofalowej współpracy z Katarzyną Lorenc z BizYou organizujemy otwarte szkolenie “Doskonałość AI w HR”. Przygotowaliśmy naprawdę ciekawy i mocno praktyczny program i nie omieszkamy pokazać kilku kompromitujących przykładów, jak w tej branży nieudanie wdrażano generatywną sztuczną inteligencję. Szkolenie dedykowane jest osobom, które kształtują politykę personalną w firmach, także jako eksperci HR. Jeśli jesteś taką osobą lub znasz kogoś w tej roli - zapraszamy!
Ciekawe niusy
Otwarte rozwiązania dogoniły szybko firmy, które próbowały użyć modeli graficznych do stworzenia usług, pozwalających “wirtualnie” przymierzyć dowolne ubranie. Działa to na tyle dobrze, że spodziewajcie się pod koniec tego, lub w przyszłym roku, że kupowanie ubrań w sieci baaardzo się zmieni. Jednym z takich przykładów jest IDM-VTON (możecie pobawić się sami) - demo zostawię bez komentarza (input to zdjęcie Willa Smitha i t-shirta):
