Porównywanie jabłek z pomarańczami, albo piernika z wiatrakiem
Czyli o statystykach wdrożeń AI
“62% polskich firm wdraża, lub wdrożyło AI”
Inspiracją dla dzisiejszego posta jest raport firmy EY pt. “Jak polskie firmy wdrażają AI”. Raport jest dostępny w zamian za Waszego maila, a czy warto go przeczytać, dowiecie się już za chwilę.
Stare AI czy nowe AI, oto jest pytanie
Na to, że sam raport jest dostępny (od stycznia 2024) wpadłem przypadkiem. Nie był jakoś mocno reklamowany. Dopiero w marcu pojawiły się w wielu miejscach informacje prasowe z intrygującymi nagłówkami, np. “62% firm produkcyjnych postawiło już na AI” (PAP). Trudno mi było uwierzyć w te liczby. Zacząłem więc podejrzewać, że pewnie rozwiązanie zagadki jest w tym, jak EY definiuje “wdrożenie AI”.
Badania do tego raportu przeprowadzane były w okresie sierpień-wrzesień 2023 (to ważne). I teraz zwróćcie uwagę na ten wykres z tego raportu:
Dodajmy razem “mniej niż rok” i “nie wiem” i wychodzi nam na to, że jakieś 70-80% wdrożeń AI w tych firmach używa technologii starszej niż GenAI (poza fascynatami technologii mało korzystał w kontekście biznesowym z API od OpenAI przed opublikowaniem ChatGPT, nie mówiąc o generowaniu obrazów innymi modelami niż DALL-E, więc przyjmuje się, że “urodziny” komercyjnie dostępnej generatywnej sztucznej inteligencji przypadają na przełom 2022/2023).
Jakie więc “AI” ma na myśli EY?
Z jednej strony raport wzmiankuje wprost GenAI albo EU AI Act, które jest odpowiedzią na możliwości generatywnej sztucznej inteligencji zademonstrowane przez duże modele językowe. Wymienia również korzyści specyficzne dla GenAI. Z drugiej strony, GenAI jest młodą technologią i na pewno nie była wdrażana w polskich firmach 5 czy 10 lat temu.
Gdzieś w raporcie AI jest przedstawione również jako “wyszukiwarki, translatory”. Aha. Czyli już wiemy. EY do jednego worka wrzucił “stare AI” (czyli modele uczenia maszynowego trenowane do konkretnych zastosowań) oraz GenAI, czyli nową generację elastycznych modeli, które nie są trenowane pod konkretne zadanie, są dość wszechstronne i łatwe do przystosowywania do innych zadań.
To oznacza, że jeśli kupiliście Grammarly do firmy, albo korzystacie z inteligentnych podpowiedzi w GMailu, albo korzystacie z automatycznej optymalizacji wyświetlania reklam - brawo, jesteście wśród tych 62% firm “stawiających na AI”. Bo wg autorów raportu, zarówno ChatGPT i oparte na “tradycyjnych” modelach uczenia maszynowego Grammarly to to samo AI.
Można by się zastanowić, czy przypadkiem jednak firmy, które brały udział w badaniu jednak nie trenowały własnych modeli. Skąd wiem, że brano pod uwagę automatyczne podpowiedzi w GMailu (albo inne rozwiązanie z półki), a nie jakąś własną technologię z kosmosu? Podpowiedź jest również w raporcie.
Już we wstępie EY dumnie ogłasza, że większość firm widzi korzyści z wdrożenia AI:
Tak, tak, 80% firm przeprowadziło analizę i potwierdziło korzyści z wdrożenia AI. Brawo.
Ale jak duże to były korzyści? EY albo o to nie pytał, albo respondenci nie wiedzieli, albo padło takie pytanie, ale odpowiedzi głupio było wpisać do raportu. Na szczęście Cognizant w 2020 roku zrobił podobną analizę (na większej grupie) i podał, że zwrot z inwestycji w AI średnio wynosił (uwaga, uwaga): 1.3%, (słownie jeden i trzy dziesiąte procenta, jakby ktoś uważał, że się pomyliłem stawiając przecinek). Biorąc pod uwagę, że rzadko kiedy zwrot z takich inwestycji realizuje się w czasie krótszym niż rok, to można skomentować, że przeciętna inwestycja w AI nie pobiła nawet inflacji. Ten niski wynik można łatwo wytłumaczyć - wg Pactera Technologies, 85% projektów AI kończy się klapą.
Co to oznacza w kontekście raportu?
Jeśli 80% ankietowanych firm po dogłębnej analizie doszło do wniosku, że ma korzyści z wdrożenia AI, to możecie być pewni, że pytania były tak skonstruowane, żeby gotowe rozwiązania oparte o modele uczenia maszynowego weszły w definicję AI i udowodniły, że inwestycja w AI się opłaca. Osiągnięcie na populacji ok. 500 firm (tyle brało udział w badaniu EY) wskaźnika sukcesu ponad 80% oznacza, że znakomita większość firm nie zaryzykowała i kupiła gotowca z półki. I raczej nie było to rozwiązanie oparte o generatywną sztuczną inteligencję.
Rzeczywistość przełomu technologicznego
Opisywanie korzyści specyficznych dla generatywnej sztucznej inteligencji i podpieranie ich badaniami pokazującymi, że 80% firm jest zadowolonych z ekwiwalentu Grammarly jest pewną manipulacją, dość klasyczną zresztą w branży konsultingowej. Ale nie chodzi mi o to, żeby się znęcać nad tą czy inną firmą. Część z nich ma swoją strategię marketingową i konkretny profil klienta, któremu może nie robić różnicy, jakie AI kupuje, byle tylko KPI-e się zgadzały.
Chodzi o to, że systematycznych badań dla GenAI jeszcze nie ma. Są pozytywne przykłady z pojedynczych firm:
Github Copilot - 55% przyspieszenie pracy programistów (plus inne korzyści): https://github.blog/2022-09-07-research-quantifying-github-copilots-impact-on-developer-productivity-and-happiness/
Empik również testował Copilota - 10-20% przyspieszenia pracy programistów: https://itwiz.pl/empik-podsumowuje-testy-wykorzystania-github-copilot-w-pracy-programistow/
Boston Consulting Group - praca konsultantów z ChatGPT wykonywana 25% szybciej i 40% lepiej: https://www.forbes.com/sites/danpontefract/2023/09/29/harvard-and-bcg-unveil-the-double-edged-sword-of-ai-in-the-workplace/?sh=1125671e3f9f
zastępowanie pracowników obsługi klienta w Octopus Energy: https://www.businessinsider.com/ai-work-automation-octopus-energy-greg-jackson-2023-5?IR=T i podobna historia dla firmy Klarna https://www.klarna.com/international/press/klarna-ai-assistant-handles-two-thirds-of-customer-service-chats-in-its-first-month/
I całe mnóstwo wtop (pisałem wcześniej szczegółowo o Air Canada).
I heurystyki osób z branży technologicznej, które wskazują na to, że 90% firm inwestujących w GenAI nie umie poprawnie przeprowadzić procesu zarządzania zmianą (zajrzyjcie do case study Moderny, cytuję tam Brada Millera). Zamiast organicznie sprawdzić, gdzie ta technologia się sprawdza, odgórnie wydaje dyrektywę zastąpienia młotków wkrętarkami akumulatorowymi. Nie wymyśliłem tej analogii. Ładnych paręnaście lat temu, kiedy elektronarzędzia akumulatorowe wchodziły na polski rynek, widziałem podczas remontu pewnego mieszkania pracownika przybijającego gwoździe wkrętarką akumulatorową. Szef firmy remontowej był nowoczesny i kupił sprzęt, ale nie wymienił gwoździ na wkręty i pracownik się pogubił.
Takie są realia przełomu technologicznego: nikt nic nie wie, wszyscy eksperymentują. Dostaliśmy technologię o niespotykanej dotychczas elastyczności i bardzo niskim koszcie dostosowania do konkretnych potrzeb. I musimy się jej nauczyć.
Można do tego eksperymentowania podejść niskokosztowo acz systematycznie (napiszę o tym w najbliższy wtorek). Albo poczekać na gotowe rozwiązania oparte na GenAI (obniżając bieżące koszty inwestycji, ale ryzykując, że firmy z którymi jeszcze dzisiaj możecie konkurować, jutro odjadą Wam w siną dal).
Ale nie dajcie się zrobić w balona, że są gotowe rozwiązania oparte na GenAI dla firm z Waszej branży:
które w gwarantowany sposób przyniosą pozytywny zwrot z inwestycji,
które leżą na półce od kilku lat,
które są tak łatwe do wdrożenia jak Teamsy,
z których 80% klientów jest zadowolona.
Z czym porównać GenAI?
Anglosasi mają takie fajne powiedzenie “comparing apples to oranges”. W języku polskim jest (coraz rzadziej używany) odpowiednik “co ma piernik do wiatraka”. Czytając raport EY miałem więcej takich momentów, w których zastanawiałem się, czy mieszanie nieelastycznego/dedykowanego algorytmu uczenia maszynowego i np. dużych modeli językowych jest uprawnione. To są dwa podejścia technologiczne o wspólnym pierwiastku metodologicznym, ale poza tym bardzo dużo je różni.
Z czym w takim razie można porównywać GenAI? Z internetem. Kiedy w latach 90-tych z wypiekami na twarzy zakładaliśmy pierwsze w życiu konta emailowe, nie śniliśmy jeszcze o Netflixie, przelewach błyskawicznych przez BLIKa na telefon, płaceniu tymże telefonem za parking oraz tym, że płyty CD znikną zanim się na dobre zadomowią.
Z historii wdrożeń modeli uczenia maszynowego w firmach warto się uczyć o problemach, wyzwaniach i źródłach niepowodzeń. Ale dużym błędem jest ekstrapolować ograniczenia starej technologii na nową. Jeśli tak zrobimy, to transformacja z lat 90 na lata 2010 zamiast z YouTube i Netfliksem skończy się z telewizją z tym samym sztywnym predefiniowanym programem, która tylko będzie streamowana przez internet.
Ciekawe niusy
OpenAI przyspiesza z licencjonowaniem tekstów od firm, które takowe mają. CB Insights opublikowało ciekawy timeline:
Onet już jest używany do trenowania modeli OpenAI (nie wiem czy zwróciliście uwagę, że od dłuższego czasu stopka na Onecie twierdzi [podkreślenie moje]: Systematyczne pobieranie treści, danych lub informacji z tej strony internetowej (web scraping), jak również eksploracja tekstu i danych (TDM) (w tym pobieranie i eksploracyjna analiza danych, indeksowanie stron internetowych, korzystanie z treści lub przeszukiwanie z pobieraniem baz danych), czy to przez roboty, web crawlers, oprogramowanie, narzędzia lub dowolną manualną lub zautomatyzowaną metodą, w celu tworzenia lub rozwoju oprogramowania, w tym m.in. szkolenia systemów uczenia maszynowego lub sztucznej inteligencji (AI), bez uprzedniej, wyraźnej zgody Ringier Axel Springer Polska sp. z o.o. (RASP) jest zabronione.).
Czekamy na resztę dużych firm mediowych, które mają treści w polskim języku.