O możliwościach AI: "gorzej niż losowo"

Czyli o alarmistycznych "nie działa!"

AI nie potrafi [wstawmy coś tutaj], odcinek 1744

Świat ludzi zainteresowanych sztuczną inteligencją dojrzał w ostatnich miesiącach do bardzo trzeźwej oceny możliwości tej technologii. Dyskusje nt. AGI (Artificial General Intelligence, AI o poziomie porównywalnym z ludzkim intelektem, zwłaszcza w zakresie uczenia się i niezależności funkcjonowania) dość mocno osłabły. Inwestorzy z branży technologicznej zaczęli głosować swoimi pieniędzmi, że przełom na miarę AGI nie wydarzy się w najbliższych latach (tutaj mam na myśli inwestowanie w firmy AI, które pojawienie się AGI powinno zmieść w jednej chwili z rynku). Nie ma też długich dywagacji nt. broni biologicznej czy nanorobotów projektowanych przez AI.

Świat poza AI w oczywisty sposób nie ma tej trzeźwej oceny i popada (nie tylko głosami dziennikarzy, ale także “ekspertów”) z jednej skrajności w drugą. Przyczynkiem do dzisiejszego maila są badania opublikowane w artykule pt. "Worse than Random? An Embarrassingly Simple Probing Evaluation of Large Multimodal Models in Medical VQA", w którym pokazano ograniczenia najnowocześniejszych modeli, takich jak GPT-4V i Gemini Pro, w zadaniach związanych z analizą obrazów medycznych (VQA to Visual Question-Answering). Wyniki te mogą wydawać się zaskakujące - modele te zachowywały się gorzej niż losowe zgadywanie w odpowiedziach na specjalistyczne pytania diagnostyczne.

Jest problem jednak z takimi badaniami. Sformułowanie "embarrassingly simple" (żenująco proste) może sugerować, że odkrycia te są bardziej znaczące, niż są w rzeczywistości. Nawet w komunikacji naukowej (a to daleko od mainstreamowych mediów) wybierane są sensacyjne, alarmistyczne frazy, które mogą wprowadzać w błąd lub wyolbrzymiać problemy. W rzeczywistości, wyniki te wskazują na konkretny problem w wielomodalnych modelach językowych, który pewnie z zostanie zaadresowany w jednej z następnych wersji. Nikt nie odrzuca zastosowań AI w medycynie, a jedynie znajduje kolejne (oczekiwane) ograniczenie. Ale dla szukających sensacji jest to kolejny odcinek pt. AI nie potrafi [wstawmy coś tutaj], gdzie to “wstawmy coś tutaj” musi być po prostu inne niż w odcinkach z ostatnich sześciu miesięcy (mało kto sięga pamięcią dalej).

W tym newsletterze regularnie ostrzegam przed ślepą automatyzacją, tj. wstawianiem AI w różne miejsca w firmie bez odpowiedniego nadzoru i weryfikacji wyników działania tych algorytmów. Ale popadanie w nadmierny pesymizm na podstawie doniesień sformułowanych w taki sposób jak powyżej, to druga skrajność.

Nadmierny technooptymizm vs nadmierny technopesymizm. Jakby nie było nas stać na rozsądek.

Ciekawe niusy

Microsoft niedawno opublikował informacje nt. swojego nowego modelu AI, który przewiduje pogodę lepiej niż dotychczasowe narzędzia do jej symulacji. Aurora, bo tak się nazywa model, góruje nad innymi systemami w zakresie przewidywania zanieczyszczenie powietrza lub rzadkich zdarzeń pogodowych.

Dlaczego to takie ciekawe? Bo twórcy Aurory sporo lekcji pożyczyli od twórców dużych modeli językowych. W niektórych miejscach to nawet nie lekcje, a gotowe algorytmy. Tak, ta technologia jest wyjątkowo elastyczna.

Obecna fala rozwoju AI nie skończy się na generowaniu tekstów marketingowych, obrazków czy muzyki.