AI w HR - co pójdzie nie tak?

Czyli o biznesowych wtopach, które się wydarzą...

Historia lubi się powtarzać

Fajnie by było mieć prawdziwą umiejętność prekognicji, ale niestety jestem skazany na zwykłe prognozowanie. Jest ono o tyle łatwiejsze, że nie wymaga specjalnych predyspozycji, szczególnej misji od wszechświata, ani lat treningu, a jedynie wiedzy na temat tego, co już się wydarzyło. Bo historia lubi się powtarzać.

Uczenie maszynowe i HR to nie jest nowy temat. I biorąc pod uwagę, że obecny boom na AI w biznesie żywo przypomina boom na data science sprzed kilku/kilkunastu lat, to można pokusić się o prognozy, że te same błędy popełnione wtedy, powtórzą się znowu, tylko z inną technologią pod spodem.

Za każdym razem problem zaczyna się wtedy, kiedy systemy używane w HR zaczynają kopiować ludzkie stereotypy.

Ocena kandydata

Od wielu lat trwa wyścig pomiędzy kandydatami do pracę a systemami oceniającymi nadesłane CV pod kątem zgodności z wymaganiami oferowanego stanowiska pracy. Jakaś forma automatycznego screeningu jest stosowana przez większość firm lub agencji pośredniczących w znajdowaniu kandydatów. I przecież pozbawiona emocji maszyna jest z definicji obiektywna, prawda?

Amazon musiał zamknąć swoje narzędzie do rekrutowania po tym, jak się okazało, że w szczególnych przypadkach niżej oceniało kobiety niż mężczyzn (błąd znalazła sama firma).

Firma iTutorGroup poszła na ugodę w procesie o automatyczną dyskryminację starszych kandydatów.

Sieć aptek CVS w USA została pozwana o nielegalne użycie metod AI podczas rekrutacji (chodziło o nielegalny w stanie Massachusetts wykrywacz kłamstw od HireVue) - zwróćcie uwagę, że pozwaną stroną była firma zatrudniająca, a nie dostawca technologii (to ważne w kontekście EU AI Act).

Natomiast prawdziwy “majstersztyk” przygotowała firma Retorio w postaci swojego narzędzia uczenia maszynowego do ewaluacji automatycznego wywiadu z kandydatem w postaci wideokonferencji. Niemieccy dziennikarze w swoich testach wykazali, że testowany system dał zgodność 73% z ofertą pracy osobie, która na pytania po angielsku odpowiadała czytając losowy tekst z Wikipedii w języku niemieckim (!). System ponadto oceniał osoby po nakryciu głowy, po obecności okularów, po oświetleniu pokoju, po tle ich nagrania wideo (obraz wiszący na ścianie za osobą odpowiadającą na pytania przekładał się na lepszy wynik w testach), a nie po odpowiedziach (!). Dziennikarze podmienili ścieżki audio, a nawet wyrzucili dźwięk z nagrania, a ocena kandydata pozostała bez zmian (!!!). 

Ocena pracownika

Automatyczne systemy oparte algorytmy decyzyjne lub o jakąś formę uczenia maszynowego używane są także do oceny pracowników (w tym decyzji o zwolnieniu lub awansie). Co mogło pójść nie tak?

Firma UPS po strajku, który objął całe Stany Zjednoczone zmuszona była do wycofania się z automatycznej oceny kierowców na podstawie telematyki z pojazdu.

Dwa związki zawodowe pozwały firmę Uber za stosowanie systemu rozpoznawania kierowców, który gorzej identyfikował kierowców o ciemnym kolorze skóry.

Nawet, jeśli system nie jest oparty o “czarną skrzynkę AI”, tylko o procedury, które są transparentne, ale oparte o równania (po angielsku to algorithmic management, po polsku stosuje się “zarządzanie algorytmiczne”, ale może jest jakaś lepsza forma) mamy mnóstwo przykładów dyskryminacji. W raporcie z 2021 roku, który badał pozwy w tym obszarze wyłącznie na terenie UE są przykłady niewłaściwego automatycznego podejmowania decyzji, głównie (a to niespodzianka) w firmach z obszaru tzw. gig economy, tj. Uber, Glovo, Deliveroo, Amazon Mechanical Turk.

Nowe algorytmy AI są lepsze? Nie.

Bloomber niedawno zrobił ciekawą analizę jak CV pod kątem danej oferty pracy oceniają modele od OpenAI. Eksperyment był prosty - zostawiamy to samo CV, zmieniamy tylko imię i nazwisko, tak aby odzwierciedlało pochodzenie. Nowsza wersja (GPT-4) ma mniejsze problemy, co wcale nie oznacza, że ich nie ma. Natomiast starsza wersja (GPT-3.5) wychodzi w testach po prostu źle. Spójrzcie poniżej na różnicę pomiędzy pierwszą a ostatnią grupą dla stanowiska “specjalista HR”.

Problem okazuje się większy, jeśli wyjdziemy poza grupę WEIRD, z ang. Western, Educated, Industrialized, Rich and Democratic (uważam to za urocze, że nasz krąg kulturowy od czasu pojawienia się tego skrótu w literaturze naukowej nazywany jest “WEIRD people”). Twardo zderzamy się z problemami komunikacji interkulturowej i nie możemy być pewni nie tylko tego, czy model nie będzie dyskryminował ze względu na płeć, ale także czy w ogóle poprawnie oceni kompetencje jeśli zanonimizujemy dane kandydata.

To nie są nowe problemy

Proces przeciwko firmie Goldman Sachs o dyskryminację ze względu na płeć trwał 13 lat i zakończył się ugodą na kwotę 215 milionów dolarów. Ze względu na to kiedy się zaczął (2010), nie przypuszczam, że w praktyki których dotyczył (na długo przed 2010) zaangażowane były skomplikowane algorytmy, nie mówiąc już o sztucznej inteligencji.

Problem nie jest nowy.

Natomiast uczenie ludzi przywiązywania większej wagi do swoich decyzji w kontekście pracowników czy kandydatów na pracowników jest dużo łatwiejsze niż nauczenie tego samego systemów AI. Modele językowe nie są “mądrzejsze” niż dane użyte do ich trenowania. A nie trenuje się ich wyłącznie na “oświeconych” tekstach z ostatnich kilku lat, a na wszystkich opiniach ludzkich, łącznie z tymi, których nie chcemy pamiętać.

Stosowanie AI w działach HR wiąże się z tym samym ryzykiem, co stosowanie AI w innych działach firmy - nienadzorowane używanie (pełna automatyzacja) będzie skutkować (skądinąd łatwymi do uniknięcia) problemami, a w skrajnych przypadkach pozwami o dyskryminację. A jeden z ostatnich dotyczy giganta na rynku HR, firmy Workday.

Ciekawe niusy

Możliwość tworzenia własnych asystentów (Custom GPT) na platformie OpenAI dostępna była dla użytkowników ChatGPT Plus od dłuższego czasu. Microsoft zapowiedział własną wersję tego podejścia w ramach Copilot Studio, która ma zostać udostępniona w drugiej połowie 2024. Różnica będzie polegać na tym, że będzie można zaprojektować skomplikowane procesy wewnątrz takiego asystenta, a nie jedno pojedyncze zadanie. A dodatkowo, taki asystent będzie miał zintegrowane pozostałe narzędzia od firmy Microsoft (Office, Power Automate, Sharepoint itd.).

Podobną funkcjonalność można uzyskać już teraz, ale wciąż jest to dość skomplikowane i wymaga pomocy programistów przy integracji. Ale może niedługo nie będą potrzebni we wszystkich takich przypadkach.