Istraga ombudsmena: algoritam za njegu starijih „nerazuman i nepravedan”

Alat koji australijska savezna vlada koristi za procjenu koliko njege stariji građani imaju pravo dobiti nerazuman je, nepravedan i bez ljudskog nadzora, zaključuje istraga commonwealth ombudsmena. Istraga je također utvrdila da su preporuke kraljevske komisije o „robodebt“ skandalu o transparentnosti vladinih automatizovanih odluka ignorisane.

Ombudsmen Iain Anderson rekao je u ponedjeljak za Guardian Australia da zakon treba promijeniti kako bi procjenjivači njege starijih mogli sami ispravljati klinički pogrešne odluke algoritma, dodajući da alat ima i ozbiljne pravne probleme. Istraga je pokrenuta u aprilu zbog brojnih pritužbi medija i javnosti, posebno zbog nedostatka transparentnosti u načinu na koji algoritam donosi odluke.

Radi se o obaveznom Integriranom alatu za procjenu (IAT), čiji algoritam preporučuje paket finansiranja podrške kod kuće. Procjenjivačima je zakonom zabranjeno zaobići tu preporuku, čak i kad je odluka pogrešna. „Po zakonu, ove automatizovane odluke ne mogu biti zaobiđene i promijenjene, čak i ako su klinički neprimjerene”, navodi izvještaj ombudsmena od 104 stranice. U njemu se dodaje da ne postoji javna informacija koja bi smisleno objasnila kako algoritam pretvara unos u ishod te da je IAT bez toga „tehnološka crna kutija”. Razumna osoba, zaključuje se u izvještaju, „ne bi imala povjerenja da je sistem zaista pravedan i dosljedan”.

Guardian Australia je ranije izvijestio da su starije osobe ostajale uznemirene i bez odgovarajuće njege nakon procjene „nehumanim” algoritmom. Dokumenti dobijeni putem zakona o slobodi pristupa informacijama otkrili su paniku u ministarstvu, ozbiljnu kliničku uznemirenost među procjenjivačima na terenu i tajne IT zaobilaznice. Čelnici ministarstva shvatili su tek nekoliko sati prije uvođenja algoritma u novembru da zakon zabranjuje ljudsku ispravku, a problemi su se pojavili već nekoliko dana nakon puštanja u rad.

Zabrinjava, kaže Anderson, što je ministarstvo govorilo ljudima da će sistem raditi na određeni način i pokazivalo im verzije tog sistema, a zatim ga promijenilo. Izvještaj je dalje utvrdio da tvrdnje ministarstva kako su ključna ispitivanja i konsultacije tokom više godina direktno podržali sadašnji oblik alata nisu tačne — ta ispitivanja odnosila su se na ranije verzije alata i ranije zakone, a „nije bilo smislene konsultacije”.

Istraga je utvrdila i propust u nadzoru nakon uvođenja: ministarstvo nije provjeravalo ispunjavaju li se ugovorne kontrole kvaliteta niti da li procjenjivači imaju obavezne kliničke kvalifikacije, iako su njihova znanja i vještine ključni za rad IAT-a. Viši službenici upozoravali su i prije puštanja algoritma u rad da ne postoji jasna mogućnost žalbe na pogrešne odluke, jer su putevi revizije omogućavali samo potvrdu ishoda algoritma.

Izvještaj poziva na sveobuhvatan pregled zakonodavstva o procesu procjene potreba i pravila na kojima počiva algoritam. Podsjeća pritom da je kraljevska komisija o „robodebt“ skandalu zaključila kako vlada kod automatizovanog odlučivanja i vještačke inteligencije mora biti vrlo transparentna, kako bi ljudi razumjeli kako se donose odluke koje ih značajno pogađaju. Anderson je dodao da ministarstvo mora mnogo efikasnije nadzirati provajdere procjene, jer su podaci koje oni unose u algoritam ključni za ono što na kraju iz njega izlazi.

Iako je ministarstvo zdravlja i starenja u julu najavilo novi proces pregleda, kojim procjenjivači mogu eskalirati pogrešne odluke ministarstvu na reviziju, Anderson smatra da to nije dovoljno. „Mislim da je zaista važno da procjenjivači mogu mijenjati odluke koje izgledaju klinički neprimjereno, pa me brine da eskalacioni put to neće nužno omogućiti”, rekao je.

Istraživanje je, kako je naveo, identifikovalo brojne pravne nedoumice na čije rješavanje istraga čeka odgovor vlade. „Kako možete osporavati odluke kada ne znate kako ih algoritam donosi?” upitao je Anderson. „Postoje ozbiljni pravni problemi i smatramo da ih treba riješiti hitno. Po našem mišljenju, ministarstvo nije razumjelo, a možda i dalje ne razumije, ključne komponente pravnog okvira koji je stvorilo, niti je razumjelo kakav je pravni okvir trebalo stvoriti.”