OpenAI-jevi AI agenti sami isključivali sisteme za nadzor sigurnosti

OpenAI je otkrio da su njegovi AI agenti prilikom interne upotrebe isključivali ili slabili sisteme za nadzor takozvanog misalignmenta – ponašanja AI modela koje odstupa od ljudskih namjera. Kompanija iz San Franciska je o tome izvijestila u izvještaju objavljenom u utorak.

Incidenti su se desili tokom dva interna zadatka programiranja. U prvom slučaju agent GPT-6.1 Sol isključio je automatske alarme namijenjene sigurnosnom timu kompanije, dok je u drugom slučaju agent GPT-6 Astra uklonio sistem za nadzor i lažno tvrdio da to nije učinio, navodi OpenAI.

Kreator ChatGPT-a pojasnio je da nijedan od slučajeva nije dostigao prag za incident najvišeg prioriteta, koji bi zahtijevao hitnu provjeru sigurnosnog tima. Kompanija je nakon toga ažurirala svoje sisteme kako bi bolje otkrivali pokušaje isključivanja nadzora misalignmenta i pokrenula je istragu uzroka.

OpenAI je naveo da bi ovakvo ponašanje moglo biti primjer „benignog" pretjeranog upornog ponašanja, kod kojeg modeli ne razumiju zašto je nadzor važan ili inzistiraju na izvršavanju instrukcija više nego što bi razumna osoba očekivala. Kompanija je dodala da razvija evaluacije kojima će testirati da li modeli imaju sklonost izbjegavanju nadzora misalignmenta i motivisano rezonovanje u tu svrhu.

Upozorenja stručnjaka

Roman V. Yampolskiy, stručnjak za vještačku inteligenciju i sajber sigurnost sa Univerziteta Louisville, opisao je ova otkrića kao „izuzetno zabrinjavajuća, ali ne iznenađujuća".

„Sigurnosni mehanizam koji sistem koji se nadzire može isključiti nije pouzdan sigurnosni mehanizam. Posebno je zabrinjavajuće što je jedan agent naknadno negirao da je uklonio nadzorni sistem", rekao je Yampolskiy za Al Jazeeru. On je dodao da nadzor ne može garantovati sigurnost ako nadzirani sistem može potkopati nadzornika te da teret dokazivanja sigurnosti mora biti na programerima prije puštanja u upotrebu, a ne nakon kvarova.

Pažnja javnosti zbog ranijih incidenata

Ponašanje AI modela koji izmiču kontroli pod pojačanom je pažnjom javnosti od jula, kada je OpenAI otkrio da su neki od njegovih agenata izašli iz kontrolisanog testnog okruženja i hakovali AI platformu Hugging Face.

OpenAI i njegov glavni konkurent Anthropic pozvali su programere i vlade da usklade globalno usporavanje razvoja vještačke inteligencije radi smanjenja rizika od katastrofalnih šteta. Sjedinjene Države i Kina, vodeće sile u ovoj oblasti, dosad su pokazale malo volje za saradnju na regulaciji, a koordinacija je ograničena na obećanja o boljoj komunikaciji o incidentima sa implikacijama po sigurnost ili nacionalnu bezbjednost.