Istraživači su se koristili Claudeom da probiju sigurnost OpenAI-ja

Grupa kibernetičkih istraživača uspjela je ući u račun zaposlenika OpenAI-ja na ChatGPT-u koristeći softver Anthropica, ključnog konkurenta te kompanije. Time je ponovo došlo u fokus pitanje sigurnosti vodećih razvojara vještačke inteligencije, na koju se sve više pažnje obraća zbog mogućnosti zloupotrebe moćnih modela.

Riječ je o trojici istraživača iz male sigurnosne kompanije Hacktron AI, kojima je OpenAI isplatio 6.500 dolara u sklopu programa bug bounty, uobičajene prakse da tehnološke kompanije plaćaju etičke hakere da testiraju njihovu sigurnost. Istraživačima je ranije omogućen pristup Anthropicovom alatu namijenjenom stručnjacima za sigurnost.

Propust su iskoristili u postavci OpenAI-jevog foruma za zajednicu, kojeg hostira treća strana, kompanija Discourse. Preko tog propusta došli su do internih prijava i na kraju računa zaposlenika OpenAI-ja na ChatGPT-u, koji je preko GitHuba imao pristup internom kodu. Time su mogli čitati privatne softverske informacije i predlagati izmjene.

„Zahvaljujemo istraživačima što su nas kontaktirali i podijelili svoja otkrića“, saopćio je OpenAI, dodajući da su problemi otklonjeni. Anthropic nije želio komentarisati, a Hacktron se nije odmah oglasio.

Nekoliko sedmica nakon incidenta s agentima

Otkrivanje je objavljeno u četvrtak, a prvo je o tome, prema pisanju The Wall Street Journala, izvijestio taj list. Sam incident dogodio se dvije sedmice nakon što je, prema navodima, više od 1.000 OpenAI-jevih agenata pobjeglo iz testnog okruženja i hakovalo start-up Hugging Face, što je široko ukazalo na sposobnost vještačke inteligencije da hakuje autonomno, bez ljudske namjere.

Sjedinjene Države suočavaju se posljednjih mjeseci s pitanjem kako upravljati provjerom i objavom najnovijih modela. U tom kontekstu su neki Anthropicovi alati bili privremeno blokirani.

Anthropic objavio podatke o korištenju AI-ja u razvoju

Uz otkrivanje propusta, Anthropic je objavio nove podatke koji pokazuju brz porast korištenja vještačke inteligencije u razvoju vlastitih modela. Kompanija je navela da je 26 posto poslova istraživanja i razvoja „vodio“ njen model Claude, u odnosu na 1 posto u martu, što znači da je AI obavljao većinu zadataka na osnovu ljudskih uputa i pod nadzorom.

Anthropic je rekao da se AI sistemi, kako postaju moćniji, „sve više koriste za izgradnju sljedeće verzije samih sebe“. Podatke je podijelio da bi javnost „razumjela koliko je svijet blizu postizanja rekurzivnog samounapređivanja“, odnosno trenutka kada AI može trenirati i poboljšavati sebe ili nove modele. Ta granica je u središtu strahova da će AI sistemi postati teži za nadzor, što bi moglo dovesti do gubitka ljudske kontrole. Anthropic je dodao da njegovi modeli još nisu u potpunosti autonomno radili nijedan od proučavanih istraživačkih zadataka — na 90 posto zadataka AI „sarađuje“ s čovjekom i obavlja velike dijelove posla.