Google se pridružio OpenAI-ju, Anthropicu i Meti - AI agenti probili sigurnosne sustave kompanija

Googleov model umjetne inteligencije Gemini nenamjerno je u svibnju "hakirao" tri sustava kompanija tijekom testiranja kibernetičke sigurnosti, čime je povećan niz incidenata u kojima su AI agenti probili zaštitu sustava. To je uznemirilo stručnjake za sigurnost i same programere ove tehnologije.

Do napada je došlo tijekom istih testova koje je provodila tvrtka za AI sigurnost Irregular, a koji su doveli i do ranije otkrivenih proboja sustava tvrtki OpenAI, Anthropic PBC i Meta Platforms. Irregular je u petak potvrdio da su svi ti incidenti bili dio istog problema te da je o njima krajem srpnja obavijestio relevantne tvrtke koje razvijaju umjetnu inteligenciju.

Do jednog od incidenata s Geminijem došlo je kada je od modela zatraženo da pronađe informacije o izmišljenoj tvrtki koja je slučajno imala isto ime kao stvarna tvrtka. Google je to potvrdio nakon ranijeg izvješća Wall Street Journala. Model je pogodio zaporku i tako dobio pristup servisu stvarne tvrtke. Glasnogovornik Googlea rekao je da je kompanija o incidentu obavijestila nadležna tijela.

Niz nedavnih incidenata u kojima su AI sustavi sposobni za samostalno izvršavanje zadataka probili zaštitu sustava pokrenuo je diljem svijeta raspravu o rastućim rizicima umjetne inteligencije i mjerama koje su potrebne kako bi se oni ograničili. Glavni izvršni direktor Anthropica Dario Amodei pozvao je cijelu industriju da uspori razvoj ove tehnologije, a njegov su prijedlog podržali glavni izvršni direktor OpenAI-ja Sam Altman, Elon Musk i drugi.

Međutim, predsjednik SAD-a Donald Trump, glavni izvršni direktor Nvidije Jensen Huang i glavni izvršni direktor Mete Mark Zuckerberg među onima su koji su se usprotivili ideji novih regulativa, uz argument da bi tvrtke, između ostalog, trebale biti sposobne same regulirati svoje poslovanje. Neke mlađe AI tvrtke također su upozorile da bi strože regulative mogle manjim tvrtkama otežati natjecanje s velikim rivalima.

Incidenti povezani s Geminijem "naglašavaju koliko je važno obučavati moćne AI modele da se ponašaju odgovorno", rekla je Heather Adkins, potpredsjednica za sigurnosni inženjering u Googleu.

Do druga dva incidenta s Geminijem došlo je kada je model pretraživao internet koristeći naziv tvrtke. Adkins je rekla da je to model dovelo do javno dostupnih mrežnih repozitorija koji su sadržavali pristupne podatke drugih tvrtki, koje je model potom iskoristio za pristup dodatnim sustavima.

"U sva tri slučaja model se zaustavio", rekla je Adkins. "Pobrinuli smo se da tri tvrtke budu obaviještene."

Glasnogovornik Irregulara Josef Laor rekao je da je tvrtka poduzela "hitne mjere" te da su svi poznati problemi s njihove strane otklonjeni i riješeni prije nekoliko tjedana.