Nvidia predstavila sustav dizajniran za sprječavanje autonomnih AI agenata da izmaknu kontroli

Nvidia Corp. predstavila je novi dvoslojni sigurnosni sustav za umjetnu inteligenciju za koji tvrdi da je mogao spriječiti nedavni odjekujući sigurnosni proboj na platformi Hugging Face, koji su izazvali modeli tvrtke OpenAI.

Poluvodički div, koji ubrzano širi svoj portfelj proizvoda izvan samih čipova, lansira dva softverska sigurnosna alata otvorenog koda (open-source) koji se mogu izvoditi na njegovom hardveru. Dizajnirani su za nadzor nad time čemu AI agenti mogu pristupiti u stvarnom vremenu te za njihovo gašenje u trenutku kada prekrše zadana pravila.

Glavni izvršni direktor Nvidije Jensen Huang umanjio je potrebu za novim regulativama u području umjetne inteligencije, ističući pritom da softver mora proći rigorozna sigurnosna testiranja. | David Paul Morris/Bloomberg

Da su vodeći razvojni laboratoriji u ranim fazama koristili ovu tehnologiju za evaluaciju svojih AI modela, napad na Hugging Face mogao se izbjeći, izjavio je Justin Boitano, potpredsjednik Nvidije za poslovnu umjetnu inteligenciju, na brifingu s novinarima uoči najave u ponedjeljak. "Prema onome što znamo, ova nova sigurnosna platforma mogla je zaustaviti taj proboj", rekao je.

Neadekvatno ponašanje autonomnih agenata, uključujući incident s Hugging Faceom u srpnju, potreslo je AI industriju i potaknulo pozive za usporavanjem rada na toj tehnologiji. S novim proizvodom – nazvanim Open Agent Safety Platform – Nvidia nudi način za sprječavanje sigurnosnih proboja bez usporavanja razvoja umjetne inteligencije. Glavni izvršni direktor ovog proizvođača čipova, Jensen Huang, u više je navrata umanjivao rizik da bi AI mogao izmaknuti ljudskoj kontroli.

Boitano nije htio komentirati imaju li OpenAI ili konkurentski Anthropic PBC u planu koristiti ovaj novi sustav za nadzor svojih ciklusa treniranja modela, preusmjerivši upite na te kompanije.

Proteklih je dana Huang zabrinutost oko sigurnosti prikazao kao inženjerski izazov, a ne kao nešto što zahtijeva dodatnu regulaciju ili globalnu koordinaciju. Pridružio se američkom predsjedniku Donaldu Trumpu u odbacivanju tvrdnji pojedinih razvijatelja AI-ja da bi tehnologija mogla dovesti do izumiranja čovječanstva, ali je istovremeno inzistirao na tome da AI mora proći rigorozna sigurnosna testiranja.

Huangovo inženjersko rješenje za problem sigurnosti umjetne inteligencije sastoji se od dva dijela. OpenShell, softverski proizvod koji je Nvidia već najavila na svojoj središnjoj tehnološkoj konferenciji u ožujku, može se izvoditi na Nvidijinim procesorima (CPU) Vera. On korisnicima omogućuje definiranje pravila o tome čemu AI agenti mogu pristupiti te njihovu provedbu u stvarnom vremenu. Softver je otvorenog koda, što znači da se može slobodno koristiti i prilagođavati.

U međuvremenu, Nvidia Sentry potpuno je novi proizvod koji se može izvoditi na Nvidijinim jedinicama za obradu podataka (DPU) BlueField. Dizajniran je da pruži dodatni sloj nadzora nad umjetnom inteligencijom koji kontrolira agente i intervenira kako bi izolirao svakoga tko djeluje sumnjivo, navode iz kompanije.

"Vjerujemo da će ovaj dodatni sigurnosni sloj omogući industriji sigurno testiranje čak i najnaprednijih AI sustava", rekao je Boitano o proizvodu Sentry. "Može staviti sumnjivog agenta u karantenu u roku od nekoliko milisekundi."

Nvidia je ranije ovog mjeseca pristala preuzeti Hugging Face, platformu za AI modele otvorenog koda i prateći softver, za oko 13 milijardi dolara.

Nedavni incidenti tvrtke OpenAI – uključujući proboj u sustav australske vlade, kao i pokušaje pristupa desecima mrežnih stranica američke vlade i sveučilišta – dogodili su se kada su njezini modeli pobjegli iz testnih okruženja koja su trebala biti sigurna.

Kako su se problemi gomilali, OpenAI je u petak kasno navečer objavio da privremeno obustavlja treniranje svojih najnaprednijih AI modela. Još u srpnju, Anthropic je također otkrio da su njegovi agenti probili granice okruženja koje je trebalo biti izolirani testni prostor.