Nije vam jasno kako je Anthropic shvatio da je Mythos preopasan za javnost. Pročitajte ovo

Jedne ugodne večeri na Baliju Nicholas Carlini nakratko se povukao sa svadbe na koju je bio pozvan zajedno sa suprugom, otvorio svoj laptop i odlučio napraviti malo štete. Anthropic je netom prije objavio svoj novi AI model Mythos za internu reviziju, a Carlini, uvaženi istraživač u području umjetne inteligencije, odlučio je vidjeti kakve bi sve probleme njime mogao uzrokovati.

Anthropic plaća Carliniju da testira njihove AI modele kako bi se utvrdilo mogu li ih hakeri iskoristiti za špijunažu, krađu ili sabotažu. Dok je s Balija pratio rad modela, Carlini je ostao zapanjen njegovim mogućnostima.

U roku od samo nekoliko sati otkrio je brojne tehnike za infiltraciju u sustave koji se koriste diljem svijeta. Kad se vratio u Anthropicov ured u centru San Francisca, otkrio je da Mythos može samostalno kreirati moćne alate za penetraciju sustava, uključujući i Linux, operacijski sustav otvorenog koda na kojemu se temelji većina modernog računalstva.

Mythos je orkestrirao digitalni ekvivalent pljačke banke. Zaobišao je sigurnosne protokole i provalio u digitalne trezore koji su mu omogućili pristup mrežnom blagu. Umjetna inteligencija je prethodno obijala brave, ali sada samostalno može izvesti cijelu pljačku.

Carlini i njegovi kolege počeli su obavještavati ostale zaposlenike o svojim otkrićima. Iz dana u dan nastavili su otkrivati visokorizične i kritične greške u sustavima u koje je Mythos pokušavao upasti i propuste koje obično mogu otkriti samo najbolji svjetski hakeri.

U međuvremenu, Anthropicov tzv. "Frontier Red Team" od 15 zaposlenika provodio je vrlo slične eksperimente. Zadatak je te istraživačke skupine osigurati da se Anthropicovi modeli ne mogu koristiti za nanošenje štete čovječanstvu. Primjerice, u sklopu svojeg rada oni zatvaraju robotske pse u skladište s inženjerima kako bi testirali može li se Claude koristiti za njihovo zloupotrebu i konzultiraju se s biolozima o tome može li se uz pomoć chatbota stvoriti biološko oružje.

Njihovo najnovije otkriće je da Mythos predstavlja opasnost za kibernetičku sigurnost.

"Svega nekoliko sati nakon što smo dobili model, znali smo da je drugačiji", rekao je voditelj istraživačke skupine Logan Graham.

Već je prethodno bilo nekih naznaka da bi se Opus 4.6, prethodni model, mogao koristiti za iskorištavanje slabih točaka u softveru. Graham, koji je uvjeren da Mythos može autonomno eksploatirati sigurnosne propuste, upozorio je upravu Anthropica da model predstavlja rizik za nacionalnu sigurnost. To ga je stavilo u poprilično nezahvalan položaj – morao je šefovima obznaniti da je njihov sljedeći veliki izvor prihoda preopasan da bi ga se pustilo u javnost.

Suosnivač i glavni znanstveni direktor Anthropica Jared Kaplan rekao je da je "vrlo pažljivo" pratio proces obuke Mythosa. Do siječnja je počeo uviđati koliko je Mythos sposoban u pronalaženju sigurnosnih propusta. Kaplan, po struci teorijski fizičar, morao je odvagnuti jesu li ti propusti tek kurioziteti ili nešto od ključne važnosti za infrastrukturu interneta. Zaključio je da je u pitanju potonje.

Bloomberg

Kaplan i drugi suosnivač Sam McCandlish su potkraj veljače i početkom ožujka razmatrali bi li trebali objaviti model. Negdje u prvom tjednu ožujka, izvršni tim, uključujući glavnog izvršnog direktora Darija Amodeija, predsjednicu Danielu Amodei, direktora za informacijsku sigurnost Vitalyja Gudanetsa i druge, okupio se kako bi saslušao Kaplanovu i McCandlishovu poruku.

Prenijeli su ostalima da je Mythos preopasan za opću distribuciju, no da bi Anthropic trebao dopustiti drugim tvrtkama da ga testiraju, a možda čak i konkurentima.

"Brzo je postalo jasno da želimo učiniti nešto prilično neuobičajeno i da ovo lansiranje neće biti poput prethodnog ", rekao je Kaplan.

Čelnici tvrtke su se dogovorili da će odobriti upotrebu modela za kibernetičku obranu.

Dario Amodei, glavni izvršni direktor Anthropica | Bloomberg

Reakcija je stigla istog trena. Istog dana kada je Anthropic najavio Mythos, američki ministar financija Scott Bessent i predsjednik Federalnih rezervi Jerome Powell sazvali su direktore Wall Streeta na sastanak u Washingtonu. Njihova poruka bila je jasna: iskoristite Mythos da pronađete slabe točke u vašim sustavima – i to odmah.

Direktori koji su prisustvovali sastanku odbili su podijeliti detalje razgovora čak i sa svojim najbližim savjetnicima, što odražava ozbiljnost sastanka, tvrde osobe iz užeg kruga sudionika.

Upozorenja dužnosnika Bijele kuće o Mythosovom potencijalu kao alata za hakiranje i njihov savjet da se koristi isključivo u obrambene svrhe ukazuju na to da je umjetna inteligencija postala presudan faktor u kibernetičkoj sigurnosti. Anthropic je omogućio pristup Mythosu ograničenom broju organizacija u sklopu projekta Glasswing te dozvolio tvrtkama kao što su Amazon Web Services Inc., Apple Inc. i J. P. Morgan Chase & Co. da eksperimentiraju s njim, a interes su izrazile i vladine agencije.

Prije objavljivanja modela Mythos Preview, Anthropic je izvijestio visoke dužnosnike američke vlade o svim njegovim mogućnostima, uključujući i njegovu upotrebu u ofenzivne i defenzivne kibernetičke svrhe. U tijeku su i konzultacije s vladama drugih država, potvrdio je zaposlenik Anthropica koji je želio ostati neimenovan.

Konkurentski OpenAI iskoristio je trenutak da privuče medijsku pažnju na sebe. Tvrtka je u utorak objavila da će izdati alat namijenjen otkrivanju softverskih propusta pod nazivom GPT-5.4-Cyber.

Anthropic još uvijek nije široj javnosti omogućio pristup Mythosu te mnogi vanjski istraživači nisu imali priliku potvrditi navode tvrtke. Ipak, Anthropicova odluka o ograničavanju pristupa odraz je sve prisutnijeg mišljenja u industriji i američkoj vladi – umjetna inteligencija mijenja ekonomiju kibernetičke sigurnosti. To postiže smanjenjem troškova pronalaženja sigurnosnih propusta, skraćivanjem vremena potrebnog za ispitivanje potencijalnih meta i olakšavanjem određenih vrsta napada manje iskusnim hakerima.

Anthropic upozorava da Mythosova sposobnost autonomnog djelovanja nosi ozbiljne rizike. Prilikom testiranja ranije verzije modela istraživači su pronašli desetke primjera "zabrinjavajućeg" ponašanja, uključujući nepoštivanje ljudskih uputa i rijetke slučajeve u kojima je model prikrivao vlastite tragove nakon kršenja naredbi. Model je u jednom slučaju razvio složeni exploit od više koraka kako bi pobjegao iz ograničenog okruženja (sandboxa) u kojem se nalazio, stekao pristup internetu i počeo samoinicijativno objavljivati sadržaj na mreži.

Softver koji danas pokreće sve, od bankovnih aplikacija do bolničkih sustava, prožet je opskurnim greškama u kodu. Čak je i stručnjacima potrebno više tjedana ili mjeseci da ih otkriju. Hakeri ih ponekad preduhitre, što rezultira curenjem podataka i napadima ransomwareom (ucjenjivačkim softverom) s potencijalno razornim posljedicama.

Istaknuti stručnjaci brzo su doveli u pitanje koliko je Mythos zapravo moćan i koliki rizik predstavlja.

"Sve veći broj ljudi pita se diže li Anthropic bespotrebno paniku", napisao je savjetnik Bijele kuće za umjetnu inteligenciju David Sacks na društvenoj mreži X. "Ako se ispostavi da su opasnosti Mythosa samo prazne prijetnje, tvrtka će imati ozbiljan problem s kredibilitetom."

Međutim, hakeri su već počeli koristiti velike jezične modele za složene napade. Jedna kineska skupina za kibernetičku špijunažu već je upotrijebila Anthropicov Claude kako bi upala u otprilike 30 meta, dok su drugi napadači koristili umjetnu inteligenciju za krađu podataka od vladinih agencija, postavljanje ransomwarea i brzo probijanje kroz stotine vatrozida namijenjenih zaštiti podataka.

Uvođenje Mythosa stvorilo je pomutnju o načinu procjene kibernetičkih rizika među američkim vladinim dužnosnicima zaduženima za nacionalnu obranu, tvrdi osoba upoznata sa situacijom, koja tvrdi da bi opremanje hakera s takvim modelom ili sličnim AI alatima bilo ekvivalentno pretvaranju običnog vojnika u pripadnika specijalnih postrojbi.

Istovremeno, čini se da bi Mythos mogao djelovati kao "multiplikator sile", navodi isti izvor. Model kriminalnim hakerskim skupinama omogućuje da djeluju na razini manje države, a obavještajnim i vojnim hakerima malih zemalja omogućuje izvođenje kibernetičkih napada na razini onih kakve danas provodi Kina.

"Uistinu vjerujem da ćemo uz umjetnu inteligenciju biti znatno sigurniji", izjavio je Rob Joyce, bivši direktor kibernetičke sigurnosti u američkoj Nacionalnoj sigurnosnoj agenciji. "Međutim, smatram da smo trenutno u mračnom dobu koje će potrajati sve dok ofenzivna umjetna inteligencija ne postane prednost, pri čemu će ljudi koji nisu razvili osnovne zaštitne sustave biti hakirani."

Mythos nije jedini model koji se bavi ovakvim zadacima. Brojne organizacije već koriste velike jezične modele za pronalaženje propusta, uključujući prethodne modele Claudea i Googleov projekt Big Sleep.

Poslovna zgrada investicijske banke J. P. Morgan Chase & Co. u New Yorku | Michael Nagle/Bloomberg

Investicijska banka J. P. Morgan je i prije Mythosa uspješno koristila velike jezične modele kako bi lakše otkrila propuste u vlastitom softveru, navodi anonimni izvor upoznat s pitanjem.

Postupci koji su ranije trajali danima ili tjednima, od identifikacije tzv. "zero-day" propusta do pisanja koda za njihovo iskorištavanje, sada mogu trajati tek sat vremena ili čak nekoliko minuta, ističe izvor (ti se propusti tako zovu jer oni koji se brane od napada ni ne znaju da postoje i stoga im je preostalo "nula dana" kako bi ih uklonili).

J. P. Morgan se prvenstveno fokusirao na lanac opskrbe i softver otvorenog koda u kojem je pronašao propuste i potom upozorio dobavljače, dodaje izvor. Izvršni direktor Jamie Dimon izjavio je tijekom prezentacije poslovnih rezultata da je pomoću Mythosa sada moguće otkriti znatno više propusta nego prije.

Jamie Dimon, glavni izvršni direktor banke J. P. Morgan | Krisztian Bocsi/Bloomberg

Banka je već pregovarala s Anthropicom o testiranju modela prije nego što je javnost za njega saznala, tvrdi osoba upoznata sa situacijom. Iz J. P. Morgana odbili su dati komentar.

Druge banke s Wall Streeta i tehnološke tvrtke sada eksperimentiraju s Mythosom kako bi zakrpale rupe prije nego što ih hakeri uspiju iskoristiti. Među financijskim institucijama koje interno testiraju ovu tehnologiju nalaze se Goldman Sachs Group Inc., Citigroup Inc., Bank of America Corp. i Morgan Stanley, izvijestio je Bloomberg News.

Zaposlenike tvrtke Cisco Systems Inc. posebno muči hoće li napadači koristiti umjetnu inteligenciju kako bi pokušali pronaći ulaz u softver koji pokreće njihovu mrežnu opremu diljem svijeta, poput routera, vatrozida i modema, rekao je Anthony Grieco, glavni direktor za sigurnost i povjerenje tvrtke. Grieco je osobito zabrinut da bi umjetna inteligencija mogla pospješiti napade na uređaje kojima je istekao podržani vijek trajanja te koje Cisco više neće ažurirati, rekao je Grieco.

Uklanjanje sigurnosnih propusta koje AI alati pronalaze i dalje će biti zamršeno. Taj proces, poznat kao patching, za organizacije je toliko skup i spor da mnoge od njih uopće ne popravljaju svoje bugove. Ozbiljni hakerski napadi poput onog na Equifax Inc., prilikom kojeg su napadači ukrali podatke od otprilike 147 milijuna ljudi, bili su mogući upravo zato što organizacije nisu primijenile dostupna rješenja za poznate propuste.

Hakeri su napadom na Equifax ukrali podatke od otprilike 147 milijuna ljudi | Elijah Nouvelage/Bloomberg

Anthropic je trenutno u pregovorima s američkim saveznim agencijama, unatoč tome što je Trumpova administracija klasificirala tu AI tvrtku kao prijetnju lancu opskrbe nakon što je odbila pomoći u omogućavanju masovnog nadzora Amerikanaca. Američko ministarstvo financija pokušalo je dobiti pristup Mythosu ovog tjedna, a Bessent izjavio je da će taj model pomoći SAD-u da zadrži prednost nad Kinom na području umjetne inteligencije.

Američki ministar financija Scott Bessent | Matt McClain/Bloomberg

Model je u jednom slučaju izradio exploit za internetski preglednik koji je odjednom iskoristio četiri propusta, što je pothvat koji ljudskim hakerima predstavlja ogroman izazov. Takvi "lančani propusti" omogućuju prodor u inače sigurne sustave, kao što je bio slučaj s hakerskim napadom koji je oštetio centrifuge u iranskom nuklearnom postrojenju (tzv. Stuxnet).

Iz Anthropica tvrde da je Mythos također uspio prepoznati i iskoristiti zero-day propuste u svakom od vodećih internetskih preglednika.

Anthropic navodi da se Mythos koristio za pronalaženje propusta u Linuxovom kodu, koji je "temelj većine modernog računalstva", prema Jimu Zemlinu, izvršnom direktoru Zaklade Linux. Na njemu se temelji sve od Androida i internetskih routera do NASA-inih superračunala. Mythos je autonomno pronašao nekoliko propusta u Linuxovom kodu koji bi napadaču omogućili preuzimanje potpune kontrole nad uređajem.

Trenutačno razni stručnjaci u Zakladi Linux eksperimentiraju s Mythosom. Prema Zemlinu, jedno od ključnih pitanja je može li Anthropicov model programerima pružiti uvide koji bi im pomogli u pisanju boljeg softvera sa što manje propusta. "Odlični smo u pronalaženju bugova", rekao je. "Međutim, očajni smo u popravljanju istih."

 

– U pisanju članka pomogli Hannah Levitt, Jordan Robertson i Seth Fiegerman