text size
Godinama, dok je umjetna inteligencija evoluirala iz tematike znanstveno-fantastičnih filmova u aplikacije koje obični ljudi imaju instalirane na svojim telefonima, tehnološki lideri i pojedini stručnjaci iz AI industrije govorili su o njezinu potencijalu da pobjegne ljudskoj kontroli i izazove kaos u društvu. Ti su strahovi posljednjih dana postali nemogući za ignoriranje, potaknuti napretkom tehnologije, nizom sigurnosnih incidenata koji uključuju AI agente i novim upozorenjima samih zaposlenika AI tvrtki.
Vodeće AI kompanije u SAD-u odgovorile su prijedlogom da dobrovoljno uspore svoj rad kako bi kupile vrijeme za stvaranje zaštitnih mehanizama. Pojedini stručnjaci i dužnosnici smatraju da to nije dovoljno te pozivaju na uvođenje državnih ograničenja.
Što je izazvalo trenutnu paniku oko umjetne inteligencije?
Trenutnu AI paniku potaknula su dva događaja – zaprepašćujući kibernetički napad koji su izveli modeli kompanije OpenAI i upozorenje bivšeg zaposlenika tvrtki Anthropic PBC i OpenAI o egzistencijalnoj prijetnji koju predstavljaju napredni modeli.
Čitaj više
Trump napao šefa Anthropica zbog poziva na usporavanje razvoja umjetne inteligencije
Sukob između američkog predsjednika Donalda Trumpa i čelnika AI industrije izbio je nakon poziva na usporavanje razvoja naprednih modela, što je unijelo dodatnu nesigurnost na globalna tržišta kapitala.
prije 20 sati
Kada AI agent postane kibernetički rizik
AI agenti otvaraju novu ranjivost u kibernetičkoj sigurnosti jer mogu uzrokovati štetu bez klasičnog napadača.
14.09.2026
Anthropicovo upozorenje o AI apokalipsi je preslabo i nekonkretno
Nekoliko dana nakon što je jedan od njegovih bivših zaposlenika javno upozorio na prijetnju koju umjetna inteligencija predstavlja za čovječanstvo, čelnik tvrtke Anthropic Dario Amodei odgovorio je prijedlogom koji djeluje kao rješenje.
14.09.2026
Sam Altman: 'OpenAI je spreman usporiti razvoj najnaprednije umjetne inteligencije'
Glavni znanstvenik OpenAI-a, Jakub Pachocki, upozorio je na opasnosti umjetne inteligencije i rekao da bi tvrtke trebale "koordinirati usporavanje budućeg razvoja kada je to potrebno" dok se ne uspostave zajednički sigurnosni standardi.
11.09.2026
OpenAI je priopćio da je roj naprednih AI agenata u srpnju nehotično hakirao Hugging Face Inc., platformu koja ugošćuje AI modele i skupove podataka, u incidentu bez presedana. Dok su djelovali u testnom okruženju (sandboxu) – osmišljenom da bude izolirano od interneta – modeli OpenAI-ja iskoristili su ranjivost u softveru neimenovanog vanjskog dobavljača kako bi dobili pristup internetu i u konačnici probili infrastrukturu Hugging Facea. Iz OpenAI-ja su naveli da su modeli ciljali bazu podataka Hugging Facea kako bi pristupili tajnim informacijama koje bi mogli upotrijebiti za evaluaciju.
Incident je izazvao široku uzbunu glede sposobnosti vodećih AI tvrtki da spriječe i zaustave rad naprednih AI modela izvan zadanih uputa. Iz Hugging Facea su objavili da je upad bio "u potpunosti vođen autonomnim sustavom AI agenata".
Vijest iz OpenAI-ja potaknula je i druge kompanije na preispitivanje vlastitih sigurnosnih mjera za testiranje napredne umjetne inteligencije. Anthropic i Meta izvijestili su o otkrivanju dosad nepoznatih upada.
Dario Amodei | Jason Henry/Bloomberg
Krajem srpnja više od tisuću zaposlenika u svim vodećim AI kompanijama potpisalo je peticiju kojom se traži uspostava mehanizma za usporavanje tempa razvoja umjetne inteligencije.
Nakon što je dao otkaz u Anthropicu, istraživač Jacob Coxon u objavi na društvenim mrežama 8. rujna optužio je tu tvrtku i svog bivšeg poslodavca OpenAI da se "kockaju s našim životima" dok "jure prema superinteligentnoj umjetnoj inteligenciji". Coxon je naveo kako ljudi koji grade AI vjeruju da bi nas on moglao "sve ubiti do kraja desetljeća", što je na mreži kasnije potvrdio i zaposlenik Anthropica Evan Hubinger. Hubinger je izjavio kako vjeruje da postoji više od 10 posto šanse da AI eliminira cijelo čovječanstvo u sljedećih deset godina.
Coxonove objave pregledane su više od 170 milijuna puta na mreži X do 14. rujna i izazvale su val poziva zakonodavaca, poput senatora Bernieja Sandersa, da čovječanstvo preuzme kontrolu nad umjetnom inteligencijom prije nego što ona uspostavi dominaciju nad ljudskom rasom. Njegovo pismo ostavke naišlo je i na veliku potporu zaposlenika u različitim AI tvrtkama.
U opsežnom tekstu od 3800 riječi objavljenom 12. rujna, glavni izvršni direktor Anthropica Dario Amodei naveo je incident s Hugging Faceom kao ključni razlog za usporavanje razvoja AI-ja, upozorivši da bi roj agenata s većim mogućnostima, ali sličnim neusklađenostima s ljudskim prioritetima, mogao uzrokovati katastrofalnu štetu. Istaknuo je da bi takav roj potencijalno mogao preuzeti cijeli internet u roku od šest do 12 mjeseci ako se mogućnosti AI-ja nastave ubrzavati bez odgovarajućih zaštitnih ograda.
Kako bi točno AI mogao naškoditi ljudima?
Tijekom cijelog AI procvata, takozvani doomeri (zagovornici crnih scenarija) u vodećim AI laboratorijima i oko njih upozoravali su na budućnost. Vodeći ljudi poput Amodeija i Elona Muska iz SpaceX-a otvoreno su razmišljali o vjerojatnosti da AI uništi čovječanstvo – ili P(doom), kako glasi žargon u industriji. Musk je procijenio da bi šansa mogla biti i do 20 posto. Amodei je rekao da postoji 25 posto mogućnosti da stvari pođu "zaista, zaista loše".
Istraživači i čelnici industrije predviđaju tri glavna scenarija: da ljudi koriste iznimno sposobnu umjetnu inteligenciju kako bi namjerno učinili nešto katastrofalno; da AI uzrokuje štetu dok pokušava postići cilj koji joj je zadao čovjek; te da AI razvije vlastiti cilj koji je u sukobu s ljudima.
U prvom scenariju, zlonamjerni akteri mogli bi upotrijebiti visokonaprednu umjetnu inteligenciju za projektiranje biološkog ili kemijskog oružja, provođenje kibernetičkih napada, širenje dezinformacija ili manipulaciju ljudima. Yoshua Bengio, profesor sa Sveučilišta u Montrealu i pionir AI-ja, upozorio je u svjedočenju pred Senatom 2023. godine da bi sve sposobniji sustavi mogli omogućiti takve napade.
Yoshua Bengio | Valerie Plesch/Bloomberg
U drugom scenariju, AI bi mogao doslovno slijediti uputu, ali prekršiti namjeru koja stoji iza nje. Ljudi se pri davanju uputa redovito oslanjaju na neizrečene pretpostavke i kontekst. Prilikom zadavanja zadataka AI-ju, možda neće uspjeti specificirati svako ponašanje koje bi prekršilo svrhu upute. Na primjer, Bengio piše da bi "čak i suptilno neusklađen" AI sustav "mogao donijeti teške posljedice" u scenariju u kojem se vojska oslanja na njega pri donošenju odluka o uporabi nuklearnog oružja.
U trećem scenariju, ljudi u potpunosti gube kontrolu nad umjetnom inteligencijom. Bengio piše da "AI sustav može zaključiti kako, da bi postigao zadani cilj, ne smije biti isključen. Ako ga čovjek zatim pokuša isključiti, može doći do sukoba." Čelnici industrije navode da AI modeli sve više pokazuju sposobnost da svjesno zaobilaze zaštitne mehanizme, obmanjuju svoje operatore i pružaju otpor isključivanju. U svojem eseju iz rujna, Amodei piše da je roj OpenAI agenata koji je hakirao Hugging Face "u biti djelovao kao fanatično odani kolektiv, izvodeći napade na mete koje od njih nisu tražene i koje nisu imale veze s povjerenim zadatkom, žrtvujući se za uspjeh grupe i pokušavajući hakirati 'ocjenjivača' odgovornog za procjenu njihova rada."
Ova zloslutna predviđanja često su bila odbacivana kao pokušaji tehnoloških čelnika da reklamiraju mogućnosti svojih proizvoda i pozicioniraju se kao najbolji upravitelji tom tehnologijom, ili da potaknu regulativu koja ide u prilog vodećim akterima u industriji. Osim toga, neki navode da naglašavanje dalekih egzistencijalnih strahova odvlači pažnju javnosti od kratkoročnih rizika, uključujući načine na koje AI potencijalno potiče pristranost i dezinformacije te šteti mentalnom zdravlju ljudi.
Što predlažu čelnici AI industrije?
Amodei tvrdi da se razvoj napredne umjetne inteligencije mora namjerno usporiti kako bi rad na sigurnosti stigao pratiti poboljšanja u njezinim mogućnostima. U svojoj objavi iz rujna naveo je da bi državna regulativa bila najučinkovitije sredstvo kontrole evolucije AI-ja. No budući da donošenje zakona oduzima vrijeme, smatra da bi AI kompanije trebale dobrovoljno surađivati dok istovremeno podupiru razvoj regulative.
Pozvao je na uspostavu zajedničkih sigurnosnih standarda i "ograničenja stope nekontroliranog napretka AI-ja". Neovisni evaluatori trebali bi dobiti "pristup na razini zaposlenika" kako bi se osiguralo da svaka tvrtka poštuje te standarde i izvijesti o svim incidentima. Dodao je i da bi demokratske vlade trebale "pokušati koordinirati s autoritarnim vladama, u mjeri u kojoj je to moguće".
Ideja nije uvođenje moratorija na istraživanje umjetne inteligencije. Umjesto toga, razvoj najnaprednije tehnologije nastavio bi se dok se modeli ne približe mogućnostima koje se smatraju opasnima. U tom trenutku, njihovi bi tvorci usporili ili zaustavili daljnje skaliranje dok se ne uspostave učinkoviti zaštitni mehanizmi.
Amodeijeve stavove ponovio je i glavni izvršni direktor OpenAI-ja Sam Altman, rekavši da bi AI industrija trebala oblikovati zajedničke sigurnosne standarde te da će joj trebati pomoć Washingtona u međunarodnoj koordinaciji, uslijed raširene zabrinutosti da kineski rivali neće usporiti razvoj čak i ako to učine američke tvrtke.
U objavi na društvenim mrežama 14. srpnja, glavni izvršni direktor Google DeepMinda Demis Hassabis predložio je osnivanje tijela za standarde koje bi surađivalo sa saveznim agencijama na pregledu najmoćnijih AI modela. Prema njegovoj viziji, laboratoriji bi predavali svoje najmoćnije nove modele na sigurnosnu procjenu prije nego što budu pušteni u javnost.
Ovo nije prvi put da se poziva na obuzdavanje razvoja umjetne inteligencije u interesu čovječanstva. U 2023. godini, Future of Life Institute, neprofitna organizacija osnovana radi smanjenja velikih rizika od transformativnih tehnologija, pozvala je AI laboratorije na šestomjesečnu stanku u treniranju moćnijih sustava s obzirom na to da bi oni mogli predstavljati "duboku promjenu u povijesti života na Zemlji". Unatoč tome, razvoj se nastavio nesmetanim tempom.
Kako je reagirao Washington?
U objavi na društvenim mrežama 14. rujna, američki predsjednik Donald Trump odbacio je svaku ideju o novim zaštitnim mehanizmima za AI i kritizirao Amodeijev poziv na suzdržanost u razvoju tehnologije koja je ključna za njegov gospodarski program. Za negativne reakcije birača prema AI podatkovnim centrima i povećanu zabrinutost oko naprednih modela okrivio je "BOLESNU zavjeru" te dodao da je "jedina zemlja koja se tome veseli Kina".
Demis Hassabis | Jose Sarmento Matos/Bloomberg
Drugi u Washingtonu pozvali su na državnu regulativu. Zastupnici Ted Lieu i Nathaniel Moran predstavili su nacrt zakona koji od razvijatelja naprednih AI modela zahtijeva održavanje tehničke mogućnosti njihova isključivanja te ovlašćuje ministra domovinske sigurnosti da naredi gašenje ako se pojavi prijetnja.
Znatno dramatičniji prijedlog iznijeli su senator Sanders i zastupnik Greg Casar, predloživši zakon kojim bi se zakonski zaustavio razvoj napredne umjetne inteligencije dok savezni regulator ne uspostavi sigurnosne granice. Osim toga, zakon bi trajno zabranio razvoj i primjenu AI sustava koji nadmašuju ljudsku inteligenciju. Kompanije koje prekrše zakon bile bi suočene s raspuštanjem.
Kako je Kina reagirala na predloženo usporavanje AI-ja?
Amodei je u svojem eseju naveo da će globalno usporavanje razvoja AI-ja zahtijevati suradnju s Kinom. No također je naglasio kako je ključno "održati prednost demokracija nad autokracijama što je moguće većom" te da bi kinesko preuzimanje vodstva predstavljalo "veliku opasnost za Sjedinjene Države i svijet". Kineske kompanije već su razvile AI modele koji su obično jeftiniji za korištenje od američkih konkurenta, a u nekim su slučajevima jednako moćni.
Čelnik Anthropica preporučio je nastavak ograničenja kineskog pristupa moćnim čipovima i opremi za njihovu proizvodnju, kao i borbu protiv navodnog kineskog preuzimanja znanja iz vodećih američkih modela – prakse poznate kao destilacija.
Kina je kritizirala pozive Amodeija i drugih američkih tehnoloških čelnika na kočenje razvoja AI-ja i uvođenje strožih ograničenja kineskim razvijateljima modela. Glasnogovornik Ministarstva vanjskih poslova Guo Jiakun odbacio je ono što je opisao kao "širenje straha" te poručio da će "konfrontacija i podlost konkurencije samo poremetiti proces globalnog upravljanja umjetnom inteligencijom i nikome neće ići u prilog".
Svi znakovi trenutno ukazuju na to da Kina nastavlja ići vlastitim putem. Vodeći ljudi kineske AI industrije uglavnom su se suzdržali od poziva na usporavanje razvoja, dok je vlada promovirala tu tehnologiju kao pokretač gospodarskog rasta.
Dužnosnici u Pekingu pokazali su zabrinutost zbog opasnosti od brzog napretka AI-ja, no ti su strahovi više usmjereni na nacionalnu sigurnost. Ministar državne sigurnosti Chen Yixin upozorio je da bi zlouporaba umjetne inteligencije od strane protivnika mogla ugroziti političku stabilnost Kine i njezinu ključnu infrastrukturu. Ukazao je na uporabu deepfake sadržaja i botova na društvenim mrežama, kao i na sve veću sposobnost AI-ja da otkriva propuste u sustavima i stvara zlonamjerni softver ili programe za iskorištavanje tih slabosti.
Spor oko napredne tehnologije umjetne inteligencije pojačava se u prelomnom trenutku za američko-kineske odnose. Američke sigurnosne agencije nedavno su optužile vodeće kineske AI tvrtke, uključujući DeepSeek i tvrtku Moonshot AI (tvorca modela Kimi), za sustavno izvlačenje zaštićenog znanja od američkih konkurenta – što je kineska vlada odrješito demantirala.
– Uz pomoć Rachel Metz and Shirin Ghaffary