AI model Claude pomogao je u bombardiranju Irana. Ali kako točno?

Isti model umjetne inteligencije koji vam može pomoći u sastavljanju marketinškog e-maila ili smišljanju brzog recepta za večeru korišten je i u napadima na Iran. Američko središnje zapovjedništvo (CENTCOM) koristilo je AI model Claude tvrtke Anthropic za "procjene obavještajnih podataka, identifikaciju ciljeva i simulaciju borbenih scenarija" tijekom napada na tu zemlju, navodi se u izvješću Wall Street Journala.

Nekoliko sati ranije, američki predsjednik Donald Trump naredio je saveznim agencijama da prestanu koristiti Claude nakon spora s njegovim proizvođačem, no taj je alat bio toliko duboko integriran u sustave Pentagona bi bili potrebni mjeseci da ga se zamijeni poslužnijim konkurentom. Koristio se i u siječanjskoj operaciji koja je dovela do otimanja Nicolása Madura.

Međutim, što u praksi znače "procjene obavještajnih podataka" i "identifikacija ciljeva"? Je li Claude označavao lokacije za napad ili je izrađivao procjene broja žrtava? Nitko to nije javno objavio, a što je još alarmantnije, nitko nema ni obvezu to učiniti.

Umjetna inteligencija već se dugo koristi u ratovanju za zadatke poput analize satelitskih snimaka, otkrivanja kibernetičkih prijetnji i vođenja sustava raketne obrane. No sada se na bojnom polju koriste i chatbotovi, ista tehnologija koju milijarde ljudi koriste za svakodnevne zadatke poput pisanja e-poruka.

Prošlog studenog, Anthropic se udružio s tvrtkom za analizu podataka Palantir Technologies Inc. koja obavlja razne poslove za Pentagon te je pretvorio svoj veliki jezični model Claude u okosnicu sustava za analitičku potporu vojnom odlučivanju.

Zatim je u siječnju Anthropic podnio Pentagonu prijedlog vrijedan 100 milijuna dolara za razvoj dronova s glasovnim upravljanjem, izvijestio je Bloomberg News. Ideja tvrtke bila je koristiti Claude za prevođenje namjera zapovjednika u digitalne naredbe za koordinaciju flote dronova.

Prijedlog je odbijen; natječaj je zahtijevao puno više od pukog sažimanja obavještajnih izvješća, što je nešto što bi se moglo očekivati od chatbota. Cilj je natječaja bio razviti "svijest o ciljevima i razmjenu informacija" te potpunu autonomiju potencijalno smrtonosnih rojeva dronova.

Glavni izvršni direktor tvrtke Anthropic Dario Amodei | Izvor: Samyukta Lakshmi/Bloomberg

Nevjerojatno je da se sve to događa u regulatornom vakuumu, a radi se o tehnologiji za koju je poznato da čini pogreške. Halucinacije velikih jezičnih modela rezultat su njihove obuke, pri čemu ih se nagrađuje za davanje bilo kakvog odgovora umjesto priznavanja nesigurnosti. Neki znanstvenici tvrde da se taj problem izmišljanja informacija možda nikada neće riješiti.

Ovo ne bi bio prvi put da su nepouzdani AI sustavi koriste u ratovanju. Lavender je bila baza podataka vođena umjetnom inteligencijom koja se koristila za identifikaciju vojnih ciljeva povezanih s Hamasom u Gazi. To nije bio veliki jezični model, već sustav koji je analizirao ogromne količine obavještajnih podataka, poput društvenih veza i povijesti lokacija, kako bi osobama dodijelio brojčanu vrijednost od jedan do sto. Kada bi vrijednost nekog pojedinca prešla određeni prag, Lavender bi ga označio kao vojnu metu.

Problem je bio u tome što je Lavender griješio u 10 posto slučajeva, prema istraživačkom izvješću koje je objavio izraelsko-palestinski medij +972. "Oko 3600 ljudi je greškom bilo meta napada", kaže Mariarosaria Taddeo, profesorica digitalne etike i obrambene tehnologije na Oxford Internet Instituteu.

"Ti sustavi kriju nevjerojatne sigurnosne propuste i ekstremnu nepouzdanost, pogotovo za nešto poput ratovanja, koje je izrazito dinamično, osjetljivo i ljudsko", tvrdi Elke Schwarz, profesorica političke teorije na Sveučilištu Queen Mary u Londonu i autorica knjige Death Machines: The Ethics of Violent Technologies ("Strojevi smrti: Etika nasilnih tehnologija").

Schwarz ističe da se AI često koristi u ratu kako bi se ubrzao proces, što je recept za neželjene ishode. Brže odluke donose se u većim razmjerima i uz manje ljudskog nadzora. Kaže i kako je u posljednjih desetljeće i pol vojna uporaba umjetne inteligencije postala još netransparentnija.

Štoviše, tajnovitost je utkana u način rada AI laboratorija čak i prije primjene te tehnologije u ratovanju. Te tvrtke odbijaju otkriti na kojim se podacima njihovi modeli obučavaju ili kako njihovi sustavi dolaze do zaključaka.

Naravno, vojne operacije često moraju ostati tajne kako bi se vojnike zaštitilo i neprijatelja držalo u neznanju. No obrana je strogo regulirana međunarodnim humanitarnim pravom i standardima za testiranje oružja koji bi u teoriji trebali obuhvaćati i korištenje umjetne inteligencije. Pa ipak, takvi standardi nedostaju ili su neadekvatni.

Pentagon u saveznoj državi Virginia, SAD | Al Drago/Bloomberg

Taddeo napominje da članak 36. Ženevske konvencije zahtijeva testiranje novih sustava naoružanja prije njihove primjene, ali AI sustav koji uči iz okoline postaje novi sustav sa svakim ažuriranjem. Zbog toga je gotovo nemoguće primijeniti to pravilo.

U idealnom svijetu, vlade poput SAD-a bi otkrile kako se ti sustavi koriste na bojnom polju, a za to postoji i presedan. Amerikanci su počeli koristiti naoružane dronove nakon 11. rujna i proširili su njihovu upotrebu pod administracijom Baracka Obame, pritom odbijajući uopće priznati da takav program postoji.

Bilo je potrebno gotovo 15 godina curenja dokumenata, neprekidnog pritiska medija i tužbi Američke unije za građanske slobode (ACLU) prije nego što je Bijela kuća pod Obamom konačno 2016. godine objavila broj žrtava napada dronovima. Smatralo se da su te brojke umanjene, no to je svejedno omogućilo javnosti, Kongresu i medijima da prvi put pozovu vladu na odgovornost.

Uvođenje reda u korištenje umjetne inteligencije bit će još veći izazov koji će zahtijevati još snažniji pritisak javnosti i zakonodavstva kako bi se nepopustljiva Trumpova administracija prisilila na stvaranje sličnog okvira za izvještavanje.

Cilj toga ne bi bio otkriti točno kako se Claude koristi u vojnim akcijama poput operacije "Epic Fury", već od vlade zatražiti da objavi informacije o načelnoj upotrebi, objašnjava Schwarz. Osobito bi važno bilo objaviti kada nešto pođe po zlu.

Aktualne polemike o sukobu između Anthropica i Pentagona, o legalnosti i etičnosti upotrebe AI-a za masovni nadzor Amerikanaca ili stvaranje potpuno autonomnog oružja, zanemaruju važnije pitanje o potpunom izostanku uvida u to kako se tehnologija već koristi u ratu. Budući da su ti novi i neprovjereni sustavi skloni greškama, taj je uvid prijeko potreban. "Kao društvo još nismo odlučili jesmo li suglasni s time da stroj odlučuje treba li ubiti ljudsko biće ili ne", kaže Taddeo.

Ključno je inzistirati na transparentnosti prije nego što umjetna inteligencija u ratovanju postane toliko rutinska da se nitko više ne sjeti postavljati pitanja. U protivnom bismo se mogli naći u situaciji da čekamo katastrofalnu pogrešku i tražimo transparentnost tek nakon što je šteta već učinjena.