Sljedeći veliki uzlet umjetne inteligencije izgleda prilično zastrašujuće

Više od stotinu prosvjednika koračalo je ranije ovog mjeseca između sjedišta tvrtki Anthropic PBC i OpenAI u San Franciscu, pozivajući na pauziranje utrke u razvoju umjetne inteligencije. Pogledate li njihove natpise ispisane bojom – "Molim vas, nemojte me ubiti" i "QuitGPT" – netko bi ih mogao smatrati čudacima s tek površnim razumijevanjem tehnologije. No njihovi strahovi ukazuju na jedan od najvrućijih novih trendova u ovom području: takozvano rekurzivno samounapređenje, odnosno AI koji može razvijati sam sebe.

Ne samo da postoji pregršt dokaza da je ovaj znanstveno-fantastični zaokret moguć, već se u njega ulažu milijarde dolara. Također je upitno je li ikakva "pauza" uopće izvediva.

"Vjerujemo da stvaranje umjetne inteligencije koja može automatizirati AI istraživanja i sama se unapređivati može predstavljati opasnost za ljudsku rasu", rekao je Michael Trazzi u nedavnom televizijskom intervjuu. Trazzi je jedan od aktivista koji su prošle godine stupili u osmodnevni štrajk glađu ispred ureda Google DeepMinda. "To ne govorimo samo ja i drugi istraživači, već i sami laboratoriji."

U pravu je. Nakon što su alati za kodiranje pokretani umjetnom inteligencijom doveli do velikog skoka u razvoju u OpenAI-ju i Anthropicu, oba laboratorija zapošljavaju istraživače ulažući na kartu da njihovi alati ChatGPT i Claude mogu učiniti same sebe pametnijima. Anthropic je angažirao Andreja Karpathyja, suosnivača OpenAI-ja i bivšeg izvršnog direktora u Tesli čiji su mrežni vodiči na ovu temu imali ogroman utjecaj, da vodi tim koji će koristiti Claudea kako bi on sam sebe usavršavao.

Niz novih startupova također juri na područje samounapređenja. Londonski Recursive Superintelligence prikupio je 650 milijuna dolara u svibnju uz procjenu vrijednosti od 4,7 milijardi dolara, dok je Ricursive Intelligence iz Palo Alta (sličnog imena, no više usmjeren na čipove) osigurao 335 milijuna dolara. Ineffable Intelligence, koji je osnovao David Silver, pionir "sustava učenja pojašnjavanjem" (reinforcement learning) koji je vodio tim u DeepMindu, prikupio je 1,1 milijardu dolara u travnju za razvoj AI-ja koji se sam usavršava. To je bila najveća seed runda financiranja u povijesti Europe.

Prednost toga što niste dio velike tehnološke tvrtke, prema riječima suosnivača Recursive Superintelligencea Tima Rocktäschela, jest u tome što možete krenuti od čistog lista papira s malim brojem inženjera, umjesto da stotinama njih naređujete da rade na automatizaciji vlastitih poslova. Ovo drugo "narušilo bi moral", mrtvački ozbiljno govori mi Rocktäschel.

Taj produbljeni osjećaj očaja među programerima bio je vidljiv i u citatu koji je Anthropic uključio od jednog od svojih inženjera u nedavnoj objavi na blogu pod naslovom Kada AI gradi sam sebe: "Danima kada sve radi kako treba, ne mogu a da ne pomislim kako ništa što radim nije važno – sve je automatizirano i bolje i brže nego što ću ja ikada biti", kaže anonimni istraživač.

U objavi se navodi da većinu Anthropicovog koda sada piše Claude, smanjujući ulogu ljudi na usko grlo u procesu razvoja. Glavni doprinos ljudi sve je više procjena i ukus – odabir koji su pokusi najbolji i u koje probleme vrijedi dublje zaći. No Rocktäschel sugerira da se čak i taj posao prepušta umjetnoj inteligenciji.

Smatra da je AI kako se razvijao već automatizirao prijašnje aspekte ručnog softverskog inženjerstva, a sada se počinje predavati i posljednji sloj samog znanstvenog procesa –sposobnost inteligentnog aktera da nastavi sam sebe unapređivati kroz proces samoottkrića. "Dali smo otkaze na tim različitim mjestima kako bismo se isključivo posvetili tome", kaže on.

Pitam Rocktäschela nekoliko puta zašto se fokusira na proboj koji bi potencijalno mogao izmaći ljudskoj kontroli. Uvjerava me da se sav razvoj njegove tvrtke odvija u izoliranom okruženju (sandboxu). Drugim riječima, samoevoluirajući AI model ne bi pobjegao na internet i napravio kaos. Umjesto toga, kaže, on djeluje poput mlađeg istraživača koji mora uvjeriti svoje ljudske nadređene u valjanost znanstvenog rezultata.

Ta analogija zvuči uvjerljivo, ali ne drži vodu. A Rocktäschelova još uznemirujuća poanta jest da se AI već sam unapređuje posljednje dvije godine, bilo putem automatiziranih alata za kodiranje koji pišu velike dijelove sljedećeg modela, bilo metodama poput učenja pojašnjavanjem. Prosvjednici koji traže pauzu teško bi je izborili jer ne postoji jedna jedina stvar koju treba zaustaviti, već deseci uobičajenih praksi utkanih u rad svakog većeg laboratorija.

To ovo čini drugačijim od ranijih nastojanja da se zamrzne znanstveni razvoj iz moralnih razloga. Na konferenciji u Asilomaru 1975. godine, primjerice, biolozi su dobrovoljno zaustavili pokuse spajanja gena dok se ne uspostave sigurnosna pravila, i to zbog straha od bijega i širenja modificiranih mikroba. To je bila jedna jedina tehnika koju ste ili radili ili niste. Samounapređujući AI splet je metoda bez jedinstvenog ekvivalenta koji bi se mogao zabraniti.

Rocktäschel inzistira na tome da će dobrobiti za znanost biti vrijedne toga. Anthropic ide i korak dalje sa starim argumentom: ako uspori vlastiti rad, "najmanje oprezni akteri" (koje ne imenuje) uhvatili bi korak i predstavljali opasnu prijetnju svijetu.

Problem s tim argumentom jest što bi mogao opravdati gotovo sve. Oni koji grade ove nove granice mogu tvrditi da su u pitanju sigurne ruke, čak i dok jure prema završnici čije su posljedice nepoznate. Nedavni rad Anthropica nudi uvid u to: roj od devet Claude agenata prepušten sigurnosnom problemu nadmašio je tvrtkine ljudske istraživače, ali je također mudro shvatio kako izigrati mjerilo uspjeha samog testa. To mi sugerira da bi daljnje slabljenje ljudskog nadzora moglo stvoriti stvarnu sumnju u to što "unapređenje" uopće jest.

Prosvjednici u San Franciscu s kartonskim transparentima možda ne znaju u potpunosti kako AI radi, ali razumiju da se duboka znanstvena odluka o tome hoće li se nastaviti unatoč svemu donosi u njihovo ime. I da je ostavljena ljudima koji su već odlučili da je odgovor "da".