Googleov AI ubija web. Sada web uzvraća udarac

Google je postao kralj pretraživanja interneta i stvorio besplatno obilje znanja sklopivši mudar dogovor sa svima koji su izradili web stranicu: dopustite njegovom indekseru (crawleru) da popisuje vaše stranice, a Google će vam zauzvrat slati čitatelje. Ta razmjena danas izgleda potpuno drukčije zahvaljujući strategiji tvrtke da svoju infrastrukturu za pretraživanje koristi za jačanje svojih proizvoda umjetne inteligencije.

Ta tehnika, koja je uglavnom prošla ispod radara, daje tvrtki nepoštenu prednost u odnosu na druge AI tvrtke, dok istovremeno ubrzava rast automatiziranog prometa na internetu na štetu ljudi. Google se sada suočava s otporom odvažnog britanskog regulatora i nepokolebljivog aktera u industriji, što bi konačno moglo donijeti toliko potrebne promjene.

Googlebot, automatizirani indekser tvrtke, dugi je niz godina pretraživao internet i preuzimao web stranice kako bi napajao svoj golem indeks, omogućujući da se najsvježije i najrelevantnije stranice pojavljuju u Googleovim rezultatima pretraživanja. Međutim, u posljednje je vrijeme granica između sadržaja prikupljenog za pretraživanje i sadržaja korištenog za generiranje AI odgovora postala zamagljena, budući da se isti bot koristi za napajanje i pretraživanja i Googleovog vodećeg AI modela, Geminija.

Googleov web indekser vidi 3,2 puta više weba od OpenAI-jeve verzije i 4,8 puta više od Microsoftove, prema riječima Matthewa Princea, glavnog izvršnog direktora tvrtke za mrežnu sigurnost Cloudflare. Princeova tvrtka djeluje kao čuvar prometa za oko petinu weba, upravljajući prometom i blokirajući napade zlonamjernih aktera, a on je postao glasni kritičar Googlea zbog spajanja sustava pretraživanja i prikupljanja podataka (scrapinga). Kaže da takva strategija izdavačima otežava blokiranje treniranja AI-ja bez gubitka prometa iz pretraživanja o kojem ovise.

Ta prednost ima i šire posljedice. Ako AI sve više čita, sažima i prekraja web bez slanja čitatelja natrag na stranice koje su stvorili ljudi, ekonomski poticaj za stvaranje izvornih informacija počinje blijedjeti.

AI agenti generirali su više od 57 posto web prometa u 2026. godini u usporedbi s oko 42 posto koji otpada na ljude, prema podacima Cloudflarea, što označava da je prvi put u povijesti aktivnost strojeva na internetu premašila ljudsku. Prince vidi kako to odstupanje postaje još ekstremnije u sljedećih nekoliko godina, što je trend koji odražava takozvanu teoriju mrtvog interneta (dead internet theory) – ideju da strojevi sve više stvaraju i konzumiraju mrežni sadržaj. "Ljudi će na internetu biti samo pogreška pri zaokruživanju u usporedbi s onim što rade njihovi agenti i botovi", rekao mi je.

Agenti su još uvijek uglavnom rezervirani za softverske programere i tvrtke; no Mark Zuckerberg je prošlog tjedna rekao da će Meta Platforms Inc. uskoro lansirati potrošačku verziju za Facebook Messenger, WhatsApp i Instagram "koja radi sama po sebi i dovoljno je jednostavna" za korištenje milijardama ljudi.

Nema ništa loše u tome da botovi rade korisne stvari, ali internet će postati isprazan, manje originalan i na koncu manje koristan ako ljudski doprinos više ne bude nagrađivan i ako postupno nestane. Upravo tome prijeti Googleov novi sustav pretraživanja, jer ljudi stvaraju sadržaj samo zato da bi ga strojevi kopirali i saželi u AI odgovore, ostvarujući ekonomsku korist koja nikada ne dolazi do izvornih autora.

Google je to mogao riješiti tako da omogući web stranicama da odbiju korištenje svojih podataka za AI, dok se i dalje pojavljuju u rezultatima pretraživanja. Tvrtka je razmatrala davanje tog izbora u travnju 2024., neposredno prije nego što je pokrenula AI Preglede (AI Overviews), a zatim je odlučila da to ne učini jer je to područje "evoluiralo u prostor za monetizaciju", prema internim slajdovima koji su otkriveni u sklopu antimonopolskog sudskog postupka u SAD-u.

Tvrtka se otad suočila s posljedicama te odluke. Prince kaže da je Cloudflare dao Googleu ultimatum: Od 15. rujna ova će infrastrukturna tvrtka za svoje korisnike koji se financiraju od oglasa blokirati indeksere s mješovitom namjenom – i to prema zadanim postavkama. Google bi mogao izgubiti pristup milijunima web stranica koje koriste Cloudflare.

Dodatni pritisak došao je od britanskog regulatora za zaštitu tržišnog natjecanja. U lipnju je Uprava za natjecanje i tržišta (CMA) naložila Googleu da vlasnicima web stranica pruži jasan izbor da blokiraju korištenje svog sadržaja za AI proizvode uz zadržavanje u rezultatima pretraživanja. Prema toj naredbi, Google ne smije kažnjavati te web stranice pomicanjem na niže pozicije u rangiranju.

Prince mi je rekao da postoje "šuškanja" kako Google neće samo slijediti taj standard za UK, već će ga primijeniti na globalnoj razini. Glasnogovornik Googlea potvrdio mi je da tvrtka doista testira novu postavku koja web stranicama omogućuje isključivanje iz AI odgovora bez narušavanja njihovog ranga u pretraživanju te da će to primijeniti diljem svijeta kada testiranje u UK-u bude završeno. To označava ohrabrujući zaokret u odnosu na status quo, u kojem najveće svjetske tehnološke tvrtke igraju po vlastitim pravilima.

No indekseri ove tvrtke tehnički i dalje ostaju spojeni. Isti bot i dalje prikuplja sadržaj stranice i za pretraživanje i za AI, a web stranice moraju vjerovati Googleu da će poštovati njihove želje. Potpuno razdvajanje Googleovog indeksera na dva dijela – indeksiranje za pretraživanje i prikupljanje podataka za AI – bilo bi bolje rješenje. Web stranice bi tada same i na vlastitim vratima mogle blokirati prikupljanje podataka za AI, umjesto da se oslanjaju na Googleovu riječ – koja se, kako su pokazali interni slajdovi iz 2024., savija kada su u pitanju prihodi. To bi također bilo bolje od grubljih alternativa: potpune zabrane prikupljanja podataka za treniranje AI-ja ili neodređenog zahtjeva da AI tvrtke plaćaju izdavačima.

Google i dalje kontrolira 90 posto tržišta pretraživanja, što ga čini de facto vratima prema webu, ali njegove eksploatacijske ambicije postaju sve problematičnije u dobu umjetne inteligencije. Uz malo sreće, praksa tvrtke nastavit će se mijenjati na bolje.