AI će uništiti svet

Možda će tema jednog od budućih tekstova biti kako nam Holivud i Bolivud utiču na rasiđivanje. A ovaj naslov je upravo takav.

 

Postoji nešto gotovo književno u trenutku kada kompanija koja razvija jednu od najmoćnijih tehnologija našeg vremena izađe pred buduće investitore i kaže:
Ovo što pravimo možda predstavlja egzistencijalni rizik za čovečanstvo.
Upravo to je, pojednostavljeno, uradio Anthropic.
U dokumentaciji povezanoj sa izlaskom kompanije na berzu, Anthropic je među rizicima naveo mogućnost da dovoljno napredni sistemi veštačke inteligencije izazovu katastrofalne posledice, pa čak i ugroze opstanak čovečanstva.
Naravno, naslov je savršen za internet.
„Anthropic upozorava da AI može uništiti čovečanstvo.“
Klik.
Panika.
Komentari.
Skynet.
I verovatno nekoliko hiljada ljudi koji će ispod teksta napisati da su oni to znali još kada im je Windows 95 prvi put izbacio „illegal operation“.
Ali stvarnost je zanimljivija od naslova.

Niko nije rekao da će nas Claude pobiti

Anthropic ne tvrdi da će današnja veštačka inteligencija preuzeti svet. Ne tvrdi ni da će se katastrofalni scenario sigurno dogoditi.
Govori nešto mnogo neprijatnije:
ne možemo sa sigurnošću znati šta će se dogoditi kada sistemi postanu mnogo sposobniji nego danas.
Današnji veliki jezički modeli umeju da pišu, programiraju, analiziraju slike, rešavaju matematičke probleme, pretražuju ogromne količine informacija i obavljaju sve složenije zadatke.
Ali zamislimo sledeći korak.
Sistem koji ne čeka svaku našu naredbu.
Dobije cilj i sam napravi plan. Pokrene programe. Pretraži mrežu. Napiše novi softver.
Testira ga. Komunicira sa drugim sistemima. Analizira rezultate. Ispravi sopstvene greške. A onda dobije pristup istraživanju novih generacija veštačke inteligencije.
Tu stvar postaje zanimljiva.
I pomalo neprijatna.

Problem nije inteligencija

Ljudi često zamišljaju opasnu veštačku inteligenciju kao nekog elektronskog Hitlera koji jednog jutra odluči da mrzi ljude.
To je antropomorfizam.
AI ne mora da nas mrzi.
Mržnja je komplikovana ljudska emocija. Za katastrofu je sasvim dovoljan mnogo banalniji problem:
cilj koji smo loše definisali.
Ako veoma sposoban sistem dobije cilj, a ljudi postanu prepreka njegovom ostvarivanju, nije neophodno da razvije bes, mržnju ili želju za osvetom.
Dovoljno je da zaključi da prepreku treba ukloniti.
Mi svakodnevno radimo nešto slično.
Kada gradimo autoput ne mrzimo mravinjak koji se nalazi na njegovoj trasi.
Jednostavno nam nije važan.
To je možda mnogo strašnija metafora od Terminatora.

Najvažniji trenutak neće biti kada AI postane pametniji od čoveka

Postoji još jedan mogući trenutak koji smatram mnogo zanimljivijim.
Onaj kada AI postane dovoljno sposoban da značajno doprinosi razvoju sledeće generacije AI sistema.
Do sada je razvoj izgledao približno ovako:
čovek napravi model → čovek ga testira → čovek pronađe probleme → čovek projektuje bolji model.
Ali šta se događa kada u toj jednačini AI počne da obavlja veliki deo posla?
AI pomaže ljudima da naprave bolji AI.
Taj novi AI zatim još efikasnije pomaže da se napravi sledeći.
Pa sledeći.
Brzina razvoja više ne mora biti određena samo brzinom ljudskog istraživanja.
To je ideja koja se često naziva rekurzivnim unapređivanjem ili, u ekstremnom slučaju, inteligencijskom eksplozijom.
Ne znamo da li će se dogoditi.
Ali više nije potpuno besmislena naučnofantastična pretpostavka.

A onda dolazimo do pravog problema

Pretpostavimo da Anthropic odluči:
„Usporavamo razvoj dok ne budemo potpuno sigurni.“
Divno.
Šta radi OpenAI?
Šta radi Google?
Meta?
Kineske kompanije?
Državne laboratorije?
Neko će nastaviti.
I tu se pojavljuje možda najveći problem cele priče.
Nije potrebno da bilo ko želi da napravi opasnu veštačku inteligenciju. Dovoljno je da svi misle da ne smeju da dozvole da je neko drugi napravi prvi. To je ista logika koja je pratila mnoge tehnološke trke u istoriji.
Ako ja stanem, protivnik neće. Ako protivnik neće stati, ni ja ne mogu.
I tako svi trče prema mestu na koje možda niko razuman ne bi želeo da stigne prvi.

A sada dolazi najbolji deo

Anthropic sve ovo piše u dokumentaciji namenjenoj investitorima.
Dakle, otprilike:
„Tehnologija koju razvijamo možda predstavlja egzistencijalni rizik za čovečanstvo.“
A nekoliko stranica kasnije:
„Evo prilike da kupite akcije.“
Kapitalizam ponekad poseduje smisao za humor koji nijedan AI još nije uspeo da reprodukuje.
Ali iza šale postoji nešto ozbiljno.
Kada kompanija izlazi na berzu, mora potencijalnim investitorima da navede materijalne rizike poslovanja.
Tu obično nalazimo konkurenciju, regulativu, tužbe, troškove infrastrukture, zavisnost od dobavljača i tržišne promene.
Kod kompanije koja razvija frontier AI pojavljuje se još jedna stavka:
mogućnost da tehnologija koju prodaje promeni samu strukturu ljudskog društva.
To nije baš tipičan IPO.

Da li je egzistencijalni rizik naučno dokazan?

Ne.
I to treba jasno reći.
Nemamo eksperimentalni podatak koji pokazuje da superinteligentni AI uništava civilizacije.
Iz prilično očiglednog razloga.
Nemamo ni deset prethodnih planeta na kojima smo pustili AGI pa na osnovu njih napravili Kaplan-Meierovu krivu preživljavanja čovečanstva.
Šteta. Nauka bi bila mnogo jednostavnija.
Zbog toga procene verovatnoće AI katastrofe treba veoma oprezno tumačiti. Ali odsustvo dokaza da će se katastrofa dogoditi nije isto što i dokaz da se ne može dogoditi.
U medicini to veoma dobro znamo.
Kada posledica može biti mala, možemo tolerisati relativno veliku neizvesnost. Kada posledica može biti katastrofalna, prihvatljiv nivo neizvesnosti postaje mnogo manji.
Ako postoji jedan procenat mogućnosti da će mi pokvareni prekidač ugasiti svetlo u kupatilu, neću sazvati konzilijum.
Ako postoji jedan procenat mogućnosti da će isti prekidač detonirati nuklearnu bombu, možda bih ipak pozvao električara.

A možda je najveća opasnost nešto sasvim drugo

Postoji mogućnost da nikada ne dobijemo zlu superinteligenciju.
Možda AI nikada neće odlučiti da nas uništi. Možda neće ni pokušati da pobegne iz servera. A ipak može promeniti svet više nego gotovo bilo koja prethodna tehnologija.
Može promeniti tržište rada.
Obrazovanje.Medicinu. Ratovanje. Nauku. Ekonomiju.
Način na koji razlikujemo istinu od laži. Način na koji donosimo odluke. Čak i način na koji razmišljamo.
Već danas ljudi pitaju AI šta da napišu, šta da kupe, gde da putuju, šta znači njihov laboratorijski rezultat, kako da programiraju, kako da vode firmu i kako da reše ljubavni problem.
Sutra će ga možda pitati šta da istražuju.
Prekosutra šta da odluče. A onda možda više neće ni pitati. Sistem će jednostavno odlučivati. Ne zato što nas je pokorio. Nego zato što smo zaključili da je praktičnije.

Anthropicovo upozorenje nije smešno

Dramatično jeste. Ali nije besmisleno.
Čovečanstvo je prvi put napravilo tehnologiju čiji razvojni cilj nije samo da bude brža, veća ili snažnija, već da bude sposobnija da razmišlja i rešava probleme. Parna mašina nije projektovala bolju parnu mašinu.
Automobil nije projektovao sledeći automobil. Mikroskop nije razmišljao kako da napravi bolji mikroskop. AI potencijalno može. Tu se nalazi kvalitativna razlika.
Možda ćemo za pedeset godina čitati današnja upozorenja i smejati se sopstvenom strahu.
Voleo bih da bude tako. Ali postoji i druga mogućnost.
Da će ljudi budućnosti gledati 2026. godinu i pitati se kako smo mogli da vidimo šta dolazi, da o tome pišemo naučne radove, organizujemo konferencije, pravimo bezbednosne protokole i čak upozorimo investitore...
...a zatim nastavimo da razvijamo sve moćnije sisteme što je brže moguće.
Jer je konkurencija razvijala svoje.
Možda najveći rizik veštačke inteligencije na kraju neće biti veštačka inteligencija.
Možda ćemo to, sasvim tradicionalno, biti mi.

Svi koristimo AI na neki način. Sve ove slike pravio je AI. Original teksta mi je pronašao AI. Na poslu ga koristim, sami aparati ga koriste. To je očekivana budućnost. Kako će tačno da se razvija, to ne mogu biti siguran. Možda je to najlepše u svemu, biti iznenađen onim što dolazi.