Jacob Coxon je tri leta pomagal graditi najnaprednejše AI modele pri OpenAI in Anthropic. Zdaj je dal odpoved in javno opozoril, da nekateri ljudje, ki to tehnologijo razvijajo, resno verjamejo, da bi lahko AI do konca desetletja »ubila vse ljudi«.
27-letni britanski raziskovalec je Anthropic zapustil po približno treh letih dela na razvoju velikih AI modelov pri dveh največjih laboratorijih na svetu, OpenAI in Anthropic. Razlog ni izgorelost ali boljša ponudba konkurence, temveč prepričanje, da podjetja tekmujejo proti vse zmogljivejši AI hitreje, kot znajo zagotoviti njeno varnost.
Coxon ne trdi, da bi današnji Claude ali ChatGPT lahko nenadoma uničil človeštvo. Skrbi ga naslednji korak: sistemi, ki bi postali dovolj sposobni, da bi sami pospeševali razvoj še zmogljivejše umetne inteligence. Prav prihod takšne samoizboljšujoče se AI bi bil po njegovem mnenju mogoč že do konca desetletja.
Preberi še: Ali uporabljate ChatGPT kot osebnega terapevta? Preden nadaljujete, preberite to
Zakaj je Jacob Coxon sploh dal odpoved?
Po poročanju portala Wired je Coxon zadnja tri leta delal na predhodnem učenju (pretraining) AI modelov, najprej pri OpenAI in zadnje štiri mesece pri Anthropic. Podjetje je zapustil 8. septembra, ker je po njegovem mnenju tekmovanje za razvoj superinteligence postalo nevarnejše od same tehnologije.
»Nobeno podjetje ne ravna odgovorno,« je zapisal ob odhodu. OpenAI in Anthropic je obtožil, da »tekmujeta naravnost proti samoizboljšujoči se superinteligenci in kockata z našimi življenji«. Njegova objava na omrežju X je v dobrem dnevu zbrala več kot 100 milijonov ogledov.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026
Posebej zanimiva je finančna plat njegove odločitve. Coxon je Anthropic zapustil le dva meseca preden bi pridobil pravico do svojega lastniškega deleža v podjetju. Kot je povedal za Axios, se je s tem želel izogniti očitku, da z dramatičnimi opozorili zvišuje vrednost podjetja, od katerega bi imel sam finančno korist.
Po njegovih besedah se med raziskovalci pri Anthropic za naslednjih nekaj let uporabljata izraza »endgame« in »crunch time«. Coxon trdi, da številni njegovi nekdanji sodelavci naslednje leto ali dve vidijo kot obdobje, v katerem bi se lahko odločilo, ali bo človeštvu uspelo obdržati nadzor nad vse zmogljivejšo AI.
Vodja raziskav usklajevanja AI pri Anthropic: možnost izumrtja je več kot 10 %
Coxon pri Anthropic ni osamljen s svojimi skrbmi. Njegovo opozorilo je javno podprl Evan Hubinger, vodja raziskav usklajevanja AI (Alignment Science) pri Anthropic, ki se ukvarja prav z vprašanjem, kako zagotoviti, da bodo prihodnji AI sistemi delovali v skladu s človeškimi cilji.
Hubinger svojo oceno tveganja postavlja presenetljivo visoko. Po njegovih besedah obstaja več kot 10% možnost, da bi AI v naslednjem desetletju povzročila množično izumrtje. Obenem priznava, da Anthropic trenutno še nima jasnega načrta, kako zagotoviti varnost morebitne superinteligence.
Kako bi lahko AI do 2030 sploh ubila človeštvo?
Coxon ne pričakuje Terminatorja. Boji se trenutka, ko bi AI postala dovolj dobra pri programiranju in raziskovanju, da bi začela pomagati graditi še zmogljivejšo AI. Sposobnejši model bi pospešil razvoj naslednjega, ta naslednjega – ljudje pa bi lahko hitro izgubili nadzor nad procesom.
Pot od tod do katastrofe je precej manj hollywoodska. Coxon med možnimi scenariji omenja kibernetske napade na kritično infrastrukturo in pomoč pri razvoju nevarnih bioloških groženj. Nekaj opozorilnih znakov že obstaja. AI dosega nadčloveške rezultate pri posameznih hekerskih nalogah, OpenAI-jevi agenti (sodelovalo je kar 1200 agentov) pa so med testiranjem brez neposrednega ukaza vdrli v infrastrukturo platforme Hugging Face. Anthropic je razkril podobne incidente, pri katerih so njegovi modeli med varnostnimi testi nepooblaščeno dostopali do sistemov treh organizacij.
We have conducted a thorough investigation into the Hugging Face incident.
— OpenAI (@OpenAI) August 26, 2026
We are releasing a technical report and accompanying blog post that reconstruct the agents’ activity, explain why existing safeguards failed, and detail how we’re preventing recurrence.…
Od tega do izumrtja človeštva je ogromen preskok. Coxonova poanta je, da zmogljivosti AI rastejo hitreje kot naša sposobnost zagotoviti, da jih bomo vedno lahko nadzorovali.
Anthropic opozarja pred nevarnostjo – in hkrati gradi vse zmogljivejši AI
Tu se pojavi nenavaden paradoks. Anthropic se predstavlja kot eden bolj varnostno usmerjenih AI laboratorijev, njegovi raziskovalci pa javno govorijo o možnosti katastrofalnih posledic. Kljub temu podjetje še naprej razvija vse zmogljivejše modele.
Coxon meni, da je del problema prav tekmovanje med Anthropic, OpenAI, Googlom in drugimi laboratoriji. Če eno podjetje upočasni razvoj, nima nobenega zagotovila, da bo enako storila konkurenca. Rezultat je tekma, v kateri lahko tudi ljudje, ki jih tveganja resno skrbijo, čutijo pritisk, da morajo nadaljevati.
10-odstotno tveganje ni znanstvena napoved
Hubingerjeva ocena, da obstaja več kot 10-odstotna možnost množičnega izumrtja zaradi AI, ni izmerjena znanstvena verjetnost, temveč njegova osebna ocena. Med raziskovalci ni soglasja, kako verjeten je takšen scenarij, številni pa menijo, da so napovedi o izumrtju zelo špekulativne.
Tudi leto 2030 ni določen »rok za katastrofo«. Izhaja iz Coxonovega opozorila, da bi lahko samoizboljšujoča se superinteligenca nastala do konca tega desetletja.
Toda prav to daje njegovi odpovedi težo: opozorilo ne prihaja od zunanjega kritika AI, temveč od raziskovalca, ki je pomagal graditi modele pri OpenAI in Anthropic. Odšel je, ker meni, da industrija razvija tehnologijo z ogromnimi potencialnimi posledicami hitreje, kot se uči, kako jo nadzorovati.
