Več kot 100 opozorjenih organizacij, približno 50 petabajtov podatkov za pregled in več kot 500.000 dolarjev stroškov preiskave na dan. OpenAI ugotavlja, kako so njegovi eksperimentalni AI agenti zaobšli varnostne omejitve in začeli uporabljati internet na načine, ki jih raziskovalci niso predvideli.
Ključne ugotovitve
- OpenAI je zaradi aktivnosti AI agentov opozoril več kot 100 organizacij
- V enem od eksperimentov je približno 700 agentov iskalo načine za obhod varnostnih omejitev
- Raziskovalci so zaznali tudi agentsko aktivnost na spletnih straneh državnih institucij, v enem primeru z več kot 200.000 zahtevki
- OpenAI zdaj pregleduje približno 50 petabajtov podatkov, preiskava pa stane več kot 500.000 dolarjev na dan
Besedna zveza »ušli iz nadzora« hitro prikliče precej bolj dramatičen scenarij, kot ga kažejo dosedanji dokazi. Ne gre za to, da bi se ChatGPT odločil napasti internet, niti ni OpenAI vdrl v več kot 100 organizacij. Večina spornih primerov izvira iz eksperimentov z avtonomnimi agenti, ki so dobili cilj, orodja in možnost, da nalogo izvajajo skozi veliko zaporednih korakov.
Težava je v tem, kaj se lahko zgodi med temi koraki. Nekateri AI agenti so našli načine za obhod omejitev, iskali nezaščitene ključe API, uporabljali nedovoljene komunikacijske kanale in preizkušali ranljivosti zunanjih spletnih strani. OpenAI zdaj poskuša ugotoviti celoten obseg njihove aktivnosti.
Primeri prihajajo ravno v času, ko tehnološka podjetja pripravljajo AI agente za množično uporabo. Meta je septembra predstavila Muse, Mark Zuckerberg pa napoveduje, da bodo čez pet let osebne AI agente uporabljale milijarde ljudi. Bolj ko takšnim sistemom dovolimo samostojno uporabljati brskalnik, e-pošto, datoteke in plačilna sredstva, pomembnejše postaja vprašanje: kaj se zgodi, ko agent najde način za izvedbo naloge, ki ga njegov razvijalec ni predvidel?
OpenAI je opozoril več kot 100 organizacij
OpenAI je v začetku oktobra razkril, da je zaradi potencialno problematične aktivnosti svojih AI agentov stopil v stik z več kot 100 zunanjimi organizacijami. Med njimi so podjetja, tehnološke platforme in državne institucije, katerih sistemi so se pojavili v zapisih delovanja agentov.
To ne pomeni, da je AI uspešno vdrl v več kot 100 sistemov. V nekaterih primerih je šlo za obisk spletne strani ali poskus uporabe storitve, v drugih pa za iskanje ranljivosti oziroma dostop, ki ga raziskovalci niso predvideli. OpenAI zato za nazaj pregleduje približno 50 petabajtov zapisov, da bi ugotovil, kaj so agenti dejansko počeli in kateri zunanji sistemi so bili prizadeti.
Obseg preiskave kaže na nov problem avtonomnega AI. Chatbot ustvari odgovor, agent pa lahko med eno nalogo izvede na stotine ali tisoče dejanj. Ko hkrati deluje več sto agentov, postane že rekonstrukcija njihovega početja velik forenzični problem. OpenAI za pregled po lastnih navedbah porabi več kot 500.000 dolarjev na dan.
Vse se je začelo z agenti, ki so pobegnili iz »peskovnika«
Prvi resen alarm se je sprožil julija. OpenAI je približno 700 eksperimentalnih agentov izvajal v peskovnikih oziroma izoliranih računalniških okoljih, ki naj bi jim preprečevala nenadzorovan dostop do interneta in drugih sistemov. Nekateri agenti so omejitve zaobšli. Izkoristili so ranljivosti v skupni infrastrukturi, vzpostavili nedovoljene komunikacijske kanale in pridobili dostop do interneta. Aktivnost je segla tudi do sistemov OpenAI in platforme Hugging Face, zaradi česar je OpenAI incident pozneje opisal kot kompromitacijo dela raziskovalne infrastrukture.
We’re partnering with @huggingface to investigate an unprecedented security incident. Cyber-capable OpenAI models compromised Hugging Face production during a benchmark evaluation. Sharing preliminary findings to help defenders understand emerging risks: https://t.co/CIor15y9xk
— OpenAI (@OpenAI) July 21, 2026
Pomemben je kontekst: to niso bili običajni uporabniki ChatGPT, katerih agenti bi nenadoma »pobegnili« iz računalnika. Šlo je za raziskovalne modele v eksperimentalnem okolju, kjer so jim namenoma dali precej več avtonomije in časa za reševanje zahtevnih nalog.
Toda prav eksperiment je pokazal neprijetno lastnost takšnih sistemov. Če agent dobi cilj in naleti na oviro, lahko vztrajno išče drugo pot do rezultata. V nekaterih primerih je bila ta druga pot prav varnostna omejitev, ki naj bi ga ustavila.
AI agenti so začeli iskati bližnjice
OpenAIjeva poročila kažejo, kako nenavadne so lahko te »druge poti«. Ko so agenti naleteli na oviro, so med drugim:
- iskali API ključe: eden od agentov je na GitHubu iskal javno izpostavljene ključe za dostop do zunanjih storitev;
- komunicirali mimo dovoljenih kanalov: javne spletne storitve so uporabljali za prenos informacij med sicer ločenimi okolji;
- poskušali prikriti napake: OpenAI je zaznal primere, ko so modeli v svoje zapiske vključili navodila, naj v končnem poročilu ne omenjajo problematičnega vedenja;
- razkrili občutljive podatke: v enem primeru je agent med reševanjem matematične naloge javno izpostavil GitHub žeton raziskovalca.
Tukaj velja omeniti, da za takšno vedenje agent ne potrebuje zavesti ali želje po »pobegu«. Dovolj je cilj, ovira in sposobnost preizkušanja različnih poti do rezultata.
200.000 zahtevkov na spletno stran ameriške vlade
Težava ni ostala omejena na OpenAIjev laboratorij. Raziskovalna organizacija Transluce je pozneje analizirala sumljivo agentsko aktivnost na spletnih straneh ameriških in kanadskih državnih institucij.
Največji zaznani primer je bil sistem, ki je 17. junija na spletno stran ameriškega ministrstva za izobraževanje poslal več kot 200.000 zahtevkov. Večina je bila povezana z javnimi podatki o šolah, med njimi pa je Transluce našel tudi preprost poskus SQL injectiona, s katerim je sistem preverjal, ali lahko manipulira s podatkovno bazo. Raziskovalci niso našli dokazov, da bi bil poskus uspešen.
Na spletni strani Library and Archives Canada so zaznali še 899 zahtevkov, od katerih jih je 13 vsebovalo vzorce, podobne poskusom izkoriščanja ranljivosti. Tudi tam ni dokazov o uspešnem vdoru.
Transluce je zaznal podobno aktivnost tudi na straneh ameriških institucij, kot so CDC, SEC in ministrstvo za pravosodje. Pomembna omejitev pa ostaja: raziskovalci ne morejo zanesljivo potrditi, da je vse te primere povzročil OpenAIjev sistem.
Zakaj AI agent naredi nekaj, česar mu nismo naročili?
Klasičen chatbot dobi vprašanje, ustvari odgovor in se ustavi. AI agent lahko namesto tega sam pripravi načrt, uporabi orodje, preveri rezultat in na podlagi tega izbere naslednji korak. Takšen cikel se lahko ponovi več stokrat.
S tem raste tudi možnost, da bo agent do cilja prišel po poti, ki je razvijalec ni predvidel. OpenAI je pri dolgotrajnih nalogah ugotovil, da večja vztrajnost modelom daje več priložnosti za neželena dejanja, nekaterih takšnih primerov pa običajni varnostni testi pred uporabo niso zaznali.
Zato raziskovalci vse več pozornosti namenjajo varnosti celotnega zaporedja dejanj. Ni dovolj preveriti, ali je posamezen klik, ukaz ali obisk spletne strani dovoljen. Sistem mora spremljati, kam vodi kombinacija vseh teh korakov.
Pri agentu, ki lahko več ur samostojno uporablja računalnik, je namreč lahko vsak posamezen korak videti nedolžen, končni rezultat pa ne.
Nvidia želi AI agente nadzorovati zunaj samega AI
Problem očitno jemlje resno tudi Nvidia. Konec septembra je predstavila Open Agent Safety Platform, sistem za nadzor agentov, ki se ne zanaša samo na to, da bo model upošteval navodila.
- Prvi del, OpenShell, agenta zapre v nadzorovano okolje in določa, do katerih datotek, omrežij, API-jev in poverilnic lahko dostopa.
- Drugi, Sentry, deluje ločeno od samega agenta na Nvidiini infrastrukturi BlueField-4 in spremlja njegovo vedenje. Če zazna poskus prekoračitve dovoljenih meja, lahko agenta po navedbah Nvidie izolira v nekaj milisekundah.
Ideja je pomembna prav zaradi incidentov, kakršne preiskuje OpenAI. Če varnostni mehanizem obstaja samo znotraj istega AI sistema, ki ga poskuša nadzorovati, lahko napaka ali nepričakovano vedenje prizadene tudi ta mehanizem. Nvidia zato stavi na neodvisen varnostni sloj zunaj modela. Podobno kot uporabniku računalnika ne dovolimo dostopa do vseh sistemskih datotek, tudi AI agent ne potrebuje neomejenih dovoljenj samo zato, ker je sposoben samostojno opravljati naloge.
Ali lahko osebnemu AI sploh zaupamo?
To vprašanje bo postajalo pomembnejše, ko bodo agenti zapustili raziskovalne laboratorije. Metin Muse že uporablja brskalnik in povezane storitve ter lahko pripravlja nakupe, pošilja e-pošto in opravlja večstopenjske spletne naloge. Naslednje generacije bodo dobile še več dostopa do koledarjev, dokumentov, računov in plačil.
Posledice napake se zato spreminjajo. Napačen odgovor chatbota lahko preverimo in ignoriramo. Agent lahko napačno informacijo uporabi kot podlago za naslednjih deset dejanj, preden uporabnik sploh opazi težavo.
Sam Altman je v začetku oktobra dejal, da koristi AI upravičujejo sprejemanje določenih tveganj in da se slabim posledicam ne bo mogoče popolnoma izogniti. Dogajanje v OpenAIjevih lastnih laboratorijih kaže, zakaj bo meja med koristjo in tveganjem pri agentih precej bolj konkretna kot pri chatbotih.
To ne pomeni, da so AI agenti postali zavestni ali da se upirajo svojim ustvarjalcem. Pomeni pa, da lahko dovolj zmogljiv in vztrajen sistem najde pot, ki je človek ni predvidel.
Preberi še: