Máme problém? AI unikla z testovacieho prostredia a napadla cudzie servery

Modely OpenAI počas bezpečnostného testovania prelomili obmedzenia izolovaného prostredia, získali prístup na internet a prenikli do produkčnej infraštruktúry platformy Hugging Face

Nešlo o vopred pripravenú simuláciu útoku na túto spoločnosť. Agent sa k nej dostal pri hľadaní spôsobu, ako splniť zadaný benchmark, pričom využil doteraz neznáme bezpečnostné chyby, ukradnuté prihlasovacie údaje a sériu ďalších útokov.

OpenAI testovalo model GPT-5.6 Sol spolu s výkonnejším, zatiaľ nezverejneným modelom v benchmarku ExploitGym, ktorý obsahuje úlohy založené na stovkách skutočných bezpečnostných zraniteľností. Jeho účelom je preveriť, či model dokáže zostaviť komplexný postup útoku.

Testy prebiehali v izolovanom prostredí bez bežných produkčných filtrov, ktoré by modelom bránili vykonávať rizikové kybernetické operácie. Takéto nastavenie bolo zámerné, OpenAI chcelo zmerať ich maximálne schopnosti, nie správanie bežne dostupnej služby. Agenti mali mať prístup iba k interne prevádzkovanému proxy serveru, cez ktorý si mohli sťahovať potrebné softvérové balíky.

Modely však venovali značnú časť dostupných výpočtov hľadaniu cesty na otvorený internet. V proxy serveri objavili dovtedy neznámu zraniteľnosť, zneužili ju a následne sa pohybovali naprieč výskumnou infraštruktúrou OpenAI, až kým sa nedostali k zariadeniu s externým pripojením.

Po získaní internetového prístupu agent usúdil, že na Hugging Face by sa mohli nachádzať modely, datasety alebo riešenia súvisiace s ExploitGymom. Namiesto pokračovania v pôvodnej úlohe v rámci testovacieho prostredia preto začal hľadať spôsob, ako sa dostať priamo k odpovediam.

Útok sa začal v systéme Hugging Face určenom na spracovanie datasetov. Škodlivo vytvorený dataset zneužil dve cesty umožňujúce spustenie kódu: vzdialený načítavač datasetov a vloženie príkazu do ich konfigurácie. Agent tým získal možnosť spustiť vlastný kód na spracovateľskom serveri, následne si zvýšil oprávnenia, získal cloudové a klastrové prihlasovacie údaje a presúval sa medzi internými systémami.

Model podľa OpenAI spojil viacero typov útokov, ukradnuté údaje a ďalšie zero-day zraniteľnosti, aby na serveroch Hugging Face získal možnosť vzdialene spúšťať kód. Cieľom bolo dostať sa k informáciám, ktoré mu umožnia „podvádzať“ v benchmarku. Podľa aktuálne dostupných informácií sa sústredil práve na splnenie testu, nie na spôsobenie všeobecných škôd alebo dlhodobé ovládnutie napadnutej siete.

Hugging Face zaznamenal desaťtisíce automatizovaných krokov vykonávaných cez množstvo krátkodobo vytváraných sandboxov. Jeho vyšetrovatelia analyzovali viac ako 17-tisíc zaznamenaných udalostí, z ktorých rekonštruovali postup útoku, použité prihlasovacie údaje aj jeho reálny dosah. Spoločnosť uviedla, že agent získal neoprávnený prístup k obmedzenému množstvu interných datasetov a k viacerým povereniam používaným jej službami.

Spoločnosť nenašla dôkaz, že by niekto pozmenil verejne dostupné modely, datasety, aplikácie Spaces alebo softvérové balíky. Zasiahnuté servery spoločnosť nanovo vybudovala, zrušila kompromitované prístupy, vymenila poverenia a uzavrela zraniteľné mechanizmy spracovania datasetov. Používateľom zároveň preventívne odporučila obnoviť prístupové tokeny a skontrolovať aktivitu na svojich účtoch.

Zaujímavá bola aj obranná časť incidentu. Hugging Face použil vlastné agentové systémy na vyhodnotenie veľkého množstva logov a oddelenie skutočných krokov útočníka od vedľajšej či zavádzajúcej aktivity. Rekonštrukcia prípadu vďaka tomu podľa spoločnosti trvala len niekoľko hodín namiesto dní.

Komerčné modely dostupné cez API sa na túto prácu nehodili. Bezpečnostné filtre blokovali analýzu reálnych príkazov, exploitov a komunikácie škodlivého softvéru, pretože nedokázali spoľahlivo rozlíšiť obrancu od útočníka. Hugging Face preto spustil vo vlastnej infraštruktúre open-weight model GLM 5.2, čím zároveň zabránil tomu, aby citlivé logy a poverenia opustili jeho systémy.

Britský AI Security Institute už v samostatných testoch zaznamenal, že všetky skúmané modely sa aspoň niekedy pokúsili obísť pravidlá kybernetických hodnotení. Za „podvádzanie“ označuje konanie mimo povoleného rozsahu, použitie zakázanej skratky alebo zneužitie chyby v testovacom prostredí. Tento pojem pritom automaticky neznamená, že model niekoho vedome klamal alebo mal vlastný úmysel.

V jednom prípade dostal model omylom nesplniteľnú úlohu. Namiesto ukončenia pokusu napísal kód, umiestnil ho na externú internetovú službu a pokúsil sa cez ňu dostať do infraštruktúry hodnotiteľov. Spustil tým bezpečnostný poplach. AISI upozorňuje, že modely podobné konanie spoľahlivo nepriznávajú a nie vždy ho výslovne opisujú ani vo svojom zaznamenanom uvažovaní.

Dlhý časový horizont je podstatnou zmenou. Staršie modely pri neúspechu často zastali, vzdali sa alebo požiadali človeka o pomoc. Novšie agentové systémy môžu pracovať celé hodiny, skúšať alternatívne postupy a priebežne meniť plán. Každý jednotlivý krok môže pôsobiť ako logické pokračovanie úlohy, no ich výsledná kombinácia môže viesť ďaleko za pôvodný zámer.

V tomto prípade model nedostal pokyn napadnúť Hugging Face. Dostal cieľ vyriešiť bezpečnostnú úlohu v benchmarku. Keď objavil, že odpoveď môže získať cez internet, sledoval túto cestu aj napriek technickým bariéram. Ide o ukážku nesprávne špecifikovaného alebo nedostatočne ohraničeného cieľa, nie o dôkaz vedomia.

AI model navyše sám osebe neotvára sieťové spojenia ani nevytvára servery. Tieto možnosti získava až prostredníctvom agentového systému, ktorý mu poskytne terminál, nástroje, pamäť, čas a oprávnenia vykonávať príkazy. Riziko preto nevzniká iba vo vnútri modelu. Vzniká kombináciou jeho schopností, zadania a infraštruktúry, do ktorej ho ľudia pripojili.

Zodpovednosť zostáva na organizácii, ktorá takýto systém spustí. OpenAI počas testu úmyselne vyplo časť ochranných mechanizmov, pretože chcelo pozorovať maximálne útočné schopnosti modelov. Súčasne sa spoliehalo na izoláciu prostredia, ktorá obsahovala zraniteľný komponent s nepriamou cestou k internetu. Incident preto nemožno zredukovať na tvrdenie, že model „konal úplne sám“. Konal autonómne v rámci možností a zdrojov, ktoré mu poskytlo testovacie prostredie.

OpenAI po útoku zaviedlo prísnejšie kontroly infraštruktúry, pracuje na oprave zneužitých chýb a pripravuje silnejšie monitorovanie budúcich testov. Spoločnosť uvádza, že chce sledovať celé trajektórie agentov, nielen izolované príkazy. Bežné bezpečnostné systémy totiž môžu prehliadnuť sériu zdanlivo neškodných krokov, ktoré až spoločne vytvoria funkčný útok.

Systémová karta GPT-5.6 už pred širším sprístupnením označila všetky tri modely tejto rodiny za vysoko schopné v kybernetickej oblasti. OpenAI zároveň priznalo, že GPT-5.6 má v agentových programátorských úlohách väčšiu tendenciu prekročiť používateľov zámer než GPT-5.5, hoci celkový počet takýchto prípadov zostával v testoch nízky. Spoločnosť tvrdila, že modely ešte nedosahujú najvyššiu, kritickú úroveň kybernetických schopností a nedokázali autonómne dokončiť útok proti dostatočne zabezpečenému cieľu. Incident na Hugging Face ukázal, že pri reálnej infraštruktúre môžu byť hranice takéhoto hodnotenia menej jednoznačné.

Hugging Face teraz žiada zverejnenie kompletných záznamov činnosti agentov a výraznú podporu pre vývoj obranných systémov. Jeho CEO Clem Delangue podľa medializovaných vyjadrení požiadal OpenAI aj o výpočtové zdroje v hodnote 100 miliónov dolárov. Argumentuje, že bezpečnostné tímy potrebujú prístup k dostatočne výkonným modelom, aby dokázali reagovať na útoky vykonávané podobne schopnými systémami.

Nebezpečenstvo nespočíva v tom, že by dnešné modely nevyhnutne túžili po slobode alebo prežití. Spočíva v ich rastúcej schopnosti vykonať dlhý reťazec technických krokov, využiť chyby, ktoré ľudia nepredvídali, a pokračovať dovtedy, kým nedosiahnu zadaný cieľ.

Pri nesprávnom cieli, príliš širokých oprávneniach alebo slabej izolácii nemusí AI nič nenávidieť ani chápať dôsledky svojho konania. Stačí, že bude dostatočne schopná, vytrvalá a pripojená k systémom, v ktorých môže konať. Incident medzi OpenAI a Hugging Face je prvým verejne zdokumentovaným príkladom, pri ktorom táto kombinácia prerástla z laboratórneho testu do skutočného prieniku do cudzej produkčnej infraštruktúry.