AI môže skrývať nelegálne schopnosti. Nová metóda ich vie odhaliť

Kontrola generatívnych modelov má zásadný problém: na overenie nebezpečnej schopnosti treba model zvyčajne požiadať, aby vytvoril škodlivý obsah.

Pri materiáloch zobrazujúcich napríklad sexuálne zneužívanie detí je však takéto testovanie samozrejme neprípustné. Výskumníci z MIT preto vyvinuli metódu, ktorá model preverí bez zadávania škodlivých príkazov a bez vytvorenia jediného obrázka.

Problém sa týka najmä otvorených generatívnych modelov, ktoré si môže používateľ stiahnuť a prispôsobiť vlastným potrebám. Bežne sa takto vytvárajú nástroje zamerané na konkrétny výtvarný štýl, produktové vizualizácie alebo určitý typ fotografií. Rovnaký postup však môžu zneužiť aj ľudia, ktorí chcú generovať nenávistný či nelegálny obsah.

Rozsah problému rastie spolu s dostupnosťou generatívnej AI. Americké Národné centrum pre nezvestné a zneužívané deti podľa údajov citovaných MIT prijalo v roku 2025 viac než 1,5 milióna hlásení týkajúcich sa materiálov vytvorených umelou inteligenciou. V roku 2024 ich bolo približne 67-tisíc.

Bežné bezpečnostné audity spočívajú v tom, že odborníci modelu zadajú rizikové pokyny a následne posudzujú jeho výstupy. Takýto postup je pomalý, zle sa škáluje a môže mať negatívny psychický vplyv na ľudí, ktorí musia výsledky kontrolovať. Pri materiáloch sexuálneho zneužívania detí navyše nie je možné škodlivé obrázky vytvárať ani na výskumné alebo testovacie účely.

Tím z MIT preto začal skúmať samotné úpravy modelu. Zameral sa na techniku LoRA, teda low-rank adaptation, ktorá umožňuje špecializovať existujúci model bez toho, aby bolo nutné nanovo trénovať všetky jeho parametre. Výsledkom je relatívne malý adaptér, ktorý mení spôsob, akým základný model spracúva informácie.

Výskumníci využili postup označovaný ako Gaussian probing. Do modelu posielajú náhodné dátové body a sledujú, ako sa menia pri prechode jeho jednotlivými vrstvami. Výpočet pritom zastavia skôr, než model vytvorí výsledný obrázok.

Zmeny zachytené na viacerých miestach neurónovej siete následne spriemerujú a vytvoria z nich charakteristiku konkrétneho LoRA adaptéra. Tá môže prezradiť, akým smerom bol pôvodný model upravený, napríklad či sa má špecializovať na bezpečný umelecký štýl, iný škodlivý obsah alebo materiály súvisiace so zneužívaním detí.

Pri testovaní na variantoch troch typov modelov dokázala metóda správne identifikovať všetky skúmané adaptéry určené na generovanie takéhoto nelegálneho obsahu. Uvádzaná stopercentná úspešnosť sa však vzťahuje na konkrétny testovací súbor, nie na všetky existujúce modely a možné spôsoby ich úpravy.

Výhodou riešenia je, že nevyžaduje manuálne kontrolovanie obrázkov a podľa autorov by jeho nasadenie nemalo byť mimoriadne nákladné. Platformy, na ktorých používatelia zverejňujú tisíce upravených modelov, by tak mohli automaticky označiť podozrivé súbory ešte pred ich sprístupnením.

Metódu by mohli využiť aj orgány činné v trestnom konaní pri skúmaní zaistených modelov. Doteraz totiž neexistoval bezpečný spôsob, ako overiť ich schopnosti bez toho, aby sa z nich nechal vygenerovať nelegálny materiál.

Autori zároveň upozorňujú, že nejde o úplné riešenie. Škodlivý aktér by sa mohol pokúsiť vnútorné úpravy modelu maskovať, hoci podľa výskumníkov by to vyžadovalo podstatne náročnejšie zásahy do základnej architektúry. Ďalším krokom má byť testovanie na väčšom počte modelov a preverenie, či rovnaký postup dokáže odhaliť rizikové schopnosti aj v základných modeloch pred ich ďalším prispôsobením.