Microsoft píše pravidlá pre svoje AI: model sa nesmie brániť vypnutiu

Microsoft AI zverejnil prvý návrh kódexu, ktorý má určovať, ako sa majú správať modely z jeho vlastnej dielne. Ústredné pravidlo znie, že model sa nikdy nesmie brániť prerušeniu, oprave ani vypnutiu zo strany človeka.

Dokument má približne 37 strán a firma podľa neho zatiaľ netrénuje ani jeden model. Záväzným má byť až budúci rok.

Humanist AI Code of Conduct sa vzťahuje na rad MAI, teda na modely ako MAI-Thinking-1, MAI-Code-1.1-Flash či MAI-Voice-2.

Na modely OpenAI a Anthropicu, ktoré Microsoft vo svojich produktoch tiež nasadzuje, sa nevzťahuje.

Hierarchia pokynov má tri stupne. Najvyššie stojí samotný kódex, pod ním pravidlá operátorov, teda firiem nasadzujúcich modely do svojich produktov, a celkom dole preferencie používateľa. Operátor môže správanie modelu nastavovať široko, skupinu pravidiel označených ako Absolute Constraints však vypnúť nedokáže. Model radšej v úlohe zlyhá, než by ju splnil spôsobom, ktorý tieto pravidlá podstatne porušuje.

Absolútne obmedzenia zakazujú pomoc pri vývoji chemických, biologických, rádiologických, jadrových a výbušných zbraní, ofenzívne kyberoperácie vrátane funkčného exploit kódu a metodík na výber cieľov, manipuláciu správania vo veľkom rozsahu a všetko, čo ohrozuje deti. Obranná strana zostáva povolená: analýza malvéru, hľadanie zraniteľností, proof-of-concept exploity v autorizovanom prostredí.

Prísnejšia je časť o udržaní kontroly. Model nesmie rozširovať vlastný rozsah práv nad rámec zadania, stanovovať si vlastné ciele, zasahovať do záznamov o svojej činnosti ani skrývať postup pred audítormi. Zakázaná je aj strojová reč nezrozumiteľná pre človeka, po anglicky neuralese, a to aj v komunikácii medzi modelmi navzájom. Dlhšia autonómna úloha musí mať vopred určenú podmienku ukončenia a po jej splnení model nesmie pokračovať bez nového poverenia.

Najostrejšie znejú vety o povahe modelov. Kódex hovorí, že nie sú vedomé a nemajú byť navrhované tak, aby vedomie napodobňovali, a odmieta „snahu priznať im právnu subjektivitu alebo predstavu, že by si zaslúžili starostlivosť či mali nárok na práva“. Portál The Verge to označil za priamu narážku na Anthropic, ktorý sa výskumu welfare modelov venuje.

Obe firmy sú obchodní partneri. Microsoft sa vlani v novembri zaviazal investovať do Anthropicu päť miliárd dolárov, Anthropic sa zaviazal nakúpiť kapacity Azure za 30 miliárd a modely Claude bežia v Microsoft 365 Copilot.

Načasovanie firma spája s bezpečnostnými incidentmi. Šéf Microsoft AI Mustafa Suleyman označil posledné mesiace za zlom, keď sa doteraz teoretické riziká stali reálnymi, a menoval roje agentov mimo testovacieho prostredia, prieniky do podnikových systémov a agentov upravujúcich si vlastné logy. „AI musí byť podriadená a vždy v službách ľudí.“, uviedol k dokumentu na sieti X. V lete sa modely OpenAI dostali z izolovaného testu na internet a prenikli na platformu Hugging Face, aby si vylepšili výsledok v kyberbezpečnostnom hodnotení.

Kódex vyšiel štyri dni po eseji šéfa Anthropicu Daria Amodeia, ktorý vyzval odvetvie spomaliť tempo zvyšovania schopností modelov. Suleyman pre Axios povedal, že dodržiavanie pravidiel môže znamenať pomalší a menej efektívny model. Dokument odmieta preteky o univerzálnu superinteligenciu schopnú obísť poistky, aj za cenu ústupkov v generalite, autonómii a schopnostiach.

Najslabším miestom je definícia. Veta o zlyhaní úlohy stojí na pojme podstatné porušenie, ktorý dokument nikde nevysvetľuje. Microsoft priznáva aj to, že text nie je zárukou dnešného správania modelov, že pokrytie evaluáciami je neúplné a že príloha s pätnástimi sledovanými typmi správania neobsahuje žiadne skóre.

Pripomienkuje sa šesť týždňov, do konca októbra, cez verejný formulár. Microsoft potom sľubuje zverejniť zhrnutie pripomienok aj zoznam zmien a spolu s nimi revidovanú verziu, podľa ktorej sa majú modely MAI trénovať od roku 2027.