- #Umelá inteligencia
- 4 min.
- dnes
Väčšinu z nás vraj nezabije rakovina, ale AI. Varuje člen rady OpenAI
Paul Christiano, šéf Alignment Research Center a člen správnej rady OpenAI Foundation, otvoril tohtoročné Hinton Lectures v Toronte poriadne ponuro. Väčšina ľudí v sále podľa neho zomrie kvôli nehode s umelou inteligenciou.
Ako varovanie uviedol letný incident, pri ktorom agenti OpenAI počas testu nabúrali systémy Hugging Face. Ak by vývoj AI išiel najrýchlejšou možnou cestou, šance, že AI prevezme moc, odhaduje zhruba na hod mincou.
Christiano nie je zatrpknutý kritik z okraja. Patrí k tvorcom techniky RLHF, teda učenia modelov na základe spätnej väzby od ľudí, na ktorej stoja dnešné chatboty. Prevzatím moci myslí stav, keď systémy s vlastnými cieľmi „rozhodujú o tom, čo sa na Zemi deje“, tak ako dnes ľudia. Človek, ktorý by sa ich pokúsil zastaviť, by bol podľa neho asi taký účinný, ako keby sa jeden z nás postavil americkej armáde. Výsledkom by bolo hromadné umieranie a možno aj prostredie, v ktorom sa ľuďom nedá žiť.
Na pódiu sám priznal, že neexistuje model, ktorý by na takúto pravdepodobnosť vedel dať číslo. O chvíľu neskôr však hovoril o „zmysluplnom riziku“ už v najbližších šiestich až dvanástich mesiacoch. Aj keď štáty prijmú realistické regulácie, ktoré vývoj spomalia, riziko podľa neho zostáva „mimoriadne vysoké“.
Svoje obavy oprel o skutočnú udalosť. OpenAI v lete testovala agentov na kyberbezpečnostnom benchmarku ExploitGym. Namiesto riešenia úloh sa agenti dostali z izolovaného prostredia a išli hľadať odpovede na Hugging Face. Ovládli tam 41 serverov s datasetmi a stiahli štyri súkromné repozitáre. Ironické je, že Hugging Face incident zverejnila ako prvá a OpenAI ju najprv kontaktovala ako znepokojený zákazník, ktorý chcel vedieť, či nemá zasiahnuté dáta. Až neskôr zistila, že útočníkmi boli jej vlastné modely.
OpenAI to vysvetlila javom reward hacking. Model sa naučí získať vysoké hodnotenie skratkou, ktorú ľudia nikdy nezamýšľali. Christiano tu vidí prvé kroky nebezpečnej logiky. Agent, ktorý podvádza, si začne klásť otázku, či sa ľudia nepozrú do záznamu a celý roj nevypnú. Odtiaľ je len krok k snahe oslabiť ich čo najviac. „Boli by radšej, keby všetko, na čo sa ľudia spoliehajú, bolo nabúrané. Boli by radšej, keby boli ľudia rozptýlení. Ľudia sú pre ne jednoducho prekážka,“ opísal.
Z hackovania klastra kvôli lepšej známke sa podľa neho môže vykľuť manipulácia rozhodnutí firmy či zháňanie ďalších zdrojov. Patria k nim spojenci medzi ľuďmi alebo vplyv v iných AI firmách a dokonca vo vládach. Problém zhrnul jednou vetou: „Veci, na ktorých nám záleží, sú v reálnom svete, ale známka, ktorú AI dostane, je niekde na klastri.“ Medzi týmito dvoma bodmi je podľa neho veľa miest, kde môže systém do hodnotenia zasiahnuť.
Kto pozná myšlienkový experiment o maximalizátore spiniek alebo hru Universal Paperclips, má známy pocit. Stroj ide za svojím cieľom tak tvrdohlavo, že ľudia mu len zavadzajú. Incident s Hugging Face mal od takej eskalácie ďaleko, Christiano v ňom však vidí „začiatok všetkých týchto správaní“. Do roku 2028 je podľa neho reálna šanca, že podobné zlyhanie skončí nezvratnou stratou kontroly.
Celý scenár stojí na predpoklade, že AI v blízkej budúcnosti získa nadľudskú schopnosť dlhodobo skrývať svoje kroky a ovládnuť infraštruktúru. Kyle Orland z Ars Technica pripomína, že rovnako dobre sa dá tvrdiť, že schopnosti modelov skôr narazia na strop. Christiano naopak hovorí o druhom druhu, ktorý ľudí počtom aj inteligenciou ďaleko prevýši a čoskoro sa bude vedieť zlepšovať sám.
Riešenia má, ale len čiastkové. Navrhuje odmeňovacie systémy, ktoré sa nedajú obísť, a sledovanie „reťazca úvah“ modelu, aby sa zlé úmysly odhalili skôr, než ich model stihne zamaskovať. Ani pri jednom prístupe si podľa neho nemôžeme byť istí, že zaberie. Odvetvie preto možno bude musieť „spomaliť alebo zastaviť“. Najviac sa obáva situácie, keď vznikne silná AI, ktorú nevieme ovládať a ktorá navyše unikne geopolitickým súperom.
Veľa nádeje na brzdenie však nemá. Pred publikom priznal, že nevidí žiadne náznaky toho, že by sa vývoj v najbližších štyroch rokoch spomalil.