OpenAI rokuje s Anthropic a Google o spoločnom dozore nad vývojom AI

Spoločnosť OpenAI prvý raz oficiálne potvrdila, že už niekoľko týždňov rokuje s konkurenčnými firmami Anthropic a Google DeepMind o spoločnom postupe pri bezpečnosti umelej inteligencie. Šéf globálnej politiky OpenAI Chris Lehane to potvrdil na brífingu vo Washingtone.

Rokovania smerujú k samoregulačnému orgánu, ktorý by preveroval najvýkonnejšie modely ešte pred ich uvedením na trh. Zástupcovia troch firiem sa podľa servera The Information stretávajú v pracovnej skupine od júla.

Vzorom má byť FINRA, americká samoregulačná autorita dohliadajúca na brokerov a investičné spoločnosti. Myšlienku otvoril šéf Google DeepMind Demis Hassabis v júlovej eseji, v ktorej upozornil, že financovanie takého orgánu by muselo byť vysoké a väčšina peňazí by musela prísť z priemyslu. Bez toho nepritiahne špičkových technikov ani nezaplatí výpočtový výkon potrebný na rozsiahle testovanie.

Impulzom pre zrýchlenie rokovaní bola esej šéfa Anthropicu Daria Amodeiho z 12. septembra, v ktorej vyzval odvetvie spomaliť tempo vývoja najpokročilejších modelov. Amodei v nej navrhol, aby laboratóriá pustili do svojich tímov nezávislých hodnotiteľov, ktorí by overovali, či firmy dodržiavajú vlastné bezpečnostné záväzky a hlásia incidenty. Vyzval tiež firmy v demokratických krajinách, aby si dohodli spoločné bezpečnostné štandardy a limity na tempo nekontrolovaného pokroku, a aby sa Spojené štáty so spojencami pokúsili o dohodu s autoritárskymi režimami vrátane Číny.

Na hodnotiteľov sa Anthropic zaviazal jednostranne. Ľudia z organizácií ako METR majú dostať firemné karty, stoly a notebooky a prístup zhruba na úrovni interných tímov na posudzovanie rizík, s výnimkami tam, kde to zakazuje zákon alebo zmluvné záväzky. Sam Altman následne vyhlásil, že OpenAI urobí to isté.

Pri právnej stránke veci sa obe firmy rozchádzajú. Amodei v eseji napísal, že americká vláda by musela vydať „úzku výnimku pre určité typy rozhovorov o bezpečnosti“, inak firmám pri dohode o spomaľovaní vývoja hrozí antimonopolný postih. Lehane povedal, že nič také nie je potrebné, a odvolal sa na precedensy z iných odvetví vrátane leteckej dopravy. „Je lepšie pokúsiť sa spolupracovať a dať bezpečnosť na prvé miesto,“ uviedol. Dve z troch firiem, ktoré nový orgán pripravujú, sa nezhodnú ani na tom, či je ich súčasná spolupráca legálna bez zásahu štátu.

Amodei ako dôvod obratu uviedol bezpečnostný incident okolo OpenAI a Hugging Face a rýchlosť pokroku posledných mesiacov, najmä rastúcu schopnosť modelov stavať ďalšiu generáciu AI. Týždeň pred zverejnením eseje odišiel z Anthropicu výskumník Jacob Coxon s vyhlásením, že firmy hazardujú s našimi životmi. V pondelok sa k podobnému varovaniu pridal bývalý výskumník Google DeepMind Bilal Chughtai.

Lehane počas tej istej cesty do Washingtonu podporil aj konkrétne ustanovenie zákona. Snemovňa reprezentantov má na stole návrh FRONTIER Act od republikána Jaya Obernolteho a demokratky Lori Trahanovej, ktorý by zaviedol prvý federálny rámec pre bezpečnosť AI. Laboratóriá by museli vpustiť dovnútra nezávislé overovacie organizácie, v návrhu označované skratkou IVO, pričom štandardy pre ne by určilo ministerstvo obchodu. Povinnosť by sa týkala len firiem nad vysokou hranicou ročných tržieb a investícií do výpočtového výkonu. OpenAI podporuje túto časť návrhu, nie celý zákon.

V Senáte pripravujú vlastnú verziu John Thune, Ted Cruz a Amy Klobucharová. Ministrovi obchodu by dala právomoc podrobiť nové modely bezpečnostným auditom ešte pred ich vydaním.

Proti celej línii stojí Biely dom. Donald Trump označil varovania pred existenčnými rizikami AI za podvod a tvrdí, že spomalenie by pomohlo Číne, rovnako hovorí jeho poradca pre AI David Sacks. Šéf Nvidie Jensen Huang označil takéto predpovede za nezodpovedné. Kritika prichádza aj z druhej strany: šéf kanadskej firmy Cohere obvinil americké laboratóriá, že pod hlavičkou bezpečnosti vytvárajú kartel.

Altman podľa The Information povedal zamestnancom, že štandardizačný orgán budú musieť firmy postaviť bez podpory americkej vlády.