Vedci poskytli AI kvantovú pomoc. Zvládla otázky, na ktorých predtým zlyhala

Umelá inteligencia sa dnes zlepšuje najmä tak, že dostáva viac dát, viac výpočtového výkonu a čoraz väčšie modely.

Lenže tento prístup má svoje praktické limity. Väčší model znamená drahšiu prevádzku, vyššiu spotrebu energie a náročnejšiu infraštruktúru.

Vedci preto skúšajú aj iné cesty, ako AI posunúť ďalej bez toho, aby ju bolo nutné donekonečna nafukovať. Jednu z nich teraz ukázal tím z Multiverse Computing, ktorý zapojil do práce jazykového modelu kvantový počítač IBM.

Výskumníci pracovali s veľkým jazykovým modelom od Mety, no nemenili ho celý. Jeho pôvodné „vedomosti“ a nastavenia nechali zmrazené a pridali k nemu malý adaptér, ktorý sa dá spustiť na kvantovom procesore. Tento adaptér nesie názov Cayley Unitary Adapter, skrátene CUA, a funguje ako špeciálna matematická vrstva vložená do existujúcej neurónovej siete.

Zjednodušene sa dá povedať, že model si pri generovaní textu stále odpracuje väčšinu úlohy klasicky, tak ako bežné AI systémy. Kvantový počítač sa zapojí iba v malej časti výpočtu, kde spracuje špecifické transformácie vstupných hodnôt. Nejde teda o nahradenie dnešných GPU serverov, ale o hybridný experiment, v ktorom klasická AI dostane kvantovo vykonávanú pomocnú vrstvu.

Výsledok sa meral aj cez takzvanú perplexitu. Tá vyjadruje, ako dobre jazykový model odhaduje ďalší token v texte. Čím je hodnota nižšia, tým istejšie model pracuje s pokračovaním textu. V experimente sa perplexita pri modeli Llama 3.1 8B zlepšila z hodnoty 8,877 na 8,752, teda približne o 1,43 %. Na papieri to nevyzerá dramaticky, no podstatné je, že zmena prišla po pridaní iba 6 144 nových trénovateľných parametrov. Pri modeli s miliardami parametrov je to prakticky zanedbateľný zásah.

Lepším ukazovateľom významu tohto výskumu sú ukážky konkrétnych otázok, ktoré AI spracovávala. Pri jednej z nich sa model pýtali, ktoré jovianske planéty majú prstence. Základná verzia odpovedala, že iba Saturn, čo je nesprávne. Upravený model s kvantovým adaptérom vybral správnu možnosť, teda že prstence majú všetky uvedené jovianske planéty. Pri ďalšej otázke z biológie išlo o dôsledky toku génov medzi populáciami. Pôvodný model zvolil nesprávnu odpoveď, kým verzia s adaptérom správne uviedla zvýšenie genetickej homogenity.

Kvantová časť experimentu bežala na 156-qubitovom systéme IBM Quantum System Two. Adaptér bol rozdelený na množstvo malých dvojqubitových obvodov. Vstupné hodnoty sa najskôr zakódujú do kvantového stavu, následne prejdú unitárnou operáciou a po meraní sa spätne rekonštruujú do podoby, s ktorou môže pokračovať jazykový model.

Vedci robili podrobnejšie testy aj na menšom modeli SmolLM2 so 135 miliónmi parametrov. Ten najskôr skomprimovali, čím mu zhoršili výkon, a následne skúmali, koľko stratenej kvality dokážu pomocou adaptérov získať späť. Pri datasete LAMBADA uvádzajú obnovu 83 % straty spôsobenej kompresiou, čo naznačuje, že podobné adaptéry by mohli byť zaujímavé aj pri úspornejších AI modeloch.

Ako pri mnohých vedeckých výskumoch, aj tu je napokon nutná dávka opatrnosti. Tento experiment ešte neznamená, že kvantové počítače sú pripravené zrýchliť alebo nahradiť dnešné AI dátové centrá. Použité dvojqubitové obvody sa dajú simulovať aj klasicky, takže nejde o dôkaz kvantovej výhody. Autori to v práci sami zdôrazňujú a výsledok opisujú skôr ako overenie, že takýto typ kvantového doplnku sa dá reálne spustiť v jazykovom modeli, nie iba v simulácii.

Limity sú vidieť aj na rýchlosti. Jeden malý dvojqubitový obvod trval približne štyri sekundy. Spracovanie všetkých blokov pre prvý token trvalo viac než tri minúty a celá inferencia pri veľkom modeli zabrala približne 4 hodiny a 24 minút. To je z praktického pohľadu ďaleko od bežného používania chatbota, ktorý má odpovedať v sekundách.

Najväčším problémom zostáva šum. Kvantové počítače sú citlivé na drobné rušenie a s rastúcou veľkosťou obvodov sa chyby rýchlo hromadia. Pri ideálnych podmienkach sa podľa štúdie výsledky s väčšími blokmi zlepšovali, no po započítaní šumu sa pri troch a štyroch qubitoch kvalita prudko zhoršila. Súčasný hardvér teda zvláda veľmi malé časti experimentu, ale pri väčších obvodoch naráža na fyzikálne obmedzenia.

Napriek tomu ide o zaujímavý signál pre ďalší vývoj AI. Ak sa kvantový hardvér zlepší, podobné adaptéry môžu byť jednou z ciest, ako modelom pridať nové schopnosti bez toho, aby sa museli celé zväčšovať o miliardy ďalších parametrov. Zatiaľ teda nejde o praktický produkt ani o koniec klasických AI čipov, ale skôr prvý krok v smere, ktorý doteraz pôsobil hlavne ako teoretická možnosť.