NVIDIA rozdelí AI úlohy medzi vaše počítače v domácnosti, úplne zdarma

NVIDIA sprístupnila beta verziu softvéru Personal AI Router, skrátene PAIR. Softvér dokáže prepojiť počítače v jednej sieti tak, aby si medzi sebou rozdelili prácu na AI úlohách.

Požiadavky agenta potom nečakajú vo fronte na jedinej grafickej karte, ale rozdelia sa medzi stroje, ktoré sú práve voľné.

Ako uzol dokáže poslúžiť zostava s výkonnejšou grafickou kartou, ale aj Mac s čipom M4 a novším. PAIR spolupracuje s Ollamou a LM Studiom a stiahnuť si ho môžete zdarma.

Toto riešenie dáva zmysel hlavne pri viacagentových úlohách. Hlavný agent rozdelí zadanie medzi špecializovaných podagentov a to, čo je z pohľadu používateľa jedna úloha, sa na úrovni inferencie zmení na desiatky samostatných volaní modelu. Všetky mieria na ten istý lokálny engine, kde si navzájom konkurujú o rovnaké výpočtové sloty. Fronta rastie a hlavný počítač zostáva zaneprázdnený aj vtedy, keď inde v sieti stojí voľný notebook alebo pracovná stanica.

Samotné fungovanie je pomerne jednoduché. PAIR obsadí port, na ktorom bežne počúva Ollama alebo LM Studio, takže aplikácia posiela požiadavky na rovnakú adresu ako doteraz a o zmene nemusí vedieť. Router si prečíta, aký engine a aký model požiadavka potrebuje, a vyberie jeden vhodný počítač. Ten ju spracuje celú a odpoveď putuje späť tou istou cestou. Ak agent používa iný port, prestaviť je ho možné v nastaveniach enginu.

Rozdelenie prebieha na úrovni celých úloh. Grafické karty sa nespájajú do jedného väčšieho akcelerátora ani nezdieľajú pamäť. Jedna požiadavka sa nikdy neroztrhne medzi dva stroje, celý čas beží na tom, ktorý jej plánovač pridelil.

Pred každým pridelením si plánovač overí niekoľko vecí. Zariadenie musí byť online, musí mať zapnutý podporovaný engine a stiahnutý presne ten model, ktorý požiadavka žiada. Sleduje aj to, koľko práce už stroj má a ako vyťaženú má grafickú kartu. Počítač, na ktorom práve beží hra alebo iná náročná aplikácia, tak z výberu vypadne.

Rovnaké modely pritom nemusia byť prítomné mať všade. Každý stroj môže hostiť inú sadu modelov a PAIR pošle požiadavku tam, kde sa hľadaný model nachádza. Ak je nasadený na viac počítačov, plánovač má jednoducho z čoho vyberať. S inštaláciou enginu a sťahovaním modelov na spárované stroje dokáže pomôcť samotná aplikácia.

Rýchlostný prínos NVIDIA ukázala na scenári s aplikáciou Hermes Desktop, ktorá rozdelila analýzu syntetickej domácej e-mailovej schránky medzi päť podagentov. S modelom Qwen 3.6 35B A3B trvala úloha na jednom notebooku RTX Spark v priemere 18 minút. Trojica zariadení zložená z notebooku RTX Spark, systému DGX Spark a karty RTX 5090 ju podľa firmy zvládla za 8 minút a 48 sekúnd. NVIDIA zároveň upozorňuje, že ide o neoficiálnu ukážku viazanú na konkrétnu konfiguráciu, nie o benchmark ani prísľub lineárneho škálovania.

Softvér beží na Windows 11, macOS Tahoe, DGX OS aj Ubuntu a ovládate ho z grafického rozhrania alebo z terminálu. Vystačí si s 8 GB RAM, odporúčaných je 20 GB voľného miesta na disku. Z pracovných staníc RTX PRO sú podporované modely s architektúrou Turing a novšou.

Na stiahnutie je verzia 0.1.1 v inštalátoroch pre x86 aj ARM na všetkých troch platformách, kód projektu je zverejnený na GitHube.