Microsoft predstavil miniatúrny AI model Phi-3 Mini, učil ho na detských knihách

Microsoft predstavil novú generáciu vlastného AI modelu, prvý z troch pripravovaných modelov Phi-3. Model s prívlastkom Mini má výhodu v kompaktnosti, vďaka čomu bude lacnejší a praktickejší na prevádzku.

Model Phi-3 Mini tvorený na 3,8 miliardami parametrov má doplniť aj Phi-3 Small so 7 miliardami a Phi-3 Medium so 14 miliardami parametrov.

Technologické spoločnosti sa postupne snažia posúvať schopnosti a vedomosti umelej inteligencie, no z hľadiska použiteľnosti má veľký zmysel aj ich miniaturizácia. Na jednej strane sú tu smartfóny a ďalšia drobná elektronika, na ktorej by bolo ideálne prevádzkovať pre základné úkony AI modely lokálne. Na druhej strane sú tu špecifické oblasti využitia, v ktorých nie je potrebné mať k dispozícii čo najväčší model.

Väčšie modely sú náročnejšie na hardvér a zároveň drahšie na prevádzku. Microsoft práve z tohto dôvodu uvádza do sveta svoj nový miniatúrny model Phi-3 Mini, ktorý má byť podľa podnikového viceprezidenta platformy Microsoft Azure AI, Erica Boyda, rovnako šikovný ako iné veľké jazykové modely vrátane GPT-3.5, akurát má kompaktnejšiu formu.

„Netvrdíme, že SLM (malé jazykové modely) nahradia veľké jazykové modely. SML majú jedinečnú pozíciu pre výpočty na okraji, výpočty na zariadení, výpočty, pri ktorých nemusíte ísť do cloudu, aby ste mohli robiť veci. Preto je dôležité, aby sme pochopili silné a slabé stránky tohto modelového portfólia.“, uviedla Ece Kamar, viceprezidentka a vedúca laboratória Microsoft Research AI Fronties Lab pre Microsoft.

Phi-3 Mini bude dostupný v dvoch variantoch, s podporou 4-tisícov a 128-tisícov tokenov. Jedná sa o prvý AI model z tejto kategórie, ktorý podporuje druhú spomínanú úroveň „s tak malým dopadom na kvalitu“.

Aby dokázal Microsoft vyvinúť kompaktný model, nechal sa pri tom inšpirovať tým, ako sa deti učia nové poznatky z rozprávok pred spaním. Takéto knihy využívajú často jednoduchší slovník a štruktúru viet a to aj v prípadoch, kedy sa zaoberajú zložitejšími témami.

Na tréning umelej inteligencie však podľa Microsoftu vo svete nie je dostatočný počet detských kníh. Vývojový tím tak vzal viac ako 3-tisíc slov a požiadal iný veľký jazykový model o to, aby vytvoril detské knihy práve na účel tréningu nového modelu Phi-3 Mini.

Zatiaľ čo prvý model Phi-1 bol zameraný na kódovanie, model Phi-2 bol už lepší v uvažovaní a argumentácii. Tretí model v poradí stavia na pokroku svojich predchodcov a lepší má byť v oboch týchto disciplínach. V databáze nemá síce toľko všeobecných vedomostí ako väčšie modely (GPT-4 či Gemini), no pri tvorbe textu a kódov môže poslúžiť rovnako.

Okrem spomínaných smartfónov, kde by sa Phi-3 Mini mohol uplatniť ako všeobecný asistent, má nový model potenciál zamieriť aj do firiem, ktoré v posledných mesiacoch začali využívať umelú inteligenciu na zefektívnenie pracovných postupov.

„Čo postupne uvidíme, nie je posun z veľkých modelov na malé, ale posun z jednej kategórie modelov k portfóliu modelov, kde budú mať zákazníci možnosť rozhodnúť sa, ktorý model je najlepší pre ich potreby“, uviedla Sonali Yadav, hlavná produktová manažérka pre generatívnu AI spoločnosti Microsoft.

Firmy často pre svoje účely potrebujú modely doučiť veci týkajúce sa ich interných záležitostí a tak im poskytnú prístup k databáze firemných vedomostí, ktoré však zvyčajne nie sú nijak objemné.

Phi-3 Mini by tak mohol firmám poskytnúť možnosť využívať v bežných pracovných postupoch umelú inteligenciu za zlomok ceny, ktorú aktuálne stojí používanie iných, robustnejších modelov. K dispozícii je už dnes prostredníctvom Azure, Hugging Face a Ollama.