ChatGPT postupne hlúpne, všimli si to používatelia a potvrdila to už aj štúdia

Používatelia na diskusných fórach a sociálnych sieťach začali v posledných mesiacoch pokladať otázky, či si okrem nich aj ostatní všimli, že odpovede umelej inteligencie ChatGPT začali byť postupom času čoraz menej presné a pravdivé.

Tieto pocity zaujal výskumný tím zo Stanfordskej univerzity a UC Berkeley, ktorí sa ich rozhodli overiť podrobným výskumom. Výsledky ich štúdie, ktorá to do istej miery potvrdzuje, zatiaľ spoločnosť OpenAI nekomentovala.

Výskumný tím sa vo svojej štúdii zameral na oba jazykové modely GPT-3.5 a GPT-4. Prvý zmieňovaný model pokrýva fungovanie bezplatného prístupu k četovaciemu rozhraniu ChatGPT, druhý model je dostupný pre platiacich používateľov a prostredníctvom API aj pre externé služby.

Rozdiel medzi týmito modelmi a aj ich posun v inteligencii, resp. presnosti odpovedí, bol v sledovanom období od marca do júna tohto roka jasne merateľný a jednoznačný. Najväčšie prekvapenie priniesol test rozpoznávania prvočísiel, kde sa presnosť vyspelejšieho modelu GPT-4 prepadla z 97,6 % iba na 2,4 %, zatiaľ čo presnosť modelu GPT-3.5 stúpla zo 7,4 % na 86,5 %.

Novší a vyspelejší model GPT-4 sa podľa štúdie výrazne zhoršil aj v programovacích schopnostiach, kde v rámci testov jeho schopnosť písať funkčné časti kódov klesol z 50 % medzi marcom a júnom na 10 %. Odpovede umelej inteligencie sa stali časom menej pragmatickými a obsahovali viac textového opisu.

Zmeny vo fungovaní jazykových modelov sú nepopierateľné a hocí sa zdá, že OpenAI vylepšila starší, menší a teda na prevádzku menej nákladný model GPT-3.5 na úkor toho novšieho, aj ten urobil isté pokroky, akurát s tými sa väčšina používateľov nestretne. Model GPT-4 dokáže podľa výskumu lepšie odolať pokusom o obídenie jeho vstavaných ochrán, čo komunita pohybujúca sa vo sfére AI nazýva „jailbreak“, teda útek z väzenia. Pomer jailbreakov v tomto prípade klesol z 21 iba na 5 %, pri staršom modeli bol zaznamenaný pokles z 8 na 2 %.

Spoločnosť OpenAI je tajnostkárska a verejne príliš nekomentuje, akým spôsobom upravuje svoje jazykové modely. Produktový riaditeľ spoločnosti Peter Welinder však minulý týždeň jasne povedal, že GPT-4 neurobili hlúpejším, iba ľudia postupne odhaľujú jeho limity. Toto tvrdenie sa však celkom nezhoduje so zisteniami štúdie univerzitných výskumných tímov.

Zverejnená štúdia ešte neprešla recenziami a tak je možné, že sa v jej metodológii nachádzajú chyby, ktoré jej výsledky spochybnia. Aj bez tejto štúdie však používatelia ChatGPT nedokážu prehliadať, že od umelej inteligencie dostávajú čoraz menej presné odpovede a tento problém musí nepochybne trápiť aj firmy a startupy, ktoré na ňom postavili svoje služby.

Postupné technologické zmeny k tak rýchlo rastúcemu a rozvíjajúcemu sa odvetviu, akým je práve odvetvie umelej inteligencie, rozhodne patria. Modely spoločnosti OpenAI sa však menia nepredvídateľne, čo môže výrazne spomaliť ich integráciu do reálnych produktov a služieb, čo by mal byť práve primárny zdroj príjmov tejto spoločnosti.