ChatGPT dokáže prekonať študentov, pri pokročilejších veciach stále zaostáva

Nástup veľkých jazykových modelov znamenal v istom slova zmysle revolúciu v školstve, pretože mnoho študentov začalo na svoje práce využívať práve AI, čím si zabezpečili dobré známky.

Peter Scarfe, výskumník na School of Psychology and Clinical Language Sciences na University of Reading, sa preto rozhodol, že vyskúša skúšobný systém proti podvádzaniu AI.

Jeho tím vytvoril viac ako 30 falošných účtov študentov psychológie a použil ich na odoslanie odpovedí na testovacie otázky vytvorených pomocou ChatGPT-4. AI v priemere dosiahla skutočne lepšie skóre ako študenti.

Zadania boli buď 200-slovné odpovede na krátke otázky alebo prepracovanejšie eseje v dĺžke približne 1 500 slov. Prvý typ bol pripravený len skopírovaním a vložením otázok do ChatGPT-4 spolu s výzvou, aby odpoveď mala menej ako 160 slov. Eseje boli pripravené rovnakým spôsobom, ale požadovaný počet slov bol 2 000.

Celkovo vložili do systému skúšania 63 príspevkov vygenerovaných pomocou AI, a to bez úprav alebo snahy skryť používanie AI. Z toho 94 % zostalo neodhalených a takmer 84 % dostalo lepšie známky ako náhodne vybraná skupina študentov. Dokonca aj tí, čo skúšky hodnotili, boli dosť prekvapení z toho, akú kvalitnú prácu dokázala AI odviesť.

Veľké jazykové modely sa neustále zlepšujú. Tento experiment bol realizovaný pred rokom v roku 2023, odvtedy má ChatGPT ďalšie nové verzie, ktoré sú ešte lepšie.

Avšak predsa sa našlo niečo, v čom boli študenti lepší ako umelá inteligencia. Išlo konkrétne o piatu úroveň testov, ktorú študenti absolvovali tesne pred odchodom z univerzity.

Tu ChatGPT značne zlyhalo, pretože v poslednom ročníku na univerzite sa od študentov očakáva, že poskytnú hlbší prehľad a použijú prepracovanejšie analytické zručnosti. AI v tom zatiaľ nie je príliš dobrá, preto sa študentom darilo lepšie.