Záver štúdie je jasný: AI posudzuje porušenia pravidiel prísnejšie ako človek

Výskumníci z MIT uvádzajú, že modely umelej inteligencie vyškolené pomocou bežných techník zberu údajov posudzujú porušenia pravidiel prísnejšie ako ľudia. Môže to byť v budúcnosti problém?

Modely strojového učenia niekedy navrhnuté tak, aby napodobňovali ľudské rozhodovanie, ako je napríklad rozhodovanie o tom, či príspevky na sociálnych sieťach porušujú zásady toxického obsahu. Tieto modely často neopakujú ľudské rozhodnutia o porušovaní pravidiel.

Ak modely nie sú trénované so správnymi údajmi, pravdepodobne budú robiť iné, často tvrdšie úsudky ako ľudia. Tento pokles presnosti by mohol mať vážne dôsledky v reálnom svete. Napríklad, ak sa na rozhodovanie o tom, či sa jednotlivec pravdepodobne znova dopustí trestného činu, použije deskriptívny model, AI môže vyniesť prísnejšie úsudky ako človek.

Nová štúdia vzišla z iného projektu, ktorý skúmal, ako môže model strojového učenia odôvodniť svoje predpovede. Keď zbierali údaje pre túto štúdiu, vedci si všimli, že ľudia niekedy dávajú rôzne odpovede, ak sú požiadaní, aby poskytli popisné alebo normatívne označenia rovnakých údajov.

Jeden model trénovali pomocou popisných údajov a druhý pomocou normatívnych údajov a potom porovnávali ich výkon. Zistili, že ak sa na trénovanie modelu použijú deskriptívne údaje, budú horšie ako model trénovaný na vykonávanie rovnakých úsudkov pomocou normatívnych údajov.

Konkrétne, deskriptívny model s väčšou pravdepodobnosťou nesprávne klasifikuje vstupy tým, že falošne predpovedá porušenie pravidiel. To ukazuje, že na údajoch skutočne záleží. Je dôležité, aby sa kontext školenia prispôsobil kontextu nasadenia. Ak výskumníci vedia, ako sa údaje zbierali, potom vedia, ako by sa tieto údaje mali použiť.

Ďalšou možnou stratégiou je doladiť deskriptívne trénovaný model na malom množstve normatívnych údajov. Táto myšlienka, známa ako transfer learning, je niečo, čo chcú výskumníci preskúmať v budúcej štúdii.

Spôsob, ako problém vyriešiť, je transparentne priznať, že ak chceme reprodukovať ľudský úsudok, musíme použiť iba údaje, ktoré boli zhromaždené v danom prostredí. V opačnom prípade skončíme so systémami, ktoré budú mať extrémne prísne moderovanie, oveľa tvrdšie, ako by urobili ľudia.