AI si vymýšľa slová, vety a prekrúca význam celých záznamov pacientov

Umelá inteligencia si rýchlo našla uplatnenie aj v kľúčových odvetviach spoločnosti. Model Whisper schopný rozpoznávať ľudskú reč a prenášať ju do textovej podoby, je vo veľkom využívaný napríklad aj v zdravotných strediskách na prepis konzultácií medzi doktormi a pacientmi.

Softvéroví inžineri, vývojári a výskumníci však spoločne upozorňujú, že táto AI si často vymýšľa slová i celé vety a tak miestami úplne mení význam celých výpovedí pacientov.

Model Whisper od spoločnosti OpenAI schopný prepísať ľudskú reč, bol predstavený a vydaný s otvoreným zdrojovým kódom ešte v septembri 2022. To umožnilo spoločnostiam okamžite integrovať jeho schopnosti do vlastného softvéru, čím si tak Whisper následne rýchlo našiel cestu do komerčne využívaného softvéru vo viacerých odvetviach po celom svete.

Stalo sa tak aj napriek tomu, že umelá inteligencia je neslávne známa aj svojou schopnosťou halucinovať, teda počas generovania obsahu si vymýšľať či prekrúcať fakty. Pokiaľ ide napríklad o četbotov, tam je halucinovanie možné potlačiť paralélnym overovaním generovaného textu druhým modelom, ktorý napríklad fakty overuje aj prostredníctvom prístupu na internet. Alternatívne si je možné jeho odpoveď overiť ručne prostredníctvom externých dôveryhodných zdrojov.

Pri modeli Whisper integrovanom do ďalších softvérových riešení, je to však komplikovanejšie. Napríklad v prípade zdravotníckeho softvéru Nabla, do ktorého je Whisper integrovaný, sú z dôvodu ochrany súkromia hlasové nahrávky okamžite po spracovaní zmazané. Spätne tak porovnať hlasovú nahrávku s výsledným prepísaným textom tak už možné nie je.

Ukazuje sa, že takýto prepis bez možnej spätnej kontroly je problematický a spôsobiť môže aj mimoriadne závažné nedorozumenia. Najnovší výskum venovaný presnosti modelu Whispr ukázali, že model halucinuje aj pri kvalitne nahraných záznamoch. Výskumný tím odhalil 187 halucinácií vo viac ako 13 000 hlasových nahrávok, ktoré analyzoval. Pri miliónoch prepisov sa už jedná o viaceré desiatky tisícov omylov modelu.

V jednej z analyzovaných nahrávok model spracoval túto vetu „On, ten chlapec, chcel, nie som si presne istý, vziať dáždnik.“, a dodal k nej „Vzal veľký kus kríža, malý, malý kúsok… Som si istý, že nemal teroristický nôž, takže zabil množstvo ľudí“. V ďalšej nahrávke model síce prepísal „dve ďalšie dievčatá a jedna dáma“ správne, no k tejto vete ešte pridal vlastný komentár „um, ktoré boli čierne“, v inej si zas vymyslel neexistujúce „hyperaktivované antibiotiká“.

Výskumníci si nie sú celkom istí, prečo si Whisper a jemu podobné modely vymýšľajú neexistujúce slová a frázy. Ku vzniku takýchto halucinácií však podľa nich dochádza počas prestávok v reči, pri výskyte zvukov v pozadí alebo hrajúcej hudbe. Spoločnosť OpenAI si je možnými chybami v prepise vedomá a preto vo svojej dokumentácii odporúča nevyužívať Whisper v „kontextoch rozhodovania, kde nedostatky v presnosti môžu viesť k výrazným nedostatkom vo výsledkoch“.

Toto upozornenie však predsa len neodradilo zdravotnícke zariadenia vo využívaní týchto modelov v praxi. Spomínaný nástroj Nabla aktuálne využíva viac ako 30 000 lekárov a 40 zdravotníckych zariadení. Spoločnosť Nabla pre Associated Press uviedla, že si je nedostatkami modelu vedomá a tento problém rieši. Stopercentnú istotu lekárom a pacientom by však dokázala poskytnúť len v prípade, ak by bolo možné výsledné prepisy porovnať s pôvodnými nahrávkami, čo sa zrejme nestane. Ako teda Nabla situáciu vyrieši, je v tejto chvíli otázne.