Timnit Gebru - vyhodili ju z Google, dnes formuje debatu o AI

Timnit Gebru patrí medzi osobnosti, ktoré technologickému svetu pokazili veľmi pohodlnú ilúziu. Tú, že umelá inteligencia je čistá matematika, dáta sú neutrálne a algoritmy sú objektívne.

Pekná rozprávka. Len škoda, že v reálnom svete algoritmy nerozhodujú v rozprávkach, ale pri polícii, v zdravotníctve, v školách, vo finančných službách, pri práci s obrazom, jazykom, identitou a čoraz častejšie aj pri tom, kto je pre systém viditeľný a kto sa v ňom stratí.

Timnit Gebru sa narodila v Addis Abebe v Etiópii. Pri jej roku narodenia sa verejné profily líšia a najčastejšie uvádzajú rok 1982 alebo 1983. V našom kontexte ju teda môžeme zaradiť medzi technologické osobnosti narodené začiatkom osemdesiatych rokov. Jej rodina mala silné vzdelanostné zázemie. Otec bol elektrotechnik s doktorátom, matka bola ekonómka. Obaja rodičia pochádzali z Eritrey, čo sa neskôr ukázalo ako životne dôležitá okolnosť. Otec zomrel, keď mala Timnit približne päť rokov, a vyrastala najmä s matkou a sestrami. 

Detstvo v Etiópii nebolo pre Gebru len obdobím rodiny, školy a dospievania. Išlo hlavne o politické napätie medzi Etiópiou a Eritreou, ktoré vyústilo do eritrejsko-etiópskej vojny. Pre ľudí eritrejského pôvodu v Etiópii sa situácia stala nebezpečnou. Niektorí jej príbuzní boli preto deportovaní do Eritrey a nútení bojovať. Keď mala Timnit 15 rokov, musela vraj z Etiópie odísť. Najprv sa dostala do Írska, neskôr získala politický azyl v USA. Sama toto obdobie neskôr opisovala ako veľmi ťažké, plné neistoty, odlúčenia a pocitu, že človek zrazu nepatrí nikam. 

Po príchode do USA sa usadila v oblasti Bostonu a chodila na strednú školu v Somerville v štáte Massachusetts. Pre mladého človeka, ktorý uteká pred konfliktom, by človek čakal aspoň základnú dávku prijatia. Realita bola úplne iná. Gebru neskôr hovorila o tom, že v americkom školskom prostredí rýchlo zažila rasovú diskrimináciu. Hoci patrila medzi výborné študentky, niektorí učitelia ju podľa jej slov odrádzali od pokročilých kurzov Advanced Placement. Teda presne od tých kurzov, ktoré môžu talentovanému študentovi otvoriť cestu na najlepšie univerzity.

Dôležitá bola aj skúsenosť s políciou po incidente, pri ktorom bola napadnutá jej kamarátka, černoška. Gebru zavolala políciu, no namiesto toho, aby systém pomohol obeti útoku, jej kamarátka skončila zatknutá. Gebru tento moment neskôr opisovala ako silný príklad systémového rasizmu. Nie ako abstraktný pojem, nie ako akademickú tému, ale ako konkrétnu skúsenosť, ktorá človeku ukáže, že systém sa nespráva ku každému rovnako. 

Práve tu sa začal tvoriť základ jej neskoršieho pohľadu na technológie. Keď bude o mnoho rokov skúmať algoritmickú zaujatosť, nebude to robiť ako suché cvičenie v štatistike. Bude vychádzať zo skúsenosti, že systémy môžu mať pravidlá, formuláre, metriky a profesionálny jazyk, no napriek tomu môžu dopadať na rôznych ľudí úplne odlišne. Ak spoločnosť obsahuje rasizmus, sexizmus, nerovnosť, jazykové vylúčenie alebo triedne bariéry, dáta zozbierané z tejto spoločnosti ich veľmi často obsahujú tiež. A ak tieto dáta vložíme do modelov, modely ich dokážu vrátiť späť ešte rýchlejšie, lacnejšie a v oveľa väčšom rozsahu.

Stanford, elektrotechnika a prvý veľký dotyk so Silicon Valley

V roku 2001 nastúpila Timnit Gebru na Stanfordovu univerzitu. Vybrala si elektrotechniku, čo pri jej rodinnom zázemí nebolo prekvapivé. Otec bol elektrotechnik a technické myslenie bolo súčasťou rodinnej pamäti. Na Stanforde získala bakalársky aj magisterský titul z elektrotechniky a neskôr aj doktorát. Gebru vďaka tomu rozumie hardvéru, signálom, obvodom, počítačovému videniu aj strojovému učeniu.

Počas štúdia sa dostala aj do Apple. Najprv ako stážistka v hardvérovej divízii, neskôr ako zamestnankyňa. Pracovala tam približne v rokoch 2004 až 2013. Venovala sa návrhu obvodov a algoritmom spracovania signálu pre produkty Apple, vrátane prvého iPadu. Vo svojom akademickom profile sama uvádza, že pred návratom do laboratória Fei-Fei Li pracovala v Apple na obvodoch a signal-processing algoritmoch pre rôzne produkty firmy, vrátane prvého iPadu. 

Táto kapitola jej kariéry je dôležitá z dvoch dôvodov. Po prvé, dala jej tvrdý priemyselný základ. Gebru nevidela technologický vývoj iba ako elegantný graf z vedeckého článku. Poznala tlak na produkt, termíny, hardvérové kompromisy, firemné tajomstvo, škálovanie a spôsob, akým sa rozhodnutia úzkej skupiny inžinierov dostávajú do zariadení, ktoré používajú milióny ľudí. Po druhé, práve v prostredí Silicon Valley si čoraz viac všímala, kto pri týchto rozhodnutiach sedí v miestnosti a kto tam chýba. Ako černošská žena v hardvérovom inžinierstve sa pohybovala v prostredí, ktoré bolo výrazne homogénne. Technológie pritom používal celý svet, ale tímy, ktoré ich navrhovali, svet vôbec nepripomínali.

Z Apple si teda odniesla nielen technickú skúsenosť, ale aj citlivosť na mocenskú architektúru technologických firiem. Technológia nevzniká sama od seba. Vzniká v konkrétnych firmách, konkrétnych tímoch, konkrétnych rozpočtoch a konkrétnych kultúrach. Ak sú tieto kultúry úzke, výsledná technológia si ich slepé miesta často nesie so sebou.

Postupne sa jej záujem začal presúvať od klasickej elektrotechniky a hardvéru k počítačovému videniu a umelej inteligencii. Fascinovalo ju vraj, že počítače môžu analyzovať vizuálny svet, rozoznávať objekty a extrahovať informácie zo záberov, ktoré by predtým museli ľudia spracúvať ručne. Zo začiatku išlo najmä o technickú fascináciu. Ako sama neskôr priznala, keď sa pri štúdiu počítačového videnia venovala úlohám ako detekcia ľudských postáv na fotografiách, vtedy ešte neuvažovala o dohľade; považovala to najmä za technicky zaujímavý problém. To sa malo zmeniť počas doktorandského výskumu.

Keď autá na ulici prezradia spoločnosť

Po návrate do akademického prostredia nastúpila do Stanford Artificial Intelligence Laboratory, známeho ako SAIL, kde pracovala pod vedením Fei-Fei Li, jednej z najznámejších osobností počítačového videnia a modernej AI. Doktorát získala v roku 2017 a jej dizertačná práca niesla názov Visual computational sociology: computer vision methods and challenges. Už samotný názov prezrádza, že nešlo len o technický problém typu „nájdime na obrázku auto“. Išlo o otázku, či sa z veľkých verejne dostupných obrazových dát dá vyčítať niečo hlbšie o spoločnosti. 

Jej výskum bol podporený štipendiami NSF Graduate Research Fellowship Program a Stanford DARE fellowship. Dôležitejšie než názvy štipendií je však to, že Gebru v tejto fáze spojila počítačové videnie, dátovú analýzu a sociologické otázky spôsobom, ktorý vtedy ešte nebol samozrejmý. Veľká časť sveta počítačového videnia sa sústredila na presnosť rozpoznávania objektov, kategórií a obrazových prvkov. Gebru sa pýtala, čo sa stane, keď podobné nástroje použijeme na čítanie verejného priestoru.

Najznámejším výsledkom tejto línie práce bol rozsiahly výskum založený na Google Street View. Gebru a jej spolupracovníci analyzovali približne 50 miliónov snímok ulíc z 200 amerických miest. Pomocou modelov počítačového videnia identifikovali asi 22 miliónov áut a určovali ich značku, model, typ a rok výroby. Následne tieto údaje porovnávali s demografickými dátami zo sčítania obyvateľstva a s volebnými výsledkami. Ukázalo sa, že zloženie áut v uliciach môže slúžiť ako prekvapivo silný signál o príjmoch, vzdelaní, rasovom zložení a dokonca aj politických preferenciách miestnej populácie. 

Na prvý pohľad je to elegantný triumf dátovej vedy. Namiesto drahých a pomalých prieskumov máme verejné obrazové dáta, neurónové siete, autá a štatistiku. Lenže práve tu sa u Gebru naplno ukazuje niečo dôležité. Pochopila, že rovnaký nástroj môže mať úplne odlišné použitia. Môže pomáhať urbanistom, samosprávam, sociológom alebo verejnej politike lepšie chápať mestá. Ale môže sa použiť aj na profilovanie, dohľad, komerčné mapovanie rizikovosti a automatizované rozhodovanie o ľuďoch, ktorí ani netušia, že sa o nich niečo vyvodzuje.

Poisťovňa, banka alebo iný komerčný hráč by mohol automaticky analyzovať verejné zábery ulíc a podľa vizuálnych znakov štvrte odhadovať „rizikovosť“ obyvateľov. Nie podľa individuálneho správania konkrétneho človeka, ale podľa toho, aké autá stoja na ulici, ako vyzerá okolie a aké štatistické asociácie si z toho model odvodí. To je presne moment, keď sa technicky pôsobivý výskum stáva spoločenskou otázkou. Nie preto, že by model nefungoval, ale preto, že môže fungovať až príliš dobre pre niekoho, kto ho použije zle.

Toto obdobie výrazne ovplyvnilo jej neskoršie uvažovanie. Gebru pochopila, že počítačoví vedci si nemôžu pohodlne umyť ruky vetou „my sme len vytvorili metódu, použitie je vec niekoho iného“. V AI je pôvod dát, spôsob zberu, účel modelu, možnosť zneužitia a dopad na ľudí súčasťou technického problému. Po doktoráte sa jej práca začala čoraz jasnejšie presúvať k otázkam algoritmickej zaujatosti a etiky umelej inteligencie.

Microsoft Research a štúdia, ktorá rozbila pohodlnú metriku presnosti

Po doktoráte pôsobila Timnit Gebru ako postdoktorandská výskumníčka v Microsoft Research v New Yorku, v skupine FATE, teda Fairness, Accountability, Transparency and Ethics in AI. Práve tam sa jej práca naplno spojila s otázkami algoritmickej spravodlivosti, transparentnosti a zodpovednosti systémov strojového učenia. 

Najznámejšou prácou z tohto obdobia je štúdia Gender Shades, ktorú vytvorila spolu s Joy Buolamwini z MIT Media Lab. Impulzom bola osobná skúsenosť Buolamwini, ktorá pri práci so systémami počítačového videnia zistila, že niektoré komerčné technológie nedokážu spoľahlivo detegovať alebo správne klasifikovať jej tvár. To, čo mohlo vyzerať ako izolovaná technická chyba, sa po systematickom výskume ukázalo ako štrukturálny problém.

Gebru a Buolamwini skúmali komerčné systémy na klasifikáciu pohlavia podľa tváre a pozreli sa na ich presnosť pri rôznych skupinách ľudí podľa typu pleti a rodu. Už samotná analýza bežných benchmarkov ukázala problém. Dáta, na ktorých sa systémy testovali, boli výrazne nevyvážené. Napríklad benchmark IJB-A obsahoval 79,6 % osôb so svetlejšou pleťou a dataset Adience až 86,2 % osôb so svetlejšou pleťou. V IJB-A bolo iba 24,6 % žien a len 4,4 % žien s tmavšou pleťou.

To znamená, že systémy sa testovali na dátach, ktoré sa tvárili ako univerzálne, ale v skutočnosti nadmerne reprezentovali jednu skupinu. Keď potom firmy hovorili o vysokej celkovej presnosti, často hovorili najmä o presnosti pre tých, ktorých mali v dátach najviac. Aby tento problém ukázali presnejšie, použili nový dataset Pilot Parliaments Benchmark. Obsahoval 1 270 tvárí poslancov parlamentov zo šiestich krajín: Rwandy, Senegalu, Južnej Afriky, Islandu, Fínska a Švédska.

Dataset bol navrhnutý tak, aby bol vyváženejší podľa typu pleti a rodu, pričom pracoval s dermatologickou Fitzpatrickovou škálou. Nebola to kozmetická úprava datasetu. Bola to metodologická výmena objektívu. Namiesto priemerného používateľa začali skúmať, komu systém reálne slúži a komu zlyháva. Výsledky boli nepríjemné a jasné.

Komerčné systémy od Microsoftu, IBM a Face++ dosahovali pri mužoch so svetlejšou pleťou takmer dokonalé výsledky, pričom maximálna chybovosť bola len 0,8 %. Pri ženách s tmavšou pleťou sa však chybovosť pohybovala od 20,8 % až po 34,7 %. V najhoršom prípade teda systém zlyhával pri viac než jednej z troch osôb v najviac znevýhodnenej skupine. 

Práca Timnit Gebru tak mení spôsob, akým sa máme pozerať na AI. Celková presnosť nestačí. Ak model dosahuje vysokú priemernú presnosť, ale pri jednej skupine ľudí zlyháva dramaticky viac, nie je to dobrý model. Je to model, ktorý sa vie dobre tváriť v priemernej štatistike. Dôležitým prínosom Gender Shades bola intersekcionálna analýza. Nestačilo sa pozrieť samostatne na rod a samostatne na typ pleti. Až spojenie týchto kategórií ukázalo, že najhoršie dopadli ženy s tmavšou pleťou.

Výskum mal aj praktický dopad. Firmy, ktoré boli v štúdii testované, museli reagovať. IBM následne uvádzalo zlepšenia svojich systémov po pretrénovaní a testovaní na vyváženejších dátach. EFF neskôr ocenila Joy Buolamwini, Timnit Gebru a Deborah Raji za výskum rasovej a rodovej zaujatosti v technológiách analýzy tváre, ktorý pomohol posilniť širšiu debatu o rizikách rozpoznávania tváre, najmä v kontexte polície a dohľadu. 

Datasheety pre datasety

Na výskum algoritmickej zaujatosti prirodzene nadviazala ďalšia línia jej práce: dokumentácia dát a modelov. Gebru bola spoluautorkou práce Datasheets for Datasets, ktorá navrhla, aby datasety používané v strojovom učení mali vlastnú dokumentáciu podobnú datasheetom v elektronike. V elektronike je úplne normálne, že súčiastka má popísané parametre, limity, odporúčané použitie, testovacie podmienky a riziká. V AI sa však dlhé roky používali datasety, pri ktorých nebolo vždy jasné, kto ich vytvoril, ako vznikli, koho obsahujú, koho neobsahujú, na čo sa hodia a na čo by sa radšej používať nemali. 

Áno, znie to absurdne. V hardvéri by nikto seriózny nestaval systém zo súčiastky bez dokumentácie, ale v umelej inteligencii sa roky trénovalo na dátach s prístupom „nejako sa to zozbieralo, nejako to funguje“. A potom sa technologický svet tváril prekvapene, keď systém niekomu ublížil. To je ako uvariť jedlo z neoznačených konzerv a potom sa čudovať, že chutí podozrivo.

Podobnú logiku mala aj práca Model Cards for Model Reporting, na ktorej sa Gebru podieľala spolu s s mnohými ďalšími výskumníkmi. Model cards mali priniesť stručnú, ale systematickú dokumentáciu modelov: na čo sú určené, v akom kontexte boli testované, aké majú limity, ako sa správajú pri rôznych demografických, kultúrnych alebo fenotypových skupinách a kde môžu zlyhávať.  Model nemá byť čierna skrinka s marketingovým názvom a jednou metrikou presnosti. Ak sa používa v oblastiach ako zdravotníctvo, školstvo, zamestnávanie, právo alebo bezpečnosť, musí byť jasné, čo vlastne vie, čo nevie, na kom bol testovaný a kde sa nemá požívať.

Black in AI

V roku 2017 Timnit Gebru spolu s Rediet Abebe založila Black in AI. Vzniklo to z veľmi konkrétnej skúsenosti. Gebru si na veľkých AI konferenciách všímala, ako málo černošských výskumníkov a výskumníčok je v odbore viditeľných. Ak v oblasti, ktorá má rozhodovať o budúcnosti rozhodovacích systémov, chýbajú celé skupiny ľudí, nie je to len personálny problém. Je to technický problém, epistemický problém a mocenský problém naraz. 

Black in AI začalo ako workshop pri konferencii NeurIPS, ktorá sa vtedy ešte volala NIPS. Prvý workshop vytvoril priestor pre odborné prezentácie, networking, mentoring a komunitu ľudí, ktorí v dominantnom AI prostredí často nevideli nikoho s podobnou skúsenosťou. Z malého priestoru na jednej konferencii sa postupne stala významná globálna organizácia. Oficiálny web Black in AI dnes uvádza členov vo viac než 117 krajinách a komunitu v tisícoch odborníkov, študentov a spojencov. 

Black in AI nie je kozmetická iniciatíva, aby technologická konferencia vyzerala na fotkách menej monotónne. Je to pokus posunúť moc v AI ekosystéme. Organizácia chce rozšíriť okruh ľudí, ktorí sa podieľajú na vývoji, nasadzovaní a regulácii umelej inteligencie. Teda nie iba „poďme mať viac rozmanitých panelov“, ale poďme zmeniť to, kto má prístup k vzdelaniu, publikovaniu, grantom, pracovným príležitostiam a rozhodovacím pozíciám.

Gebru opakovane zdôrazňuje, že diverzita v AI nie je len morálna požiadavka. Je to aj technická požiadavka. Ak systémy navrhujú stále rovnaké skupiny ľudí z podobného sociálneho, ekonomického a kultúrneho prostredia, budú si klásť podobné otázky, používať podobné dáta, ignorovať podobné riziká a považovať podobné problémy za nepodstatné. Nie preto, že sú všetci zlí, ale preto, že majú podobné slepé miesta. A keď sa tieto slepé miesta premenia na globálny softvér, problém už nie je akademický.

Preto je Black in AI súčasťou jej vedeckého odkazu. Nie je to odbočka od techniky. Je to pochopenie, že technická kvalita AI závisí aj od toho, kto ju tvorí, kto ju testuje, kto kladie otázky a kto môže povedať „toto je problém“ bez toho, aby bol okamžite označený za rušivý prvok.

Google: keď etika narazí na biznis model

V roku 2018 nastúpila Timnit Gebru do Google, kde sa stala spolulíderkou tímu Ethical AI. Pre Google bola ideálnou osobou: špičková výskumníčka, silné technické zázemie, známa práca o algoritmickej zaujatosti, schopnosť pomenovať riziká AI a medzinárodný rešpekt. Pre Gebru to bola šanca pracovať priamo v jednej z najvplyvnejších AI firiem sveta, teda v centre, kde sa rozhodovalo o vývoji technológií s globálnym dosahom. 

Na papieri to vyzeralo ako ideálna kombinácia. Firma, ktorá vyvíja jednu z najdôležitejších technológií našej doby, si najme človeka, ktorý vie skúmať jej riziká. Lenže práve tu sa ukázal základný paradox korporátnej etiky. Firma môže chcieť tím pre etickú AI, kým tento tím neukáže na problém, ktorý sa dotýka samotného jadra biznisu. Etika ako reputačná ozdoba je pekná. Etika ako brzda produktu je už menej roztomilá.

V Google Gebru spolupracovala s Margaret Mitchell a ďalšími výskumníkmi. Tím Ethical AI sa zaoberal otázkami zaujatosti, dokumentácie, transparentnosti, zodpovednosti a spoločenských dopadov AI. Zároveň však fungoval v prostredí, kde mala firma obrovské obchodné záujmy spojené s AI. Čím viac sa AI stávala strategickým jadrom budúcich produktov, tým citlivejšia bola každá kritika jej smerovania.

Konflikt naplno vyvrcholil pri článku On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, ktorý Gebru napísala spolu s Emily M. Bender, Angelinou McMillan-Major a Margaret Mitchell, uvedenou pod menom Shmargaret Shmitchell. Text bol publikovaný v roku 2021 na konferencii ACM FAccT, no konflikt s Google prepukol už pred jeho vydaním. Článok upozorňoval na riziká veľkých jazykových modelov: environmentálne a finančné náklady, koncentráciu moci, nepriehľadné tréningové dáta, reprodukciu stereotypov, znevýhodnenie jazykov a komunít mimo dominantného anglického internetu a falošný dojem, že plynulý text znamená skutočné porozumenie. 

Pojem „stochastický papagáj“ nebol lacná urážka modelov, hoci sa tak občas pohodlne interpretuje. Bol to presný obraz problému. Jazykový model dokáže štatisticky skladať veľmi presvedčivé textové sekvencie, no sám o sebe nemá ľudský komunikačný zámer, skúsenosť sveta ani zodpovednosť za význam. Najväčšie riziko teda nie je iba v tom, že model niečo povie zle. Riziko je aj v tom, že človek uverí plynulosti ako dôkazu porozumenia. A to je kognitívna pasca, do ktorej padáme ochotnejšie, než by sme si radi priznali.

Dnes, po nástupe ChatGPT, Gemini, Claude a ďalších systémov, znejú tieto otázky až nepríjemne aktuálne. V roku 2020 však pôsobili voči veľkým jazykovým modelom ako veľmi nevítané varovanie. Podľa reportáže WIRED dostala Gebru od vedenia Google požiadavku, aby článok stiahla alebo odstránila svoje meno a mená ďalších autorov z Google. Google tvrdil, že článok nespĺňal interné štandardy a ignoroval časť literatúry. Gebru tvrdila, že išlo o cenzúru a že bola vytlačená z firmy. Firma hovorila o rezignácii, ona a jej podporovatelia o prepustení. 

Výsledok bol však jasný. Jedna z najznámejších odborníčok na etiku AI odišla z jednej z najvplyvnejších AI firiem sveta po konflikte o článok, ktorý kritizoval smer vývoja technológie dôležitej pre veľké technologické firmy. Prípad vyvolal silnú reakciu vo vedeckej aj technologickej komunite. Tisíce zamestnancov Google a externých podporovateľov žiadali vysvetlenie. Mnohí vnímali jej odchod ako dôkaz, že nezávislý výskum etiky AI vo veľkej technologickej firme má svoje hranice.

DAIR: výskum mimo tieňa Big Techu

Po odchode z Google sa Timnit Gebru nerozhodla stíchnuť. V decembri 2021 založila Distributed AI Research Institute, skrátene DAIR. Inštitút vznikol ako nezávislá, komunitne zakorenená alternatíva k výskumu financovanému a kontrolovanému veľkými technologickými firmami. Jeho cieľom je skúmať spoločenské dôsledky AI, mocenské nerovnosti, dopady technológií na marginalizované komunity a možnosti, ako budovať technológie mimo úzkej predstavy niekoľkých firiem v Kalifornii.

DAIR získal pri štarte viac než tri milióny dolárov v grantovej podpore a od začiatku sa definoval ako priestor s odlišnými motiváciami než bežné AI laboratóriá. Nejde mu o preteky v tom, kto natrénuje väčší model, spotrebuje viac výpočtového výkonu a potom to celé zabalí do slova „budúcnosť“. Skúma skôr to, komu AI slúži, koho využíva, koho sleduje, koho vymazáva a aké alternatívne technologické budúcnosti si vieme predstaviť mimo logiky rastu za každú cenu. 

Jedna z dôležitých línií DAIR sa týka dátových pracovníkov. To sú ľudia, ktorí čistia, označujú, triedia alebo moderujú dáta, na ktorých stoja AI systémy. Často ide o zle platenú, psychicky náročnú a neviditeľnú prácu. Marketing AI rád predstiera, že modely vznikajú samé v oblaku čistej výpočtovej inteligencie. Realita je menej lesklá. Za „magickými“ systémami sú konkrétni ľudia, konkrétne pracovné podmienky a často aj globálne nerovnosti. Projekt Data Workers’ Inquiry, ktorý DAIR podporuje spolu s Weizenbaum Institute, sa venuje práve skúsenostiam týchto pracovníkov, vrátane ľudí pracujúcich na označovaní dát a moderovaní obsahu. 

DAIR sa venuje aj témam ako dáta pre spoločenskú zmenu, reálne škody nasadených AI systémov, hraničné a migračné technológie, pracovné podmienky v dátovej ekonomike a alternatívne predstavy technologickej budúcnosti. To je podstatné, pretože posúva debatu od otázky „je model zaujatý?“ k otázke „aký svet tento model pomáha udržiavať?“. A to je oveľa nepríjemnejšia, ale potrebnejšia otázka.

Gebru sa v posledných rokoch venuje aj kritike ideologického pozadia časti AI priemyslu. Spolu s Émile P. Torresom používa pojem TESCREAL ako označenie pre súbor futuristických a technologických ideológií spojených s transhumanizmom, singularitarianizmom, longtermizmom a ďalšími smermi, ktoré podľa nich ovplyvňujú časť debaty o umelej všeobecnej inteligencii. Jadrom jej kritiky je obava, že AI priemysel často hovorí o hypotetickej budúcnosti ľudstva, ale málo počúva ľudí, ktorým jeho systémy škodia už dnes. 

Toto je jeden z najdôležitejších posunov v jej práci. Kým veľká časť sveta AI sa rada pýta, čo sa stane, keď budú modely ešte väčšie, Gebru sa pýta, čo sa deje už teraz. Kto pracuje na dátach? Kto nesie environmentálne náklady? Kto je v tréningových dátach nadmerne zastúpený? Kto tam chýba? Kto zarába? Kto je sledovaný? Kto nemá možnosť odmietnuť? A kto má vôbec právo povedať, že tento smer technológie nie je nevyhnutný?

Technológia nie je prírodný zákon

Jedna z najdôležitejších myšlienok v práci Timnit Gebru je odpor voči predstave technologickej neutrality. Technologický priemysel rád používa implicitný „pohľad odnikiaľ“. Ako keby modely, datasety a algoritmy vznikali mimo kultúry, politiky, peňazí, jazyka, dejín a moci. Gebru proti tomu stavia presne opačný pohľad. Každý dataset je odniekiaľ. Každý model je odniekiaľ. Každé rozhodnutie o tom, čo optimalizovať, koho merať, čo považovať za chybu a čo za úspech, má svoj pôvod.

Preto kritizuje aj obľúbený mýtus, že technologický vývoj je prirodzená a nevyhnutná postupnosť. Ako keby svet automaticky smeroval od parného stroja k automobilu, od počítača k smartfónu a od neurónovej siete k všemocnému modelu, lebo tak si to vraj žiada pokrok. Nie. Technológia nie je rieka tečúca podľa prírodného zákona. Je to súbor rozhodnutí, investícií, priorít, kompromisov a mocenských záujmov. Ak sa dnes miliardy nalievajú do veľkých jazykových modelov, nie je to preto, že vesmír rozhodol. Je to preto, že konkrétne firmy, investori a inštitúcie sa rozhodli, že práve toto je smer, ktorý im vyhovuje.

Aj preto je jej práca niekedy nepríjemná. Neuspokojí sa s otázkou, či model funguje. Pýta sa, pre koho funguje. Neuspokojí sa s otázkou, či je presný. Pýta sa, pri kom zlyháva. Neuspokojí sa s otázkou, či je veľký. Pýta sa, kto zaplatil energiu, prácu, dáta a spoločenské náklady. Neuspokojí sa s otázkou, či model generuje presvedčivý text. Pýta sa, či mu nepripisujeme viac porozumenia a autority, než si zaslúži.

Timnit Gebru získala za svoju prácu viacero významných uznaní. V roku 2020 získala spolu s Joy Buolamwini a Deborah Raji Pioneer Award od Electronic Frontier Foundation za výskum rasovej a rodovej zaujatosti v technológiách analýzy tváre. EFF zdôraznila, že ich práca pomohla vytvoriť základ pre širšie hnutie proti chybnému a neregulovanému používaniu rozpoznávania tváre, najmä v kontexte dohľadu a polície. 

V roku 2021 ju časopis Nature zaradil medzi osobnosti, ktoré výrazne ovplyvnili vedecké dianie daného roka. V roku 2022 ju magazín TIME zaradil medzi 100 najvplyvnejších ľudí sveta a v roku 2023 aj medzi najvplyvnejšie osobnosti v oblasti AI. Fortune ju zaradil medzi významných svetových lídrov. Tieto rebríčky samy osebe nič negarantujú, ale ukazujú, že práca Gebru sa presunula z úzkeho akademického prostredia do centra globálnej debaty o technológiách. 

Jej vplyv však nemožno merať iba oceneniami. Dôležitejšie je, že mnohé pojmy a otázky, ktoré kedysi pôsobili ako okrajové alebo príliš kritické, sú dnes súčasťou hlavného prúdu diskusie o AI. Dokumentácia datasetov, auditovanie modelov, intersekcionálne testovanie, dopady na marginalizované skupiny, environmentálne náklady veľkých modelov, pracovné podmienky dátových pracovníkov, moc Big Techu a otázka, či veľkosť modelu naozaj znamená pokrok. To všetko sú dnes témy, ktoré už nemožno len tak odsunúť bokom.

A veľký podiel na tom má práve Timnit Gebru.

Pre sériu Ženy v technológiách je dôležitá aj preto, že jej príbeh nie je pohodlný. Nie je to hladký medailón o talente, ktorý systém okamžite rozpoznal a odmenil. Je to príbeh utečenkyne, černošskej vedkyne, inžinierky, výskumníčky a organizátorky, ktorá opakovane narážala na systémy, no zároveň sa ich naučila čítať tak presne, že ich nedokázali ďalej pohodlne predstierať neutralitu.

Technologický priemysel má s takýmito ľuďmi problém. Najradšej má kritikov, ktorí kritizujú dostatočne potichu, dostatočne neskoro a ideálne po uvedení produktu na trh. Gebru však patrí medzi ľudí, ktorí hovoria vtedy, keď je to ešte nepríjemné. Teda vtedy, keď to má zmysel.

Jej odkaz je jednoduchý a presný: umelá inteligencia nebude spravodlivejšia len preto, že bude väčšia, rýchlejšia a drahšia. Bude lepšia až vtedy, keď do jej vývoja, hodnotenia a kontroly pustíme ľudí, ktorých doteraz najčastejšie ignorovala. A keď prestaneme predstierať, že technológia nemá politiku, históriu a moc.