Keď dnes do vyhľadávača napíšeme pár slov a za zlomok sekundy dostaneme odpovede zoradené tak, že tie najrelevantnejšie sú navrchu, berieme to ako samozrejmosť.
Rovnako samozrejme dnes pôsobí aj to, že stroje dokážu spracúvať jazyk, analyzovať obrovské textové korpusy, sumarizovať obsah, odpovedať na otázky a v istom zmysle „rozumieť“ tomu, čo im píšeme.
Lenže za touto samozrejmosťou nestojí mágia, ale ľudia. A medzi nimi aj jedna mimoriadna žena, o ktorej široká verejnosť stále vie oveľa menej, než by mala. Karen Spärck Jones nepatrí k vedkyniam, ktorých meno pozná každý, no jej myšlienky žijú prakticky v každom modernom vyhľadávači, v základoch spracovania prirodzeného jazyka aj v tom, ako dnešné systémy oddeľujú informačný signál od šumu.
V dnešnom dieli Ženy v technológiách je preto jej meno povinnou zastávkou. Nie preto, že bola len jednou z prvých žien v odbore, ale preto, že patrila medzi najhlbších mysliteľov svojej generácie a zmenila spôsob, akým stroje pracujú s ľudským jazykom.
Karen Spärck Jones sa narodila 26. augusta 1935 v anglickom Huddersfielde v grófstve Yorkshire. Už jej rodinné zázemie naznačovalo, že pôjde o osobnosť, ktorej myslenie nebude uzavreté v jednom svete. Jej otec Alfred Owen Jones bol prednášajúci chémie na technickej škole, takže domáce prostredie prirodzene nieslo pečať exaktnosti, disciplíny a rešpektu k vede. Jej matka Ida Spärck pochádzala z Nórska a druhá svetová vojna vtlačila rodine aj silný medzinárodný a politický rozmer. Po nacistickej okupácii Nórska utiekla do Británie a pracovala pre nórsku exilovú vládu v Londýne. V živote malej Karen tak od začiatku nebola prítomná len škola a knihy.
Počas vojny sa rodinná situácia skomplikovala natoľko, že Karen musela byť na niekoľko rokov zverená do starostlivosti inej rodiny. Nie je to detail, ktorý by sa mal pri takomto profile odbiť jednou vetou. Vojnové detstvo, odlúčenie, disciplinované akademické prostredie a matkina skúsenosť s exilom a službou štátu sa v nej spojili do charakteru, ktorý neskôr pôsobil mimoriadne neústupčivo, vecne a zároveň široko rozhľadený.
Vzdelanie u nej nikdy nebolo dekoráciou ani sociálnym statusom, ale bolo povinnosťou, nástrojom a záväzkom. Už ako dvanásťročná vraj vedela, že chce študovať na Cambridgeskej univerzite. Školské roky ale najskôr strávila na dievčenských školách, najprv na miestnom gymnáziu a neskôr na Seaford Ladies’ College. Spärck Jones sa k týmto skúsenostiam neskôr vracala, pričom tvrdila, že čisto ženské vzdelávacie prostredie jej generácii umožnilo brať štúdium smrteľne vážne, bez zbytočných spoločenských hier a bez neustáleho podsúvania, že dievča je na univerzite len omylom.
Práve táto skúsenosť zrejme pomohla formovať jej neskorší, veľmi razantný postoj k postaveniu žien vo vede a výpočtovej technike. V roku 1953 sa dostala na Girton College v Cambridgei. Vtedy išlo o jednu z mála cambridgeských škôl, ktoré vôbec prijímali ženy. Zaujímavé je, že Karen Spärck Jones nevstúpila do dejín ako klasicky vyškolená matematička či inžinierka. Na Cambridgei študovala históriu a po skončení riadneho štúdia si pridala ešte Moral Sciences Tripos, teda filozofiu, logiku a etiku.
Jej genialita nespočívala v tom, že by len lepšie programovala. Jej sila bola v tom, že na technológiu pozerala z neobvyklej, interdisciplinárnej perspektívy. Kým mnohí inžinieri 50. rokov vnímali jazyk ako problém, ktorý treba mechanicky rozložiť na pravidlá, ona mala za sebou históriu, filozofiu, logiku a cit pre význam. Chápala, že jazyk nie je len sada symbolov, ale živý systém používania, kontextu, nuáns a nejednoznačností. A práve preto neskôr videla ďalej než mnohí čisto technickí kolegovia.
Po škole krátko učila, no táto dráha ju vraj nenapĺňala a potrebovala intelektuálne náročnejšie prostredie. To prišlo v čase, keď sa začala zbližovať s Cambridge Language Research Unit (CLRU). A tu sa jej kariéra zlomila smerom, ktorý zmenil dejiny informačných technológií. CLRU nebola veľká inštitúcia. Nebola ani bohatá, ani pohodlná. Bola však priekopnícka. Išlo o malú, no veľmi vplyvnú výskumnú skupinu, ktorá sa zaoberala strojovým prekladom a spracovaním prirodzeného jazyka v čase, keď to väčšina sveta ešte ani nepovažovala za reálne pole budúcnosti.
Karen zaujímal aj výskum Rogera Needhama, brilantného vedca z cambridgeského matematického laboratória, s ktorým sa neskôr v roku 1958 zosobášila. Aj tento detail je dôležitý, pretože Spärck Jones už vtedy ukázala, že nebude hrať podľa automaticky pridelených spoločenských rolí. Po svadbe si ponechala vlastné meno, čo bolo v 50. rokoch v Británii veľmi nezvyčajné. Vysvetľovala to jednoducho: žena má mať vlastnú trvalú identitu.
V CLRU stretla Margaret Mastermanovú, výnimočnú filozofku a výskumníčku, ktorá bola spätá s neskorým Wittgensteinom. Práve ona zásadne ovplyvnila Karenin pohľad na jazyk. Mastermanová odmietala myšlienku, že prirodzený jazyk treba prispôsobiť obmedzeniam počítača. Tvrdila presný opak: stroje sa majú naučiť pracovať s prirodzeným jazykom takým, aký je. Teda s jeho nejednoznačnosťou, kontextovosťou, viacvrstvovosťou a živou sémantikou. Pre dnešného čitateľa to možno znie banálne, ale vtedy to bol radikálny odklon od prevládajúceho myslenia.
V roku 1962 dostala Spärck Jones v CLRU platené výskumné miesto a začala sa venovať tomu, čo sa dnes javí ako samozrejmý základ digitálneho sveta: ako umožniť strojom pracovať s významom slov. Na tento výskum sa pustila takmer doslova remeselníckym spôsobom. Prepísala Rogetov tezaurus na dierne štítky, pretože iná digitálna infraštruktúra prakticky neexistovala.
Spärck Jones tak nebola len abstraktná teoretička, ale aj človek, ktorý musel význam slova pretlmočiť do surovej podoby, s akou si vedel poradiť vtedajší hardvér. A práve tu sa začína rodiť jej dizertačná práca „Synonymy and Semantic Classification“, dokončená v roku 1964. A práve tu prichádza jeden z najsmutnejších, no zároveň najvýrečnejších momentov jej kariéry. Táto dizertácia bola vo svojej dobe z veľkej časti nepochopená a nedocenená.
Hodnotitelia ju nepovažovali za zvlášť inšpiratívnu. V podstate sa stalo to, čo sa vo vede stáva častejšie, než si akademický svet ochotne priznáva: niekto prišiel priskoro. Jej práca totiž išla proti dominantnému duchu doby. Karen Spärck Jones však naznačovala niečo iné. Tvrdila, že význam sa dá odvodiť aj zo štatistiky používania slov, z ich ko-výskytu, z ich správania v texte. Teda nie len z ručne vytvorených pravidiel, ale z dát.
V podstate už v polovici 60. rokov rozvíjala myšlienky, ktoré sa naplno presadili až o desaťročia neskôr v štatistickom NLP, distribučnej sémantike, ale aj vo vektorových reprezentáciách slov. Inými slovami, Karen Spärck Jones videla základnú pravdu, ku ktorej sa neskôr výpočtová lingvistika pracne vracala: slovo nie je definované len slovníkom, ale aj tým, s akými inými slovami žije.
To je myšlienka, bez ktorej by sa neskôr ťažko rodili techniky ako word embeddings, moderné jazykové modely či vôbec posun od symbolickej AI k dátovo riadeným prístupom. Problém bol len v tom, že v roku 1964 neexistoval dostatočný hardvér ani dostatočne veľké digitálne korpusy, aby sa dalo jej myslenie okamžite pretaviť do masovej praxe. Svet jej nestíhal.
Ak však mala jej kariéra jeden okamih, ktorý sa dá označiť za historický zlom, je to rok 1972. Vtedy publikovala článok „A statistical interpretation of term specificity and its application in retrieval“, v ktorom predstavila koncept inverznej frekvencie dokumentov, teda IDF. Ide pritom o jeden z najvplyvnejších nápadov v dejinách vyhľadávania informácií.
Ak systém vyhľadávania pracuje naivne, len podľa toho, či sa nejaké slovo v dokumente vyskytuje alebo nie, veľmi rýchlo sa utopí vo vlastnej jednoduchosti. Bežné slová sa objavujú všade a systém nevie odlíšiť, ktoré dokumenty sú skutočne relevantné. Karen Spärck Jones prišla s elegantnou, no zásadnou myšlienkou: čím častejšie sa nejaký termín vyskytuje naprieč celou kolekciou dokumentov, tým menšiu rozlišovaciu hodnotu má.
Naopak, slová, ktoré sa objavujú zriedkavejšie, ale sú dôležité pre konkrétny dokument, nesú vyššiu informačnú hodnotu. To je intuícia, ktorá znie jednoducho. Lenže za touto jednoduchosťou je geniálne pochopenie toho, ako funguje relevancia. Jej IDF vyjadrila tento princíp matematicky. Ak sa termín vyskytuje v mnohých dokumentoch, jeho váha klesá. Ak je vzácnejší, jeho váha rastie.
Tým sa systém naučí, že nie všetky slová sú si rovné. Karen Spärck Jones tak dala svetu nástroj, ktorý umožnil hodnotiť, čo je informatívne a čo je len výplň. Dnes to vyzerá elementárne. Samozrejme, po desaťročiach používania už áno. Ale niekto ten skok musel spraviť prvý.
Dôležité je aj to, že tento koncept netvorila od stola ako abstraktnú hračku. Testovala ho na konkrétnych korpusoch a sledovala, ako sa správa pri reálnom vyhľadávaní. Zistila, že používatelia majú tendenciu zadávať časté a intuitívne slová, ktoré síce systémom pomáhajú niečo nájsť, ale zároveň vytvárajú šum. Jej model tento problém tlmil.
V praxi to znamenalo, že výsledky boli relevantnejšie, presnejšie a používateľsky užitočnejšie. Z pôvodného IDF sa neskôr spojil s term frequency, teda frekvenciou výskytu termínu v konkrétnom dokumente, do slávnej schémy TF-IDF. A práve TF-IDF sa stalo základným stavebným kameňom vyhľadávačov, databáz, indexovacích systémov a nespočtu textových aplikácií na celom svete.
Bez konceptov, ktoré Spärck Jones uviedla do života, by vyhľadávanie v mori digitálnych dokumentov bolo oveľa primitívnejšie, hlučnejšie a menej použiteľné. Síce neskorší internet pridal PageRank, linkové analýzy, strojové učenie, personalizáciu a ďalšie vrstvy. Lenže úplný základ, teda schopnosť posúdiť diskriminačnú silu slov v dokumentoch, nesie jej podpis.
V ďalších rokoch sa ukázalo, že jej práca nebola len praktická, ale aj teoreticky mimoriadne hlboká. Spolu so Stephenom Robertsonom rozvíjala pravdepodobnostné modely vyhľadávania, ktoré viedli k tomu, čo dnes poznáme ako model RSJ. Ich spoločná práca na relevance weighting vytvorila pevný teoretický rámec pre to, ako majú systémy pracovať s pravdepodobnosťou relevantnosti dokumentov vzhľadom na konkrétne termíny. Tieto snahy napokon prispeli aj k vývoju modelov, z ktorých vyrástol Okapi BM25, jeden z najslávnejších rankingových algoritmov v dejinách informačného vyhľadávania. BM25 nie je žiadna muzeálna fosília. Ešte aj dnes je v mnohých situáciách mimoriadne silným a praktickým základom textového vyhľadávania. A jeho rodokmeň vedie priamo k Spärck Jones.
Jej akademická kariéra na Cambridgei bola dlhá, rešpektovaná a vplyvná. Pôsobila vo viacerých colleges vrátane Girton, Newnham, Darwin a neskôr Wolfson College, no jej hlavným pracoviskom bolo Cambridge University Computer Laboratory. Tam sa stala jednou z kľúčových osobností britskej informatiky a v roku 1999 získala profesúru v oblasti computing and information. Nešlo len o titul. Bola rešpektovanou učiteľkou, mentorkou, architektkou výskumných smerov a človekom, ktorý vedel prepájať disciplíny, ktoré boli dovtedy často uzavreté vo vlastných silách a vlastných egu-bunkroch.
Aj v neskorších rokoch ostávala intelektuálne živá a otvorená novým problémom. So svojimi doktorandmi a kolegami sa venovala napríklad aj automatickej sumarizácii audiovizuálneho obsahu. Znovu je fascinujúce, ako univerzálne sa ukázali jej princípy. Metódy založené na štatistickom hodnotení významu slov sa dali použiť aj pri vyhľadávaní a sumarizácii spravodajských videí na základe textových prepisov. To len potvrdilo, že jej práca nebola naviazaná na konkrétnu dekádu či jeden módny problém.
Karen Spärck Jones bola dôležitým a hlasným hlasom v otázke postavenia žien v technológiách a v širšej etike výpočtovej techniky. Jej najslávnejší výrok „Computing is too important to be left to men“ sa cituje dodnes. Nie ako vtip, nie ako provokácia pre efekt, ale ako stručná formulácia jej hlbokého presvedčenia. Tvrdila, že do výpočtovej techniky treba dostať oveľa viac žien nie preto, aby si nejaká inštitúcia mohla odfajknúť diverzitu v powerpointovej prezentácii, ale preto, že technológie formujú celý svet a homogénne tímy majú slepé miesta.
Ženy podľa nej neprinášajú len „iný hlas“ v dekoratívnom zmysle, ale inú perspektívu pri uvažovaní o dôsledkoch, o spoločnosti, o používateľoch a o tom, že technické riešenie nie je nikdy len technické riešenie. V tomto bola až neuveriteľne prezieravá. Dávno pred dnešnou explóziou debát o skreslení, diskriminácii v algoritmoch, skreslených datasetoch či nespravodlivých systémoch umelej inteligencie upozorňovala, že technológia nevzniká vo vákuu.
Podľa nej ak sa systémy budujú v úzkych, homogénnych skupinách bez rozmanitosti skúseností a bez kritickej reflexie, je veľmi pravdepodobné, že budú zlyhávať voči častiam populácie, ktoré tieto skupiny nereprezentujú. Dnes to znie takmer banálne, pretože sme si tým už prešli v praxi pri rozpoznávaní tvárí, v jazykových modeloch, v odporúčacích systémoch aj v automatizovanom rozhodovaní. Lenže Karen Spärck Jones na to upozorňovala desaťročia predtým, než sa tieto problémy stali mainstreamovou témou.
Jej etický postoj bol pevne spojený aj s predstavením zodpovednosti vedca. Odmietala pohodlné technokratické alibi, podľa ktorého je algoritmus sám osebe neutrálny a za všetko zlé môže až používateľ alebo spoločnosť. Tvrdila, že medzi systémom a spoločenským prostredím existuje neviditeľná, no veľmi reálna interakcia. To znamená, že tí, ktorí technológiu navrhujú, nesú zodpovednosť už pri jej vzniku.
Aj po osobnej stránke išlo o zaujímavú a silnú osobnosť. S Rogerom Needhamom tvorili mimoriadne rešpektovaný intelektuálny pár. Nemali deti, no zanechali po sebe obrovské vedecké dedičstvo a generácie študentov, ktorí niesli ich vplyv ďalej. Spolu žili v dedine Coton neďaleko Cambridgeu v dome, ktorý si sami postavili a ktorý bol podľa spomienok doslova preplnený knihami. Milovali jachting a vlastnili historickú loď typu Itchen Ferry Cutter. Tieto detaily nie sú klebetou bokom od vedy. Dokresľujú, že Karen Spärck Jones nebola len mozog v kancelárii. Bola to osobnosť so silným zmyslom pre remeslo, disciplínu, históriu a veci, ktoré majú tvar, váhu a trvanie.
Získala množstvo ocenení, pričom viaceré patrili k najvyšším, aké možno v informatike a príbuzných odboroch dostať. Získala Gerard Salton Award, stala sa fellow organizácií ako AAAI, bola prezidentkou ACL, získala Award of Merit od ASIS&T, cenu za celoživotné dielo od ACL, Allen Newell Award, Athena Lecturer Award a v roku 2007 aj Lovelace Medal od British Computer Society ako vôbec prvá žena v histórii tohto ocenenia.
Osobitne silný je záver jej príbehu. Po smrti manžela bojovala s onkologickým ochorením a keď v roku 2007 dostala dve významné ocenenia v ten istý deň, už vedela, že jej zostáva málo času. Keďže zrejme tušila, že ich nebude môcť prevziať osobne, nahrala svoje akceptačné prednášky na video. Premietli ich potom na konferenciách a ostali ako vzácne svedectvo jej myslenia. Vedkyňa, ktorá celý život učila stroje pracovať s jazykom a významom, sa v posledných chvíľach prihovára svetu cez médium, ktoré samo patrí do technologického sveta, ktorý pomohla spoluvytvoriť.
Karen Spärck Jones zomrela 4. apríla 2007 vo veku 71 rokov. Jej smrť však neznamenala uzavretie diela. Naopak. Vznikli ceny nesúce jej meno, vrátane Karen Spärck Jones Award, a jej výrok o tom, že výpočtová technika je príliš dôležitá na to, aby zostala len v rukách mužov, sa stal jedným z najvýraznejších hesiel boja za rovnosť a zodpovednosť v STEM.