Proč být vděčný za rasistické algoritmy
Dokumentární snímek Coded Bias poodhaluje zakódované předsudky v systémech na rozpoznávání tváří, dostatečnou kritikou masového biometrického dohledu však není.
Autor: Hynek Trojánek / IuRe
Článek vyšel původně na serveru A2larm.cz.
„Zatkli mě po návratu z práce domů, před zraky mé ženy i dcer,“ okomentoval čtyřicátník Robert Williams situaci, ke které došlo minulý rok v lednu a která mu změnila život. Stal se díky ní totiž patrně prvním člověkem na světě, který byl falešně obviněn z krádeže na základě kamerového systému na rozpoznávání tváří. Jinými slovy: systém vyhodnocující data selhal, spletl si ho s někým jiným. Před pár dny média přinesla zprávu, že se Williams rozhodl policii města Detroit žalovat.
Pokud jste žili v přesvědčení, že technologie prediktivního zločinu je zatím stále jen ve sci-fi trhácích, jako je Minority Report, pak je na čase se probrat. Vhodnou červenou pilulkou k probrání může být dokumentární film Coded Bias, který od letošního dubna nabízí Netflix. Ústřední zápletka takřka kopíruje historku z Detroitu: hlavní postavou však není muž od rodiny, nýbrž mladá programátorka, která během práce na svém projektu zjistí, že biometrický software, se kterým pracuje, není schopný zachytit její tvář. Netrvá dlouho a zjistí, v čem je chyba: systémy na rozpoznávání tváří jsou zpravidla trénovány na omezených vzorcích, ve kterých chybí lidé tmavší barvy pleti (což je případ programátorky i muže z Detroitu). Technologie jsou tím pádem nedokonalé a mají v sobě zpravidla již dopředu zakódované zvyky či rovnou předsudky svých autorů, kterými jsou téměř výhradně bílí muži.
Problematika replikace podvědomých myšlenek tvůrců, kteří realizují projekty určené pro veřejnost, není nic nového, podobné principy jsou často popisovány třeba i v souvislosti s architekturou města. U systémů na rozpoznávání tváří se však vzhledem k masovému rozšíření digitálních technologií jedná o problém zásadní – programátorka Joy Buolamwini se proto vydává do boje, zakládá Ligu za spravedlivé algoritmy a s řadou dalších vědkyň směřuje své tažení až k nutným společenským změnám a legislativním úpravám.
Tady je váš nákup, poprosím jednu tvář
Po několikátém upozornění na nedokonalost algoritmů, které jen prohlubují a akcentují ve společnosti již zažité předsudky, se do mysli diváka však nutně vkrádá myšlenka: Oukej, tak pojďme ty algoritmy opravit, ať nejsou rasistické, ale skutečně spravedlivé, a bude zase vše zalité sluncem, no ne? Seženeme jen ještě více programátorů na rozlousknutí toho příkladu a prostě to vypočítáme lépe!
Tato nutkavá myšlenka je však hlavní slabinou filmu. Ten sice upozorňuje (ač to zní, jako by toto podotknutí bylo do podkresu dodáno až ve střižně), že s upravenými algoritmy bychom celý proces postupného masového dohledu založeného na databázi tváří nás všech jen legitimizovali a dopadli bychom jako v Číně, jenže filmem nabídnuté děsivé záběry z Číny vlastně vůbec děsivě nevypadají…
Vidíme na nich totiž dívku na skateboardu, která si frčí ulicemi města, ukázáním svojí tváře si nakoupí limču v automatu a nadšeně mluví o tom, jak díky všudypřítomným identifikačním systémům shromažďuje stát o svých občanech veškerá možná i nemožná data. Díky systému sociálního kreditu, který tím vytváří, si pak ale i ona může například lépe vybrat přítele: tedy takového, který je solidní, nemá žádné problémy, na kterého má stát jen samé dobré reference.
Dívka sice dále vypráví o tom, že kdo neposkytne svoji tvář, nemá v Číně přístup k internetu, že ve vlaku hlásili, že kdo má nízký sociální kredit, nemůže létat letadlem, ale co už: její život je pohodlný, vše funguje rychle, efektivně, s řadou věcí si vůbec nemusí lámat hlavu… Není toto všechno přesně to, co bychom si přáli i my ve střední Evropě?
Dokumentární film Coded Bias ukazuje, proč jsou algoritmy podtrhující rasismus problematické. Pokud však chceme odmítnout kamerové systémy na rozpoznávání tváří, a tedy všudypřítomnou kulturu dohledu jako takovou, budeme na to muset jít odjinud.
Vy snad chcete, aby se někdo utopil?
Jenže ouha: argumenty pro zákaz či alespoň legislativní zprůhlednění masového biometrického dohledu se až překvapivě složitě prezentují. On totiž ten svět, ve kterém je tvář pohodlným klíčem pro nákup či pro komunikaci se státem, a hlavně svět, ve kterém nás kamerové systémy s umělou inteligencí zbaví všech teroristů, zločinců a otravných demonstrantů, vypadá na první pohled vážně dost dobře. A všechny skupiny či firmy, které podobné systémy prosazují, jsou si toho vědomi a umí s tím moc hezky pracovat.
Tak třeba česká firma Cogniware. Dodává sice svůj software na rozpoznání tváří autoritářským režimům a neváhá si sama tento obchod pochválit s tím, že v podobných zemích je ochrana osobních údajů na nízké úrovni, prodala minulý rok na podzim software i české policii, která jím neváhala na zkoušku prohnat fotky ze sociálních sítí… Ale zase lze využitím jejích kamer pod vodou upozornit na to, když se někdo topí.
Nebo další mistři argumentace z Česka – firma AD24. Ta v rámci lepšího cílení reklamy chce obchodům nabízet software, který během několika desítek milisekund rozpozná tvář, pohlaví, věk i barvu očí, ale protože už dopředu ví, že by to mohlo někomu vadit, prezentuje to tak, že tím vlastně výrazně ulehčí vizuálnímu smogu ve městě. (Mimo biometrické systémy zmiňme na tomto místě podobně fikaný přístup řetězce Albert, který vás láká k využívání aplikace s tím, že umožněním elektronické účtenky společnými silami ušetříte kilometry papíru. Nechcete mít aplikaci, a tedy poskytovat Albertu cenná data? Pak jste neekologická čuňata!)
V Británii se zase biometrická identifikace již osvědčila jako výborný prostředek v samoobsluhách, kde pomáhá na základě databáze rovnou upozornit na podezřelé loupežníky. U nás jsme zatím v první fázi, kdy jsme podobné kamery využili během pandemie na počítání lidí v obchodech – jak ale bylo v některých článcích příkladně uvedeno, není pochyb, že zavedené systémy najdou uplatnění i po odeznění pandemické situace. V Mexiku je na stole návrh, podle kterého by každý vlastník telefonu měl státu poskytnout naskenovanou duhovku a otisky prstů. Pomohlo by to totiž v řešení častých případů únosů a vydírání organizovaných z vězení.
Možná nevědomky jsme pak systémům na rozpoznávání tváří všichni tleskali letos v lednu, kdy výrazně dopomohly k identifikaci výtržníků v americkém Kapitolu. Hoan Ton-That, strůjce kontroverzní společnosti ClearView AI, jejíž software k dopadení pomohl, to podle autora nedávného rozsáhlého článku o biometrických systémech pro New York Times považuje za nezvratný důkaz, že si na podobné systémy jako společnost zvykáme a učíme se s nimi žít; a že hodnota soukromí jako taková je skutečně přežitek, jak s oblibou prohlašuje.
Máte veřejný prostor? A mohla bych ho vidět?
Ve filmu Coded Bias se téměř nevyskytuje pojem, který je přitom zcela zásadní: veřejný prostor. Ten se nám totiž s každým dalším dohledovým prvkem proměňuje před očima. Z prostoru, ve kterém se formou demonstrací a občanských projevů odehrávají často ty nejzásadnější společenské proměny (a který je co se týče proměn společnosti jakýmsi inovačním hubem), se díky biometrickému dohledu stává prostor, ve kterém se již dopředu bojíme projevovat. Co když udělám něco, co někdo vyhodnotí jako něco špatného? A možná ne hned, ale třeba zítra, za měsíc, za pět let? Nikdy si nemůžeme být jistí, jakým způsobem jsou údaje o našem chování a pohybu z podobných systémů zpracovány, kdy se kdo dozví o tom, co jsme kde dělali, s kým jsme byli, jak se tvářili a jak jsme byli oblečení. Sebekontrola a sebecenzura všude tam, kde máme obavy, že můžeme být sledováni, pak nevedeme k ničemu jinému než k dehumanizaci a nesvobodě.
Svobodu však nutně potřebujeme právě na to, abychom mohli vyjádřit vlastní názor či svým hlasem podpořit někoho, s kým se zachází nespravedlivě. Nárok na soukromí, s nímž bychom měli kamerové systémy na rozpoznávání tváří odmítnout, je to, co nám dovoluje žít a projevovat se bez neustálého ohlížení na to, jak se k tomu kdo vyjádří, a co nám dovoluje být lidmi.
Společnost, ve které se sleduje, kdy a kam její občané chodí a jak se tam chovají, není společností ani svobodnější, ani spravedlivější. Občasné úspěchy, které mohou biometrické systémy přinést v podobě polapení těch největších zloduchů, nevyváží ztrátu hodnot svobody a soukromí ve společnosti jako celku. Jak řada teoretiků k tomuto procesu trefně podotýká: pomalu se stáváme generací, která je sice díky nejrůznějším technologiím chráněna před nejbezpečím lépe než jakákoli generace předchozí, pocit blízkého nebezpečí se však pro nás zároveň stal každodenní žitou zkušeností.
Lidí, kteří při zavádění podobných systémů v Česku šermují slovy o bezpečnosti, bychom se měli ptát, jak přesně to pomůže zemi, která patří mezi nebezpečnější na světě a v níž navíc kriminalita obecně klesá?
Zachovat si tvář
Sluší se závěrem dokumentu Coded Bias přece jen vyjádřit poklonu: nebýt rasistických algoritmů, které jsou pro dokument hlavní rozbuškou, dostávali bychom se ke kritice kamerových biometrických systémů jako takových možná mnohem hůře. A jelikož Coded Bias končí – pozor, spoiler! – relativně pozitivně, pojďme to zkusit také: co si s tím vším počít?
Od loňského podzimu běží evropská petiční iniciativa Reclaim Your Face, která usiluje o zákaz biometrického dohledu v Evropě: sežene-li milion podpisů, bude se jejími požadavky muset zaobírat Evropská komise. I přes úsilí mnoha digitálněprávních organizací z celé Evropy ji zatím podepsalo „jen“ necelých padesát tisíc lidí. Jedním z důvodů, proč tomu tak je, může být paradoxně nutnost zadat číslo občanského průkazu, kterým je platnost petice podmíněna. Lidé, kterým záleží na soukromí, a tedy s myšlenkami petice souzní, tuto výměnu dat dost možná nejsou ochotni podstoupit. Jak jste na tom vy?
Již tuto středu má Evropská unie zveřejnit dlouho očekávaná a vyhlížená pravidla pro využívání umělé inteligence. Obránci soukromí doufají, že právě tento dokument by nelítostné algoritmy spolu s masovým biometrickým dohledem mohl vykázat do patřičných mezí. Existují však i obavy, jestli již není pozdě a zda lze vypuštěného Džina z lahve ještě vůbec vrátit zpátky. Jak dokazuje nedávný hack firmy Verkada, dodávající dohledové systémy, při kterém se útočníkům naskytl vhled do desetitisíců on-line záběrů z nemocnic, škol i továren, všudypřítomná kontrola si za tichého souhlasu veřejnosti již proklestila cestu snad do každého kouta naší společnosti.
A pak je tu samozřejmě každý z nás, kdo si chce takzvaně zachovat tvář. Ptejme se pověřených osob, na základě čeho se v našem okolí objevila kamera, jaký je její účel a jaké má funkce. Třeba proč se v pražském metru za posledních pár měsíců objevilo tolik nových kamer značky Bosch: jsou teď snad na každé stanici minimálně čtyři a lidi si je často pletou s osvětlením.
Autor pracuje v organizaci IuRe/Digitální svobody, která je zapojená do iniciativy Reclaim Your Face a která k biometrickým kamerovým systémům v Česku vydala v letošním roce studii.