Obsah
- AI Beauty Bias
- Pohlavie v jazykoch
- 2. Rodová a veková diskriminácia v zamestnaní
- Rozpoznanie tváre zlyhalo
- Predpojatosť v oblasti recidívy
Zobrať:
V posledných rokoch bola AI čoraz častejšie prijímaná a aplikovaná na všetko od posudzovania krásy po hodnotenie rizika recidívy. Pritom presadzuje aj normy, ktoré v niektorých prípadoch podporujú zaujatosť a diskrimináciu.
Pokrok v technológii má potenciál skutočne demokratizovať prístup k informáciám a príležitostiam. V niektorých prípadoch sa však používa spôsobmi, ktoré posilňujú predstavu, že v našej spoločnosti sú niektorí ľudia rovnocennejší ako ostatní.
To, čo sme videli v nasledujúcich siedmich prípadoch, keď sa umelá inteligencia (AI) zámerne používa na vylúčenie určitých kategórií alebo v ktorých jednoducho odráža zaujatosť jej ľudských programátorov s diskriminačným účinkom.
AI Beauty Bias
Krása môže byť v oku pozorovateľa, ale keď tento subjektívny pohľad dokáže naprogramovať AI, máte v programe zaujatosť. Rachel Thomas informovala o jednej takej epizóde v súťaži krásy od beauty.ai v roku 2016. Výsledky ukázali, že ľahšie pleti boli hodnotené atraktívnejšie ako temné.
Nasledujúci rok, „FaceApp, ktorý používa neurónové siete na vytváranie filtrov pre fotografie, vytvoril„ filter horkosti “, ktorý odľahčil pokožku ľudí a dal im viac európskych funkcií.“
Pohlavie v jazykoch
Thomas tiež uvádza dokumentovaný príklad prekladov, ktoré prenášajú stereotypné očakávania kariéry. Východiskovým bodom sú dve vety: „Je lekárkou. Je zdravotnou sestrou.“
Ak ich potom preložíte do turečtiny a späť do angličtiny, získate výsledky, ktoré ste mohli očakávať od telefonickej hry.
Namiesto toho, aby ste dostali to, na čom ste začínali, by ste očakávali 50. roky, „Je to doktor. Je zdravotná sestra.“ Vysvetľuje, že je to kvôli rodovo neutrálnemu výrazu v tureckom jazyku, ktoré priradí pohlavie na základe očakávaní a stereotypnej zaujatosti. (Prečítajte si Ženy v AI: Posilnenie sexizmu a stereotypov pomocou techniky.)
Kým rasové a rodovo orientované predsudky filtrované do obrázkov a jazyka sú príčinou nepríjemnosti, nie sú to úplne rovnaké veci ako aktívna diskriminácia vyplývajúca z umelej inteligencie, ale stalo sa to tiež.
Jeho dôkazom bola snímka obmedzení zadaných pre reklamu v rámci jej kategórie bývania, ktorá umožňovala možnosť zúženia publika zrušením vylúčení kategórií, ako sú napríklad Američania Afričana, Ázie alebo Hispánci. Reklama si môžete pozrieť tu.
Ako zdôrazňuje spoločnosť ProPublica, diskriminačný účinok takýchto reklám je nezákonný tak podľa zákona o spravodlivom bývaní z roku 1968, ako aj podľa zákona o občianskych právach z roku 1964. Jedinou obranou v tomto prípade bolo, že reklama nebola určená na samotné bývanie, pretože nebola. “ t o nehnuteľnosti alebo dome na predaj alebo prenájom.
Existujú však aj iné prípady zacielenia, ktoré naznačujú rasovú zaujatosť a ktoré motivovali rôzne subjekty k tomu, aby proti sociálnej sieti podali občianskoprávne žaloby. Ako informoval Wired, v marci 2019 sa nakoniec rozhodol upraviť svoju technológiu zacielenia reklamy v dôsledku urovnania piatich právnych prípadov, ktoré ju obvinili z umožnenia diskriminácie menšín prostredníctvom reklám.
Vo svojej správe o urovnaní ACLU poukázal na to, aké zákerné môžu byť takéto cielené reklamy, pretože menšiny a ženy si ani nemusia uvedomiť, že nemajú rovnaký prístup k informáciám, bývaniu a pracovným príležitostiam, ktoré zdieľajú s bielymi mužmi.
Keď sa viac ľudí obracia na internet, aby si našli prácu, byt a pôžičku, existuje reálne riziko, že zacielenie reklamy sa replikuje a dokonca zhorší existujúce rasové a rodové predsudky v spoločnosti. Predstavte si, že ak sa zamestnávateľ rozhodne zobrazovať reklamy na inžinierske práce iba pre mužov - nielen používatelia, ktorí nie sú identifikovaní ako muži, tieto reklamy nikdy neuvidia, nikdy tiež nevedia, čo im chýbalo.
Koniec koncov, zriedka máme spôsob, ako identifikovať reklamy, ktoré online nevidíme. To, že táto diskriminácia je pre vylúčeného používateľa neviditeľná, sťažuje zastavenie.
2. Rodová a veková diskriminácia v zamestnaní
Medzi právne prípady patrí nelegálna diskriminácia v oblasti bývania, na ktorú je zacielenie povolené. Vo svojej správe o urovnaní spoločnosť ProPublica uviedla, že testovala platformu a úspešne kúpila „reklamy týkajúce sa bývania na vylúčených skupinách, ako sú Afroameričania a Židia, a predtým našla reklamy na prácu s vylúčením používateľov podľa veku a pohlavia umiestneného spoločnosťami. to sú názvy domácností. “
Viacero pracovných ponúk, ktoré ACLU zistila a ktoré boli výslovne zamerané iba na mužov v určitej vekovej kategórii, pretože používatelia mohli nájsť kliknutie na odpoveď, prečo sa im táto konkrétna reklama zobrazila, boli uvedené v inom článku v článku s káblovým pripojením. ACLU obvinil komisiu pre rovnaké príležitosti zamestnania proti sociálnej sieti a spoločnostiam, ktoré umiestnili reklamy, z dôvodu, že porušujú pracovné a občianske práva.
Diskriminácia zamestnávania ľudí nad 40 rokov porušuje federálny zákon o diskriminácii na základe veku (ADEA). Zacielenie reklám na pracovné miesta iba na ľudí mladších ako tento vek je jednou z vecí, ktoré platforma umožňuje.
Spoločnosť ProPublica sa zamerala na jednu zo svojich správ, v ktorej odhalila, ktoré reklamy na prácu zarábajú na túto nezákonnú formu vylúčenia podľa veku. „Názvy domácností“ zahŕňajú okrem iného Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Fond pre verejný záujem, Goldman Sach, OpenWorks a sám o sebe.
Rozpoznanie tváre zlyhalo
„Rozpoznanie tváre je presné, ak ste biely chlap“, vyhlásil nadpis článku New York Times uverejneného vo februári 2018. Uviedol výsledky, ktoré našli zreteľnú koreláciu medzi odtieňom pokožky a chybnou identifikáciou:
"Čím tmavšia je pokožka, tým viac chýb sa objavuje - až o takmer 35% v prípade snímok žien s tmavšou pokožkou. Podľa novej štúdie, ktorá prelomí novú pôdu meraním toho, ako táto technológia funguje na ľuďoch rôznych rás a rodu."
Tieto nálezy sa pripisujú Joy Buolamwinim, výskumníkom MIT Media Lab a zakladateľovi Algoritmickej justičnej ligy (AJL). Jej výskumnou oblasťou sú predpojatosti, ktoré sú základom AI, čo vedie k takým skresleným výsledkom, pokiaľ ide o rozpoznávanie tvárí, ktoré sa nezhodujú s normou bieleho muža stanovenou pre tento model.
Buolamwini predstavila problém rasovej a rodovej zaujatosti pri rozpoznávaní tváre v prednáške TED v roku 2017, ktorú uviedla na začiatku roku 2018 vo videu o projekte Gender Shades z laboratória MIT:
<
V popise videa je uvedené, že ak necháme nezaškrtnuté AI, „ochromí sa vek automatizácie a ešte viac sa prehlbuje nerovnosť, ak sa ponechá na hladu.“ Riziko nie je nič iné ako „strata ziskov z hnutia za občianske práva a hnutia žien pod falošným predpokladom strojovej neutrality“.
Popis videa pridáva varovanie, ktoré mnohí už zdôraznili, ako sme videli v dokumente Ženy v AI: Posilnenie sexizmu a stereotypov pomocou techniky: „Automatizované systémy nie sú vo svojej podstate neutrálne. Odrážajú priority, preferencie a predsudky - kódované pohľad - tých, ktorí majú moc formovať umelú inteligenciu. ““
25. januára 2019 Buolamnwini uverejnila stredný príspevok, ktorý čerpal z jej vlastného výskumu a výskumu ďalších výskumníkov, ktorí poukazujú na to, že nedostatky AI vedú k chybám v amazonskom prieskume a požadovali, aby spoločnosť prestala predávať službu AI policajným oddeleniam.
Zatiaľ čo spoločnosť Rekognition sa mohla pochváliť 100% -nou presnosťou pri rozpoznávaní samcov so svetlou pleťou a 98,7% -nou presnosťou aj pre tmavších samcov, pokiaľ ide o samicu, jej presnosť klesla na 92,9% pre ľahšie samice. Ešte viac do očí bijúci bol prudší pokles na iba 68,6% pre tmavšie ženy.
Amazon však odmietol ustúpiť. Článok Venture Beat citoval vyhlásenie Dr. Matta Wooda, generálneho manažéra hlbokého vzdelávania a inteligencie v AWS, v ktorom trval na tom, že zistenia výskumníkov neodrážajú, ako sa AI skutočne používa, a vysvetľuje:
„Analýza tváre a rozpoznávanie tváre sú úplne odlišné, pokiaľ ide o základnú technológiu a údaje použité na ich školenie. Snaha použiť analýzu tváre na zistenie presnosti rozpoznania tváre sa nedoporučuje, pretože nejde o zamýšľaný algoritmus na tento účel. ““
Algoritmy sú však veľmi problematické nielen pre pridružené subjekty k hlavným výskumným strediskám. Podľa správy Gizmodo spoločnosť ACLU vykonala vlastný test s najvýhodnejšou cenou 12,33 dolárov. Zistilo sa, že Rekognition spárovala 28 členov kongresu s fotografiami zločincov.
"Falošné identifikácie boli urobené, keď ACLU v severnej Kalifornii nariadil Rekognition so zodpovedajúcimi fotografiami všetkých 535 členov Kongresu proti 25 000 verejne prístupným mugshot fotografiám."
Keďže 11 z 28 osôb bolo farebných, odrážalo ich výraznú chybovosť 39%. Na rozdiel od toho bola miera chybovosti ako celku prijateľnejšia 5%. Šesť členov kongresového čierneho snemu, ktorí patrili k tým Rekognition spojeným s hrnčekmi, vyjadrili svoje obavy v otvorenom liste generálnemu riaditeľovi Amazonu.
Predpojatosť v oblasti recidívy
Predpojatosť vložená do umelej inteligencie proti ľuďom farby sa stáva vážnejším problémom, keď znamená viac ako len chybu pri identifikácii. To bolo zistenie iného vyšetrovania ProPublica v roku 2016. Dôsledky takéhoto zaujatosti nie sú ničím iným ako slobodou jednotlivca spojenou s ignorovaním skutočného rizika osoby, ktorej farba pleti je uprednostňovaná algoritmom.
Tento článok sa odvolával na dva paralelné prípady týkajúce sa jedného bieleho páchateľa a jedného čierneho. Algoritmus sa použil na predpovedanie toho, ktorý z nich pravdepodobne opäť poruší zákon. Čierna bola hodnotená ako vysoko riziková a biela ako nízka.
Predpoveď sa úplne zlá, a biely, ktorý sa oslobodil, musel byť znovu uväznený. Je to mimoriadne problematické, pretože súdy sa spoliehajú na bodovanie pri rozhodovaní o podmienečnom prepustení, čo znamená, že rasová zaujatosť zapracovaná do programu znamená podľa zákona nerovnaké zaobchádzanie.
ProPublica podrobila tento algoritmus svojmu vlastnému testu, pričom porovnala skóre rizika vyše 7 000 ľudí, ktorí boli v rokoch 2013 a 2014 zatknutí v okrese Broward na Floride, s počtom osôb, ktoré v nasledujúcich dvoch rokoch proti nim boli vznesené nové trestné obvinenia.
Zistili, že sa splnilo iba 20% predpovedí týkajúcich sa opakovania zločinov násilnej povahy a viac menej závažných trestných činov sa vyskytlo iba pre 61% osôb, ktorých skóre naznačovalo riziko.
Skutočným problémom nie je iba nedostatok presnosti, ale aj rasová zaujatosť:
- Tento vzorec pravdepodobne nepravdivo označil čiernych obžalovaných za budúcich zločincov a nesprávne ich označil týmto spôsobom takmer dvakrát viac ako bieli obžalovaní.
- Biele obžalované boli nesprávne označené ako malé riziko častejšie ako čierni obžalovaní.
V skutočnosti sa to premietlo do miery chybovosti 45% pre čiernych a 24% pre bielych. Napriek tejto do očí bijúcej štatistike Thomas informoval, že najvyšší súd vo Wisconsine naďalej potvrdzuje použitie tohto algoritmu. Podrobne popisuje aj ďalšie problémy spojené s algoritmami recidívy.