A számítógép ősatyjáról szóló anekdota szerint egyszer a következőt kérdezték Charles Babbage-től, aki akkor találta fel a mechanikus számítógépet, amikor még az áram is ritkaságszámba ment: „Mondja csak, Babbage úr, ha rossz adatokat táplálok a gépbe, akkor is jó választ ad?”
Babbage 1864-ben megjelent önéletrajza az első irodalmi említése annak a problémának, ami mára oda vezetett, hogy a mesterséges intelligencia rasszizmusáról beszélhetünk. Rövidítés is van arra az elvre, hogy ha szemetet táplálunk egy rendszerbe, szemetet is kapunk vissza. Ez a GIGO (garbage in, garbage out), amely rövidítés a számítástechnikában alkalmazott tárolási és olvasási logikák neveire – például first in, first out (FIFO) – rímel. A FIFO nem csak az informatikusoknak lehet ismerős, a gyógyszertári sorszámosztás is ezen az elven működik: a hamarabb érkező pácienst hamarabb szolgálják ki.
A „szemét be, szemét ki” megközelítéssel számos helyen találkozhatunk a technológia világában. Például amikor rossz minőségű, olcsón előállított, nem kellően tesztelt kódtól várnak jó eredményeket. Vagy amikor a feldolgozandó adatok vannak tele zavaró információval – a mesterséges intelligencia alkalmazásainál épp ez a probléma.
Előítéletek a gépben
Volt már arra példa, hogy egy képcímkéző algoritmus, amelyet a Google helyezett üzembe, arcok felismerése helyett a gorilla címkét társította az afroamerikaiak fotóihoz.
| ||
De ennél is nagyobb problémára hívta fel a figyelmet nemrégiben egy művészpáros, Kate Crawford és Trevor Paglen. Az ImageNet nevű adatbázis 14 millió képet tárol tartalom szerint címkézve. A gyűjtemény célja, hogy egy szabadon hozzáférhető, nagy mennyiségű képet tartalmazó adatbázison taníthassák be neurális hálóikat a mesterséges intelligenciát kutatók. Mert ahhoz, hogy egy ilyen program felismerjen egy pipacsot, több százezernyi, akár milliónyi képet kell végignéznie a pipacsról. Míg az ember egy pipacsból is meg tudja tanulni, hogy mi az, a számítógép tanulása másképpen működik.
Az ImageNet létrehozása jó ötlet volt, a szemét nem is itt keletkezett. Ott csúszott hiba a rendszerbe, hogy a Princeton és a Stanford kutatói, akik az adatbázist összeállították, egyrészt szabadon felhasználható képeket kerestek nagy mennyiségben, másrészt a tartalmi címkézést az Amazon Mechanical Turk oldalon adták ki feladatként. Az Amazon szolgáltatása arra való, hogy egyszerű, több ember között felosztható, olcsó digitális feladatokat szór szét a jelentkezők között – s mint ilyen leginkább a digitális napszámhoz hasonlít. Az ImageNet esetében a címkék egy része teljesen találó volt, felismerték a képen a szurkolót, a focistát és így tovább. Viszont az adatbázisba becsúsztak olyan minősítések is, mint „vesztes”, „bukás”, „feltételezett bűnelkövető”, valamint több nőgyűlölő, rasszista vagy egyéb típusú előítéletet mutató címke is.
Crawford és Paglen egy egyszerű trükkel hívták fel a figyelmet az adatbázisba beszivárgó előítéletekre. Készítettek egy oldalt, ahová bárki feltölthetett egy fotót magáról, vagy ha az nem volt kéznél, készíthetett egy képet webkamerával. Ezt a képet az ImageNet arcképein betanított algoritmus értékelte, majd pár másodperc múlva adott hozzá egy címkét. Én szerencsés emberként csak a „szalmaözvegy” és az „ijesztő figura” címkéket kaptam meg, illetve – meglepő módon – még a „búvárt” és a „pincért” is, az afroamerikai tesztelők viszont gyakran találkoztak a „vádlott” vagy a „bűnelkövető” szavakkal.
Jóllehet az oldal egy médiaművészeti kiállításra készült (és ott, a milánói Osservatorio Fondazione Pradában 2020-ig ki is próbálható), de egy darabig az interneten is elérhető volt. Elég komoly figyelmet kapott, olyannyira, hogy az ImageNet is kiadott egy közleményt. Bejelentették, hogy 600 ezer, embereket ábrázoló képet törölnek az adatbázisból, amelyekről kiderült, hogy a „sértő” vagy „nem biztonságos” kategóriába tartoznak (438 ilyen kategóriát azonosítottak). A teljes számba beletartoznak azok a képek is, amelyeket az „érzékeny” vagy a „potenciálisan sértő” címke alá soroltak (1155 ilyet találtak). A nyilatkozat ugyan sem a művészeket nem említi név szerint, sem a médiaművészeti kiállítást – az ImageNet Roulette oldalt –, de csak arra szolgálhatott válaszul.
Nem csak úgy épülhet ki egy előítéleteket tartalmazó adatbázis, ha digitális napszámosokkal végeztetik el az adatok elemzését. Arra is van példa, hogy magasabb státusú és megbízhatóbbnak gondolt szervezetek által összeállított adatsorban jelenik meg előítélet. Az Egyesült Államok több rendőrsége használ prediktív bűnmegelőzési szoftvert, ilyen például a PredPol. Ezek a programok azt ígérik, hogy olyan járőrútvonalakat állítanak össze, ahol a rendőrök nagyobb eséllyel foghatnak el bűnözőket.
A bemeneti adatot a prediktív rendőri szoftverek esetében korábbi rendőrségi adatbázisok jelentik. Ezekről azonban nem lehet feltételezni, hogy ugyanolyan adatfelvétellel készültek minden kerületben. A letartóztatások számát nemcsak a bűnelkövetések gyakorisága befolyásolja, hanem a rendőri jelenlét is. Hogy egy budapesti példát hozzunk, hiába gyakori a városból kivezető utakon az „autóversenyzés”, ha nincs ott járőr vagy traffipax, a statisztika számára láthatatlan marad a jelenség.
Az adatgyűjtésbe tehát beépülhet egy visszacsatolási hurok: a rendszer oda küld sok rendőrt, ahol a rendőrök szerint sok a bűnöző. A statisztika nem szükségszerűen objektív, a szoftver pedig csak annyira okos, amennyire a tanítási adatbázis. Az USA-ban piacvezető PredPolt először 2016-ban vádolták azzal, hogy ráerősít a rasszista rendőri gyakorlatra. Az üzletben nem csak a PredPol érintett, az Amazontól Peter Thiel Palantir nevű startupjáig több cég ad el rendészeti feladatokra fejlesztett arcfelismerő szoftvereket.
A nagy dobás című, a 2008-as világgazdasági válságról szóló film egy Mark Twainnek tulajdonított (bár nem biztos, hogy tőle származó) idézettel indít: „Nem az sodor bajba, amit nem tudsz, hanem amit holtbiztosan tudsz, csak épp rosszul.” A holtbiztos, de rossz találat a felismerő rendszerekben is előfordulhat, ezt hívják hamis pozitívnak (false positive). A rendészetben használatos arcfelismerők esetében a rendszer egyik legfontosabb jellemzője, hogy mennyit tévednek és milyen irányba. Ártatlanokat emel-e ki a tömegből a szoftver, vagy valóban keresett személyeket hagy átcsúszni.
„Bűnöző” képviselők
Az előbbit könnyebb bemutatni, ezért a mesterséges intelligencia rendszereinek kritikusai jobban is szeretik. Az American Civil Liberties Union (ACLU) jogvédő szervezet például azzal érvelt az Amazon Rekognition arcfelismerője ellen, hogy a kongresszus 535 tagjának fotóját betáplálták a felismerőbe.
| ||
A szoftver szerint 28 képviselő, azaz durván 5 százalék számít körözött személynek. Még azt is ki tudták mutatni, hogy bár a kongresszusnak csak 20 százalékát teszik ki afroamerikai képviselők, a Rekognition hibásan felismert bűnözőinek 40 százaléka fekete volt. (Az ACLU által használt tanítási adatbázis 25 ezer szabadon elérhető fotó volt különböző bűnelkövetőkről. Ezeken tanítottak be egy programot, ami az Amazon arcfelismerő kódját használja. Ugyanazt, amit a rendőrségeknek is elad a cég. A minimális pénzből létrehozott szoftvernek a tanítás után kongresszusi képviselők portréit mutatták meg, így emelhetett ki közülük 28 „bűnelkövetőt” az algoritmus.)
Akár egy intelligenciát egyáltalán nem tartalmazó szappanadagoló is lehet rasszista. És ez nem holmi légből kapott példa, vannak infravörös szenzorral rendelkező típusok, amelyek a kézről visszavert fényt érzékelve nyomnak ki szappant. Ám ezek egy része úgy van kalibrálva, hogy a fehér bőrről visszavert fény mennyisége szükséges az adagoló elindításához, a barnább bőrről azonban kevesebb fény verődik vissza, a gép nem indul el. A problémára azonnal fény derült volna, ha több bőrtónussal is tesztelik az eszközt – véli a problémát közzétévő nigériai férfi, Chukwuemeka Afigbo.
Nagy hiba bármely technológiának emberi attribútumokat tulajdonítani. A kód maga nem rasszista, nem gyűlöli a nőket, nem gondol, és nem érez. A tanítási adatbázisok azonban magukkal hordozzák az összes tudatos vagy tudattalan előítéletet, amellyel a megalkotásukban részt vevők rendelkeztek. Erre pedig rárétegződhet, hogy a technológiák egy részét fiatal fehér mérnökök állítják elő, tesztelik, ezek az ő alapfeltevéseiket tartalmazzák, ahogy ezt a szappanadagoló esetében is feltételezhetjük. Egyszerű megoldás nincs a problémára. És amíg egy ilyen nem kínálkozik, kétkedéssel kell szemlélnünk minden olyan technológiát, amelyet valami mágikus csodaként vezetnek elénk. Vagy legalább fel kell tennünk a kérdést: mi lehet a mágus fejében?
