Czy most może być rasistowski? Technologie, które dyskryminują

Technologia nie jest wyłącznie biernym narzędziem. Różne otaczające nas urządzenia tworzą porządek społeczny, który jednym grupom sprzyja, a innym szkodzi.

Most, który nienawidzi czarnych

Wyobraźmy sobie most, szarą konstrukcję ze zbrojnego betonu. Czy coś tak statycznego może w ogóle mieć uprzedzenia? Dobrego przykładu, że może, dostarcza dzieło pewnego wielkiego konstruktora.

Mowa o Robercie Mosesie, który na stałe zapisał się w historii Nowego Jorku. W pierwszej połowie XX w. piastował on jednocześnie 12 różnych wysokich stanowisk. Odpowiadał za budowę prawie każdej nowej infrastruktury w mieście. Autostrady, parki, wiadukty, ulice, wieżowce, stadiony – we wszystkim, co wtedy powstawało, maczał palce „Wielki Budowniczy”, jak Mosesa nazywała prasa.

Moses był także okrutnym rasistą. Robert Caro, autor jego biografii, wprost określał go „największym rasistą, jakiego kiedykolwiek spotkał”. Bardziej niż czarnoskórych i Latynosów nienawidził tylko biednych. Dlatego było mu nie w smak, że ludzie z uboższych dzielnic – najczęściej kolorowi – odpoczywają na jego ulubionej plaży Jones Beach.

Moses znalazł na to sprytne rozwiązanie. Wiadukty nad drogami prowadzącymi na plaże wybudował na tyle wysoko, żeby zmieściły się pod nimi samochody, ale na tyle nisko, żeby nie mogły pod nimi przejechać autobusy. W ten sposób wypoczynek na plaży był już luksusem dostępnym wyłącznie dla zamożniejszej części mieszkańców Nowego Jorku, którą stać na prywatne auto.

Wielu osobom wydaje się, że technologia może być wykorzystywana w dobrych lub złych celach. Nożem możemy kogoś zabić albo posmarować pieczywo. Natomiast sama technologia jest bierna i wolna od uprzedzeń. Powyższa anegdota dobrze pokazuje, że sytuacja jest bardziej zniuansowana. W końcu most Mosesa nie tyle został wykorzystany do złych celów (bo nikt z nim nic nie robił), ile sam produkował określony porządek społeczny (taki, w którym wypoczynek zarezerwowany był dla zamożnych białych).

Czy biali chorują ciężej i częściej?

Skoro nawet w konstrukcji niepozornego wiaduktu można zawrzeć olbrzymią dozę politycznego interesu, to tym bardziej powinniśmy być wyczuleni na to, jak zbudowane są technologie dużo głębiej penetrujące nasze życie, np. decydujące o leczeniu, wyrokach czy zatrudnieniu.

Dużym problemem jest to, że algorytmy trenowane są na historycznych danych. A to oznacza, że uczą się również uprzedzeń, które w danych są zawarte. Na przykład w 2019 r. wyszło na jaw, że amerykańskie oprogramowanie wybierające pacjentów, którzy mieli zostać objęci szczególną opieką medyczną, faworyzowało osoby o białym kolorze skóry. Program dotyczył 200 mln osób i jak wykazało badanie przeprowadzone przez Uniwersytet Kalifornijski, przypisywał czarnym Amerykanom niższe ryzyko wystąpienia ciężkich problemów zdrowotnych, nie kwalifikowali się więc do specjalistycznego leczenia. Wszystko dlatego, że algorytm nauczono określać, kto jest poważnie chory, na podstawie historycznych wydatków na zdrowie. Rozumowano, że im wyższe środki na leczenie, tym większe problemy ze zdrowiem. Tymczasem o kosztach decydował szereg czynników społecznych.

To tylko jeden z wielu dobrze opisanych przykładów uprzedzeń algorytmów. Na podobnej zasadzie penitencjarne algorytmy przypisują mniejszościom etnicznym wyższe prawdopodobieństwo recydywy, niż wynosi ono w rzeczywistości (u białych taki błąd występuje dwukrotnie rzadziej), a rekruterskim algorytmom zdarza się niżej oceniać CV kandydatek wyłącznie ze względu na ich płeć. Jednym słowem, algorytmy często kodyfikują przeszłość, pogłębiając istniejące nierówności społeczne.

Czy manekiny zabijają kobiety?

Niestety, problem nie dotyczy wyłącznie programów komputerowych. Jak zauważa Caroline Criado Perez, niemal w każdej sferze „dane tworzą świat skrojony pod mężczyzn”. Niezależnie od tego, czy chodzi o transport miejski, badania, czy testy bezpieczeństwa, domyślna perspektywa to ta widziana oczami mężczyzny – co dla kobiet nierzadko ma śmiertelne konsekwencje.

Na przykład manekiny wykorzystywane w samochodowych testach zderzeniowych ważą 76 kg i mierzą 176 cm. Czyli tyle, ile przeciętny mężczyzna. Mają też męskie proporcje (rozkład masy mięśniowej czy budowę miednicy). W rezultacie auta są projektowane tak, aby minimalizować uszkodzenia „męskiego” manekinu. Dlatego w razie wypadku szansa na poważne obrażenia jest aż o 47 proc. wyższa, jeśli jesteśmy kobietą. Podobnie jest z lekami. Prawdopodobieństwo wystąpienia niepożądanych efektów jest znacząco wyższe u kobiet (na 2 mln kobiet tylko 1,3 mln mężczyzn doświadcza skutków ubocznych), ponieważ wyniki prób klinicznych prowadzanych na mężczyznach uogólnia się na całą populację.

Przyglądając się transportowi miejskiemu, publicznym toaletom, temperaturze w biurowcach, wyposażeniu wojska i policji, skafandrom kosmicznym czy smartfonom, Perez pokazuje, że design tworzy społeczeństwo, które szkodzi kobietom. Kształt poszczególnych urządzeń nie zależy wyłącznie od ich technicznych aspektów. Wszak wysokość mostów Mosesa nie wynikała z poszukiwania optymalnego przepływu ruchu, a z rasistowskich przekonań projektanta. Równocześnie wpływ nowych technologii na społeczeństwo nie zależy wyłącznie od ich dobrego czy złego wykorzystania. Często już sam design tworzy warunki, które sprzyjają jednym i dyskryminują innych. „Technologia to społeczeństwo uczynione trwałym” – pisał francuski socjolog Bruno Latour, sugerując, że konstrukcje materialne oraz społeczne hierarchie są nierozerwalnie połączone.

Co łączy Unabombera z ONZ?

Mimo to wiara w neutralność technologii jest szeroko rozpowszechniona zarówno wśród wpływowych międzynarodowych organizacji wspierających rozwój technologii, jak i wśród terrorystów zaciekle z nimi walczących.

Wiele strategicznych dokumentów Banku Światowego czy ONZ uznaje, że kluczem w modernizacji krajów rozwijających się są inwestycje w technologie informacyjne. Wyposażenie szkół w komputery, zwiększenie dostępności internetu czy rozwój aplikacji mobilnych ma być panaceum na bolączki Globalnego Południa. Nie bagatelizuję realnej poprawy warunków życia, która może być efektem implementacji cyfrowych rozwiązań. Natomiast wybór technologii jako neutralnego i ostatecznego rozwiązania pozwala organizacjom międzynarodowym uniknąć konfrontacji z czysto politycznym charakterem wielu problemów, które próbują rozwikłać.

Również zagorzali przeciwnicy technologii wierzą w polityczną neutralność technologii. Unabomber – doktor matematyki oraz najdłużej poszukiwany terrorysta w historii FBI – sądził, że zapoczątkowany przez rewolucję industrialną gwałtowny rozwój technologii ma katastrofalne konsekwencje dla ludzkiego gatunku. W swoim manifeście zauważał, że zamiast poprawiać jakość życia, nowe urządzenia czynią je niesatysfakcjonującym i pozbawionym głębszego sensu: praca stała się powtarzalna, a czas wolny przeznacza się na zaspokajanie wykreowanych przez media sztucznych potrzeb.

Zdaniem Unabombera problemy te można rozwiązać, zatrzymując rozwój technologii, czyli... zabijając naukowców, niszcząc maszyny i paląc poświęcone im podręczniki. W ogóle nie dostrzegając społecznego tła (często trafnie) zdiagnozowanych problemów, pisał, że wszystko „to wina technologii, ponieważ systemem rządzi nie ideologia, lecz techniczna konieczność”.

Przekonanie o tym, że technologia to twór autonomiczny względem społeczeństwa, jest powszechne, bo uwalnia od niewygodnej prawdy o interesach stojących za każdym wynalazkiem. Rasistowski policjant męczący czarnoskórego nastolatka budzi oburzenie, ale algorytm dyskryminujący tę samą osobę już „obiektywnie” podejmuje decyzję. Badania dowodzą, że liczbom i algorytmom przypisujemy większy autorytet, bo ufamy w ich bezstronność. Między innymi dlatego rządy oraz międzynarodowe organizacje tak chętnie się nimi posługują. Choć w dużej mierze ich bezstronność to tylko iluzja.