A obliczeniowe oznacza to, że wynik działania algorytmu nie jest neutralny, sprawiedliwe lub słuszne.
Błąd algorytmiczny może wystąpić, gdy dane używane do trenowania algorytmu uczenia maszynowego odzwierciedlają ukryte wartości ludzi zaangażowanych w zbieranie, selekcję lub wykorzystanie tych danych. Błędy algorytmiczne zostały zidentyfikowane i skrytykowane za ich wpływ na wyniki wyszukiwarek, serwisy społecznościowe , prywatność i profilowanie rasowe . W wynikach badań to stronniczość może dawać wyniki odzwierciedlające rasistowskie, seksistowskie lub inne uprzedzenia społeczne lub kulturowe, pomimo rzekomej neutralności danych. Konkretnym przykładem są tłumacze online, którzy systematycznie tłumaczą angielski termin „nurse” (neutralny) na „nurse” (kobieta) oraz termin „doctor” (neutralny) na „doctor” (mężczyzna). Badanie błędów algorytmicznych jest szczególnie zainteresowane algorytmami, które odzwierciedlają „systematyczną i niesprawiedliwą” dyskryminację .
Błąd algorytmiczny niekoniecznie jest świadomym zamiarem projektantów algorytmu, aby oszukać użytkowników. Tym ważniejsze jest, aby byli tego świadomi, ponieważ użycie tendencyjnego algorytmu, który ma być obiektywny, może silnie wpłynąć na ich opinie. Problem ten rodzi pytanie o brak informacji zwrotnej od projektantów algorytmów na temat ich tworzenia, podnoszonej już przez inżynierów największych platform internetowych.
Algorytm jest tendencyjne, gdy jego wynik nie jest neutralny, sprawiedliwe lub słuszne. Definicja ta opiera się zatem na trzech pojęciach: neutralność , lojalność i uczciwość . Błędy algorytmiczne mogą prowadzić do sytuacji dyskryminacji .
Aby zapobiec stronniczym algorytmom, niektóre badania, takie jak Pedreshi 2008, mają na celu opracowanie algorytmów, które respektują zasady uczciwości .
Podejście to obejmuje zdefiniowanie słuszności. Corbett-Davies i Goel 2018 wyróżniają trzy definicje:
Hamilton (2016) rozróżnia również kapitał indywidualny i grupowy. Sprawiedliwość indywidualna zapewnia, że osoby o podobnych cechach są traktowane tak samo, podczas gdy sprawiedliwość grupowa traktuje ludzi z różnych grup w różny sposób, aby osiągnąć równość wyników .
Błędy algorytmów mogą wynikać z błędów poznawczych programisty algorytmów, błędów statystycznych związanych w szczególności z danymi treningowymi, a nawet błędów ekonomicznych.
Programiści, którzy opracowują algorytmy, mogą podlegać wielu błędom poznawczym . Wśród tych błędów błąd owiec Panurge polega na wykorzystaniu popularnego modelowania bez zapewnienia jego trafności w danym kontekście. Bias potwierdzeniem jest promowanie swoją wizję świata, nie biorąc pod uwagę dane, które nie idą w jego kierunku.
W naukowcy danych programu WHO algorytmy nie są reprezentatywne dla populacji ogólnej. Badanie przeprowadzone przez Institute AI Now (w) 2018 r. podkreśla, że tylko 15% pracowników naukowych zajmujących się sztuczną inteligencją na Facebooku i 10% w Google to kobiety.
Nadreprezentacja białych mężczyzn wśród naukowców zajmujących się danymi oraz niedostateczna reprezentacja mniejszości może prowadzić do tego, że badacze danych nie uwzględniają w wystarczającym stopniu potencjalnych uprzedzeń i dyskryminacji. To właśnie D’Ignazio i Klein 2020 nazywają „ zagrożeniem przywilejami” .
Błędy statystyczne mogą pochodzić z danych zawartych na wejściu algorytmu lub samego algorytmu.
W 2015 roku algorytm oceny życiorysów opracowany przez Amazon został przerwany, gdy okazało się, że silnie dyskryminuje on życiorysy kobiet.
Bias może również pochodzić z metody statystycznej , takie jak pominiętym zmiennej polaryzacji , z uprzedzeń selekcji lub endogeniczności uprzedzeń .
Uprzedzenia ekonomiczne są powiązane z bodźcami ekonomicznymi aktorów.
Na przykład Lambrecht i Tucker 2017 pokazały, że bardziej opłacalne jest kierowanie reklam ofert pracy związanej z technologiami do mężczyzn niż do kobiet.
Modele osadzania słów mogą odtwarzać ludzkie uprzedzenia psychologiczne.
Caliskan, Bryson i Narayanan 2017 badają model wektora osadzania Glove (en) i pokazują, że znajdujemy ukryte powiązania między nośnikami słów uprzedzenie. Proponują metodę pomiaru uprzedzeń inspirowaną testem ukrytych skojarzeń .
Według Buolamwini i Gebru 2018 kobiety są trudniej rozpoznawane przez oprogramowanie do rozpoznawania twarzy IBM , Microsoft i Face++ . Spośród 127O przekazanych im oficjalnych portretów polityków, Face ++ trafiło 99,3% mężczyzn, ale tylko 78,7% kobiet. Tak więc 95,9% błędów firmy dotyczyło kobiet.
Te algorytmy rekomendacja może prowadzić do zafałszowania wyników do określonych treści.
Na przykład prace nad algorytmem rekomendacji YouTube przeprowadzone przez Guillaume Chaslot i stowarzyszenie Algotransparency pokazują, że algorytm ma tendencję do faworyzowania treści konspiracyjnych.
W 2016 roku agent konwersacyjny Tay opracowany przez Microsoft i wdrożony na Twitterze musiał zostać usunięty po 24 godzinach od użycia rasistowskich komentarzy.
W niektórych stanach amerykańskich wymiar sprawiedliwości i więzień opiera swoje decyzje na wcześniejszym zwolnieniu zatrzymanych na algorytmach oceny ryzyka; nazywa się to sprawiedliwością predykcyjną . W 2016 roku sondaż organizacji pozarządowych ProPublica ujawnił, że algorytm firmy Northpointe (w) , chociaż jego twórcy twierdzą, że nie uwzględnia wprost rasy, był rasistowskim uprzedzeniem.
Istnieje kilka możliwości walki z uprzedzeniami algorytmicznymi. Według TechCruncha należy stworzyć współdzielone i regulowane bazy danych, które uniemożliwiłyby osobom fizycznym manipulowanie danymi. Rzeczywiście, przyznając, że inteligencja zbiega się z brakiem uprzedzeń, algorytmy nie są jeszcze wystarczająco inteligentne, a zatem wolne od uprzedzeń, aby same się korygować; czekając, aż będą w stanie to zrobić, ludzie, świadomi tego, czym są uprzedzenia, muszą je kontrolować, aby zapobiec zwiększaniu wypaczonych orientacji wynikających z tendencyjnych danych, dzięki którym się uczą.
Jedną z głównych trudności w walce z uprzedzeniami algorytmicznymi jest nieprzejrzystość działania algorytmów. Ta nieprzezroczystość może mieć cztery źródła; tajemnicy celowo założonej przez firmy, które chcą chronić swoją własność intelektualną, analfabetyzm użytkowników i badaczy, ale także fakt, że wraz z ewolucją niektórych algorytmów mogą stać się nieczytelne ze względu na ich złożoność i wreszcie niektóre algorytmy, zwłaszcza te o dużych rozmiarach usługi online są po prostu zbyt duże, aby je studiować. Podczas gdy niektórzy badacze próbowali opracować metody poprawy przejrzystości, inni, tacy jak Shoshana Zuboff i Ruha Benjamin, twierdzą, że algorytmów nie można traktować jako izolowanych obiektów, ale raczej jako części dużego zgromadzenia kulturowego i społeczno-technicznego.
Aby udokumentować błędy algorytmiczne, konieczna jest możliwość ich audytu . W tym celu Angwin i in. 2016 zebrali dane i opracowali własny model, aby móc podkreślić stronniczość algorytmu oceny ryzyka recydywy.
Według socjolog Angele Christin, w przypadku audytów istnieją dwa inne sposoby podejścia do problemu błędu algorytmu. Pierwszym z nich jest podejście historyczne i kulturowe. Polega ona na ponownym rozważeniu zdarzeń tendencyjności algorytmicznej w dłuższych sekwencjach opartych na socjologii krytycznej . Algorytmy odtwarzałyby istniejące wcześniej struktury dyskryminacji , nadzoru i utowarowienia . Drugi to podejście etnograficzne. Pozwala z jednej strony określić, które siły strukturalne pozwalają na pojawienie się błędu systematycznego, a z drugiej strony rozważyć, w jaki sposób algorytmy wpływają na ich codzienne użytkowanie. Angele Christin oferuje trzy metody w ramach tego podejścia do badania algorytmów. „Refrakcja algorytmiczna” polega na badaniu rekonfiguracji zachodzących podczas użytkowania algorytmów i ich interakcji ze społeczeństwem i instytucjami. „Porównanie algorytmów” odnosi się do analizy różnych zastosowań tego samego algorytmu w różnych dziedzinach w celu zrozumienia pojawienia się błędu w różnicach w zastosowaniach i funkcjonowaniu. Wreszcie „triangulacja algorytmiczna” opiera się na wykorzystaniu algorytmów wtórnych do zbierania danych o badanym algorytmie.
Stany Zjednoczone nie mają kompleksowego ustawodawstwa regulującego algorytmicznego stronniczości. Ten problem można rozwiązać na poziomie federalnym lub stanowym i różni się w zależności od sektora, zastosowania oraz zaangażowanej branży lub rządu. W 2017 roku Nowy Jork uchwalił ustawę powołującą komisję do monitorowania wykorzystania algorytmów w mieście.
W artykule opublikowanym na stronie internetowej czasopisma Data & Society badacz Kinjal Dave krytykuje użycie terminu „bias” do określenia uprzedzeń algorytmów. Według niej termin bias wynikający z psychologii społecznej odnosi się do niedoskonałości jednostki, podczas gdy algorytmy stanowią siły instytucjonalne.
D'Ignazio i Klein 2020 również podejmują tę recenzję. Dla nich mówienie o nastawieniach algorytmicznych i sugerowanie, że możemy je skorygować, jest dywersją. Zamiast mówić o uprzedzeniach, wolą mówić o ucisku.