Quando nel 2015 il software Photos di Google, utile all’identificazione dei volti nelle fotografie, identificò come “scimmie” due persone di colore, fu grande l’imbarazzo negli uffici di Big G, che si prodigò in scuse e promise miglioramenti. Peccato che tre anni dopo uno studio del MIT a firma della ricercatrice Joy Buolamwini rivelò come effettivamente il dataset che componeva molta dell’Intelligenza Artificiale non avesse all’interno persone di colore. In altri termini, l’addestramento, l’educazione di questi software e dei loro algoritmi era basato su dati riguardanti solo uomini, per lo più bianchi. Solo una parte del mondo. Senza sensibilità alle differenze, a eventuali anomalie, segni particolari, colori.
Si è ben visto durante la pandemia, quando le società che producevano software di sorveglianza per il remote working e per gli esami online hanno dato vita a un boom di collaborazioni con aziende e università. In quell’occasione, molti studenti delle università americane hanno avuto modo di sperimentare violazioni e discriminazioni di diverso genere: i software come Proctor Exam, uno dei più utilizzati per monitorare l’ambiente, il dispositivo e il corretto svolgimento dell’esame, non riconosceva al primo colpo gli studenti di colore, causando perdite di minuti preziosi durante i test e costringendoli molto spesso a vedersi annullato l’esame. Riconosceva come “imbrogli” alcuni tic nervosi, o movimenti eccessivi degli occhi magari dovuti a disabilità, per non parlare anche della situazione socioeconomica: il software di sorveglianza chiedeva un’inquadratura molto larga del luogo in cui si stava svolgendo l’esame e si trattava spesso di stanze condivise, aule studio, co-working. Il risultato? Penalizzazioni e segnalazioni finivano per ricadere su studenti che non potevano permettersi ambienti solitari, non bianchi, magari con copricapi religiosi, o con difetti di vista.
Pensiamo poi a cosa deve aver provato Robert Julian-Borchak Williams, un comune cittadino di colore del Michigan, quando nel 2020 è stato arrestato e trattenuto diverse ore dalla polizia di Detroit con l’accusa di furto, sulla base di un software di riconoscimento facciale nel quale era stato inserito un fermo immagine di alcune telecamere di sorveglianza all’ingresso di una gioielleria e che ha subito identificato il signor Williams nel suo database come ladro.
L’atteggiamento sommario della polizia, l’uso improvvido di questi software e il loro inaccurato funzionamento, provocano da anni errori giudiziari, arresti sommari, capi d’accusa imprecisi. E, quasi sempre, discriminatori. Questo tipo di errori o di scambi di persona, infatti, accadono più spesso tra le persone di colore. La Florida ha addirittura vietato agli imputati di opporsi, ovvero la possibilità di verificare con i loro avvocat…
