discriminazione algoritmica

Discriminazione algoritmica, le AI non sono neutrali

sPunti Di Vista

L’aspetto comune di tutti i casi di discriminazione algoritmica – raccolti in lunghi elenchi e in saggi come Automating Inequalities – è che i sistemi di machine learning, poiché utilizzano dati prodotti nel passato, tendono a cristallizzare proprio le dinamiche del passato. Inoltre, le decisioni del sistema informatico vengono prese all’interno di una “black box algoritmica” che rende impossibile per l’essere umano capire quali processi abbiano portato a un risultato invece che a un altro, celando dietro il manto della “neutralità statistica” delle discriminazioni che, per lo meno, un essere umano potrebbe provare a giustificare.

Da questo punto di vista, il caso scuola è quello dell’algoritmo di Google che dava voti negativi a frasi come “sono omosessuale” o “sono ebreo” e voti positivi a “sono un ragazzo eterosessuale”. La ragione era semplice: questo sistema era stato addestrato, per banali ragioni di diritto d’autore, su romanzi precedenti agli anni Venti del secolo scorso, di cui riproponeva quindi gli stereotipi.

Deep learning, semplicità e complessità

“Il deep learning, che è fondamentalmente una tecnica per il riconoscimento di pattern – scrive Gary Marcus, neuroscienziato della New York University e fondatore della startup Robust AI – funziona al meglio quando tutto ciò che ci serve sono risultati grossolani e pronti per l’uso, in cui la posta in gioco è bassa e la perfezione dei risultati opzionale”. In casi diversi, i rischi sono invece inaccettabili, come avvenuto nel caso delle sperimentazioni di chatbot che dovrebbero intervenire tempestivamente per offrire supporto psicologico a persone sull’orlo del suicidio e che invece hanno finito per consigliare a un (finto) paziente di farla finita. O come si è scoperto, col tempo, nel caso della polizia predittiva, che da grande promessa dell’investigazione si è trasformato in uno strumento sempre più spesso ripudiato e che il Parlamento Europeo mira a rendere illegale in ogni sua forma.

Con l’illusione di avanzare tecno-soluzioni innovative e futuristiche, proposte come quella del ministero dell’Università o di Fratelli d’Italia rischiano di dare nuova linfa a strumenti che hanno già mostrato tutti i loro punti deboli e criticità. E che in settori carichi di conseguenze andrebbero probabilmente messi al bando.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

error

Enjoy this blog? Please spread the word :)