Un aspetto interessante dell'avvento dei robot è il fenomeno del razzismo, inteso in senso generico come immotivati favori o disfavori ad un determinato gruppo, che sia etnico, religioso, sessuale, etc.
Già oggi si fa largo uso di algoritmi ad apprendimento automatico, un tempo genericamente chiamati sistemi esperti, in generale raramente si intende far riferimento ad algoritmi relamente in grado di auto-riprogrammarsi, piuttosto a comportamenti adattivi dell'algoritmo sulla base dell'esperienza dei dati passati e dei successi o dei fallimenti.
Questo tipo di robot vengono largamente utilizzati proprio in situazioni fortemente a rischio, in particolare nella pre-selezione del personale.
Il problema è intrinseco e legato al processo stesso di auto-apprendimento. Se, infatti, la valutazione della bontà della pre-selezione di una short list di candidati viene valutata da esseri umani con intenti, anche inconsciamente, discriminatori, il programma affinerà la propria capacità di selezione orientandosi verso quel tipo di discriminazione andando, molto probabilmente, per la sua stessa intrinseca efficienza, al di là delle intenzioni e della pratica del o degli esseri umani che ne valutano le performance.
Esemplificando, se un HR manager riceve 10.000 cv e di questi il robot ne seleziona 20 e ha un feedback positivo su 10 di questi, tutti più alti di 180 cm, tenderà, man mano, a selezionare persone al di sopra di quella statura.
Questo naturalmente nell'ipotesi che sia l'algoritmo che l'HR manager siano in buona fede e ciò avvenga per una discriminazione incoscia nel soggetto umano e non programmata nell'algoritmo.
D'altra parte queste caratteristiche di rischio intrinseco nel metodo possono essere, anche in modo sottile, acuite da una programmazione apposita dell'algoritmo e/o da richieste e feedback faziosi del soggetto umano.
Più sottilmente infatti, ad esempio, da un dato apparentemente neutro come lo sport preferito, in USA potebbe essere favorita una certa nazionalità ancestrale, senza chiedere mai dati sensibili come appunto le origini del candidato.
In linea generale (come ben spiegato qui: Programming and Prejudice) , se un algoritmo è in grado di stabilire un dato sensibile, potenzialmente discriminatorio, ad esempio genere, razza, religione, etc. analizzando i dati utilizzati anche se questo dato non è presente, potenzialmente quei dati possono essere utilizzati da un altro algoritmo in modo discriminatorio.
Non si tratta di un problema etico irrilivante, perchè questa prima scrematura, ad esempio per i cv, può portare a risultati paradossili e magari non voluti.
In un sistema dove l'offerta di lavoro è costantemente scarsa e i cv inviati sono numerosissimi per ogni posizioni, taluni sottogruppi, magari anche impensabili, potrebbero essere estromessi completamente dal mondo del lavoro senza nemmeno sapere il perchè.
Affrontare queste problematiche è necessario e anche urgente, perchè questo tipo di algoritmi sono già largamente usati e non solo nella selezione del personale, lasciare questo campo senza regole può potenzialmente produrre danni incalcolabili.
