L’incidente di una donna erroneamente identificata come ladra dal sistema di riconoscimento facciale in un supermarket in Nuova Zelanda non mi sorprende. Quando la catena Foodstuffs North Island ha annunciato l’intenzione di sperimentare questa tecnologia per combattere i crimini nei punti vendita, esperti di tecnologia e privacy hanno espresso parecchi timori. In particolare, è stato evidenziato il rischio di discriminazione verso le donne maori e le donne di colore. Timori giustissimi, e riflessione doverosa.
Il contesto d’uso dei supermarket: oltre gli algoritmi
Il riconoscimento facciale automatizzato viene spesso discusso in termini astratti, come un puro abbinamento algoritmico di pattern, con l’accento posto sulla correttezza e l’accuratezza: ricordo ancora l’enfasi dei negozi “prendi e porta via” senza più le casse. Si tratta di priorità giustamente importanti per sistemi che gestiscono dati biometrici e di sicurezza. Ma con un focus così cruciale sui risultati delle decisioni automatizzate, è facile trascurare le preoccupazioni su come queste decisioni vengono applicate.
I designer usano il termine “contesto d’uso” per descrivere le condizioni di lavoro quotidiane, le attività e gli obiettivi di un prodotto. Con la tecnologia di riconoscimento facciale nei supermarket, il contesto d’uso va ben oltre le tradizionali preoccupazioni di design come l’ergonomia o l’usabilità. Richiede di considerare come le notifiche automatizzate di violazione innescano risposte nel negozio, i protocolli per gestire tali risposte e cosa succede quando le cose vanno storte. Questi sono più che semplici problemi di tecnologia o di dati. Sono problemi umani, sociali.
Bilanciare accuratezza e impatto degli errori
Investire nel miglioramento della precisione delle previsioni sembra una priorità ovvia per i sistemi di riconoscimento facciale. Ma questo deve essere visto in un contesto d’uso più ampio, dove il danno causato da un piccolo numero di previsioni errate supera i miglioramenti marginali delle prestazioni altrove.
L’errore del supermarket neozelandese è solo una piccola perla in una collana che può strozzare questa tecnologia. E la risposta della società di supermercati secondo cui si è trattato di un “genuino caso di errore umano” non affronta le questioni più profonde relative a tale uso dell’AI e dei sistemi automatizzati. La ricerca suggerisce che i decisori umani possono ereditare pregiudizi dalle decisioni dell’AI. In situazioni di stress elevato e rischio di violenza, combinare il riconoscimento facciale automatizzato con il giudizio umano estemporaneo è potenzialmente pericoloso.
Piuttosto che isolare e incolpare i singoli lavoratori o le componenti tecnologiche come singoli punti di fallimento, è necessario porre maggiore enfasi sulla tolleranza agli errori in tutto il sistema. Gli errori dell’AI e gli errori umani non possono essere evitati del tutto. I protocolli di sicurezza dell’AI con “umani nel ciclo” necessitano di salvaguardie più attente che rispettino i diritti dei clienti e proteggano dagli stereotipi.
Supermarket, verso una cultura della sorveglianza?
Il caso australiano è emblematico. In Nuova Zelanda hanno risposto ai crimini nel commercio al dettaglio con una sorveglianza tecnologica palese: body camera fornite al personale (ora adottate anche dalla catena Woolworths), tracciamento digitale del movimento dei clienti attraverso i negozi, blocchi automatici dei carrelli e varchi d’uscita per impedire alle persone di andarsene senza pagare.
I supermercati potrebbero essere solo l’avanguardia di un cambiamento tecnologico nell’esperienza di acquisto. Un cambiamento pessimo, che muove verso una cultura della sorveglianza in cui ogni cliente è monitorato come un potenziale ladro. Mi ricorda i modi in cui la sicurezza aeroportuale globale è cambiata dopo l’11 settembre.
Una sfida di design human-centered
Il Commissario per la privacy in Nuova Zelanda si esprimerà presto sulla sperimentazione del riconoscimento facciale di Foodstuffs. E questo pronunciamento, credetemi, lo dico parafrasando Lorenz, è il classico battito d’ali di farfalla in un punto del mondo che può causare un tornado dall’altra parte del mondo.
I furti e la violenza sono un problema urgente che i supermarket, come altri esercizi, devono affrontare. Ma ora devono dimostrare che i sistemi di sorveglianza digitale sono una soluzione più responsabile, etica ed efficace rispetto ai possibili approcci alternativi. E questo significa riconoscere che la tecnologia richiede un design incentrato sull’uomo. Per evitare abusi, per evitare pregiudizi. Santi numi, per evitare danni.
Se non si approfitta ora di questi snodi per guidare quadri normativi e standard, per informare il dibattito pubblico sull’uso accettabile dell’AI e supportare lo sviluppo di sistemi automatizzati più sicuri, quando? Il caso neozelandese è un campanello d’allarme per tutti quelli che progettano e implementano sistemi di AI in contesti delicati come il retail. Solo mettendo il fattore umano al centro, con tutte le sue complessità e sfumature, potremo sviluppare tecnologie che migliorano davvero la nostra società, senza creare nuove forme di discriminazione e sorveglianza.
