Ricordate il film Minority Report in cui il sistema Precrimine permetteva di sventare gli omicidi prima che venissero commessi nella Washington del 2054? Ecco, la Cina si prepara a un’operazione simile sfruttando i dati sull’attività online, le telefonate, i conti correnti bancari, il livello dei consumi dei suoi cittadini. L’obiettivo è quello di stanare i sovversivi prima che compiano attività di sabotaggio verso il partito comunista cinese. A realizzare questa impresa, che comporterà l’archiviazione e l’analisi di un’enorme quantità di dati, sarà la società di telecomunicazioni China Technology. Il parlamento ha già preparato il campo a questo programma di sorveglianza, promulgando, il primo gennaio scorso, una legge che priva di qualsiasi diritto di privacy.
Il lavoro degli ingegneri ed esperti di big data della società China Technology, sarà di progettare un software in grado di identificare le persone che assumono comportamenti simili a quelli del “tipico sovversivo”. Il software sarà basato su un algoritmo di machine learning. Si sceglie un sottoinsieme di cittadini cinesi, di cui si conosce la posizione politica, in altre parole che possono essere etichettati come “sovversivi” o “non sovversivi”. Nella prima fase, si studiano le loro abitudini nell’utilizzo del cellulare (fanno spesso chiamate all’estero anche se non hanno parenti lontani?) nel tenore di vita (si arricchiscono improvvisamente e il loro livello di consumi sale? oppure aumenta il saldo del loro conto corrente?). L’algoritmo viene così “allenato” a riconoscere i terroristi, attraversa cioè la fase di training. Successivamente si fanno dei test: si chiede all’algoritmo di etichettare dei cittadini di cui si conosce la posizione politica, per misura la sua efficienza. Questa fase di test viene superata una volta raggiunta l’efficienza desiderata. L’algoritmo è pronto per essere utilizzato sull’intero campione dei cittadini cinesi e attribuirà a ciascuno di loro un punteggio. Più è alto questo punteggio più è probabile che quel cittadino sia sovversivo. Tutti coloro con un punteggio sopra una certa soglia subiranno misure preventive.
Si pongono due problemi etici. Il primo: è giusto intervenire prima che qualcuno si sia effettivamente reso colpevole di un’azione illegale (sempre che l’opposizione al partito comunista si possa definire tale, ma mettiamoci nei panni del regime)? Il secondo: possiamo fidarci di un algoritmo di analisi dei big data per prendere una decisione simile? Come tutti gli algoritmi statistici sarà impreciso, e in particolare potrà etichettare come sovversivi cittadini innocenti e viceversa. Il suo grado di imprecisione risulterà tanto più alto quanto più piccola è la frazione di sovversivi noti rispetto al totale dei cittadini cinesi. Questo perché l’algoritmo verrà allenato male e commetterà più errori.
Il programma è partito nel 2014 e probabilmente coinvolge alcune delle società di telefonia e servizi di rete più grandi della Cina: Baidu, il più diffuso motore di ricerca, Tencent, l’operatore che gestisce l’applicazione per messaggi WeChat, e Sina, piattaforma di microblogging. Oltre ai dati su chiamate e attività online, la China Technology utilizzerà anche la rete nazionale di telecamere di sorveglianza chiamata Skynet.
Dunque non sono solo gli Stati Uniti, come ci ha insegnato Edward Snowden, a utilizzare i big data per attività di sicurezza. È importante riflettere sulle conseguenze di queste scelte. Se un algoritmo di machine learning utilizzato per fini commerciali fallisce, Google ci suggerirà la macchina sbagliata da comprare, ma se fallisce il sistema Precrimine cinese? Cittadini innocenti verranno privati della loro, già precaria, libertà.
