Google sperimenta Perspective, la rete neurale per contrastare l’hate speech online

I confini tra libertà di parola e incitamento all’odio diventano sempre più sottili in particolare da quando si fa riferimento al mondo web e social.

L’hate speech, o odio online, esprime intolleranza verso una persona o un gruppo e rischia di generare reazioni verbali violente e aggressive.

Si tratta di un fenomeno in crescita costante che preoccupa le realtà virtuali, soprattutto da quando la Cassazione ha dichiarato che il gestore della pagina può essere chiamato a rispondere di diffamazione online.

Se un dibattito su un prodotto, un servizio o un personaggio pubblico degenera in un litigio – flame per utilizzare il gergo del web – può creare in Rete una serie di offese e conversazioni dal tono dispregiativo, prive di qualsiasi spessore informativo per gli utenti.

Per contrastare questo fenomeno, Jigsaw, colosso che sviluppa tecnologie per rendere più sicura la navigazione in Rete, ha presentato un nuovo tool per provare a contrastare l’hate speech online: Perspective, una rete neurale che sfrutta un particolare modello di apprendimento.

Google è tra i primi ad associare i suoi algoritmi di machine learning a questo tool. L’addestramento del suo algoritmo avviene caricando circa 17 milioni di commenti provenienti dal sito del New York Times. Su questa base la rete analizza i commenti, individua la loro percentuale di tossicità e registra il processo per poterlo riutilizzare in altri casi.

Per poter filtrare un contenuto “tossico”, bisogna individuare quali contenuti sono classificabili in questa prospettiva e decidere come eliminarli senza intaccare la libertà di espressione di chi sta partecipando al dibattito.

La sfida maggiore che Google deve affrontare è quella di evitare discussioni e offese tra utenti senza censurare le loro opinioni, altrimenti l’utente abbandonerà il sito o la pagina social.

Per capire come funziona questo tool è possibile ricorrere a un semplice esempio:

  • Se un utente scrive «Sei un idiota» Perspective assegna alla frase una percentuale di tossicità pari al 72%.
  • Se scrive «Sei una persona che non è in grado di sostenere una conversazione costruttiva perché non hai le competenze necessarie sulla tematica affrontata», la percentuale di tossicità scende all’11% perché l’utente esprime una propria opinione attraverso una motivazione ben precisa.

Ora è possibile installare le API Perspective dal sito ufficiale per sperimentarle sul proprio sito e monitorare le discussioni sulla propria community. Una volta inserite le librerie sul proprio portale, i gestori, in caso di hate speech, saranno avvisati per intervenire a moderare la discussione.

Prima di distribuire il tool su tutte le piattaforme, Jigsaw propone questo strumento come nuova sfida tecnologica ed esperimento sociale. La sfida più grande da affrontare, oltre quella di evitare discorsi aggressivi e offensivi, è rappresentata anche dalla necessità di dover rispettare la libertà di parola e di evitare di trasformarsi in uno strumento altrettanto violento e opprimente.