Censura algorítmica: ¿la millor eina contra els discursos d’incitació a l’odi?
El 18 de març passat l’Observatori Espanyol del Racisme i la Xenofòbia (Oberaxe) feia pública la seva prova pilot d’una nova eina per combatre els discursos d’incitació a l’odi en línia. La prova consisteix en la creació d’un algoritme de rastreig que s’entrena a partir d’un catàleg de paraules que li permeten identificar el discurs il·lícit i a partir d’una sèrie de grups de paraules que li permeten distingir entre discurs greu i menys greu.
Una primera reflexió sobre l’adopció de qualsevol nova eina de lluita contra els discursos tòxics, que pugui tenir un impacte en els drets fonamentals de tots, és que cal reivindicar transparència i consens social.
Els algoritmes rastrejadors s’estan creant per automatitzar la detecció de discursos, atès que la detecció per part de persones no permet analitzar la ingent publicació de continguts. Les grans empreses els estan implementant a base d’una política de fets consumats, seguint el criteri únic de la capacitat o eficiència tècnica de la intel·ligència artificial (IA).
Però aquest criteri no hauria de ser l’únic. Hi hauria d’haver un debat previ amb perspectiva democràtica i social, que tingui en consideració totes les conseqüències individuals i col·lectives a curt i llarg termini de l’ús d’aquesta eina. I aquest debat actualment és difícil, atès que la societat en general, i els sectors socials que afronten aquests discursos, no solen tenir un nivell de coneixement sobre el funcionament de la IA prou alt per posicionar-se al respecte.
Una segona reflexió versa sobre els impactes d’aquesta eina derivats de la mecànica del seu funcionament i de com ha estat confeccionada. Els algoritmes de rastreig s’entrenen d’acord amb un llistat o banc de paraules. L’algoritme aprèn a identificar els discursos tòxics basant-se en aquestes paraules clau, i després perfecciona la seva capacitat identificativa amb relacions de paraules i el diàleg entre elles, cosa que li permet establir patrons i jerarquies de gravetat dels discursos.
El problema dels algoritmes en general, inclosos els de rastreig, és que tenen la capacitat d’anar perfeccionant el seu aprenentatge de forma automatitzada, el que s’anomena machine learning. Aquesta evolució provoca que, finalment, l’operativa a partir de la qual l’algoritme va resolent les decisions que adopta no la puguin explicar ni tan sols els seus creadors inicials. El fet que la creació d’algoritmes requereixi importants inversions i que estiguin subjectes a patents també dificulta la seva posterior fiscalització.
A aquesta complexitat tècnica inherent a qualsevol algoritme s’hi afegeix un altre element especialment delicat i perillós en matèria de llibertat d’expressió. El processament del llenguatge natural és dels camps en què la IA segueix sent molt imperfecta. La tecnologia es troba amb la dificultat de discernir el context en què s’emet, el tipus o registre de discurs i la intenció dels emissors. A aquesta dificultat principal s’hi afegeix la d’analitzar la resta de components del llenguatge i de captar els matisos derivats de l’ambigüitat pròpia dels termes usats en el missatge. Com a exemple gràfic de la complexitat d’aquesta anàlisi, podria citar-se el terme negrates, que podria ser usat tant en clau denigrant per un compte d’extrema dreta com en clau de reapropiació crítica per un compte antiracista.
A aquesta consideració hi enllaça la següent, la del biaix dels algoritmes. Els biaixos -el conegut bias en anglès- implícits en els algoritmes, siguin predictius, de reconeixement facial o de rastreig, han donat lloc a nombroses publicacions internacionals sobre aquesta greu problemàtica. El biaix prové de les paraules incloses en el llistat inicial, dels principis i regles introduïdes en l’algoritme, i del nivell de supervisió i rectificació en el procés d’entrenament de l’algoritme. A grans trets, les investigacions conclouen que resulta molt difícil avaluar prèviament i rectificar el biaix generat des dels fonaments de l’algoritme.
En el cas concret del banc de paraules seleccionat per l’Oberaxe per entrenar l’algoritme, la inclusió d’algunes paraules com nazi, boicot o frontera, per la polivalència de sentits i contextos en què es poden usar, poden portar a resultats de censura no desitjats. Però potser l’exemple més alarmant és el de la inclusió de el terme sionisme en aquest catàleg. Amb això, l’Oberaxe fa seva la polèmica definició d’antisemitisme de l’Aliança Internacional per al Record de l’Holocaust (IHRA), que inclou com a exemple d’antisemitisme la crítica a les polítiques de govern d’Israel.
Una tercera reflexió per analitzar les conseqüències de la mecànica operativa de l’algoritme és l’anomenat fenomen black box o “caixa negra”. Es tracta d’una metàfora molt gràfica de la pèrdua de control sobre la comprensió i traçabilitat de l’operativa de l’algoritme que el porta a la decisió final i a la predicció dels seus resultats. Aquesta dificultat de fiscalització obre l’interrogant sobre el sistema de responsabilitat i de rendició de comptes dels que els facin servir. Alguns exemples que han transcendit ens mostren com els processos automatitzats mitjançant algoritmes, com el de detecció de frau en les prestacions socials, han arribat a provocar decisions errònies i injustes com la denegació de prestacions socials a milers de ciutadans a Holanda.
L’algoritme de l’Oberaxe és un assaig pilot en què el seu entrenament està sent supervisat per persones. ¿Però quin impacte tindrà quan es comenci a fer servir? Les expectatives d’èxit en la detecció de continguts tòxics xocaran amb una dificultat insalvable. Perquè la capacitat massiva de detecció de l’algoritme tingués efectes en la reducció del discurs d’incitació a l’odi, s’hauria autoritzar que la detecció portés aparellada l’eliminació automàtica, cosa molt perillosa en matèria de llibertat d’expressió i pluralisme polític. Si per contra es vol preservar l’existència d’un filtratge dels continguts que han de ser eliminats per un criteri humà, mai hi haurà prou personal per analitzar en temps real els milers de continguts detectats per l’algoritme.
En el camp de la llibertat d’expressió, les empreses gestores de les xarxes socials porten anys rebent crítiques per l’opacitat dels seus criteris de moderació de continguts, que ni són públics ni respecten els estàndards internacionals sobre quins discursos han de ser considerats il·lícits com a incitadors de l’odi i la discriminació. El fet que siguin empreses privades les que defineixin quins continguts són lícits i mereixen circular, segons el seu particular criteri i interès, genera un gran dèficit democràtic de base. La introducció de la “censura algorítmica” multiplicarà el seu radi d’acció i pot suposar l’ampliació exponencial d’aquest dèficit de base. Els que creïn algoritmes, els entrenin i els facin servir segons les seves pròpies perspectives i interessos polítics i comercials, podran incidir permanentment en els processos de creació d’opinió i de participació política, i no només en període electoral, com ja va succeir amb l’escàndol de Cambridge Analytica.
Es tracta d’un dels desafiaments contemporanis de més abast en el pla ètic i regulador de la responsabilitat. ¿Com podrà saber l’usuari el “criteri” automatitzat a partir del qual s’ha eliminat el seu contingut o li han tancat el compte per reiteració de continguts il·lícits? ¿Qui és responsable d’aquesta decisió: els creadors de l’algoritme, els seus entrenadors, l’empresa privada que els fa servir, l’administració que permet que es vulnerin drets fonamentals de la ciutadania com el de la llibertat d’expressió i de participació, per part de les empreses privades que gestionen les xarxes socials? Si es judicialitza la censura indeguda de continguts, ¿com i a qui poden atribuir responsabilitats i exigir rectificacions els tribunals?
Davant d’aquesta realitat, hem d’assumir que l’impacte de la IA és un dels màxims reptes actuals en matèria de drets humans i que la societat civil tenim la responsabilitat de posicionar-nos i generar consensos que interpel·lin el sector privat. Potser hauríem de començar pel començament i reflexionar sobre si el criteri de l’eficiència tecnològica, a mitjà i llarg termini, serà el més efectiu en termes democràtics i de garantia de drets.
Laia Serra és advocada.