Los algoritmos refuerzan las
estructuras de poder, colaborando activamente con el cumplimiento de la
normatividad social que las sustenta
Por Cristina Bernabeu
Si hay algo que está confirmando la
Inteligencia Artificial (IA) es la hipótesis de que la tecnología no es ni
exacta, ni neutral, ni transparente, ni imparcial. Esto no tendría por qué
resultar problemático, si no fuera porque en contextos de desigualdad social,
como en los sistemas neoliberales o heteropatriarcales, los algoritmos no solo
(re)producen esa desigualdad, sino que, además, la naturalizan. En un sentido
muy general, la función de los algoritmos es alimentarse de las masas de datos
que se encuentran en la realidad empírica, para después volverla a definir. En
esa redefinición, sin embargo, hacen algo más que copiar, reflejar o describir
la realidad. La fabrican, la generan, la construyen, la prescriben.
En sociedades
como la nuestra, en la que las mujeres y las personas racializadas –todavía
más, las mujeres racializadas– ocupan, estructuralmente, posiciones inferiores
dentro de la jerarquía social, los algoritmos construyen una realidad
–reforzando la existente– en la que las mujeres y las personas racializadas deben
ocupar las posiciones inferiores de la estructura social. Es decir, convierten
al hecho de que las ocupan, en algo natural: normal. Probablemente, así haya
que entender eso que se dice –cada vez más– de que los algoritmos nos
gobiernan. Pues nos nombran, y ahí reside su poder social y cultural. Es desde
aquí, desde donde tenemos que entender los fallos de la Inteligencia Artificial,
por qué es aplicable a un tipo de personas y a otras no.
Así ha
ocurrido, por ejemplo, con los sistemas de reconocimiento facial, que resulta
que estaban sesgados. Básicamente, lo que hace este tipo de algoritmos es
aprender a reconocer y clasificar caras humanas según distintos criterios de
categorización, como la edad, el género o el tono de piel. El problema, es que
al tomar como principal referente al hombre blanco, desplazan a las personas
que integran colectivos alejados de este arquetipo a categorías inferiores.
Especialmente a raíz de algunos casos muy polémicos, como el caso de Alcine en 2015, a
quien Google Photos etiquetó a sus amigos como gorilas por ser negros; o los
casos en los que la criminalidad se ha asociado indefectiblemente al color de
la piel, como desveló ProPublica en 2016, la cuestión
de la injusticia
algorítmica está siendo cada vez más señalada. “Algoritmos
opresores” (Algorithms of Oppression),
“Desigualdad automática”, (Automatic Inequality) o Armas de destrucción matemática son
los títulos de algunos de los libros más recientes que evidencian el poder
político y social que hay en los algoritmos.
Con el fin de
contrarrestar los efectos nocivos de estas nuevas formas de injusticia, están
emergiendo proyectos de carácter ético, como el AINow Institute, dedicado a investigar el impacto social de la
Inteligencia Artificial; la “liga de injusticia algorítmica” (AlgorithmicJustice League- AJL),
promovida por Joy Buolamwini y enfocada a mitigar la desigualdad en el uso de
técnicas de reconocimiento facial; o el proyecto Gender Shades, del Medialab del
Instituto Tecnológico de Massachussets (MIT), destinado a evaluar el sesgo de
los algoritmos utilizados por tres grandes compañías: IBM, Microsoft y Face++.
Este último ha mostrado que el reconocimiento facial funciona mejor en hombres
que en mujeres; mejor también en personas de piel clara que en personas de piel
oscura y peor, por último, en mujeres negras que en mujeres blancas.
En esta línea, y en el plano jurídico,
la semana pasada los senadores Brian Schatz y Roy Blunt propusieron en EE.UU. el Comercial Facial Recognition Privacy Act of 2019, muy similar al
Reglamento General de Protección de Datos (RGPD) aprobado en Europa, pero
dirigido específicamente a las técnicas de reconocimiento facial. El objetivo
es aumentar la transparencia y el control, impidiendo que las compañías
recopilen y compartan datos de los consumidores sin su consentimiento, y
fortalecer las medidas de protección de las personas que hacen uso de ellas,
dentro de la esfera comercial.
Esta medida,
surge en un marco donde, el temor cada vez mayor hacia la utilización de este
tipo de técnicas con fines comerciales o de marketing –que suponen una clara
invasión de la privacidad cada vez más difícil de evitar– se suma a la ya
existente preocupación por el hecho de que su utilización con fines de
vigilancia y seguridad socave los derechos destinados a proteger el núcleo
esencial de nuestra intimidad.
La semana
pasada, sin ir más lejos, saltaron las alarmas en relación a la obtención
masiva, rutinaria y sin consentimiento de fotografías de caras de personas que
estaban disponibles en distintas páginas web. Concretamente, seha denunciado la práctica que venía realizando IBM, de recolectar y
clasificar fotos de personas que aparecían en el blog de Flickr (destinado a
compartir fotografías), con el fin de mejorar sus algoritmos de reconocimiento
facial, siguiendo la regla básica según la cual a más datos, fotografías en
este caso, mayor precisión. Una mejora, que según la empresa, ha recolectado
alrededor de un millón de fotografías de personas, la mayoría de las cuales no
tiene conocimiento de ello, destinadas a erradicar los sesgos de raza y género
de estos algoritmos.
No cabe duda
de que el papel de la IA es crucial en la articulación de las formas que
tenemos de entender, de nombrar y de habitar el mundo contemporáneo. Sin
embargo, sería un error pensar que su poder no está arraigado en las formas
materiales y culturales que organizan nuestras sociedades. Justo al contrario,
los algoritmos refuerzan determinados esquemas y estructuras, colaborando
activamente con la activación y cumplimiento de la normatividad social que los
sustenta. Así, como ocurriera en otros escenarios a lo largo de la historia, el
tratamiento de la información es hoy un espacio esencialmente político, en
donde habrán de librarse las batallas feministas y democráticas contra el
racismo, la xenofobia y el machismo.
------------------
Cristina Bernabeu es filósofa e investigadora de la
Universidad Autónoma de Madrid.