La investigadora de la Universidad de Nueva York, Kate Crawford, señala que el primer paso para analizar cuándo un algoritmo está actuando de manera discriminadora ha de ser estudiar cómo el distinto acceso a la información, la riqueza y los servicios básicos de comunidades diferentes modela los datos que sirven de entrenamiento a los sistemas de inteligencia artificial. Esto porque esas tecnologías replican tendencias y comportamientos propios de los humanos.
Como trabajan con datos y realizan operaciones matemáticas, impera la idea de que los algoritmos son objetivos y neutrales, pero la verdad es que, tal como los seres humanos, pueden reproducir sesgos y prejuicios: a veces sus resultados están impregnados de machismo, racismo o información no veraz.
Servicios de imágenes que etiquetan como gorilas a personas de raza negra, anuncios de puestos de trabajo de alta calificación que se muestran más a hombres que a mujeres, predicciones de reincidencia criminal que castigan el doble a la población afroamericana, propagación de noticias falsas o posicionamiento de páginas antisemitas, son algunos ejemplos de estos sesgos.
Un algoritmo es un programa de software que funciona a partir de unos datos y sigue unas instrucciones determinadas para hacer algo.
Así trabajan el buscador de Google -que destaca unos resultados de búsqueda sobre otros-, el timeline de Facebook -que determina el orden en que aparecen las publicaciones- o las recomendaciones de compra de sitios como Amazon.
Los algoritmos se utilizan en medicina, en procesos penales, en investigación policial, en concesión de hipotecas o en procesos de selección de personal. Y la industria tecnológica defiende que la actividad algorítmica está libre de desviaciones, algo que actualmente es ampliamente cuestionado.
Los algoritmos los programan seres humanos subjetivos y funcionan con datos que no siempre son veraces ni representativos de la realidad.
"Los algoritmos pueden generar resultados sesgados en función de distintos factores tales como su diseño e implementación y los datos que utilizan. La información con la que funcionan puede contener prejuicios o sesgos", explicó a agencia Efe la investigadora de la Universidad de Nueva York y de Microsoft Research, Kate Crawford.
La élite de Silicon Valley , donde están la mayoría de las empresas tecnológicas de Estados Unidos, está integrada en su mayoría por hombres jóvenes de raza blanca y eso puede afectar la creación de estas herramientas.
Además un algoritmo puede ofrecer resultados sesgados por trabajar con conjuntos de datos imprecisos o no representativos por no tener en cuenta a determinados colectivos.
"Por ejemplo, si el algoritmo está aprendiendo a predecir complicaciones quirúrgicas de un subgrupo de población en el que no se incluye ninguna raza minoritaria, el sistema no aprenderá nada relativo a las peculiaridades de ese grupo", comentó a Efe la profesora de la Duke University, Katherine Heller.
Sesgos que pueden tener consecuencias para los individuos que quedan al margen de sus resultados o salen peor parados en ellos, que suelen ser colectivos que sufren sexismo, racismo u homofobia.
Google ha tenido que dar explicaciones por la actividad de sus algoritmos. La última, la semana pasada, cuando el diario "The Guardian" alertó de que sus recomendaciones de autocompletado de la caja de búsqueda, que pretenden predecir las frases buscadas a partir de la primera palabra tecleada, asociaban a mujeres, judíos y musulmanes con el adjetivo "malos".
Google insiste en que la función de autocompletar es automática y refleja la actividad de búsqueda de otros usuarios y del contenido de las webs.
La automatización ha dado otros disgustos a esta tecnológica: en 2015, el etiquetado de Google Photos clasificó a personas de raza negra como primates.
"El algoritmo aprende a partir de las imágenes con las que trabaja, que suelen elegir los ingenieros, y el sistema construye una representación del mundo a partir de esas imágenes. Si se le entrena con fotos de gente mayoritariamente blanca, le costará mas identificar los rostros de personas que no lo sean", apunta Crawford.