Sesgo algorítmico

Un sesgo es una inclinación a preferir o desfavorecer a un individuo, grupo, idea o cosa. Los prejuicios contra las personas basados ​​en su religión, raza, estatus socioeconómico, identidad de género u orientación sexual son particularmente injustos y, por lo tanto, especialmente problemáticos. Pero todos los seres humanos tienen tales prejuicios tanto consciente como inconscientemente. Debido a que el sesgo humano ha llevado a una discriminación injusta en la contratación, la promoción, la vivienda, la atención médica, los préstamos, las sentencias penales y muchas otras áreas del esfuerzo humano, muchos esperaban que reemplazar a los tomadores de decisiones humanos con computadoras remediaría, o al menos minimizaría, tal sesgo. Pero creamos los algoritmos que guían la toma de decisiones de las computadoras, por lo que esos algoritmos a menudo reflejan nuestros sesgos. Esta es una forma de sesgo algorítmico, y surge en el diseño, prueba y aplicación de sistemas informáticos.

Otra forma de sesgo algorítmico puede ocurrir con la inteligencia artificial, donde las computadoras crean su propio código después de ser entrenadas con grandes cantidades de datos. Estos sistemas de IA «aprenden» con datos de entrenamiento y siguen el principio de «basura que entra, basura que sale». Por lo tanto, si un sistema basado en IA recibe datos de entrenamiento defectuosos o incompletos, sus predicciones también serán erróneas.

Lamentablemente, abundan los ejemplos de sesgo algorítmico. Por ejemplo, una empresa construyó un sistema informático basado en IA para gestionar sus procesos de contratación, pero el sistema se entrenó con una base de datos de un período de 10 años en el que los currículos eran predominantemente de hombres blancos, por lo que el algoritmo penalizó los currículos que se enviaron con la palabra «mujeres».

Otra empresa creó un algoritmo utilizado por los jueces para determinar las decisiones sobre fianzas y sentencias que discriminaban sistemáticamente a las personas de color. Y otro algoritmo utilizado para evaluaciones clínicas hizo que los pacientes negros parecieran más saludables de lo que eran, lo que impidió que esos pacientes fueran ubicados de manera justa en la lista de espera nacional de trasplantes de riñón.

Los peligros del sesgo algorítmico son quizás más obvios en el desarrollo de software de reconocimiento facial basado en IA. Estos primeros sistemas de IA fueron alimentados con una sobrerrepresentación de rostros pálidos y masculinos. Los datos de entrenamiento no lograron representar la gama completa de diversidad humana. En consecuencia, los sistemas de reconocimiento facial funcionan mejor para identificar a hombres y personas con tonos de piel más claros que para identificar a mujeres y personas con tonos de piel más oscuros. De hecho, algunos sistemas de reconocimiento facial etiquetaron a las mujeres negras como “hombres”. Por lo tanto, aunque tendemos a suponer que el uso de la IA conducirá a decisiones justas y neutrales, esta es claramente una suposición peligrosa.

También es preocupante el problema de la “caja negra”. No sabemos cómo los sistemas de IA de aprendizaje profundo toman sus decisiones: el proceso es invisible para nosotros. Esta falta de transparencia es preocupante y puede dar lugar a productos que refuercen los estereotipos y exacerben los sesgos explícitos e implícitos.

Los defensores de la equidad instan a las empresas a protegerse contra el sesgo algorítmico evaluando sus datos de entrenamiento, haciendo que esos datos estén sujetos a evaluación pública, divulgando la precisión de las decisiones de sus sistemas y permitiendo la auditoría de terceros de sus sistemas y herramientas. Otros defensores de la IA ética, como la Liga de Justicia Algorítmica fundada por la Dra. Joy Buolamwini, también alientan la justicia algorítmica. La Dra. Buolamwini aboga por equipos de diseño y codificación inclusivos, conjuntos de datos inclusivos y una consideración más reflexiva de las implicaciones de los sistemas basados ​​en IA en general.

Por lo tanto, si bien todos podemos estar de acuerdo en que minimizar el sesgo algorítmico es deseable (al igual que con el sesgo humano), eliminar el sesgo basado en computadoras será un desafío. Pero con un énfasis en la justicia algorítmica y con un desarrollo y diseño de IA transparente, es posible que, en lugar de ser un oponente, la IA pueda convertirse en un aliado en nuestros esfuerzos por crear una sociedad justa.