IA y equidad: ¿A quién contratamos?

El sesgo es enemigo de la equidad. Los seres humanos tienden a mostrar un sesgo de endogrupo/exogrupo que les lleva, consciente o inconscientemente, a favorecer a quienes son como ellos sobre quienes no lo son. Esto puede causar discriminación injusta por diversos motivos (p. ej., raza, sexo, edad, religión, etc.) en diversos ámbitos (p. ej., empleo, vivienda, atención médica, justicia penal, etc.). Muchas personas y empresas han recurrido a herramientas de inteligencia artificial (IA) para intentar mejorar la velocidad, la eficiencia y la objetividad de la toma de decisiones en estos y otros ámbitos, sustituyendo el juicio humano potencialmente prejuicioso por el juicio imparcial de las máquinas.

Por ejemplo, alrededor de 2014, Amazon comenzó a ensamblar modelos informáticos para revisar los currículos de solicitantes de empleo. Desafortunadamente, la empresa pronto descubrió que su nuevo programa presentaba un sesgo de género considerable. Esto probablemente debería haber sido previsible. Amazon entrenó a sus modelos con currículums enviados a la empresa durante un período de 10 años y, como era de esperar, la gran mayoría de esas solicitudes provenían de hombres que ocupaban aproximadamente el 70% de los puestos tecnológicos en la industria durante ese período. El modelo «se autoenseñó que los candidatos masculinos eran preferibles. Penalizó los currículums que incluían palabras relacionadas con ‘mujer’, como en ‘capitana del club de ajedrez femenino’. Y penalizo a graduadas de dos universidades exclusivamente femeninas» (Dastin). Amazon intentó solucionarlo haciendo que el programa fuera neutral respecto a estos términos. Sin embargo, como Amazon no podía garantizar que el programa no encontrara otra forma de discriminar de forma similar, abandonó el proyecto.

Google tuvo una experiencia similar. Sus ingenieros intentaron enseñar a un modelo de IA lo que eran las cualidades de un candidato «exitoso» para un puesto tecnológico en la empresa. Entrenaron el modelo con datos de las decisiones de contratación anteriores de Google. Debido a que ese grupo de trabajadores estaba compuesto desproporcionadamente por hombres graduados de universidades de gran prestigio, un «sesgo invisible se incorporó al sistema desde el primer día» (Hyer), replicando errores pasados. Mientras que Amazon sufría de sesgo en los datos de entrenamiento, el sistema de Google se vio afectado por un sesgo algorítmico. Al igual que Amazon, Google abandonó este experimento de IA.

Y no solo Amazon y Google se han visto afectados por sesgos en el desarrollo y entrenamiento de tecnologías de IA. Miranda Bogen, del Centro para la Democracia y la Tecnología, informa que «la mayoría de los algoritmos de contratación tenderán hacia el sesgo por naturaleza». Además, afirma:

Para atraer candidatos, muchos empleadores utilizan plataformas de anuncios algorítmicos y portales de empleo para llegar a los solicitantes de empleo más «relevantes». Estos sistemas, que prometen a los empleadores un uso más eficiente de los presupuestos de contratación, a menudo predicen no quién tendrá éxito en el puesto, sino quién tiene más probabilidades de hacer clic en ese anuncio.

Desafortunadamente, las investigaciones parecen indicar que la IA generativa, como la que se materializa en ChatGPT y otras nuevas herramientas, también está plagada de sesgos raciales y de género. Un estudio probó tres herramientas populares de IA generativa, incluyendo DALL E 2, y descubrió que sus evidentes sesgos de género y raciales eran incluso más pronunciados que el statu quo (Zhou et al.).

Muchos académicos y empresas de contratación están estudiando las razones por las que la IA no ha estado a la altura de sus expectativas al reducir drásticamente el sesgo en la contratación. Sin embargo, hasta el momento, no se han encontrado soluciones para eliminarlo.

1. ¿Crees que Amazon y Google actuaron de buena fe? ¿Por qué o por qué no?

2. ¿Te haría cambiar de opinión sobre la buena fe de Google saber que un estudio realizado aproximadamente al mismo tiempo reveló que Google Ads, una herramienta utilizada por terceros partidos para encontrar trabajo, descubrió que «los usuarios web falsos que Google creía que eran hombres que buscaban empleo tenían una probabilidad mucho mayor que las mujeres que buscaban empleo equivalente de ver un par de anuncios de puestos ejecutivos bien remunerados cuando posteriormente visitaban un sitio web de noticias» (Datta et al.). Explícalo.

3. Hyer, que ofrece una aplicación de empleo para conectar a posibles empleadores con posibles empleados, sugiere que las empresas utilicen IA para procesar los currículos e identificar candidatos prometedores, pero que exijan que las decisiones finales las tomen personas que tengan en cuenta la posibilidad de sesgo. ¿Te parece un enfoque razonable para mejorar las prácticas de contratación con IA? ¿Por qué o por qué no?

a. ¿Funcionaría esto para mejorar la diversidad, especialmente a la luz de un estudio reciente que revela que los reclutadores siguen las recomendaciones de IA el 85 % del tiempo? (Alexander). ¿O acaso dar a los humanos la última palabra en una decisión de contratación simplemente reintroduciría todo el sesgo que la IA supuestamente debía eliminar?

4. Otra empresa (JobsPikr) recomienda no solo la supervisión humana del proceso de toma de decisiones, sino también (a) utilizar diversos conjuntos de datos para entrenar modelos de IA, (b) auditar periódicamente los algoritmos para detectar sesgos, (c) crear modelos de IA transparentes para que los usuarios puedan entender por qué hacen las recomendaciones que ofrecen, y (d) implementar técnicas de reclutamiento a ciegas que anonimicen la raza, el género, etc. de los candidatos. (Alexander) ¿Te parecen estas medidas sensatas? ¿Serían adecuadas? Explica tu razonamiento.

5. Joy Buolamwini, de la Liga de la Justicia Algorítmica, anima a las empresas que crean herramientas de IA en el ámbito de la contratación a aumentar la transparencia abriendo la «caja negra» de cómo se crean los modelos de IA para que sus algoritmos, datos y resultados puedan auditarse y garantizar su precisión. ¿Te parece una idea viable? ¿Por qué sí o por qué no?

6. Los especialistas en ética señalan que modificar un algoritmo para reducir su sesgo a menudo también reduce su precisión. ¿Cómo pueden las empresas elegir la mejor manera de equilibrar estas dos características importantes de cualquier modelo de IA?

7. Un estudio multinacional (Vlasceanu y Amodio) descubrió que una mayor desigualdad de género a nivel nacional se asociaba con un mayor predominio masculino en los resultados de búsqueda de imágenes de Google. El estudio también descubrió que estos resultados de búsqueda sesgados guiaron la formación de prototipos con sesgo de género e influyeron en las decisiones de contratación, creando un ciclo de propagación de sesgos entre la sociedad, la IA y los usuarios. ¿Es esto preocupante? ¿Por qué sí o por qué no? ¿Cómo se podría reformar este ciclo de sesgo?

8. En 2019, Google lanzó una nueva herramienta de IA llamada Bert. Al pedirle que considerara 100 palabras en inglés (como «baby», «horses» y «money»), asoció 99 de ellas más con hombres que con mujeres. Solo «mom» se identificó con mujeres. La profesora Emily Bender comentó: «Ni siquiera quienes construyen estos sistemas comprenden su comportamiento». ¿Cómo pueden quienes conciben, construyen y comercializan nuevos modelos de IA protegerse mejor contra el sesgo?

9. ¿Ha oído hablar de los programas de IA que son muy competentes para identificar fotos de hombres blancos, pero no tan precisos para identificar fotos de personas de piel oscura, especialmente mujeres? ¿Le parece un problema? ¿Por qué sí o por qué no? ¿Cómo debería reaccionar el sistema judicial penal, que obviamente desearía una herramienta de IA eficaz para identificar a los delincuentes, ante este sesgo en las herramientas de reconocimiento facial?

Ifeoman Ajunwa, “Beware of Automated Hiring,” New York Times, Oct. 9, 2019.

John Alexander, “Reducing Bias in AI Recruitment and HR Systems—Strategies and Best Practices,” Oct. 29, 2024 at https://www.jobspikr.com/report/reducing-bias-in-ai-recruitment-strategies/.

Miranda Bogen, “All the Ways Hiring Algorithms Can Introduce Bias,” Harvard Business Review, May 6, 2019, at https://hbr.org/2019/05/all-the-ways-hiring-algorithms-can-introduce-bias.

Krista Bradford, “Google Shows  Men Ads for Better Jobs,” (Sept. 29, 2023), at https://tgsus.com/diversity/google-shows-men-ads-for-better-jobs/.

Jeffrey Dastin, “Amazon Scraps Secret AI Recruiting Tool that Showed Bias against Women,” Reuters, Oct. 10, 2018, at https://www.reuters.com/article/world/insight-amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK0AG/.

Amit Datta et al., “Automated Experiments on Ad PrivacySettings: A Tale of Opacity, Choice, and Discrimination,” Proceedings on Privacy Enhancing Technologies 2015(1): 92-112 (2015).

Emilio Ferrara, “Fairness and Bias in Artificial Intelligence: A Brief Survey of Sources, Impacts, and Mitigation Strategies,” Sci 6(1), at https://doi.org/10.3390/sci6010003.

Megan Garcia, “Racist in the Machine: The Disturbing Implications of Algorithmic Bias,” World Policy Journal 33(4): 111 (Winter 2016).

Adi Gaskell, “How Biased Google Search Results Affect Hiring Decisions,” Forbes, Sept. 6, 2022.

Kimberly Houser, “Can AI Solve the Diversity Problem in the Tech Industry? Mitigating Noise and Bias in Employment Decision-Making,” Stanford Technology Law Review 22:290 (2019)

Hyer, “When Google’s AI Hiring Tool Turned into a Diversity Disaster—And What HR Can Learn Today” (Oct. 13, 2024), at https://hyer.sg/when-googles-ai-hiring-tool-turned-into-a-diversity-disaster/.

Orly Lobel, The Equality Machine (2022).

Cade Metz, “Google Scraps AI Tool That Fosters Hiring Bias.” New York Times, 2018. https://www.nytimes.com/2018/10/09/technology/ai-hiring-tool-bias.html

Cade Metz, “We Teach A.I. Systems Everything, Including Our Biases,” New York Times, Nov. 11, 2019.

Cathy O’Neil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy (2017).

Natasha Singer, “Amazon is Pushing Facial Technology that a Study Says Could Be Biased,” New York Times, Jan. 24, 2019.

Noah Smith, “Why AI-Driven Hiring Hasn’t Delivered on Its Promise Yet.” Forbes, 2020. https://www.forbes.com/sites/noahsmith/2020/01/14/ai-hiring-bias-problems/

Nitasha Tiku,  “Google’s AI Hiring Tool Failed to Live Up to Its Promise.” Wired, 2018.  https://www.wired.com/story/google-ai-hiring-tool-failed/

Madalina Vlasceanu & David Amodio, “Propagation of Societal Gender Inequality by Internet Search Algorithms,” PNAS, Vol 119, No. 29 e2204529119 (2022), at https://www.pnas.org/doi/10.1073/pnas.2204529119.

Mi Zhou et al., “Bias in Generative AI,” (2024), at https://arxiv.org/abs/2403.02726.

Algorithmic Bias: https://ethicsunwrapped.utexas.edu/glossary/algorithmic-bias

In-Group/Out-Group Bias: https://ethicsunwrapped.utexas.edu/glossary/in-group-out-group.