IA y rendición de cuentas: ¿Quién está al volante?

Los coches autónomos se han estado desarrollando desde la década de 1920 y se han probado en carretera con distintos grados de éxito. En 1995, el coche autónomo de la Universidad Carnegie Mellon cruzó Estados Unidos, pero solo el manejo del volante era automático (el acelerador y los frenos eran controlados por una persona). La primera licencia para un vehículo totalmente autónomo se emitió en Nevada en 2012. Desde entonces, los vehículos autónomos de todo tipo y tamaño en países desde China hasta Alemania y Japón se han vuelto cada vez más comunes.

En 2018, el primer caso registrado de un peatón fallecido por causa de un coche autónomo ocurrió en Tempe, Arizona. La peatona, Elaine Herzberg, de 49 años, cruzaba la calle con su bicicleta cuando fue atropellada por un vehículo todoterreno Volvo autónomo que circulaba a 63 kilómetros por hora en modo autónomo. Uber estaba probando el coche cuando, desafortunadamente, sus sensores y su sistema de detección de inteligencia artificial (IA) no detectaron a Herzberg. La “conductora de seguridad” del coche, Rafaela Vásquez, estaba viendo un episodio de La Voz en su teléfono cuando ocurrió el accidente.

El experto en IA, Neil Lawrence, explicó cómo la IA le falló a Elaine Herzberg:

Los vehículos autónomos modernos clasifican los objetos en la calzada mediante redes neuronales. Los sistemas necesitan saber si los objetos son personas, vehículos o bicicletas, ya que cada uno se comporta de forma diferente. Los vehículos y las bicicletas circulan con el tráfico, mientras que los peatones cruzan la calzada. Si el sistema no puede identificar el objeto, indica «otro». Desafortunadamente, en este sistema, Elaine cayó en un [hueco… algo que el sistema no había visto antes]: era una peatona que empujaba una bicicleta. Al acercarse el Uber a Elaine, decidió que era un vehículo motorizado y luego que era «otro». Las redes neuronales alternaron entre vehículo y «otro» hasta dos segundos y medio antes del impacto. En ese momento, finalmente decidió que Elaine era una bicicleta. El coche, sabiendo que las bicicletas circulan por la calzada, giró a la derecha para rodear a Elaine, pero, por desgracia, Elaine cruzaba la calzada, no la recorría, y el coche la embistió directamente. Solo un segundo antes del impacto, el sistema decidió que se produciría una colisión y empezó a frenar, pero ya era demasiado tarde para Elaine. El sistema cometió un error, pero el accidente ocurrió no solo por el error, sino por cómo el coche respondió a la incertidumbre. Los humanos cometemos errores, pero cuando nos confunde lo que vemos, tendemos a detenernos. Si un humano se hubiera confundido con un objeto que cruzaba la carretera, no habría seguido adelante, sino que habría disminuido la velocidad. Retrasar la acción es una de las maneras en que respondemos a la incertidumbre. La maquina no se detuvo, sino que siguió adelante. Hemos construido sistemas que cometen errores, pero no hemos construido máquinas que comprendan o sufran las consecuencias de esos errores.

Este trágico incidente humanizó una controversia que ya se había debatido hipotéticamente en círculos éticos, especialmente en los de IA, durante varios años. ¿Quién es responsable en un accidente con un vehículo autónomo? ¿Quién decide cómo responderá el vehículo si el accidente es inevitable? ¿Es ético programar el vehículo para que maniobre y evite al pasajero (y quizás mate a otros)? La lista de preguntas importantes es larga, pero las respuestas son mucho más difíciles de analizar.

Entonces, ¿qué tan importante es la rendición de cuentas y cómo debería concebirse y aplicarse en situaciones que involucran IA? En el caso de Elaine Herzberg, Borg y sus coautores preguntan (en Moral AI and How We Get There): “¿Quién fue responsable de la muerte de Herzberg? ¿Herzberg? ¿Vásquez? ¿El coche? ¿Uber? ¿Los gerentes de seguridad de Uber? ¿Los ingenieros de Uber? ¿Los funcionarios del gobierno de Arizona que permitieron a Uber probar sus coches en Tempe? ¿Todos? ¿Ninguno?” (p. 137).

La rendición de cuentas en el mundo de la IA es extremadamente importante. También es extraordinariamente desafiante. Pero dado que los vehículos autónomos guiados por IA pueden causar accidentes y matar personas, los sistemas de armas autónomas pueden matar inocentes, y las directrices derivadas de la IA pueden sesgar las sentencias de los presos, etc., es esencial que todos consideremos detenidamente la cuestión de la rendición de cuentas. Ya sea que creemos o utilicemos productos o servicios de IA, debemos definir claramente quién es responsable y de qué antes de que ocurra una imprevista (o predecible) tragedia.

1. Por razones éticas y políticas, la ley ha impuesto desde hace tiempo la responsabilidad civil de productos que causaron lesiones a consumidores y otras personas sobre los vendedores (por ejemplo, fabricantes, mayoristas y minoristas). Los principales impulsores de este enfoque son el deseo de incentivar a estos vendedores a diseñar, fabricar y vender productos seguros y a compensar a los perjudicadas cuando no lo son. Algunas teorías legales aplicables se aplican cuando los vendedores son negligentes. Otras imponen responsabilidad sin tomar en cuenta la culpa del vendedor. ¿Cree que los estándares de responsabilidad deberían ser diferentes para los vendedores de vehículos autónomos que para los de vehículos tradicionales? ¿Por qué sí o por qué no?

2. Rara vez se impone responsabilidad penal a los vendedores de productos. Estos vendedores suelen ser empresas sin alma ni cuerpo, y por lo tanto solo pueden ser castigados con multas, lo que a menudo no parece valer la pena. Sin embargo, en ocasiones, estos casos se presentan y se ganan. De nuevo, ¿cree que los estándares de responsabilidad penal deberían ser diferentes para los vendedores de vehículos autónomos que para los de vehículos tradicionales? ¿Por qué o por qué no?

3. El antropólogo Webb Keane sugiere que, para poder rendir cuentas, una IA «debe, literalmente, ser responsable, capaz de dar una respuesta si le preguntamos ‘¿por qué?’ [tomó una decisión determinada]» (p. 139). Keane también cita al informático Stuart Russell, quien “dice que la manera de que la IA sea segura es que las máquinas ‘se comuniquen con los humanos —como un mayordomo— sobre cualquier decisión’” (p. 109). ¿Alguna de estas sugerencias parece un enfoque viable para mantener la rendición de cuentas de la IA? ¿Por qué o por qué no?

4. Shadbolt y Hampson escriben:

“Existe una diferencia fundamental en la rendición de cuentas entre un humano y una máquina, que surge de todas las demás diferencias. Alexa o Siri pueden tener una cara pintada, vestir ropa elegante y estar configuradas para reconocerte al acercarte al bar, invitarte a una copa y preguntarte sobre tu día en la oficina; sin embargo, esto no te afectará de la misma manera que a un humano que realiza exactamente el mismo conjunto de acciones. Una descripción completa y concisa de la diferencia incluiría docenas de dimensiones. La principal de ellas es que, incluso cuando nos importa mucho una decisión que una IA toma sobre nosotros, no nos importa en absoluto la opinión privada que la máquina pueda tener sobre nosotros, no de la misma manera que nos afectan las opiniones humanas. Tampoco creemos, recíprocamente, que debamos ser diplomáticos en nuestro trato con la máquina”. (p. 114)

El hecho de que los humanos reaccionen de forma diferente a las herramientas de IA que toman ciertas decisiones que a las personas que toman decisiones similares (sobre cómo maniobrar un coche o a qué presos poner en libertad condicional) ¿justifica juicios diferenciales sobre la rendición de cuentas cuando se producen lesiones?

5. Considerando la cuestión de la rendición de cuentas desde una perspectiva diferente, Vallor sugiere que «los sistemas de decisión de IA opacos son herramientas muy atractivas para quienes ostentan el poder; ofrecen un escudo de responsabilidad prácticamente infalible». (p. 119) En otras palabras, como con la excusa de «el perro se comió mi tarea», un actor político puede decir: «Yo no tomé esa decisión impopular o desastrosa, sino el algoritmo». Esto es especialmente cierto si el «modelo se entrenó mediante aprendizaje profundo y otras técnicas opacas; ni siquiera los ingenieros de software y los científicos de datos que lo crearon sabrán exactamente cómo o por qué funciona en un caso determinado». (p. 127) ¿Está de acuerdo con el argumento de Vallor? ¿Es esto una preocupación de póliza? Explique.

6. Al escribir sobre los sistemas de armas autónomas (AWS por sus siglas en inglés), pistolas y similares que pueden tomar sus propias decisiones sobre cuándo y contra quién disparar, Eggert escribe: «Libres de las limitaciones humanas [AWS] prometen la perspectiva de un mundo sin abusos como los que [los soldados humanos han cometido a menudo]. No sucumben a la ira, el miedo ni la venganza. Y pueden procesar grandes cantidades de información a una velocidad sobrehumana. Pero, a diferencia de los humanos, no tienen conciencia con la que lidiar». (p. 7) Egger pregunta entonces: «¿Cómo debemos sopesar la promesa de los AWS de reducir el daño a personas inocentes contra al valor de la rendición de cuentas?» (p. 13) En términos de rendición de cuentas, ¿qué opina del uso de los AWS sin la participación humana? Explique.

7. Varios observadores (incluidos Harari, Wynn-Williams y Lawrence) han escrito extensamente sobre el daño que los algoritmos de Facebook para maximizar la interacción causaron en Myanmar entre 2016 y 2017 al incitar a la violencia contra los rohinyá, lo que condujo al genocidio. Como señaló Harari:

“En 2016 y 2017, los algoritmos de Facebook tomaron decisiones activas y cruciales por sí mismos… Podrían haber recomendado sermones sobre la compasión o clases de cocina, pero decidieron difundir rumores llenos de odio.” (p. 197-198)

¿Quién es responsable del genocidio? ¿El algoritmo de Facebook para difundir información incitadora? ¿La empresa? ¿Los ingenieros que desarrollaron el algoritmo para maximizar la interacción sin considerar los posibles peligros o costos? ¿Quienes convirtieron la información incitadora en violencia? ¿Es este tipo de situación un argumento para mantener siempre a un “humano al tanto”? ¿Es eso siquiera posible? Explíquelo.

8. A medida que los agentes de IA se vuelven más activos, es probable que no solo produzcan muchos más resultados positivos, sino también que causen más daños. Un requisito general para la responsabilidad penal es la intención delictiva (mens rea). Floridi y Sanders sugieren que los agentes de IA «pueden ser causalmente responsables de un acto delictivo», pero solo un agente humano puede ser moralmente responsable del mismo. ¿Está de acuerdo con su distinción sobre este tema clave de la responsabilidad? ¿Por qué sí o por qué no?

9. Al pensar en la responsabilidad de la IA, ¿debemos tener también en cuenta a los usuarios? ¿De qué maneras debemos considerar su responsabilidad? ¿Qué consideraciones intenta usted personalmente tener en cuenta al interactuar con la IA?

Jana Schaich Borg et al., Moral AI and How We Get There (2024).

Ben Chester Cheong, “Transparency and Accountability in AI Systems: Safeguarding Well-being in the Age of Algorithmic Decision-Making,” in Frontiers in Human Dynamics, Vol. 6 (2024).

Luca Collina et al., “Critical Issues About A.I. Accountability Answered,” California Management Review Insights, Nov. 6, 2023, at https://cmr.berkeley.edu/2023/11/critical-issues-about-a-i-accountability-answered/.

Jovana Davidovic, “On the Purpose of Meaningful Human Control of AI,” Big Data, Vol. 5, Jan. 2023, at https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2022.1017677/full.

Virginia Dignum, “Responsibility and Artificial Intelligence,” in The Oxford Handbook of Ethics of AI (Markus Dubber et al., eds. 2021).

Linda Eggert, “Autonomous Weapons Systems and Human Rights,” in AI Morality (David Edmonds, ed, 2024).

Luciano Floridi & J.W. Sanders, “On the Morality of Artificial Agents,” Minds and Machines Vol 14 (2004), pp. 349-379.

Yuval Noah Harari, Nexus: A Brief History of Information Networks from the Stone Age to AI (2024)

Webb Keane, Animals, Robots, Gods: Adventures in Moral Imagination (2025)

Joshua Kroll, “Accountability in Computer Systems,” in The Oxford Handbook of Ethics of AI (Markus Dubber et al., eds. 2021).

Neil Lawrence, The Atomic Human: Understanding Ourselves in the Age of AI (2025).

Theodore Lechterman, “The Concept of Accountability in AI Ethics and Governance,” in The Oxford Handbook of AI Governance (Justin Bullock et al., ed. 2024).

Claudio Novelli et al., “Accountability in Artificial Intelligence: What It Is and How It Works,” AI & Society, Vol. 39 (2024), pp. 1871-1882.

Jason Scholz & Jai Galliott, “The Case for Ethical AI in the Military,” in The Oxford Handbook of Ethics of AI (Markus Dubber et al., eds. 2021).

Nigel Shadbolt & Roger Hampson, As If Human: Ethics and Artificial Intelligence (2024).

Shannon Valor, The AI Mirror: How to Reclaim Our Humanity in an Age of Machine Thinking (2024).

Sarah Wynn-Williams, Careless People: A Cautionary Tale of Power, Greed, and Lost Idealism (2025).