IA y agencia: Porque te gusta…

Bob era un prisionero hosco. Tú también lo serías si hubieras estado encarcelado en la penitenciaría estatal durante 37 años por un delito que no cometiste. Bob con frecuencia era castigado con periodos largos de aislamiento y sin acceso a televisión o siquiera a periódicos. Y, por supuesto, sin internet. Como resultado, cuando finalmente fue exonerado y liberado en 2025, era un poco ingenuo en muchos sentidos. A salvo económicamente gracias al pago que recibió de su estado en compensación por encarcelamiento injusto, pasa la mayoría de los días sentado frente a una pantalla con una cerveza fría, intentando ponerse al día con el cine y la política.

Dada su ingenuidad, cuando Bob accede a Google, Netflix, YouTube, TikTok o muchos otros sitios o servicios en línea, no sabe que las ofertas que aparecen en pantalla suelen ser proporcionadas por Sistemas de Recomendación (SR). Los SR, según la definición de Bonicalzi et al., son “algoritmos basados en inteligencia artificial (IA), principalmente en técnicas de aprendizaje automático, que facilitan la toma de decisiones personalizadas al usuario, ofreciendo sugerencias de un catálogo más amplio (por ejemplo, sobre noticias, vídeos, anuncios o ejercicios), basándose en las elecciones previas o la información personal del usuario o de usuarios con ideas afines.”

Bob no tiene un historial de usuario personal ni un grupo de usuarios con ideas afines, ya que ha pasado casi toda la revolución de internet en prisión. Francamente, es prácticamente una pizarra en blanco. Sin embargo, se le ofrece un flujo constante de recomendaciones en cualquier plataforma en línea con la que interactúe. Entonces, ¿cómo determinan los SR lo qué Bob debería ver a continuación? ¿Cuáles son sus objetivos para su experiencia en línea? ¿Cuáles son los objetivos e intenciones generales de los SR? ¿Son estos fácilmente accesibles y claros para Bob? ¿Cuánta libertad tiene realmente para moldear su experiencia en línea? Y, dado que los feeds de los RS ofrecen un sinfín de opciones para que Bob las seleccione, ¿cuánta autonomía tiene realmente para formar sus puntos de vista y opiniones?

En este caso y en las preguntas para discusión posteriores, el enfoque no se centra únicamente en la agencia, sino también en otra palabra con «A»: la autonomía. Estos dos conceptos están estrechamente relacionados y ambos se ven afectados por las RS. Una fuente[i]  define la «autonomía» como «el derecho y la capacidad inherentes de tomar decisiones que impactan la propia vida, libre de interferencias externas», y la «agencia» como la capacidad de actuar en consecuencia, establecer metas e influir en los resultados. Los SR afectan tanto la autonomía como la agencia, generalmente de forma similar. Las personas que son manipuladas inconscientemente por los SR sufren daños tanto en su capacidad (agencia) como en su capacidad (autonomía) para tomar decisiones plenamente informadas en sus creencias y su camino de vida.

[i] https://www.mentalhealthwellnessmhw.com/blog/agency-and-autonomy

1. ¿Tienen los diseñadores de RS la obligación de actuar éticamente al diseñar sus algoritmos? ¿Por qué sí o por qué no?

2. Según Bonicalzi y sus colegas, los RS se han asociado con preocupaciones éticas en las siguientes áreas, entre otras:

• Seguimiento y monitorización de los datos de los usuarios
• Difusión de contenido inapropiado
• Incumplimiento de las leyes de privacidad y protección de datos, que incluye la venta de información personal a terceros
• Opacidad en la generación de recomendaciones debido a la complejidad o incluso al secretismo de los modelos matemáticos subyacentes, con el consiguiente problema de rendición de cuentas
• Falta de imparcialidad y sesgos en el muestreo y uso de los datos para elaborar recomendaciones

¿Les parecen coherentes? ¿Se les ocurren ejemplos que se ajusten a estas categorías? ¿Se les ocurren otras áreas de preocupación que los diseñadores de RS deberían tener en cuenta? ¿Han tenido alguna experiencia personal con RS que les haya preocupado?

3. Otra área de especial preocupación se relaciona con la autonomía personal. El profesor Sahebi y Formosa creen que «la autonomía consiste, en general, en desarrollar competencias de autonomía, tener fines auténticos y control sobre aspectos clave de la vida, y no ser manipulado, coaccionado ni controlado por otros». Según estos autores, «las competencias de autonomía son aquellas habilidades, capacidades y poderes que los agentes necesitan para actuar de forma autónoma, como la capacidad de razonar y reflexionar críticamente sobre sus valores, imaginar alternativas diferentes, desarrollar una concepción del bien y considerarse agentes autodirigidos dignos de respeto». ¿Le parecen razonables estas formulaciones? ¿Por qué o por qué no? ¿Se le ocurre una mejor definición de «autonomía»?

4. Luciano Floridi y otros expertos, como parte del proyecto «AI4People», que busca visualizar cómo lograr un mundo de IA amigable para los humanos, concluyeron que la autonomía debería ser un principio básico de la ética de la IA, al igual que de la bioética, y que mejorar la agencia humana debería ser un enfoque clave del desarrollo de la IA. ¿Está de acuerdo? ¿Por qué o por qué no?

5. ¿Podrían las creencias que Bob elija mantener y el tipo de persona que será dentro de un año depender de si los RS lo envían a ver videos políticos de Fox News en lugar de MSNBC (o viceversa)? ¿O a películas como Nickel Boys y The Zone of Interest (números 1 y 2 en la lista de las mejores películas de la década de 2020 de IndieWire para 2025) o Skinamarink (la peor película de terror de la década según Flicknerd)? Explica tu razonamiento.

6. ¿Debería el objetivo principal (o quizás exclusivo) de los diseñadores de RS ser la precisión? Es decir, recomendar con la mayor precisión posible lo que a Bob o a usuarios con ideas afines les gustaría ver. Rodríguez y Watkins, por ejemplo, creen que la precisión no debería ser el único criterio y sugieren que Bob debería estar protegido de contenido inapropiado o dañino. ¿Cuál crees que debería ser el objetivo principal del diseñador de RS?

7. ¿Podrá Bob ejercer su autonomía si un RS lo lleva a una fuente que difunde teorías conspirativas que, por ejemplo, sostienen que las personas de la misma raza que Bob son inherentemente inferiores? Los profesores Sahebi y Formosa creen que las personas «pueden carecer de autonomía si su identidad práctica es el resultado de creencias falsas». ¿Qué opina usted?

8. Sahebi y Formosa observan:

«Cabe destacar que el interés de las empresas de redes sociales no es garantizar que sus usuarios reciban diversos puntos de vista, ideologías políticas o noticias. Su interés reside en asegurar que puedan mantener la atención de los usuarios para generar ingresos mediante publicidad y otros medios, mostrándoles lo que quieren ver o lo que les causará indignación. Así es como se forman las dañinas cámaras de eco».

¿Está de acuerdo? ¿Cuáles son las implicaciones de su respuesta para la autonomía?

9. Tang y Winoto sugieren el siguiente escenario:

Una familia de cuatro personas, compuesta por Alex y Mary, Chloe, de 15 años, y John, de 12, lleva más de dos años suscrita a un servicio de alquiler de películas en línea, como Netflix. Ocasionalmente, la familia recibe recomendaciones de su exitoso y rentable servicio de recomendaciones personalizadas (conocido como Cinematch en Netflix) basándose en su historial de alquiler. Alex y Mary disfrutan de las películas de guerra y acción (dándoles altas calificaciones a películas como La lista de Schindler y la saga Bourne); por lo tanto, dos películas, Cometas en el cielo y Misión Imposible 4: Protocolo Fantasma, se encuentran entre las recomendadas. Sin embargo, no se deben recomendar estas películas sin avisar a esta cuenta, ya que no son apropiadas para los dos niños, John y Chloe, de esta familia. Desde la perspectiva del sistema, este usuario (una cuenta colectiva) preferirá ambas películas: son algorítmicamente apropiadas, pero no éticamente apropiadas (tanto Cometas en el Cielo como MI4 figuran en la Base de Datos de Películas de Internet (IMDB) como «PG-13»; Cometas en el Cielo contiene una violación infantil, lo cual es especialmente inapropiado para niños pequeños). Entonces, ¿debería el sistema de recomendación (SR) hacer las sugerencias o no?

¿Cómo respondes a la pregunta que plantean Tang y Winoto?

Sofia Bonicalzi et al., “Artificial Intelligence and Autonomy: On the Ethical Dimension of Recommender Systems,” Topoi, Vol. 42: 819-832 (2023).

Marietjie Botes, “Autonomy and the Social Dilemma of Online Manipulative Behavior,” AI and Ethics 3: 315-323 (2023).

Christopher Burr et al., “An Analysis of the Interaction Between Intelligent Software Agents and Human Users,” Minds and Machines 28: 735-774 (2018).

Guillaume Chaslot, “Discredit ‘the Media,’” (2018), at https://guillaumechaslot.medium.com/how-algorithms-can-learn-to-discredit-the-media-d1360157c4fa.

Matthew Hutson, “Can AI’s Recommendations Be Less Insidious? (Oct. 2. 2022), at https://spectrum.ieee.org/recommendation-engine-insidious.

Floridi, Luciano et al., “ÁI4People—an Ethical Framework for a Good AI Society: Opportunities, Risks, Principles, and Recommendations,” Minds and Machines 28:689-707 (2018).

Floridi, Luciano, The Ethics of Artificial Intelligence: Principles, Challenges, and Opportunities (2023).

Gerald Kembellec et al., eds., Recommender Systems (2014).

Michael Klenk & Jeff Hancock, “Autonomy and Online Manipulation,” Internet Policy Review 1:1-11 (2019), at https://philpapers.org/rec/KLEAAO-3.

Silvia Milano, “Recommended!” in AI Morality (David Edmonds, ed., 2024).

Francesco Ricci et al., eds., Recommender Systems Handbook (3d Ed. 2022).

Marko Rodriguez & Jennifer Watkins, “Faith in the Algorithm, Part 2: Computational Eudaemonics,” in Knowledge-Based and Intelligent Information and Engineering Systems, (Juan D. Velasquez et al., eds.2009).

Siavosh Sahebi & Paul Formosa, “Social Media and Its Negative Impacts on Autonomy,” Philosophy & Technology 35:70 (2022).

Andreas Spahn, “And Lead Us (Not) into Persuasion…? Persuasive Technology and the Ethics of Communication,” Science & Engineering Ethics Vol. 18: 633-650 (2012).

Christopher Summerfield, These Strange New Minds (2025).

Daniel Susser et al., “Technology, Autonomy, and Manipulation,” Internet Policy Review 8(2) (2019).

Tiffany Tang & Pinata Winoto, “I Should Not Recommend It to You Even If You Will Like It: The Ethics of Recommender Systems,” Review of Hypermedia and Multimedia 22(1-2): 111-138 (2016).