Skip to main content

IA y transparencia: Un engaño épico

Una herramienta de inteligencia artificial para la detección de sepsis prometía precisión, pero su naturaleza de «caja negra» dificultaba evaluar de manera rápida y eficaz su eficacia.

La sepsis ocurre cuando microorganismos patógenos o sus toxinas invaden el cuerpo de una persona. La respuesta del sistema inmunitario a dicha invasión puede causar daño tisular, insuficiencia orgánica y la muerte. La sepsis es la principal causa de muerte en los hospitales estadounidenses. Dado que se ha demostrado que el tratamiento oportuno con antibióticos y líquidos intravenosos reduce la mortalidad por sepsis, es fundamental predecir con precisión el riesgo de aparición de sepsis lo antes posible. En los últimos años, muchas empresas han intentado utilizar modelos de inteligencia artificial (IA) para realizar estas predicciones tempranas.

Epic, una empresa estadounidense con acceso a los historiales médicos de más de 250 millones de personas se convirtió en uno de los primeros líderes de la industria. Lanzó su Modelo de Sepsis Epic (ESM, por sus siglas en inglés) en 2017. Supuestamente, los hospitales podrían usar el ESM con sus historiales médicos existentes, ahorrando tiempo y dinero.

Cientos de hospitales adoptaron el ESM y la empresa ampliamente publicitó su tasa de adopción. Si tantos hospitales lo están adoptando, el modelo de IA debe ser fantástico, ¿verdad? Bueno, quizás. Lo que Epic no hizo fue publicar resultados de ningún estudio revisado por pares que demostrara la precisión del modelo. De hecho, como suele ocurrir con las nuevas tecnologías, Epic afirmó que su modelo era un secreto comercial patentado, lo que impidió que investigadores independientes comprobaran su precisión.

Resulta que la tasa de adopción no era indicativa de la precisión del modelo, lo cual no debería sorprender dado que eventualmente se reveló que Epic le había pagado a varios hospitales hasta un millón de dólares cada uno para adoptar el ESM.

Aunque Epic afirmó una tasa de precisión de entre el 76% y el 83% para ESM, el primer estudio independiente completo, hecho posible gracias al acceso de los investigadores a los registros de un hospital que utilizaba récords médicos electrónicos, encontró una precisión de tan solo 63%. Esto no es mucho mejor que lanzar una moneda al aire, señalan los escépticos de la IA Arvind Narayanan y Sayash Kapoor. Además, ESM reconoció solo el 7 % de los casos de sepsis que los médicos pasaron por alto.

Este estudio motivó un editorial por parte de los Dres. Habib, Lin y Grant, quienes opinaron que «la naturaleza de ‘caja negra’ de estas futuras herramientas de aprendizaje automático» exige especial precaución por parte de los sistemas de salud que decidan confiar en ellas. Dado que solo Epic (y quizás ni siquiera Epic) podía comprender por qué ESM tomaba las decisiones que tomaba, el detectar errores y minimizarlos podría ser casi imposible.

Finalmente, después de varios años de uso, ESM revisó su algoritmo, instando a los usuarios a entrenarlo con los datos específicos de sus pacientes. “Tras años de insistir en que un modelo listo para usar podría salvar vidas, Epic se retractó de sus afirmaciones.” (Narayanan y Kapoor)

En 2024, otra empresa recibió la primera autorización de la FDA para una herramienta de IA para la detección de sepsis.

Preguntas para discusión

1. ¿Cree que la naturaleza «opaca» de los algoritmos propietarios de Epic contribuyó a la demora de los investigadores independientes a poner a prueba adecuadamente las afirmaciones (al parecer) inexactas de Epic sobre la precisión del ESM? Explique.

2. ¿Debió Epic haber hecho público los pagos que realizaba a los hospitales para que adoptaran el uso de ESM? De ser así, ¿por qué? De no ser así, ¿por qué no? ¿Por qué habría sido esa información relevante para los posibles adoptantes del ESM?

3. Los estudios demuestran que, aunque la mayoría de las personas a menudo son honestas incluso cuando no están siendo vigiladas, si son más propensas a mentir y engañar de este modo. (Redish, p. 71). ¿Crees que esto también aplica a empresas como Epic? Explíca.

4. ¿Sería preferible la IA abierta (también conocida como IA explicable) a la IA de caja negra (también conocida como IA opaca)? ¿Sería preferible un enfoque de caja negra propietario porque sus potenciales ganancias monetarias ofrecerían incentivos más efectivos a emprendedores e inversores? Explique su razonamiento.

5. En áreas como la medicina, donde el bienestar de las personas se ve directamente impactado por la IA, como ocurrió con los pacientes con el ESM de Epic, ¿debería exigirse una IA abierta o explicable? ¿Por qué sí o por qué no?

6. Los algoritmos de Epic eran opacos porque Epic los protegía como secretos comerciales. Pero a veces, los algoritmos, como los producidos por los grandes modelos de lenguaje (LLM), entrenados con cientos de miles de millones de muestras de texto, son opacos porque su gran complejidad impide explicar las respuestas de los LLM o sus procesos de toma de decisiones. ¿Es posible lograr la transparencia en este contexto? ¿Qué arriesgamos como usuarios y consumidores de dicha tecnología de IA si no se logra la transparencia?

IA y confianza: La traición de Tay

IA y confianza: La traición de Tay

Tay, un chatbot de IA de Microsoft, fue rápidamente manipulado por trolls en linea para decir cosas ofensivas, lo que resalta la necesidad de sistemas de IA confiables.

Ver

IA y agencia: Porque te gusta…

IA y agencia: Porque te gusta…

Los Sistemas de Recomendación con inteligencia artificial están moldeando nuestras preferencias al seleccionar lo que vemos en linea, lo que plantea preguntas profundas sobre la autonomía, la agencia y el control.

Ver

IA y equidad: ¿A quién contratamos?

IA y equidad: ¿A quién contratamos?

Se suponía que las herramientas de IA de empresas como Amazon y Google eliminarían los sesgos humanos en la contratación, pero terminaron replicando y reforzando la misma discriminación que pretendían corregir.

Ver

Inteligencia artificial

Inteligencia artificial

La inteligencia artificial (IA) describe máquinas que pueden pensar y aprender como seres humanos. La IA evoluciona continuamente e incluye subcampos como el aprendizaje automático y la IA generativa.

Ver

Ética de la IA

Ética de la IA

La ética de la IA (la ética de la inteligencia artificial) se refiere tanto al desarrollo de la IA como al producto de IA en sí. Dado el papel de la IA en nuestro mundo, la ética de la IA es fundamental.

Ver

Sesgo algorítmico

Sesgo algorítmico

El sesgo algorítmico ocurre cuando los algoritmos de IA reflejan prejuicios humanos debido a datos o diseño sesgados, lo que conduce a resultados injustos o discriminatorios.

Ver

Sonambulismo tecnológico

Sonambulismo tecnológico

El sonambulismo tecnológico se refiere a la creación y adopción irreflexiva y ciega de nuevas tecnologías sin tener en cuenta sus impactos sociales y éticos a largo plazo.

Ver

AI Ethics: Is AI a Savior or a Con? – Part 1

AI Ethics: Is AI a Savior or a Con? – Part 1

Several months ago, our blog post titled “Techno-Optimist or AI Doomer?: Consequentialism and the Ethics of AI” made the point that despite the ubiquitous attention being paid to artificial intelligence (AI), a technological concept that dates back at least 75 years, expert opinions regarding its utility and dangers were all over the map, ranging from […]

Ver

AI Ethics: Is AI a Savior or a Con? – Part 2

AI Ethics: Is AI a Savior or a Con? – Part 2

To make sound ethical judgments, people must know the facts. In the realm of artificial intelligence (AI), it is difficult to ascertain with certainty a key fact—whether AI is the most consequential technology in the history of the world as claimed by its proponents (“AI Boosters”) or is mainly snake oil and hype as claimed […]

Ver

The Perfect (Mis)Match: Algorithms and Intentions

The Perfect (Mis)Match: Algorithms and Intentions

This post is prompted by a forthcoming article in the American Criminal Law Review by Melissa Hamilton, entitled “The Biased Algorithm: Evidence of DisparateImpact on Hispanics.”  Hamilton makes the point that because judges tend to be human beings and therefore subject to all the decision making foibles uncovered by behavioral psychology and related fields in […]

Ver

Referencias

Katie Adams, “FDA Grants Its First-Ever Clearance for Sepsis Detection AI,” MedCity News, Apr. 4, 2024, at https://medcitynews.com/2024/04/fda-sepsis-ai/.

Anand Habib et al, “The Epic Sepsis Model Falls Short—The Importance of External Validation,” JAMA Internal Medicine Vol. 181., No. 8, p. 1040-1041 (2021).

Fahad Kamran, “Evaluation of Sepsis Prediction Models before Onset of Treatment,” New England Journal of Medicine AI, Vol. 1, No. 3 (2024).

Sania Kennedy, “Epic Sepsis Model Predictions May Have Limited Clinical Utility,” TechTarget, Feb. 26, 2024, at https://www.techtarget.com/healthtechanalytics/news/366590054/Epic-Sepsis-Model-Predictions-May-Have-Limited-Clinical-Utility.

Arvind Narayanan & Sayash Kapoor, AI Snake Oil: What Artificial Intelligence Can Do, What It Can’t, and How to Tell the Difference (2024).

Neil Raden, “How Did a Proprietary AI Get into Hundreds of Hospitals—Without Extensive Peer Reviews? The Concerning Story of Epic’s Deterioration Index,” Diginomica, Sept. 2, 2021, at https://diginomica.com/how-did-proprietary-ai-get-hundreds-hospitals-without-extensive-peer-reviews-concerning-story-epics.

A. David Redish, Changing How We Choose: The New Science of Morality (2022).

Casey Ross, “Epic’s AI Algorithms, Shielded from Scrutiny by a Corporate Firewall, Are Delivering Inaccurate Information on Seriously Ill Patients,” STAT, July 26, 2021, at https://www.statnews.com/2021/07/26/epic-hospital-algorithms-sepsis-investigation/.

Casey Ross, “Epic Overhauls  Popular Sepsis Algorithm Criticized for Faulty Alarms,” STAT, Oct. 3, 2022, at https://www.statnews.com/2022/10/03/epic-sepsis-algorithm-revamp-training/.

Nicole Wetsman, “Health Records Company Pays Hospitals That Use Its Algorithms,” The Verge, July 26, 2021, at https://www.theverge.com/2021/7/26/22594241/epic-health-algorithm-payment-accuracy-sepsis.

Andrew Wong et al., “External Validation of a Widely Implemented Proprietary Sepsis Prediction Model in Hospitalized Patients,” JAMA Internal Medicine, 181(8): 1065-1070 (2021).

Shares