Skip to main content

Therac-25

La máquina Therac-25, que proporcionaba radioterapia a pacientes con cáncer, tuvo fallas que resultaron en 6 muertes. Desde entonces, se ha convertido en un ejemplo evidente del problema de responsabilidad con la tecnología.

La máquina Therac-25 era un acelerador lineal de última generación desarrollado por la empresa Atomic Energy Canada Limited (AECL) y una empresa francesa CGR para proporcionar tratamiento de radiación a pacientes con cáncer. Therac-25 fue la máquina de radioterapia más computarizada y sofisticada de su tiempo. Con la ayuda de una computadora a bordo, el dispositivo podría seleccionar múltiples posiciones de la mesa de tratamiento y seleccionar el tipo/fuerza de la energía seleccionada por el técnico operador. AECL vendió once máquinas Therac-25 que se utilizaron en los Estados Unidos y Canadá a partir de 1982.

Desafortunadamente, entre 1985 y 1987 ocurrieron seis accidentes que involucraron sobredosis significativas de radiación a pacientes que resultaron en la muerte (Leveson & Turner 1993). Los pacientes informaron haber sido «quemados por la máquina», lo que informaron algunos técnicos, pero la compañía pensó que era imposible. La máquina fue retirada del mercado en 1987 por un extenso rediseño de las funciones de seguridad, el software y los enclavamientos mecánicos. Los informes al fabricante dieron como resultado reparaciones inadecuadas del sistema y garantías de que las máquinas eran seguras. Se presentaron demandas y no se llevaron a cabo investigaciones. La Administración de Alimentos y Medicamentos (FDA) descubrió más tarde que había una estructura de informes inadecuada en la empresa para dar seguimiento a los accidentes informados.

Había dos versiones anteriores de la unidad Therac-25: Therac-6 y Therac-20, que se construyeron a partir de otras unidades de radiación de la compañía CGR: Neptune y Sagittaire. Las unidades Therac-6 y Therac-20 se construyeron con una microcomputadora que hizo que la entrada de datos del paciente fuera más accesible, pero las unidades estaban operativas sin una computadora a bordo. Estas unidades tenían enclavamientos de seguridad incorporados y guías de posicionamiento, y características mecánicas que evitaban la exposición a la radiación si había un problema de posicionamiento con el paciente o con los componentes de la máquina. Hubo una cierta «duplicación básica» del software utilizado del Therac-20 que se transfirió al Therac-25. Therac-6 y Therac-20 fueron máquinas clínicamente probadas con un excelente historial de seguridad. Dependían principalmente del hardware para los controles de seguridad, mientras que el Therac-25 dependía principalmente del software.

El 6 de febrero de 1987, la FDA detuvo todas las máquinas hasta que se pudieran realizar reparaciones permanentes. Aunque la AECL se apresuró a afirmar que había una «solución» y que las máquinas ahora eran más seguras, ese no era el caso. Después de este incidente, Leveson y Turner (1993) compilaron información pública de AECL, la FDA y varias agencias reguladoras y concluyeron que no se mantuvieron registros adecuados cuando se diseñó el software. El software se probó de manera inadecuada y se usaron «parches» de versiones anteriores de la máquina. La suposición prematura de que el (los) problema(s) fue(n) detectado(s) y corregido(s) no fue probada. Además, AECL tuvo grandes dificultades para reproducir las condiciones en las que se experimentaron los problemas en las clínicas. La FDA reestructuró sus requisitos de informes para equipos de radiación después de estos incidentes.

A medida que las computadoras se vuelven cada vez más ubicuas y controlan sistemas cada vez más importantes y complejos, las personas están expuestas a daños y riesgos cada vez mayores. El tema de la rendición de cuentas surge cuando una comunidad espera que sus agentes defiendan la calidad de su trabajo. Nissenbaum (1994) argumenta que la responsabilidad en nuestra sociedad informatizada se socava sistemáticamente y esto es un perjuicio para la comunidad. Esta preocupación ha crecido con el número de servicios vitales críticos controlados por sistemas informáticos en los ámbitos gubernamentales, de líneas aéreas y médicos.

Según Nissenbaum, existen cuatro barreras para la rendición de cuentas: el problema de muchas manos, los “errores” en el sistema, la computadora como chivo expiatorio y la propiedad sin responsabilidad. El problema de demasiadas manos se relaciona con el hecho de que muchos grupos de personas (programadores, ingenieros, etc.) en varios niveles de una empresa suelen estar involucrados en la creación de un programa de computadora y tienen aportes al producto final. Cuando algo sale mal, no hay una sola persona a la que se pueda responsabilizar claramente. Es fácil para cada persona involucrada racionalizar que él o ella no es responsable del resultado final, debido al pequeño papel desempeñado. Esto ocurrió con el Therac-25 que tenía dos errores de software destacados, un microinterruptor fallido y una cantidad reducida de funciones de seguridad en comparación con versiones anteriores del dispositivo. El problema de los errores en el sistema de software que causan errores en las máquinas bajo ciertas condiciones se ha utilizado como una tapadera para la programación descuidada, la falta de pruebas y la falta de características de seguridad integradas en el sistema en el accidente Therac-25. El hecho de que las computadoras “siempre tengan problemas con su programación” no puede usarse como excusa para confiar demasiado en un producto, mensajes de error poco claros/ambiguos o pruebas incorrectas de componentes individuales del sistema. Otro obstáculo potencial es la propiedad de software propietario y la falta de voluntad para compartir «secretos comerciales» con el investigador.

Preguntas de discusión

1. ¿Quién debe ser responsable de los errores en un dispositivo médico?

2. ¿Qué responsabilidad moral tienen los creadores de software por las consecuencias adversas que se derivan de las fallas en ese software?

3. ¿Qué pasos se les exige moralmente a los creadores de software para minimizar el riesgo de que vendan software defectuoso con consecuencias peligrosas?

4. ¿Qué debe constituir la aprobación de la FDA de un dispositivo médico? ¿Debe el beneficio superar el daño? ¿Debe el dispositivo ser 100% seguro antes de la aprobación? ¿Deberían las pautas de aprobación de la FDA tomar en consideración nuevas terapias para poblaciones protegidas como niños o pacientes con enfermedades raras?

5. ¿La FDA debería revisar los dispositivos médicos actualizados como un dispositivo nuevo o como una mejora en un diseño anterior? Si se revisa como una mejora, ¿en qué momento puede/debe someterse un dispositivo a un proceso de revisión completo? Si se revisa como un dispositivo novedoso, ¿cómo podría afectar esto a la producción de dispositivos modificados/mejorados y a las empresas en general que producen dispositivos médicos?

Causando Daño

Causando Daño

Causando Daño explora los diferentes tipos de daño que se puede causar a personas o grupos y las razones potenciales que podemos avanzar para justificar estos daños.

Ver

Bibliografía

Gotterbarn, Donald, “Software Engineering Ethics,” Encyclopedia of Software Engineering (2002), https://onlinelibrary.wiley.com/doi/abs/10.1002/0471028959.sof314.

Leveson, Nancy & Turner, Clark, “An Investigation of the Therac-25 Accidents,” Computer 26:7, p. 18 (July 19993), https://web.stanford.edu/class/cs240/old/sp2014/readings/therac-25.pdf

Leveson, Nancy, Medical Devices: The Therac—25 (1995), http://sunnyday.mit.edu/papers/therac.pdf.

Lynch, Jamie, “Therac-25 Causes Radiation Overdoses,” Bugsnag Blog (2017) https://www.bugsnag.com/blog/bug-day-race-condition-therac-25

Nissenbaum, Helen, “Computing and Accountability,“ Communications of the ACM, 37:1, p. 73 (1994). http://delivery.acm.org/10.1145/180000/175228/p72-nissenbaum.pdf?ip=128.62.211.38&id=175228&acc=ACTIVE%20SERVICE&key=603D2E7028CD4EF5%2E4D4702B0C3E38B35%2E4D4702B0C3E38B35%2E4D4702B0C3E38B35&__acm__=1576603038_0292b9d0b31643bd7b06dde8efa509f7

Shares