¿Quién es responsable cuando la IA daña a alguien?
Es posible que pronto un jurado de California tenga que decidir. En diciembre de 2019, una persona que conducía un Tesla con un sistema de conducción de inteligencia artificial mató a dos personas en Gardena en un accidente. El conductor de Tesla se enfrenta a varios años de prisión. A la luz de este y otros incidentes, tanto la Administración Nacional de Seguridad del Transporte en las Carreteras (NHTSA) como la Junta Nacional de Seguridad del Transporte están investigando los accidentes de Tesla, y la NHTSA ha ampliado recientemente su investigación para explorar cómo interactúan los conductores con los sistemas de Tesla. En el frente estatal, California está considerando reducir el uso de las funciones de conducción autónoma de Tesla.
Nuestro sistema de responsabilidad actual, nuestro sistema para determinar la responsabilidad y el pago por lesiones, no está preparado para la IA. Las reglas de responsabilidad se diseñaron para una época en la que los humanos causaban la mayoría de los errores o lesiones. Por lo tanto, la mayoría de los marcos de responsabilidad sancionan al médico usuario final, al conductor u otro ser humano que causó una lesión. Pero con la IA, los errores pueden ocurrir sin ningún tipo de intervención humana. El sistema de responsabilidad debe ajustarse en consecuencia. Una mala política de responsabilidad perjudicará a los pacientes, consumidores y desarrolladores de IA.
El momento de pensar en la responsabilidad es ahora, justo cuando la IA se vuelve omnipresente pero sigue sin estar regulada. Los sistemas basados en IA ya han contribuido a las lesiones. En 2018, un peatón murió atropellado por un vehículo Uber autónomo. Aunque el problema era el error del conductor, la IA no pudo detectar al peatón. Recientemente, un chatbot de salud mental basado en IA animó a una paciente suicida simulada a quitarse la vida. Los algoritmos de IA han discriminado los currículos de las candidatas. Y, en un caso particularmente dramático, un algoritmo de IA identificó erróneamente a un sospechoso en un asalto agravado, lo que llevó a un arresto por error. Sin embargo, a pesar de los errores, la IA promete revolucionar todas estas áreas.
Obtener el panorama de responsabilidad correcto es esencial para desbloquear el potencial de la IA. Las reglas inciertas y los litigios potencialmente costosos desalentarán la inversión, el desarrollo y la adopción de sistemas de IA. La adopción más amplia de la IA en el cuidado de la salud, los vehículos autónomos y en otras industrias depende del marco que determina quién, si alguien, termina siendo responsable de una lesión causada por los sistemas de inteligencia artificial.
AI desafía la responsabilidad tradicional. Por ejemplo, ¿cómo asignamos la responsabilidad cuando un algoritmo de “caja negra” (en el que la identidad y la ponderación de las variables cambia dinámicamente para que nadie sepa lo que sucede en la predicción) recomienda un tratamiento que finalmente causa daño o conduce un automóvil imprudentemente antes de su destino? conductor humano puede reaccionar? ¿Es realmente culpa del médico o del conductor? ¿Es culpa de la empresa que creó la IA? ¿Y qué responsabilidad deberían enfrentar todos los demás (sistemas de salud, aseguradoras, fabricantes, reguladores) si fomentan la adopción? Estas son preguntas sin respuesta y fundamentales para establecer el uso responsable de la IA en los productos de consumo.
Como todas las tecnologías disruptivas, la IA es poderosa. Los algoritmos de IA, si se crean y prueban correctamente, pueden ayudar en el diagnóstico, la investigación de mercado, el análisis predictivo y cualquier aplicación que requiera analizar grandes conjuntos de datos. Una encuesta global reciente de McKinsey mostró que más de la mitad de las empresas en todo el mundo informaron que usan IA en sus operaciones de rutina.
Sin embargo, la responsabilidad se centra con demasiada frecuencia en el objetivo más fácil: el usuario final que utiliza el algoritmo. Las consultas de responsabilidad a menudo comienzan, y terminan, con el conductor del automóvil que chocó o el médico que tomó una decisión de tratamiento incorrecta.
Por supuesto, si el usuario final hace un mal uso de un sistema de IA o ignora sus advertencias, debe ser responsable. Pero los errores de IA a menudo no son culpa del usuario final. ¿Quién puede culpar a un médico de la sala de emergencias por un algoritmo de IA que pasa por alto el papiledema, una inflamación de la retina? La falla de una IA para detectar la condición podría retrasar la atención y potencialmente causar que un paciente se quede ciego. Sin embargo, el papiledema es difícil de diagnosticar sin el examen de un oftalmólogo porque a menudo se necesitan más datos clínicos, incluidas imágenes del cerebro y agudeza visual, como parte del estudio. A pesar del potencial revolucionario de la IA en todas las industrias, los usuarios finales evitarán usar la IA si son los únicos responsables de los errores potencialmente fatales.
Echar la culpa únicamente a los diseñadores o adoptantes de IA tampoco resuelve el problema. Por supuesto, los diseñadores crearon el algoritmo en cuestión. Pero, ¿cada accidente de Tesla es culpa de Tesla para ser resuelto con más pruebas antes del lanzamiento del producto? De hecho, algunos algoritmos de IA aprenden por sí mismos constantemente, tomando sus entradas y usándolas dinámicamente para cambiar las salidas. Nadie puede estar seguro de cómo un algoritmo de IA llegó a una conclusión particular.
La clave es garantizar que todas las partes interesadas (usuarios, desarrolladores y todos los demás a lo largo de la cadena desde el desarrollo del producto hasta su uso) tengan la responsabilidad suficiente para garantizar la seguridad y la eficacia de la IA, pero no tanto como para renunciar a la IA.
Para proteger a las personas de la IA defectuosa y al mismo tiempo promover la innovación, proponemos tres formas de renovar los marcos de responsabilidad tradicionales.
Primero, las aseguradoras deben proteger a los asegurados de los costos excesivos de ser demandados por una lesión de IA probando y validando los nuevos algoritmos de IA antes de su uso, tal como las aseguradoras de automóviles han estado comparando y probando automóviles durante años. Un sistema de seguridad independiente puede proporcionar a las partes interesadas de la IA un sistema de responsabilidad predecible que se ajuste a las nuevas tecnologías y métodos.
En segundo lugar, algunos errores de IA deben litigarse en tribunales especiales con experiencia en la adjudicación de casos de IA. Estos tribunales especializados podrían desarrollar experiencia en tecnologías o temas particulares, como tratar la interacción de dos sistemas de IA (por ejemplo, dos vehículos autónomos que chocan entre sí). Tales tribunales especializados no son nuevos: por ejemplo, en los EE. UU., los tribunales especializados han protegido a los fabricantes de vacunas infantiles durante décadas mediante la adjudicación de lesiones por vacunas y el desarrollo de un conocimiento profundo del campo.
En tercer lugar, los estándares regulatorios de las autoridades federales como la Administración de Drogas y Alimentos de los EE. UU. (FDA) o la NHTSA podrían compensar el exceso de responsabilidad de los desarrolladores y algunos usuarios finales. Por ejemplo, las regulaciones y leyes federales han reemplazado ciertas formas de responsabilidad por dispositivos médicos o pesticidas. Los reguladores deberían considerar que algunos IA son demasiado riesgosos para introducirlos en el mercado sin estándares para probar, volver a probar o validar. Los reguladores federales deberían centrarse de manera proactiva en los procesos estándar para el desarrollo de IA. Esto permitiría a las agencias reguladoras permanecer ágiles y prevenir lesiones relacionadas con la IA, en lugar de reaccionar demasiado tarde. En contraste, aunque las agencias estatales y locales de protección al consumidor y de salud no pudieron erigir un sistema regulatorio nacional, podrían ayudar a aclarar los estándares y normas de la industria en un área en particular.
Obstaculizar a la IA con un sistema de responsabilidad obsoleto sería trágico: los automóviles autónomos brindarán movilidad a muchas personas que carecen de acceso al transporte. En el cuidado de la salud, la IA ayudará a los médicos a elegir tratamientos más efectivos, mejorar los resultados de los pacientes e incluso reducir los costos en una industria conocida por sus gastos excesivos. Las industrias que van desde las finanzas hasta la ciberseguridad están en la cúspide de las revoluciones de la IA que podrían beneficiar a miles de millones en todo el mundo. Pero estos beneficios no deberían verse socavados por algoritmos mal desarrollados. Por lo tanto, la IA del siglo XXI exige un sistema de responsabilidad del siglo XXI.
Este es un artículo de opinión y análisis, y las opiniones expresadas por el autor o autores no son necesariamente las de Científico americano.