¿Horrorizado por Horizonte? Entonces prepárate para quedar totalmente horrorizado por la IA | Escándalo de la oficina de correos Horizon

No hace falta mucha imaginación para describir lo que sucede cuando a una gran corporación se le permite, durante 16 largos años, procesar vengativamente a 900 subdirectores de correos por robo, contabilidad falsa y fraude, cuando los déficits en sus sucursales se debían en realidad a errores en la contabilidad. software impuesto por esa corporación, como “uno de los mayores errores judiciales en la historia de nuestra nación”.

Pero Rishi Sunak no es el más imaginativo de los hombres. Los marines estadounidenses, por otra parte, tienen un término económico que se ajusta como anillo al dedo al fiasco de Horizon: fue un “clusterfuck” (definido primariamente por el Diccionario de Cambridge como “una palabra muy grosera para referirse a un fracaso total o a un problema muy grave en el sistema”). que ocurren muchos errores o problemas al mismo tiempo”.

Horizon fue producto de un sistema de adquisiciones de TI defectuoso y a veces despistado al que el Estado británico ha sido adicto durante décadas. El sistema finalmente adquirido –de una rama de ICL propiedad del gigante japonés Fujitsu– era un monstruo en expansión y lleno de errores informáticos.

La idea era sustituir el sistema de contabilidad en papel en las oficinas de correos. Pero la implementación, que comenzó en 1999 (para 13.000 subdirectores de correos ocupados y no técnicos) fue apresurada y la capacitación fue inadecuada para la escala de la transformación en los flujos de trabajo involucrados. Los usuarios descubrieron rápidamente errores y deficiencias en el sistema, pero descubrieron que Oficina de correos La dirección manifestó una fe semirreligiosa en la tecnología, lo que llevó a que los subdirectores fueran procesados, arruinaran sus vidas y, en algunos casos, se suicidaran.

Horizon era un sistema de punto de venta electrónico que reemplazó las cajas registradoras de papel. También estaba conectado en red, lo que en teoría permitía a la Oficina de Correos tener un registro general del flujo de caja en todo el país. Pero desde el principio, como el guardián Alex Hern ha señaladoparece que el sistema “simplemente no estaba a la altura de las tareas que se le habían encomendado”.

Ya en 2001, un equipo dirigido por uno de los desarrolladores del sistema había encontrado “cientos” de errores. Nunca se ha elaborado una lista completa, pero algunos ejemplos surgieron en procedimientos judiciales. En uno, el “Bicho Dalmellington” (llamado así por la ciudad escocesa donde un subdirector de correos fue víctima de él por primera vez), la pantalla se congelaba cuando el operador intentaba confirmar la recepción del efectivo. Cada vez que el usuario presionaba Enter en la pantalla congelada, actualizaba silenciosamente el registro, y el subpostmaster era responsable de los resultados. Puedes imaginar las consecuencias.

La parte más extraña de la historia es cuánto tiempo tardó hasta que la verdad se hizo evidente en el sistema político. Los periodistas habían estado contando tenazmente la historia de las víctimas de Horizon desde entonces. Computadora semanal publicó la historia en 2009. El periódico comercial Gaceta de prensa Calcula que la revista ha publicado alrededor de 350 artículos desde 2009, en su mayoría escritos por Karl Flinders. Setenta de ellos se produjeron antes de finales de 2018 y el resto siguió después del Alianza Justicia para Subpostmasters presentó un juicio de acción grupal contra la Oficina de Correos ese año y en 2020 se inició una investigación pública.

A pesar de este admirable periodismo (y el excelente trabajo de un puñado de parlamentarios), de alguna manera no logró convertirse en un tema político candente hasta que ITV lo proyectó. El señor Bates contra la oficina de correos. Entonces la presa se rompió. Como lo expresó el editor político de la BBC, Chris Mason, “Aquí estamos, siete días después, y el primer ministro se encuentra frente a una Cámara de los Comunes abarrotada y dice que el gobierno presentará una nueva ley… Qué extraordinario. El poder del drama. El impulso que ha generado, la opinión pública que ha cambiado, el gobierno que ha galvanizado”.

Si hay una gran lección que aprender de este caos, es ésta: en la raíz del problema estaba la fe ciega de una corporación en la tecnología que había comprado a un precio muy alto. El Correo apostó todo por un sistema de software tradicional cuyas deficiencias podrían haber sido encontradas por cualquier investigador competente, porque era legible por humanos.

Pero ahora existe un impulso imparable para que las organizaciones desplieguen un nuevo tipo de tecnología –la inteligencia artificial– que es completamente opaca e inexplicable. Por lo tanto, será mucho, mucho más difícil remediar las injusticias que inevitablemente seguirán a su despliegue. Después de todo, Horizon simplemente no podía hacer contabilidad. El vuelos de fantasía erróneos que las IA a veces pueden producir, por otro lado, hay que verlo para creerlo.

John Naughton preside el consejo asesor de la Centro Minderoo para la Tecnología y la Democracia en Cambridge