La idea comenzó como un cebo y un cambio: ofrecer a las personas que buscan en línea términos como “unirse a los guardianes de juramentos” o “instrucciones de la bomba” algún contenido que parezca adaptarse a su solicitud, pero que en su lugar ofrezca una alternativa al extremismo.
El método, desarrollado por Moonshot CVE, se llama “Redirigir”. A través de asociaciones con Google y la Liga Anti-Difamación, el objetivo de la empresa británica es disuadir a los usuarios de perseguir conspiraciones y retórica violenta atrayéndolos con anuncios a otros sitios.
Es solo una de las docenas de ideas con las que las empresas tecnológicas están experimentando a medida que, a raíz de la insurrección del Capitolio del 6 de enero, se ven sometidas a una presión cada vez mayor para evitar la propagación del extremismo en sus plataformas. En un esfuerzo por mitigar la regulación federal, los gigantes de Internet de California han insistido repetidamente en que están trabajando para resolver el problema. El flujo de contenido peligroso continúa proliferando.
Y en una figura de Internet conocida como Beau of the Fifth Column, Moonshot pensó que había encontrado a la persona perfecta para redirigir a los usuarios en línea.
Transmitiendo bajo una bombilla desnuda desde un cobertizo repleto de equipo para acampar, Beau apareció como un propietario de armas del sur con vistas progresistas. Tenía un comportamiento tranquilo, barba descuidada, aura militar y un gran número de seguidores en YouTube.
Pero Beau, cuyo verdadero nombre es Justin King, También tenía un historial de apoyo al anarquismo y de hacer declaraciones que a muchos les parecen antisemitas. El es un criminal.
El fiasco sobre el experimento de redireccionamiento de Moonshot llegó a un punto crítico la semana pasada en Washington cuando los legisladores federales interrogaron a los directores ejecutivos de Twitter, Facebook y Google sobre el extremismo y la desinformación.
“Enviaron a personas que ya estaban buscando violencia a un delincuente convicto con opiniones anarquistas y antisemitas”, dijo el representante Morgan Griffith (republicano por Virginia) a Sundar Pichai, director ejecutivo de Alphabet, la empresa matriz de Google, durante una audiencia en la Cámara. .
“Plantea una de las preguntas clave sobre la moderación de las plataformas en línea”, dijo Griffith. después. “¿Quién está investigando a los veterinarios? Seguimos necesitando más transparencia y responsabilidad “.
Los críticos dicen que el problema subyacente es que las empresas de Internet no quieren que los reguladores apunten a sus algoritmos secretos, que generan miles de millones de ganancias pero que también pueden guiar a los usuarios en línea a sitios extremistas. Por lo tanto, buscan utilizar un mosaico de intervenciones que pueden no resolver un problema y, en algunos casos, pueden crear otro.
Hay mucho en juego para los gigantes de las redes sociales.
Varias propuestas en el Congreso castigarían a las empresas por algoritmos que promueven el extremismo, incluida la Ley de Protección de los Estadounidenses de Algoritmos Peligrosos, defendida por la representante Anna G. Eshoo (D-Menlo Park). Los legisladores de California también han presentado el Proyecto de Ley 587 de la Asamblea, que requeriría que las empresas presenten informes públicos sobre sus esfuerzos para detener el extremismo.
Pichai dijo durante la audiencia de la Cámara que estaba “decepcionado” al enterarse de los problemas con el experimento de redireccionamiento y que “definitivamente lo investigaremos”. Google remitió más solicitudes de comentarios a Moonshot. Un portavoz de la ADL dijo que no había nadie disponible debido a la festividad de Pascua.
La historia de la intersección de Beau con Silicon Valley comenzó con la temporada electoral de 2020.
Moonshot y la ADL se unieron el otoño pasado para disuadir a los usuarios de Internet de perseguir conspiraciones y retórica violenta atrayéndolos con un anuncio de contenido que incluía su video. Moonshot logró crear 1.330 interacciones con su público objetivo, interceptando miles de búsquedas en los EE. UU., Incluidas más de 600 personas que pudieron haber visto el clip de Beau después de buscar contenido sobre grupos armados.
El video se centró en cómo los hombres negros armados son tratados con sospecha indebida por las fuerzas del orden y enfatizó la necesidad de que personas de todas las razas trabajen juntas para lograr el cambio, según el informe de la compañía.
Pero en febrero, Moonshot recibió una denuncia anónima, alegando que King, el periodista independiente que interpreta al personaje, había estado involucrado en una retórica violenta de extrema izquierda.
King dijo en una entrevista con The Times que no es antisemita. Se describe a sí mismo como “muy antiautoritario” y dijo que se considera políticamente de izquierda del Partido Demócrata, pero no un extremista. Él ve la anarquía como un ideal, pero no es el tipo de anarquista que “tira piedras a la policía”, dijo.
“Me encantaría una sociedad sin estado en la que todos se llevaran bien”, dijo King, cuyo acento real es menos pronunciado que el de su personalidad Beau.
Pero en una publicación en su sitio web de Quinta Columna, que comenzó a requerir una contraseña el sábado, King escribió en 2017 que es “imperativo que seamos capaces de ejercer la violencia a un nivel mayor que aquellos que buscarían ponernos de nuevo bajo el yugo de tiranía.”
En otro artículo escrito por King, explicó las razones por las que algunos sienten que la violencia contra los agentes del orden está justificada. Aunque King dijo que se ha suavizado con la edad, recientemente cumplió 40 años, el mismo apodo de Beau hace referencia a su ideología: una quinta columna es un agente doble que busca sabotear a un grupo o país desde adentro.
En 2007, las autoridades federales lo acusaron a él y a tres co-conspiradores rusos en un plan que trajo en su mayoría mujeres jóvenes de Europa del Este a la península de Florida ilegalmente para trabajar como empleadas domésticas en centros turísticos locales. King fue sentenciado a 41 meses de prisión, y él y sus cómplices recibieron la orden de confiscar colectivamente $ 1 millón en activos. Es, dijo, un período de su vida que ha dado forma a sus puntos de vista sobre el sistema de justicia penal y la inmigración.
Investigadores del Instituto de Investigación de Contagio de la Red de la Universidad de Rutgers encontraron su trabajo en varios sitios que clasifican como desinformación, incluido Mint Press News, que según el instituto promueve teorías de conspiración antijudías y que también publica una copia de Russia Today y Sputnik, el ruso. agencia de noticias estatal. King dijo que su contenido tenía una licencia que permitía a casi cualquier persona ejecutarlo sin su consentimiento.
King dijo que, si bien habría dado su aprobación con una advertencia anticipada, el experimento Moonshot se llevó a cabo sin su consentimiento y le preocupaba saber que los extremistas potenciales podrían haber sido dirigidos en su dirección.
“Podría haber impactos negativos para mí si me mostraran la cara a un grupo de personas que pensaban que podría ser violento”, dijo. “Me gustaría estar al tanto de eso”.
Algunos advierten que la dependencia de las empresas de tecnología de contratistas externos como Moonshot para resolver su problema de radicalización desvía el escrutinio de sus algoritmos no regulados.
“Es una curita, pero no culpo a Moonshot por eso”, dijo Mia Bloom, una experta en extremismo que ha trabajado con la ADL. “Una mejor respuesta sería que las empresas de tecnología asuman la responsabilidad y no tengan … estos perniciosos algoritmos”.
Moonshot dijo que la compañía ha sido sincera sobre cómo su campaña para la ADL se enredó con Beau de la Quinta Columna, y agregó que el incidente de Beau fue un error y expuso una falla en su proceso de investigación.
Pero Moonshot no descarta volver a usar King. Ross Frenett, cofundador de Moonshot, dijo que depender de extremistas anteriormente encarcelados o reformados ha sido durante mucho tiempo una práctica estándar en la desprogramación. Se ha utilizado con cierto éxito para desviar a posibles terroristas.
“Nos sentimos cómodos trabajando con personas que tienen una historia accidentada”, dijo. “Pero nos gusta saberlo. En este caso, nuestros sistemas perdieron algunos de esos elementos de su pasado. Destacó una brecha en nuestros sistemas “.
Alex Goldenberg, el principal analista de inteligencia del Network Contagion Research Institute, dijo que si bien la decisión inicial de incluir el contenido de King podría verse como un error, encuentra la respuesta de Moonshot preocupante e indicativa de un problema mayor.
“Todo este experimento es una extensión de la misma falta de transparencia que están demostrando muchas de las propias plataformas de redes sociales”, dijo.