Paul Bednyakov | imágenes falsas
¿Me estás hablando … en alemán?
La nueva tecnología deepfake permite a Robert De Niro ofrecer su famosa línea desde Conductor de taxien un alemán impecable, con movimientos de labios y expresiones faciales realistas. El software de inteligencia artificial manipula los labios y las expresiones faciales de un actor para que coincidan de manera convincente con el habla de alguien que habla las mismas líneas en un idioma diferente. La tecnología basada en inteligencia artificial podría remodelar la industria del cine, tanto de formas atractivas como preocupantes.
La tecnología está relacionada con el deepfaking, que utiliza IA para pegar la cara de una persona a otra. Promete permitir a los directores volver a filmar películas en diferentes idiomas, haciendo que las versiones extranjeras sean menos discordantes para el público y más fieles al original. Pero el poder de alterar automáticamente la cara de un actor con tanta facilidad también podría resultar controvertido si no se usa con cuidado.
La tecnología de doblaje de IA fue desarrollada por Flawless, una compañía británica cofundada por el director Scott Mann, quien dice que se cansó de ver doblajes extranjeros deficientes en sus películas.
Después de ver una versión extranjera de su película más reciente, Robo, protagonizada por De Niro, Mann dice que estaba consternado por cómo el doblaje arruinó escenas cuidadosamente elaboradas. (Se niega a especificar el idioma). El doblaje a veces implica cambiar significativamente el diálogo, dice Mann, en un esfuerzo por hacer que coincida más con los movimientos de los labios de un actor. “Recuerdo estar devastado”, dice. “Haces un pequeño cambio en una palabra o una actuación, puede tener un gran cambio en un personaje en el ritmo de la historia y, a su vez, en la película”.
Mann comenzó a investigar trabajos académicos relacionados con deepfakes, lo que lo llevó a un proyecto de doblaje de IA dirigido por Christian Theobalt, profesor del Instituto Max Planck de Informática en Alemania. El trabajo es más sofisticado que un deepfake convencional. Implica capturar las expresiones faciales y los movimientos de un actor en una escena, así como de alguien que habla las mismas líneas en otro idioma. Luego, esta información se combina para crear un modelo 3D que fusiona la cara y la cabeza del actor con los movimientos de los labios del doblador. Finalmente, el resultado se cose digitalmente en el actor en una escena.
Flawless se inspiró en el proyecto de Theobalt para su producto. Mann dice que la compañía está en conversaciones con los estudios sobre la creación de versiones extranjeras de varias películas. Otros clips de demostración de Flawless muestran a Jack Nicholson y Tom Cruise entregando líneas famosas de Unos pocos hombres buenos en francés y Tom Hanks hablando español y japonés en escenas de Forrest Gump.
“Va a ser invisible muy pronto”, dice Mann. “La gente verá algo y no se dará cuenta de que se rodó originalmente en francés o lo que sea”.
Mann dice que Flawless también está estudiando cómo su tecnología podría ayudar a los estudios a evitar costosas re-filmaciones al hacer que un actor parezca decir nuevas líneas. Pero dice que algunos actores se inquietan un poco cuando se ven manipulados mediante IA. “Hay miedo y sorpresa, son las dos reacciones que sigo teniendo”, dice.
Virginia Gardner, actriz que protagoniza la última película de Mann y se ha visto a sí misma hablando español gracias al software Flawless, no parece demasiado preocupada, aunque asume que las películas modificadas con IA incluirían un descargo de responsabilidad. “Creo que esta es la mejor manera de poder, como actor, preservar su interpretación” en otro idioma, dice. “Si confías en tu director y confías en que este proceso solo hará que una película sea mejor, entonces realmente no veo ningún inconveniente”.
La manipulación de video con IA es controvertida, y por una buena razón. Los programas deepfake gratuitos que pueden cambiar sin problemas la cara de una persona por la de otra en una escena de video han proliferado con los avances en IA. El software identifica puntos clave en el rostro de una persona y utiliza el aprendizaje automático para capturar cómo se mueve el rostro de esa persona.
La tecnología se ha utilizado para crear pornografía de celebridades falsa y clips de pornografía de venganza dañinos dirigidos a mujeres. A los expertos les preocupa que los deepfakes que muestran a una persona famosa en una situación comprometedora puedan difundir información errónea y influir en las elecciones.
La manipulación facial estándar puede resultar controvertida en la industria del cine. Darryl Marks, fundador de Adapt Entertainment, una empresa en Tel Aviv que está trabajando en otra herramienta de doblaje de IA, dice que no está seguro de cómo reaccionarían algunos actores al ver alterada su actuación, especialmente si no está claro que se haya hecho. por una computadora. “Si hay un actor muy famoso, es posible que lo bloqueen”, dice.
“Hay usos legítimos y éticos de esta tecnología”, dice Duncan Crabtree-Ireland, consejero general del Screen Actors Guild. “Pero cualquier uso de dicha tecnología debe hacerse sólo con el consentimiento de los artistas involucrados y con una compensación adecuada y apropiada”.
Hao Li, un artista de efectos visuales que se especializa en el uso de inteligencia artificial para la manipulación facial, dice que los directores y productores de películas muestran un creciente interés en las falsificaciones profundas y la tecnología de inteligencia artificial relacionada. Crear un deepfake normalmente requiere horas de procesamiento algorítmico, pero Li está trabajando en una película en la que un software de deepfake más avanzado le permite al director ver a un actor transformado en tiempo real.
Li dice que la situación se siente similar a cuando el uso de gráficos de computadora fotorrealistas estuvo ampliamente disponible en la década de 2000. Ahora, gracias a la IA, “de repente todo el mundo quiere hacer algo”, dice.
Esta historia apareció originalmente en wired.com.