fbpx

iVisual

Deep Fakes: Parte 1 – Una perspectiva creativa – VFX Voice MagazineVFX Voice Magazine

Tabla de contenidos

Deep Fakes: Parte 1 – Una perspectiva creativa

Por IAN FAILES

Los nuevos videos de intercambio de rostros ‘profundamente falsos’ parecen volverse virales en Internet con una regularidad cada vez mayor. Quizás eso se deba a que los artistas y los algoritmos de aprendizaje automático que utilizan para las falsificaciones profundas son cada vez mejores en ellos. Muchos se han preguntado, por lo tanto, si las falsificaciones profundas pronto dejarán su huella, o ya lo están haciendo, en el entretenimiento filmado tradicional.

Para mirar en el estado de falsificaciones profundas, VFX Voice está lanzando una serie especial para explorar este arte y tecnología emergentes. En la parte 1, los expertos de la investigación, el videoarte y los efectos visuales opinan sobre cómo funcionan las falsificaciones profundas y cómo están afectando el entretenimiento filmado en este momento.

¿Quién está haciendo grandes falsificaciones y cómo?

Las falsificaciones profundas que tiende a ver en los videos en línea, donde la cara de una persona que habla generalmente se reemplaza por la de otra persona (a menudo famosa), se basan en algoritmos de aprendizaje profundo y datos de entrenamiento. Estos datos suelen ser imágenes de video o fotografías de la otra persona utilizadas para crear un modelo convincente para el intercambio de rostros.

Un destacado investigador en el campo es Hao Li, director ejecutivo y cofundador de Pinscreen, un fabricante de aplicaciones de avatar en 3D que generalmente se basan en técnicas de aprendizaje automático. Los principales productos de Pinscreen se centran en la creación de asistentes virtuales fotorrealistas y avatares virtuales de alta gama, pero también ofrecen reemplazo facial de IA a nivel de producción para la producción de películas.

“Nuestra última tecnología”, afirma Li, “es el renderizador de caras neuronales PaGAN 2, que está integrado en Unreal Engine y permite convertir cualquier cara CG en una fotorrealista, utilizando una red neuronal profunda en tiempo real que se entrena utilizando un unos minutos de la actuación facial de una persona «.

Li es un observador cercano de la comunidad de deep fake y se maravilla del impresionante trabajo realizado por investigadores y artistas de deep fake. Una de esas personas que Li señala específicamente es el artista conocido como ‘ctrl shift face’, cuyos videos falsos profundos de YouTube regularmente alcanzan los millones de visitas.

Hao Li, director ejecutivo y cofundador de Pinscreen

“Hasta hace un año, las falsificaciones profundas todavía sufrían de extraños artefactos de imagen, resultados borrosos, salida de baja resolución y parpadeo alrededor de la iluminación. [But now] ya es posible generar falsificaciones profundas casi perfectas en la mayoría de las condiciones y cuando hay suficientes datos de entrenamiento disponibles y de alta calidad «.

—Hao Li, director ejecutivo y cofundador de Pinscreen

Una vista previa de un trabajo falso profundo próximo por ctrl shift face. (Imagen cortesía de ctrl shift face)

“El principal impacto de las falsificaciones profundas será la capacidad de los cineastas de no verse limitados por la trama debido al costo extremo de utilizar actores digitales. Ahora tienen una herramienta en la que pueden encontrar un doble y usan el reemplazo facial de IA para convertir a su actor en cualquier persona que deseen a un costo muy bajo, o hacer que la persona sea más joven «.

—Hao Li, director ejecutivo y cofundador de Pinscreen

Ctrl cambia el viaje de la cara a falsas profundas, en relación con VFX Voice, comenzó como algo que era solo por diversión. Al comenzar, ctrl shift face dice “apenas había material a seguir en ese momento y la mayoría de las falsificaciones profundas no parecían tan convincentes. Así que experimenté mucho y, a través de prueba y error, encontré la manera de obtener los resultados que quería. El software aún está mejorando, por lo que todavía estoy tratando de mejorar con él «.

Algunas de las falsificaciones profundas más populares realizadas por ctrl shift face incluyen actores que hacen impresiones de otros actores, con sus caras intercambiadas. Aquellos, en particular, tienen un nivel adicional de atractivo ya que la voz ya está a medio camino. “Hago videos que quiero ver y me hago reír”, aconseja ctrl shift face, en relación con las opciones de proyectos de video falsos profundos. «Algunas ideas fallan porque la tecnología aún no está disponible, pero la mayoría de las veces fallan debido a las políticas y los derechos de autor de YouTube».

También basándose en la idea de que las impresiones son un punto de partida útil para un video falso profundo, está el estudio de efectos visuales Framestore, que recientemente hizo una demostración falsa para el festival de creatividad virtual Cannes LIONS Live. Aquí, el estudio filmó al comediante e impresionista Lewis Macleod interpretando a Boris Johnson y luego a Donald Trump, antes de intercambiar la cara del actor con las caras de esos políticos.

“Básicamente”, explica Mike McGee, director creativo de Framestore, “entrenamos una red neuronal con decenas de miles de imágenes de Boris y Donald. La red descompone los datos de un conjunto complejo de píxeles en una versión simple de información central y una red que nos permite reconstruir versiones fotográficas de nuestros protagonistas.

“Para nosotros”, continúa McGee, “la información central que queremos en un estado simplificado son los datos de posición y movimiento. Una vez que se separa de la complicada construcción de píxeles que componen el parecido, nos resulta fácil ajustarlo. Con un seguimiento de una actuación alternativa, reemplazamos los datos de posición y movimiento y los retroalimentamos a través de la red en la otra dirección, creando así un nuevo conjunto de píxeles y una representación fotográfica de nuestro sujeto, pero ahora con una nueva actuación «.

Mike McGee, director creativo de Framestore

“Para nosotros, la información central que queremos en un estado simplificado son los datos de posición y movimiento. Una vez que se separa de la complicada construcción de píxeles que componen la imagen, nos resulta fácil ajustarlo. Con un seguimiento de una actuación alternativa, reemplazamos los datos de posición y movimiento y los retroalimentamos a través de la red en la otra dirección, creando así un nuevo conjunto de píxeles y una representación fotográfica de nuestro sujeto, pero ahora con una nueva actuación.

—Mike McGee, director creativo de Framestore

El proceso que siguió Framestore para hacer su video falso profundo de Boris Johnson. (Imagen cortesía de Framestore)

Datos de entrenamiento para Boris Johnson de Framestore, deep fake: múltiples fotografías del político desde muchos ángulos. (Imagen cortesía de Framestore)

Boris Johnson, falso y profundo de Framestore. (Imagen cortesía de Framestore)

Qué tan profundas se utilizan las falsificaciones en el entretenimiento filmado

Las falsificaciones profundas parecen estar en todas partes, pero ¿estos videos divertidos de intercambio de caras y la tecnología detrás de ellos realmente se están abriendo camino en el entretenimiento filmado todos los días? ¿Podrían usarse las falsificaciones profundas de manera efectiva para el reemplazo facial, que anteriormente ha sido el dominio de humanos CG fotorrealistas y composición 2D? ¿Y las falsificaciones profundas podrían ayudar a completar el trabajo de los actores fallecidos? En el caso de los estudios de efectos visuales, está claro que muchos están buscando falsificaciones profundas o técnicas de aprendizaje profundo y de máquina relacionadas, pero sigue habiendo dudas sobre su uso para las tomas finales.

«En lo que respecta al uso de falsificaciones profundas en VFX, todavía están en su infancia, pero ofrecen a los creativos una nueva y emocionante gama de posibilidades de narración», destaca el director creativo ejecutivo de Framestore, William Bartlett. “Lo usamos, por ejemplo, en una parte muy pequeña de nuestro trabajo en Pokémon: Detective Pikachu donde la película requería que el personaje de Bill Nighy pareciera más joven en un carrete de noticias ‘viejo’. Requería algunas correcciones, pero las falsificaciones profundas se adaptaban a esta necesidad debido a la naturaleza de lo que finalmente se presentaría en la pantalla «.

Mientras tanto, miembros de un panel reciente de supervisores de efectos visuales que discutieron el tema del envejecimiento digital y el envejecimiento, según lo informado por VFX Voice, señaló que si bien a menudo se les había preguntado sobre las falsificaciones profundas, algunos de los problemas de calidad y los requisitos específicos de las tomas significaban que las falsificaciones profundas aún no se habían utilizado directamente para las tomas finales en las que habían estado involucrados.

Sin embargo, como muchas cosas en los efectos visuales, la tecnología detrás de las falsificaciones profundas cambia constantemente. Li señala, por ejemplo, que «hasta hace un año, las falsificaciones profundas todavía sufrían de extraños artefactos de imagen, resultados borrosos, salida de baja resolución y parpadeo alrededor de la iluminación». Pero ahora, afirma Li, «ya es posible generar falsificaciones profundas casi perfectas en la mayoría de las condiciones y cuando hay suficientes datos de entrenamiento disponibles y de alta calidad».

Lo que los estudios de VFX parecen estar haciendo actualmente es capitalizar los desarrollos en inteligencia artificial y técnicas de aprendizaje profundo / máquina para ayudar en el trabajo de los personajes. Por ejemplo, Weta Digital y Digital Domain implementaron máquinas o elementos de aprendizaje profundo en sus respectivas creaciones de CG Thanos para Vengadores Juego Final. En otro ejemplo, los presentadores en el VFX Oscar de este año para Terminator: destino oscuro mencionó que el director Tim Miller revisaría las iteraciones de los actores generados por computadora y, si sentía que necesitaban trabajo adicional, enviaría muestras falsas profundas para ayudar a continuar con el refinamiento de las tomas. E ILM, que llevó a cabo un extenso trabajo de efectos visuales de envejecimiento para El irlandés, implementó una solución de inteligencia artificial llamada Face Finder que se basó en enormes bibliotecas de imágenes de los actores de la película para comparar sus resultados de envejecimiento.

William Bartlett, director creativo ejecutivo, Framestore

“En lo que respecta al uso de falsificaciones profundas en VFX, todavía están en su infancia, pero, por supuesto, ofrecen a los creativos una nueva y emocionante gama de posibilidades de narración de historias. Lo usamos, por ejemplo, en una parte muy pequeña de nuestro trabajo en Pokémon: Detective Pikachu donde la película requería que el personaje de Bill Nighy pareciera más joven en un carrete de noticias ‘viejo’. Requería algunas correcciones, pero las falsificaciones profundas se adaptaban a esta necesidad debido a la naturaleza de lo que finalmente se presentaría en la pantalla «.

—William Bartlett, director creativo ejecutivo, Framestore

Además del trabajo mencionado en Pokémon: Detective Pikachuy algunas técnicas de aprendizaje automático adicionales que se utilizan para su Endgame Smart Hulk, Framestore también ha estado estudiando cómo la tecnología que se encuentra detrás de las falsificaciones profundas puede extenderse para otros fines. «Continuamos haciendo mucha investigación y desarrollo en inteligencia artificial y aprendizaje automático», agrega McGee, «buscando adaptar e integrar nuevas funcionalidades y formas de trabajar en herramientas existentes como captura facial, captura de rendimiento, animación de criaturas y renderizado rápido. juegos de herramientas «.

El falso Donald Trump de Framestore. (Imagen cortesía de Framestore)

Una versión simplificada del enfoque de Pinscreen para las falsificaciones profundas en tiempo real. (Imagen cortesía de Pinscreen)

El impacto en el talento a sueldo

A medida que los humanos generados por computadora que aparecían en el entretenimiento filmado se hicieron más populares, y más realistas, muchos comentaristas sugirieron que los ‘sintetizadores digitales’ algún día podrían reemplazar a los actores por completo. Por supuesto, esto no ha sucedido, y los actores han informado con regularidad, especialmente a través de la captura corporal y facial, a su yo CG u otros personajes sintéticos.

Pero, ¿podrían ser falsificaciones profundas, en lugar de humanos completamente generados por computadora, lo que significa la sentencia de muerte para los actores, o cambiar significativamente el juego en la industria del talento por contrato?

La opinión de Li es que las falsificaciones profundas bien hechas pueden resultar extremadamente beneficiosas cuando se necesita un actor digital. “El principal impacto de las falsificaciones profundas”, dice, “será la capacidad de los cineastas de no verse limitados por la trama debido al costo extremo de utilizar actores digitales. Ahora tienen una herramienta en la que pueden encontrar un doble y usan el reemplazo facial de IA para convertir a su actor en cualquier persona que deseen a un costo muy bajo, o hacer que la persona sea más joven «.

«Siempre necesitaremos actuaciones de actores, incluso si es para un personaje completamente digital», ofrece Bartlett sobre este tema. “La captura de movimiento y las referencias son invaluables para cualquier equipo de efectos visuales, especialmente los animadores. Las falsificaciones profundas se están sumando al tema de los efectos visuales y los humanos digitales que dejan a los actores sin trabajo, algo por lo que siempre nos preguntan. Pero lo que estamos aplicando es maquillaje digital, no reemplazando el desempeño de nadie. Por lo tanto, por mucho que se necesiten actores e intérpretes ahora, se necesitarán mañana aunque esta tecnología continúe evolucionando «.

McGee está de acuerdo. “Una IA falsa profunda puede ser una herramienta útil para hacer un poco de trabajo pesado en una toma o secuencia sobre la que los equipos de efectos visuales pueden construir. Esto es lo que hicimos en Detective pikachu y funcionó en ese caso debido al resultado final. Pero si tuviéramos que entrar en un proyecto en el que un actor de acrobacias hace una actuación completa y su cara tiene que ser reemplazada, la falsificación profunda no es el camino a seguir. Al menos no todavía.»

Vea la presentación de Framestore y explique su profundo proceso falso al dispararle a un actor y el intercambio de caras de Boris Johnson y Donald Trump sobre él.

Pinscreen también hizo un Donald Trump profundamente falso. Para este video, usó su renderizador facial neural PaGAN para el reemplazo facial.

Vea el video falso profundo más popular de ctrl shift face que muestra el intercambio de rostros entre Bill Hader y Arnold Schwarzenegger.


Comparte esta publicación con





¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)
× ¿Cómo puedo ayudarte?