Tecnología

NVIDIA NeRF le permite crear impresionantes animaciones 3D a partir de imágenes

El software NVIDIA Instant NeRF aprovecha la IA y los campos de radiación neuronal (NeRF) para aproximarse al comportamiento de la luz en el mundo real, lo que permite a los usuarios reconstruir una escena 3D a partir de un puñado de imágenes tomadas desde diferentes ángulos.

NeRF es un tipo de modelo de aprendizaje profundo que se puede entrenar para representar la forma y apariencia 3D de un objeto a partir de un conjunto de imágenes. Lo hace aprendiendo una función que mapea desde un punto 3D a un valor de color. Esta función se puede usar para representar el objeto desde cualquier punto de vista, incluso si el objeto no se vio desde ese punto de vista en los datos de entrenamiento.

En tan solo una hora, puede compilar el código base, preparar sus imágenes y entrenar su primer NeRF. A diferencia de otras implementaciones de NeRF, Instant NeRF solo toma unos minutos para entrenar una imagen de gran apariencia.

Jonathan, del canal de YouTube EveryPoint, ha lanzado un excelente video práctico para guiarlo a través de los entresijos de cómo hacer su primer NeRF.

Si bien el proceso de creación de la escena no es demasiado difícil, hay una serie de requisitos previos que se requieren, y Jonathan lo guía a través de los pasos para comenzar. Finalmente, se pone en práctica la teoría con una demostración de cómo se puede crear una animación a partir de la escena 3D, generada a partir de imágenes.

Compilando la base de código

El código base es fácil de compilar para programadores experimentados y científicos de datos. Los principiantes pueden seguir fácilmente las instrucciones detalladas proporcionadas en la bifurcación de bycloudai desde el repositorio principal de GitHub.

Aquí hay algunos consejos adicionales que ayudaron con el proceso de instalación:

Reinstalar Estudio visual 2019.
Reinstalar Kit de herramientas CUDA con la última versión.
Instalar Pitón 3.9. Si eres nuevo en Python, esta no es la última versión.
Usar CMake 3.22 y asegúrese de que Pitón 3.9 se utiliza para compilar el código base.

Captura de imágenes para Instant NeRF

La canalización acepta entradas de fotos y videos para la generación instantánea de NeRF. El primer paso en la tubería de generación Instant NeRF utiliza COLMAPA para determinar las posiciones de la cámara.

Debido a este hecho, debe seguir los principios básicos de la fotogrametría con respecto a las imágenes superpuestas y nítidas. El video muestra imágenes de ejemplo de una captura ideal.

Fotos con leyendas: evite los cambios de iluminación, use un cardán para garantizar la nitidez y tome 50-150 imágenes superpuestas. — *Figura 1. Algunos consejos sobre imágenes de entrada para mejorar la calidad de la salida NeRF*

Lanzamiento de la GUI y entrenamiento de su primer NeRF

Cuando las posiciones de las imágenes estén preparadas para su primer Instant NeRF, inicie la interfaz gráfica de usuario a través de Anaconda utilizando el archivo Testbed.exe incluido compilado a partir del código base. El NeRF comienza automáticamente a entrenar a su NeRF.

Encontrará que la mayor parte de la calidad visual se gana en los primeros 30 segundos; sin embargo, su NeRF continuará mejorando durante varios minutos. El gráfico de pérdida en la GUI finalmente se aplana y puede detener el entrenamiento para mejorar la velocidad de fotogramas de su espectador.

Captura de pantalla con una llamada que indica dónde encontrar el gráfico de pérdida plana dentro de la GUI. — *Figura 2. Instantánea de la GUI dentro del software Instant NeRF resalta el gráfico de pérdida aplanado*

La GUI incluye muchas opciones de visualización, incluidos controles sobre la cámara y visualizaciones de depuración. Cubro varias opciones diferentes en la GUI en el video de demostración práctica.

Consejo: guarde las indicaciones de la línea de comandos de uso común en el Bloc de notas para referencia futura.

Figura 3: Comparta sus indicaciones de comando más utilizadas en un bloc de notas para facilitar su uso más adelante. — *Figura 3. Indicadores de la línea de comandos dentro del software*

Crear una animación

NVIDIA proporciona un editor de ruta de cámara fácil de usar con la GUI. Para agregar fotogramas clave, navegue por la escena y elija Añadir desde la cámara.

La GUI genera una trayectoria de cámara con curvas de Bézier.

Para obtener una vista previa de su animación, seleccione Leer. Cuando esté satisfecho con la animación, guarde la ruta de su cámara y reproduzca un video de calidad total con el script de procesamiento en su carpeta de scripts.

Captura de pantalla de las imágenes estáticas renderizadas en una escena 3D. — *Figura 4. Instant NeRF convierte las imágenes estáticas en una escena 3D*

Conclusión

Con cualquier tecnología nueva como esta, se necesitará mucho ensayo y error para obtener los resultados correctos, pero los NeRF instantáneos de NVIDIA tienen un gran potencial.

La velocidad a la que puede producir resultados significa que puede iterar rápidamente lo que funciona para la captura de imágenes. Este tutorial de EveryPoint es fantástico y realmente ayudará a los nuevos en el campo a ponerse al día rápidamente.

Ahora que sabe cómo crear un NeRF instantáneo, vea este nuevo tutorial sobre cómo recortar el fondo:

Con un entorno 3D creado, Jonathan de EveryPoint lo llevó al siguiente nivel y decidió ponerlo a prueba usando el Meta Quest Pro Auriculares VR (1.729,99 dólares australianos).