Por Miguel Churruca, Director de Marketing y Comunicación de Brainstorm
La tecnología XR, entendida como la utilización de contenidos virtuales mostrados sobre video walls LED de gran tamaño, es tendencia mundial, popularizada sobre todo tras el éxito de series como “The Mandalorian”. No obstante, la tecnología XR van más allá de estas aplicaciones, que, sin dejar de ser útiles y espectaculares, no aprovechan todas las posibilidades que nos ofrece esta tecnología.
Siendo una forma de realidad virtual (VR), la realidad extendida (XR) se puede definir como la combinación de elementos o entornos reales y virtuales. Entre la realidad tal cual la capta la cámara y las imágenes totalmente sintéticas hay una variedad de combinaciones de contenidos reales y virtuales que conforman la “realidad extendida” (XR) o “realidad mixta”. Por ello, contenidos como los sets virtuales 3D, la realidad aumentada (AR), o incluso la realidad inmersiva mixta (IMR) entran en el concepto de XR. Y en esencia podemos considerar que las escenas renderizadas que se muestran en grandes videowalls LED son básicamente un set virtual, solo que se muestra en una gran pantalla en directo en lugar de ser compuestos mediante técnicas de chroma key para ser vistos en una pantalla diferente.
Por ello, en muchas ocasiones el tamaño de los LEDs donde se visualiza el fondo virtual es relativamente pequeño, con lo que tenemos que recurrir a la técnica del “Set Extension” para solucionar esto. Esta técnica se basa en generar un render adicional fuera del área del videowall, y componerlo junto a éste en la salida de programa. Claro que, como los espacios de color del LED y del render son diferente, tendremos que igualarlos también en tiempo real, utilizando LUTs 3D u otras herramientas.
La producción XR basada en LEDs supone que la escena capturada por cámara es ya la composición final, y es necesario contar con tracking de cámara para ajustar los movimientos del fondo -renderizado en tiempo real- con los de la cámara, para que el resultado sea correcto en movimiento y perspectiva. Al generar el contenido de esta manera obviamos la necesidad de incrustar por chroma key, haciendo integración de los personajes sea fácil e inmediata. Además, los LEDs son emisores de luz, con lo que contribuyen a la iluminación de la escena y permiten reflejos y refracciones realistas.
Por ello, la calidad de render tanto de la escena como de los elementos adicionales que se incluyan es esencial para que el resultado sea indistinguible de la realidad. Para ello contamos con la calidad que los motores de juegos como Unreal Engine aportan a la creación de contenidos en tiempo real, así como otras técnicas como PBR o ray tracing.
Para eventos en directo o rodajes el XR basado en LEDs supone a priori una mejora sobre los sets de chroma, pues el hecho de no necesitar chroma key para incrustar los personajes en la escena es de gran utilidad en series y cine, así como otras aplicaciones de televisión. Cuando mostramos contenido virtual en LEDs en un evento en vivo, la audiencia puede ver el resultado inmediatamente y en directo, sin tener que recurrir a pantallas adicionales o streaming, salvo si tenemos que usar el set extension.
No obstante, y a pesar de estas ventajas, la producción XR basada en LEDs no es necesariamente la solución perfecta para cualquier aplicación de realidad virtual, y en algunos casos muestra significativas desventajas sobre la producción en chroma. En la práctica se deben considerar la producción en su conjunto a la hora de decidir qué método es más apropiado para el contenido que queremos producir en cada momento, sea LEDs o escenarios de chroma, pues técnicamente podemos utilizar ambos métodos para nuestras producciones virtuales.
Ya que podemos generar contenido XR utilizando tanto LEDs como sets de chroma, también podemos combinar ambas técnicas para sacar el mayor partido a la producción virtual, incluyendo elementos AR detrás o delante de los personajes, o incluso teletransportar personajes desde localizaciones remotas para figurar en la escena. Esto se puede hacer de varias maneras, bien incluyendo los objetos AR en el render que se muestra en los LEDs, o bien incluyendo un postproceso adicional para renderizarlos por delante de la escena ya capturada, en el que deberemos tener en cuenta los diferentes retardos consecuencia de la producción. En cualquier caso, la utilización de tracking de cámara es indispensable para generar tanto la escena de fondo como los objetos AR con la perspectiva correcta y ajustados a los parámetros de cámara y su movimiento.
En resumen, producir contenidos XR es mucho más que simplemente colocar fondos de vídeo en un LED, que de por sí no es poco, y en combinación con otras técnicas como el chroma y la inserción de AR nos proporciona enormes posibilidades para la generación de contenidos en cine, series, televisión, entretenimiento o incluso eventos en directo.
Por todo ello, y en base a la experiencia de casi 30 años en la producción virtual en tiempo real, Brainstorm ha lanzado un documento explicativo para clarificar conceptos sobre la tecnología XR, sus aplicaciones, flujos de trabajo, ventajas y desventajas, que se puede descargar libremente: https://xrguide.brainstorm3d.com.
