Las paredes LED se han convertido en una parte importante del diseño de escenarios en muchas aplicaciones en la industria de medios y entretenimiento, pero las paredes LED también se utilizan cada vez más para fondos virtuales y aplicaciones similares. Sin embargo, en combinación con las cámaras existen varios desafíos que a menudo dificultan la obtención de un resultado óptimo. Un problema fundamental es que tanto las paredes LED como los sensores de imagen de las cámaras utilizan estructuras de píxeles discretas, lo que en determinados casos puede provocar interferencias entre esas dos estructuras, por lo que, dependiendo de la aplicación, deben evitarse determinadas posiciones de cámara y ajustes de imagen, lo que a su vez puede provocar limitaciones no deseadas en la composición de la imagen. Existen formas limitadas de minimizar esta posible interferencia con una pared LED determinada, pero en lo que respecta a la cámara, hay algunas formas de obtener el mejor resultado posible mediante un prefiltrado óptico optimizado. Sin embargo, la magnitud del problema depende en gran medida de la tecnología de cámara utilizada. Las cámaras que tienen la misma resolución para los tres colores ofrecen muchas más posibilidades de realizar el mejor prefiltrado óptico posible según las circunstancias.
Además, las nuevas aplicaciones, especialmente en VR y AR, en las que la pared LED funciona a una frecuencia de imagen mayor, plantean retos completamente nuevos para la tecnología de captura de imágenes. Para estos retos, es de vital importancia que los sensores de imagen de la cámara tengan un obturador global, ya que es la única forma de exponer y leer simultáneamente todos los elementos de la imagen en un corto tiempo de exposición. Además, existen posibilidades, especialmente en el lado de la cámara, para crear una integración más fluida y sencilla de las cámaras en el entorno de producción, por ejemplo, mediante nuevas funcionalidades como la implementación de un circuito de retardo entre los sensores de imagen y el procesamiento de señales para cambiar el momento de exposición.
Introducción
En el diseño de escenarios de producciones televisivas se utilizan desde hace muchos años pantallas de distintos tipos. Inicialmente se utilizaban tubos de rayos catódicos (CRT), que han sido sustituidos por pantallas de plasma y LCD o proyecciones basadas en LCD. También hubo desafíos para la tecnología de las cámaras al utilizar pantallas CRT, en particular la sincronicidad de las señales del monitor y las cámaras. A menudo se producían artefactos, sobre todo al capturar varios monitores con fuentes no sincronizadas o monitores con una velocidad de cuadros diferente a la de las cámaras. Algunos monitores de plasma utilizaban una velocidad de cuadros independiente de la fuente de señal, lo que provocaba patrones de interferencia muy similares a los de los monitores CRT con velocidades de cuadros diferentes a las de la cámara. Al capturar monitores basados en LCD, en general había bastante menos problemas debido a artefactos en la reproducción de la imagen. Sin embargo, hoy en día se utilizan casi exclusivamente pantallas LED (Fig. 1) cuando se necesita un fondo virtual en una escena. Esto crea varios desafíos en combinación con las cámaras que a menudo dificultan lograr un resultado óptimo.
Paredes LED
Un problema fundamental es que tanto las paredes LED (Fig. 2) como los sensores de imagen de las cámaras (Fig. 3) usan estructuras de píxeles discretas, lo que en determinados casos puede provocar interferencias entre ambas estructuras, de modo que, dependiendo de la aplicación, deben evitarse determinadas posiciones de cámara y ajustes de imagen, lo que a su vez puede provocar limitaciones no deseadas en la composición de la imagen.
imágenes de una cámara.
Existe una amplia gama de paredes LED para una gran variedad de requisitos y para la mayoría de las aplicaciones debería haber una o más versiones que permitan un resultado de imagen óptimo. En principio, siempre son preferibles las paredes LED con menor “pixel pitch” (distancia entre píxeles), pero también debe considerarse el factor de relleno (Fig. 4), ya que uno mayor siempre ofrece mejores resultados. Sin embargo, un “pixel pitch” menor con el mismo tamaño de pared también implica una mayor resolución, lo que a su vez requiere un mayor esfuerzo por parte de los procesadores de imagen. Por lo tanto, no siempre es posible elegir una pared LED libre de restricciones, debido a la disponibilidad del tamaño requerido, o mucho más trivialmente, debido a los costos. Con cualquier pared LED, existen formas limitadas de minimizar esta posible interferencia. Sin embargo, en el lado de la cámara, hay algunas formas de conseguir el mejor resultado posible mediante un prefiltrado óptico optimizado.
La magnitud del problema de interferencia depende en gran medida de la tecnología de cámara usada. Las cámaras que tienen la misma resolución para los tres colores ofrecen muchas más opciones para lograr el mejor prefiltrado óptico posible para cada situación que las cámaras con un solo sensor de imagen con una matriz de filtros de color.
Sensores de imagen de la cámara
Actualmente, en las cámaras profesionales sólo se utilizan sensores de imagen CMOS. Las versiones anteriores solían tener un obturador “rolling shutter”, pero la mayoría de los sensores actuales tienen un obturador “global shutter”. Con el “global shutter”, todos los píxeles se leen y resetean siempre simultáneamente en todos los modos de funcionamiento, mientras que con el rolling shutter, cada píxel tiene un momento de exposición diferente en el tiempo. En la mayoría de las aplicaciones, también en la captura de paredes LED, no hay gran diferencia entre las dos versiones de obturador. Sin embargo, hay que tener en cuenta que hay ciertas aplicaciones que sólo funcionan con un obturador global. Se trata, por ejemplo, de todas las aplicaciones en las que la pared de LED opera con una velocidad de cuadros mayor y en la cámara se utiliza una exposición de corta duración para capturar una imagen de la pared LED en un momento determinado. Por un lado, el aumento del número de píxeles en los sensores de la cámara debido a los nuevos formatos de vídeo lleva a un aumento de la resolución de la imagen, pero también aumentan las situaciones en las que las estructuras de píxeles de los sensores de la cámara y las paredes LED interfieren entre sí. Sin embargo, hay que tener en cuenta algunos puntos que influyen en estos problemas. Esto incluye medidas específicas en el lado de la cámara para minimizar las interferencias, pero también aspectos que repercuten en la calidad de la imagen debido a las condiciones físicas.
Resolución/Nitidez
En un sistema de cámara, varios parámetros influyen en la nitidez de la imagen [1], entre ellos el número de píxeles, el rendimiento MTF de la lente y también el filtrado óptico de paso bajo (Fig. 5). Dado que el número de píxeles está determinado por el formato de vídeo y que el rendimiento MTF de la lente tiene límites prácticos, lo único en lo que se puede influir en el desarrollo de la cámara es en el filtrado óptico de paso bajo.
Según el teorema de Nyquist, para un muestreo sin interferencias no debe haber ninguna señal por encima de la mitad de la frecuencia de muestreo, lo que significa que un filtrado óptico de paso bajo óptimo debería cortar la señal de la imagen con un borde pronunciado justo por debajo de la mitad de la frecuencia de muestreo. Sin embargo, no existe tal filtro óptico “brick-wall” (línea punteada verde en la Fig. 6) y en su lugar se usa un filtro óptico de paso bajo que tiene una respuesta coseno con una atenuación suave en la frecuencia de muestreo (línea punteada azul en la Fig. 6).
Este filtrado ofrece un buen equilibrio entre la nitidez de la imagen y el comportamiento de aliasing de la cámara.
Filtrado optimizado para situaciones críticas de alias
Como ya se ha mencionado, la superposición de las estructuras de píxeles de las paredes LED y los sensores de la cámara puede provocar interferencias, que se aprecian a través del aliasing en la imagen. Estas perturbaciones, que son frecuencias de plegado de baja frecuencia, no pueden filtrarse posteriormente. Por lo tanto, sólo se puede evitar que se produzcan. Para ello, se pueden utilizar filtros ópticos de paso bajo adicionales en la cámara, que suelen tener una ranura a la mitad de la frecuencia de muestreo. Esto reduce significativamente el aliasing, pero la resolución de la imagen se ve afectada. Sin embargo, como la nitidez percibida de la imagen no depende tanto de la reproducción de las frecuencias más altas, sino más bien de la profundidad de modulación de las frecuencias medias, por ejemplo la frecuencia donde MTF es el 50% del valor máximo así como el área bajo la curva MTF [2], que no cambia demasiado debido al filtrado adicional, las pérdidas son aceptables para la mayoría de las aplicaciones.
No obstante, la pérdida de resolución es la razón por la que este filtrado óptico de paso bajo adicional no se usa como estándar, sino sólo como opción cuando es necesario. Además, se pueden utilizar filtros con características de atenuación simple o doble, por lo que la relación entre la reducción de alias y la pérdida de nitidez cambia en una dirección u otra.
bajo.
La Figura 7 muestra las características de los distintos filtros ópticos de paso bajo opcionales, pero en ella también se puede ver claramente la reducción en la MTF.
La Figura 8 muestra la MTF total resultante de un sistema de cámara. Se puede ver claramente que las pérdidas son visiblemente menores de lo que cabría esperar si se consideran solo los filtros.
diferentes filtros ópticos de paso bajo.
Sensor de imagen único versus 3
La mayoría de las cámaras de broadcast usan 3 sensores de imagen, con un divisor de color de prisma que divide la luz de la escena en 3 colores (Fig.9).
una cámara de broadcast típica con
3 sensores de imagen.
Estas separaciones de color luego son capturadas por 3 sensores de imagen idénticos de ancho de banda completo. Así, la frecuencia de barrido es idéntica para los 3 colores y el prefiltrado óptico óptimo que debe realizarse delante de los sensores es idéntico para todos los colores.
Esto es diferente en una cámara de un solo sensor de imagen con un filtro de mosaico de color aplicado al sensor, normalmente basado en el principio del patrón Bayer, en el que cada segundo píxel tiene un filtro verde y cada cuarto píxel tiene un filtro azul o un filtro rojo (Fig. 10).
imagen.
Como resultado, los distintos colores tienen una frecuencia de muestreo diferente y, por tanto, no es posible un filtrado óptico de paso bajo óptimo para todos los colores al mismo tiempo.
En la práctica, la señal verde se filtra óptimamente y los otros dos colores tienen un filtrado más pobre, lo que también se refleja claramente en las perturbaciones correspondientes en la imagen (Fig. 11).
sensores.
NUEVAS APLICACIONES
VR (Realidad virtual)/AR (Realidad aumentada)
En los ámbitos de VR y AR, en particular, hay aplicaciones en las que la pared de LED opera con una mayor velocidad de cuadros, lo que plantea retos completamente nuevos para la tecnología de cámaras. La cámara opera con una exposición de corta duración, que se coordina con el tiempo de exposición de una sola imagen reproducida por la pared de LED. Para estas aplicaciones, es de vital importancia que los sensores de imagen de la cámara dispongan de un obturador global, ya que sólo así se pueden exponer y leer simultáneamente todos los elementos de la imagen en un tiempo de exposición corto. Además, existen posibilidades, especialmente en el lado de la cámara, de crear una integración más fluida y sencilla de las cámaras en el entorno de producción. Para ello se necesita una solución que permita cambiar continuamente el tiempo de exposición.
Obturador electrónico
Un obturador electrónico sirve para reducir el tiempo de exposición de una cámara. El obturador electrónico borra en un momento determinado la carga acumulada en los fotodiodos, iniciando así una nueva exposición. De este modo, sólo se utiliza la cantidad de carga que se acumula entre el momento de la eliminación y el momento de la lectura (Fig. 12).
exposición.
Cómo seleccionar la imagen
Sin embargo, el momento de la exposición no puede seleccionarse libremente en comparación con la sincronización de estudio, sino que siempre es el periodo inmediatamente anterior al tiempo de lectura del sensor de la cámara. Por supuesto, la señal de sincronización de la cámara puede desplazarse de tal forma que el momento de la exposición tenga lugar exactamente cuando se necesita. Sin embargo, eso significa que se necesitaría una señal de sincronización diferente para cada cámara que requiriera un momento de exposición diferente. Y es más, la señal de salida de la cámara ya no está sincronizada con la sincronización del estudio y entonces habría que retrasarla de nuevo hasta que esté sincronizada con el resto de las señales. Sin embargo, si en cada cámara se integra un circuito que permita establecer un retardo libremente seleccionable de hasta un fotograma entre la salida del sensor y el procesamiento de la señal, como se muestra en el circuito denominado V-shift de la Figura 13, el momento de exposición de cada cámara se puede seleccionar libremente sin ningún problema.
imagen y el procesamiento de la señal.
La Figura 14 muestra un ejemplo de una situación en la que la pared LED opera con cuatro veces la frecuencia de la imagen y la cámara sólo debe capturar la tercera imagen. Para ello, el obturador electrónico se ajusta a un valor inferior o igual a 1/200 segundos (a 50 Hz) o a 1/240 segundos (a 59,94 Hz) y luego se cambia el ajuste V-Shift hasta que el momento de exposición de los sensores de la cámara esté exactamente sincronizado con la imagen deseada en la pared de LED. En comparación cambiar las señales de sincronización de la cámara, esta solución es mucho más fácil de usar, mucho más flexible y ahorra tiempo. Cómo capturar varias imágenes Además del requisito de capturar una sola imagen de una pared LED operada con una velocidad de cuadros más alta, también existen aplicaciones en las que se requieren todas las imágenes. Para ello, la cámara debe operar con la misma velocidad de cuadros que la pared LED y, además, el momento de exposición debe seguir desplazado.
imagen.
Para reducir la diafonía entre dos imágenes, puede ser útil reducir ligeramente el tiempo de exposición con ayuda del obturador electrónico. La sensibilidad de los sensores de la cámara disminuye en proporción directa al tiempo de exposición y, debido a que en estas aplicaciones el tiempo de exposición se reduce considerablemente, los requisitos de sensibilidad lumínica de los sensores de imagen son muy altos. Sin embargo, aún más problemática es la solución usada a menudo con las cámaras UHD operando a alta velocidad para leer sólo una pequeña porción de los píxeles UHD. En ese caso, sólo se lee cada segundo píxel en el plano horizontal y cada segunda línea (Fig. 15). De los 3840×2160 píxeles de los sensores UHD, se leen 1920×1080 o Full HD, pero esto da lugar a grandes zonas insensibles a la luz entre los píxeles leídos, lo que no ofrece resultados aceptables en aplicaciones con paredes LED, especialmente debido a la interferencia de alias.
en HD de alta velocidad.
Sin embargo, la posibilidad de leer todos los elementos de imagen activos de los sensores con la frecuencia de repetición de fotogramas requerida, como por ejemplo 3x (150/180) o 6x (300/360) fotogramas, ofrecerá la mejor solución posible. Incluso con estas soluciones, sólo las cámaras con tres sensores de imagen ofrecerán los mejores resultados posibles. La última generación de sensores UHD CMOS de 2/3” ya permite trabajar con una velocidad de cuadros hasta 6 veces mayor, incluso en combinación con el obturador global [4/5]. Sin embargo, los retos para los sensores de imagen y el posterior procesamiento de la señal son muy altos: el requisito de ancho de banda aumenta en la misma medida que la frecuencia de actualización (es decir, a 6 veces la velocidad), se requiere un ancho de banda 6 veces mayor, y con tres sensores UHD de 16 bits hay señales con más de 300 Gbps para procesar.
3x (4224 x 2248 píxeles) x 16 bits x 359,64 fotogramas x muestreo de 2 veces (para CDS) = 327,84 Gbps
La conversión de las señales UHD nativas de los sensores en señales 1080p para el procesamiento de señales ofrece una calidad de imagen óptima en 6x 1080p gracias al sobremuestreo por parte de los sensores y, por tanto, representa una solución óptima para muchas aplicaciones.
Conclusiones
Como indica el título del artículo “Cámaras y paredes LED: una relación desafiante”, el uso de cámaras junto con paredes LED conlleva algunos desafíos especiales. Pero, como suele ocurrir, existen soluciones para lograr el mejor resultado posible a pesar de los retos. Estas soluciones incluyen desde filtros ópticos de paso bajo adicionales en la cámara optimizados para aplicaciones LED, pasando por circuitos de retardo adicionales en el procesamiento de la señal de la cámara para determinar libremente el tiempo de exposición, hasta cámaras de alta velocidad con tres sensores de imagen de 2/3” que pueden funcionar de forma nativa con escaneado de píxeles UHD en la frecuencia de imagen requerida.
.
.
Referencias
[1] K. Weber, Dr. Ir. P. Centen “4K, HDR and Further Image Enhancements for Live Image Acquisition” presentado en la Exposición y Conferencia Técnica Anual SMPTE 2015, Hollywood, CA, Oct. 2015.
[2] Imatest, Documentation – v23.1 “Sharpness: What is it and How it is Measured”, www.imatest.com/support/docs/32-1/sharpness/
[3] Dr. Ir. P. Centen “Pixel size and the effect on performance in 2K, 4K, 8K acquisition” presentado en la Exposición y Conferencia SMPTE 2017, Sydney, Australia, Jul. 2017.
[4] K. Weber, J. Rotte “New Generation 2/3“, 9.5 Mpix CMOS Imager Combines Charge-domain Global Shutter Operation with Exceptional High-speed Capability” presentado en la Exposición y Conferencia Técnica anual SMPTE 2021, Virtual, Nov. 2021.
[5] K. Weber, J. Rotte, “A 2/3-in. 9.5-Mpixel CMOS Imager With High Frame Rate and HDR Capabilities” SMPTE Mot. Imag. J., Vol: 130 (Número: 5), Jun. 2021.
