Lumiere es la nueva IA de Google que transforma textos e imágenes en videos realistas. Presentado la semana pasada, Google describe a Lumiere como un modelo de difusión de texto para video diseñado para sintetizar videos que retraten movimientos realistas, diversos y coherentes. La idea es que Lumiere puede convertir cualquier texto o imagen en videos elaborados y realistas, algo que constituye un gran desafío para la generación de video de IA.
La herramienta Google, desarrollada en asociación con el Instituto Weizmann, la Universidad de Tel-Aviv y el Instituto de Tecnología de Tecnología de Israel, utiliza un modelo de difusión de espacio-tiempo conocido como Space-Time U-Net, que genera todos los cuadros de la duración temporal del video a la vez, a diferencia de otras herramientas preexistentes que generan teclados de distancia entre sí, que luego están conectados.
Este modelo permite que los videos creados por Lumiere sean más realistas, con movimientos diversos y coherentes, incluso en baja resolución. Además de generar videos basados en texto, la inteligencia artificial de Google también permite que las imágenes se conviertan en video, pudiendo copiar un estilo de diseño específico.
Google reconoce que la herramienta realista de generación de videos podría ser utilizada de manera incorrecta para crear contenido deliberadamente falso o engañoso, o dañino de alguna manera. «A medida que las herramientas de IA se perfeccionan, los problemas como los deepfakes, videos falsos pero extremadamente realistas, podrían ser usados para difundir la información errónea también son más desafiantes», expresó la empresa a través de un comunicado.
Todos estos desafíos deben ser contemplados por cualquier compañía de tecnología que ofrezca herramientas de IA para generar imágenes. Por ahora, Lumiere aún no está disponible para el público en general.
