Lumina-T2X

Lumina-Next: Making Lumina-T2X Stronger and Faster with Next-DiT de Alpha-VLLM, OpenGVLab, Shanghai AI Laboratory.

El resumen del artículo es:

Lumina-T2X es una familia incipiente de Flow-based Large Diffusion Transformers (Flag-DiT) que establece un marco unificado para transformar ruido en diversas modalidades, como imágenes y videos, condicionado por instrucciones de texto. A pesar de sus capacidades prometedoras, Lumina-T2X aún enfrenta desafíos como la inestabilidad del entrenamiento, la inferencia lenta y los artefactos de extrapolación. En este artículo, presentamos Lumina-Next, una versión mejorada de Lumina-T2X, que muestra un rendimiento de generación más fuerte con una mayor eficiencia en el entrenamiento y la inferencia. Comenzamos con un análisis exhaustivo de la arquitectura Flag-DiT e identificamos varios componentes subóptimos, a los que abordamos introduciendo la arquitectura Next-DiT con 3D RoPE y normalizaciones de sándwich. Para habilitar una mejor extrapolación de resolución, comparamos a fondo diferentes métodos de extrapolación de contexto aplicados a la generación de texto a imagen con 3D RoPE, y proponemos Frequency- and Time-Aware Scaled RoPE adaptado para diffusion transformers. Además, introducimos un programa de discretización de tiempo sigmoide para reducir los pasos de muestreo en la resolución del Flow ODE y el método Context Drop para fusionar tokens visuales redundantes para una evaluación de red más rápida, mejorando efectivamente la velocidad general de muestreo. Gracias a estas mejoras, Lumina-Next no solo mejora la calidad y la eficiencia de la generación básica de texto a imagen, sino que también demuestra capacidades superiores de extrapolación de resolución y generación multilingüe utilizando LLMs basados en decodificadores como codificador de texto, todo de manera zero-shot. Para validar aún más Lumina-Next como un marco generativo versátil, lo instanciamos en diversas tareas, incluida la reconocimiento visual, multi-vista, audio, música y generación de nubes de puntos, mostrando un rendimiento sólido en estos dominios. Al liberar todos los códigos y pesos del modelo en https://github.com/Alpha-VLLM/Lumina-T2X, buscamos avanzar en el desarrollo de la IA generativa de próxima generación capaz de modelado universal.

Aspectos destacados: Lumina-Next es un Diffusion Transformer de próxima generación que mejora significativamente la generación de texto a imagen, la generación multilingüe y el rendimiento multitarea mediante la introducción de la arquitectura Next-DiT, 3D RoPE y RoPE consciente de la frecuencia y el tiempo, entre otras mejoras.

Lumina-Next tiene los siguientes componentes:

• Mejora la eficiencia de muestreo con menos y más rápidos pasos.
• Utiliza un Next-DiT como columna vertebral de transformador con Sandwichnorm 3D RoPE y Grouped-Query Attention.
• Utiliza un RoPE escalado consciente de la frecuencia y el tiempo.

Lumina-T2X: Transformando texto en cualquier modalidad, resolución y duración mediante grandes transformadores de difusión basados en flujo de Alpha-VLLM, OpenGVLab, Shanghai AI Laboratory.

El resumen del artículo es:

Sora revela el potencial de escalar Diffusion Transformer para generar imágenes y videos fotorrealistas en resoluciones, relaciones de aspecto y duraciones arbitrarias, aunque aún carece de detalles de implementación suficientes. En este informe técnico, presentamos la familia Lumina-T2X, una serie de grandes Diffusion Transformers basados en flujo (Flag-DiT) equipados con atención inicializada en cero, como un marco unificado diseñado para transformar ruido en imágenes, videos, objetos 3D multivista y clips de audio condicionados por instrucciones de texto. Al tokenizar el espacio espacial-temporal latente e incorporar marcadores de posición aprendibles como los tokens [nextline] y [nextframe], Lumina-T2X unifica sin fisuras las representaciones de diferentes modalidades a través de diversas resoluciones espaciales-temporales. Este enfoque unificado permite el entrenamiento dentro de un único marco para diferentes modalidades y posibilita la generación flexible de datos multimodales en cualquier resolución, relación de aspecto y longitud durante la inferencia. Técnicas avanzadas como RoPE, RMSNorm y flow matching mejoran la estabilidad, flexibilidad y escalabilidad de Flag-DiT, lo que permite que los modelos de Lumina-T2X escalen hasta 7 mil millones de parámetros y extiendan la ventana de contexto a 128K tokens. Esto es particularmente beneficioso para crear imágenes de ultra alta definición con nuestro modelo Lumina-T2I y videos largos en 720p con nuestro modelo Lumina-T2V. Notablemente, Lumina-T2I, impulsado por un Flag-DiT de 5 mil millones de parámetros, requiere solo el 35% de los costos computacionales de entrenamiento de un DiT ingenuo de 600 millones de parámetros. Nuestro análisis exhaustivo posterior subraya la capacidad preliminar de Lumina-T2X en la extrapolación de resolución, la edición de alta resolución, la generación de vistas 3D consistentes y la síntesis de videos con transiciones fluidas. Esperamos que la publicación abierta de Lumina-T2X fomente aún más la creatividad, la transparencia y la diversidad en la comunidad de IA generativa.

Puedes encontrar el código original en Alpha-VLLM y todos los checkpoints disponibles en Alpha-VLLM Lumina Family.

Aspectos destacados: Lumina-T2X admite cualquier modalidad, resolución y duración.

Lumina-T2X tiene los siguientes componentes:

• Utiliza un Large Diffusion Transformer basado en Flow como columna vertebral
• Admite diferentes modalidades con un único backbone y el codificador y decodificador correspondientes.

Este pipeline fue aportado por PommesPeter. La base de código original se puede encontrar aquí. Los pesos originales se pueden encontrar en hf.co/Alpha-VLLM.

Asegúrate de consultar la guía de Schedulers para aprender a explorar el equilibrio entre la velocidad y la calidad del scheduler, y consulta la sección reutilizar componentes entre pipelines para aprender a cargar eficientemente los mismos componentes en múltiples pipelines.

Inferencia (Texto a imagen)

Use torch.compile para reducir la latencia de inferencia.

Primero, carga el pipeline:

from diffusers import LuminaPipeline
import torch

pipeline = LuminaPipeline.from_pretrained(
	"Alpha-VLLM/Lumina-Next-SFT-diffusers", dtype=torch.bfloat16
).to("cuda")  # or "mps", "xpu", "cpu"

Luego, cambia el diseño de memoria de los componentes transformer y vae de los pipelines a torch.channels-last:

pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.vae.to(memory_format=torch.channels_last)

Por último, compile los componentes y ejecute la inferencia:

pipeline.transformer = torch.compile(pipeline.transformer, mode="max-autotune", fullgraph=True)
pipeline.vae.decode = torch.compile(pipeline.vae.decode, mode="max-autotune", fullgraph=True)

image = pipeline(prompt="Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background shows an industrial revolution cityscape with smoky skies and tall, metal structures").images[0]

Cuantización

La cuantización ayuda a reducir los requisitos de memoria de los modelos muy grandes almacenando los pesos del modelo en un tipo de datos de menor precisión. Sin embargo, la cuantización puede tener un impacto variable en la calidad del vídeo dependiendo del modelo de vídeo.

Consulte el resumen de Quantization para obtener más información sobre los backends de cuantización admitidos y la selección de un backend de cuantización que admita su caso de uso. El siguiente ejemplo demuestra cómo cargar un LuminaPipeline cuantizado para inferencia con bitsandbytes.

import torch
from diffusers import BitsAndBytesConfig as DiffusersBitsAndBytesConfig, Transformer2DModel, LuminaPipeline
from transformers import BitsAndBytesConfig as BitsAndBytesConfig, T5EncoderModel

quant_config = BitsAndBytesConfig(load_in_8bit=True)
text_encoder_8bit = T5EncoderModel.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    subfolder="text_encoder",
    quantization_config=quant_config,
    dtype=torch.float16,
)

quant_config = DiffusersBitsAndBytesConfig(load_in_8bit=True)
transformer_8bit = Transformer2DModel.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    subfolder="transformer",
    quantization_config=quant_config,
    dtype=torch.float16,
)

pipeline = LuminaPipeline.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    text_encoder=text_encoder_8bit,
    transformer=transformer_8bit,
    dtype=torch.float16,
    device_map="balanced",
)

prompt = "a tiny astronaut hatching from an egg on the moon"
image = pipeline(prompt).images[0]
image.save("lumina.png")

LuminaPipeline

>>> import torch
>>> from diffusers import LuminaPipeline

>>> pipe = LuminaPipeline.from_pretrained("Alpha-VLLM/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16)
>>> # Enable memory optimizations.
>>> pipe.enable_model_cpu_offload()

>>> prompt = "Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background shows an industrial revolution cityscape with smoky skies and tall, metal structures"
>>> image = pipe(prompt).images[0]