Diffusers documentation

Bria 3.2

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bria 3.2

Bria 3.2 es el modelo de texto a imagen de próxima generación, listo para uso comercial. Con solo 4 mil millones de parámetros, ofrece una estética y un renderizado de texto excepcionales, evaluado para proporcionar resultados equivalentes a los de los principales modelos de código abierto y superando a otros modelos con licencia. Además de estar construido íntegramente con datos con licencia, 3.2 ofrece varias ventajas para el uso empresarial y comercial:

  • Cómputo eficiente: el modelo es 3 veces más pequeño que los modelos equivalentes del mercado (4B de parámetros frente a los 12B de parámetros de otros modelos de código abierto)
  • Consistencia de la arquitectura: misma arquitectura que la 3.1, ideal para usuarios que buscan actualizar sin interrupciones.
  • Aceleración del ajuste fino: ajuste fino 2 veces más rápido en L40S y A100.

Los puntos de control originales del modelo Bria 3.2 se pueden encontrar aquí. El repositorio de Github de Bria 3.2 se puede encontrar aquí.

Si desea obtener más información sobre la plataforma Bria y acceder a una prueba gratuita, visite bria.ai.

Uso

Como el modelo está restringido, antes de usarlo con diffusers primero debes ir a la página de Bria 3.2 en Hugging Face, completar el formulario y aceptar la restricción. Una vez dentro, necesitas iniciar sesión para que tu sistema sepa que has aceptado la restricción.

Use el siguiente comando para iniciar sesión:

hf auth login

BriaPipeline

clase diffusers.BriaPipeline

< >

( transformer: BriaTransformer2DModelscheduler: diffusers.schedulers.scheduling_flow_match_euler_discrete.FlowMatchEulerDiscreteScheduler | diffusers.schedulers.scheduling_utils.KarrasDiffusionSchedulersvae: AutoencoderKLtext_encoder: T5EncoderModeltokenizer: T5Tokenizerimage_encoder: CLIPVisionModelWithProjection = Nonefeature_extractor: CLIPImageProcessorPil = None )

Parámetros

  • transformer (BriaTransformer2DModel) — Arquitectura Conditional Transformer (MMDiT) para desruidar los latentes de imagen codificados.
  • scheduler (FlowMatchEulerDiscreteScheduler) — Un scheduler para usar en combinación con transformer para desruidar los latentes de imagen codificados.
  • vae (AutoencoderKL) — Modelo de Variational Auto-Encoder (VAE) para codificar y decodificar imágenes a partir de y hacia representaciones latentes.
  • text_encoder (T5EncoderModel) — Codificador de texto congelado. Bria utiliza T5, específicamente la variante t5-v1_1-xxl.
  • tokenizer (T5TokenizerFast) — Tokenizer de la clase T5Tokenizer.

Basado en FluxPipeline con varios cambios:

  • embeddings no agrupados
  • Usamos relleno con ceros para los prompts
  • No hay un *embedding* de guía ya que esta no es una versión destilada

__call__

< >

( prompt: str | list[str] = Noneheight: int | None = Nonewidth: int | None = Nonenum_inference_steps: int = 30timesteps: list = Noneguidance_scale: float = 5negative_prompt: str | list[str] | None = Nonenum_images_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.FloatTensor] = Noneprompt_embeds: typing.Optional[torch.FloatTensor] = Nonenegative_prompt_embeds: typing.Optional[torch.FloatTensor] = Noneoutput_type: str | None = 'pil'return_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = Nonecallback_on_step_end: typing.Optional[typing.Callable[[int, int], NoneType]] = Nonecallback_on_step_end_tensor_inputs: list = ['latents']max_sequence_length: int = 128clip_value: None | float = Nonenormalize: bool = False ) → ~pipelines.bria.BriaPipelineOutput or tuple

Parámetros

  • prompt (str o list[str], opcional) — El prompt o los prompts para guiar la generación de la imagen. Si no se define, hay que pasar prompt_embeds en su lugar.
  • height (int, opcional, por defecto self.unet.config.sample_size * self.vae_scale_factor) — La altura en píxeles de la imagen generada. Por defecto se establece en 1024 para obtener los mejores resultados.
  • width (int, opcional, por defecto self.unet.config.sample_size * self.vae_scale_factor) — El ancho en píxeles de la imagen generada. Por defecto se establece en 1024 para obtener los mejores resultados.
  • num_inference_steps (int, opcional, valor predeterminado 50) — El número de pasos de desruido. Más pasos de desruido suelen conducir a una imagen de mayor calidad a costa de una inferencia más lenta.
  • timesteps (list[int], opcional) — Pasos de tiempo personalizados para usar en el proceso de desruido con programadores que admiten un argumento timesteps en su método set_timesteps. Si no se define, se usará el comportamiento predeterminado cuando se pase num_inference_steps. Debe estar en orden descendente.
  • guidance_scale (float, opcional, valor predeterminado 5.0) —

Devuelve

~pipelines.bria.BriaPipelineOutput o tuple

~pipelines.bria.BriaPipelineOutput si return_dict es True, de lo contrario una tuple. Al devolver una tupla, el primer elemento es una lista con las imágenes generadas.

Función invocada al llamar a la pipeline para la generación.

<<<<<<< HEAD Escala de orientación definida en Classifier-Free Diffusion Guidance. guidance_scale se define como w de la ecuación 2. de Imagen Paper. La escala de orientación se habilita estableciendo guidance_scale > 1. Una escala de orientación más alta fomenta la generación de imágenes estrechamente vinculadas al prompt de texto, generalmente a costa de una menor calidad de imagen.

negative_prompt ( str o list[str] , opcional ):

Escala de guía tal como se define en Classifier-Free Diffusion Guidance. guidance_scale se define como w de la ecuación 2. de Imagen Paper. La escala de guía se activa al establecer guidance_scale > 1. Una escala de guía más alta fomenta la generación de imágenes estrechamente vinculadas al prompt de texto, generalmente a costa de una menor calidad de imagen. negative_prompt (str o list[str], opcional):

main El prompt o prompts que no deben guiar la generación de la imagen. Si no se define, se debe pasar negative_prompt_embeds en su lugar. Se ignora cuando no se usa guía (es decir, se ignora si guidance_scale es menor que 1). num_images_per_prompt (int, opcional, valor predeterminado 1): El número de imágenes a generar por prompt. generator (torch.Generator o list[torch.Generator], opcional): Uno o una lista de generadores de torch para hacer que la generación sea determinista. latents (torch.FloatTensor, opcional): Latentes ruidosos pregenerados, muestreados de una distribución gaussiana, para usarse como entradas para la generación de imágenes. Se pueden usar para ajustar la misma generación con diferentes prompts. Si no se proporcionan, se generará un tensor de latentes mediante muestreo usando el generator aleatorio suministrado. prompt_embeds (torch.FloatTensor, opcional): Incrustaciones de texto pregeneradas. Se pueden usar para ajustar fácilmente las entradas de texto, por ejemplo el peso del prompt. Si no se proporcionan, las incrustaciones de texto se generarán a partir del argumento de entrada prompt. negative_prompt_embeds (torch.FloatTensor, opcional): Incrustaciones de texto negativas pregeneradas. Se pueden usar para ajustar fácilmente las entradas de texto, por ejemplo el peso del prompt. Si no se proporcionan, negative_prompt_embeds se generará a partir del argumento de entrada negative_prompt. output_type (str, opcional, valor predeterminado "pil"): El formato de salida de la imagen generada. Elija entre PIL: PIL.Image.Image o np.array. return_dict (bool, opcional, valor predeterminado True): Indica si se debe devolver un ~pipelines.bria.BriaPipelineOutput en lugar de una tupla simple. attention_kwargs (dict, opcional): Un diccionario de kwargs que, si se especifica, se pasa al AttentionProcessor definido bajo self.processor en diffusers.models.attention_processor. callback_on_step_end (Callable, opcional): Una función que se llama al final de cada paso de desruido durante la inferencia. La función se llama con los siguientes argumentos: callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict). callback_kwargs incluirá una lista de todos los tensores especificados por callback_on_step_end_tensor_inputs. callback_on_step_end_tensor_inputs (list, opcional): La lista de entradas de tensores para la función callback_on_step_end. Los tensores especificados en la lista se pasarán como argumento callback_kwargs. Solo podrá incluir variables enumeradas en el atributo ._callback_tensor_inputs de su clase de pipeline. max_sequence_length (int valor predeterminado 256): Longitud máxima de secuencia para usar con el prompt. clip_value (float, opcional): Si se establece, el ruido predicho se recorta al rango [-clip_value, clip_value] en cada paso de desruido. normalize (bool, opcional, valor predeterminado False): Indica si se debe normalizar el ruido predicho en cada paso de desruido.

Ejemplos:

>>> import torch
>>> from diffusers import BriaPipeline

>>> pipe = BriaPipeline.from_pretrained("briaai/BRIA-3.2", torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")
# BRIA's T5 text encoder is sensitive to precision. We need to cast it to bfloat16 and keep the final layer in float32.

>>> pipe.text_encoder = pipe.text_encoder.to(dtype=torch.bfloat16)
>>> for block in pipe.text_encoder.encoder.block:
...     block.layer[-1].DenseReluDense.wo.to(dtype=torch.float32)
# BRIA's VAE is not supported in mixed precision, so we use float32.

>>> if pipe.vae.config.shift_factor == 0:
...     pipe.vae.to(dtype=torch.float32)

>>> prompt = "Photorealistic food photography of a stack of fluffy pancakes on a white plate, with maple syrup being poured over them. On top of the pancakes are the words 'BRIA 3.2' in bold, yellow, 3D letters. The background is dark and out of focus."
>>> image = pipe(prompt).images[0]
>>> image.save("bria.png")

encode_prompt

< >

( prompt: str | list[str]device: typing.Optional[torch.device] = Nonenum_images_per_prompt: int = 1do_classifier_free_guidance: bool = Truenegative_prompt: str | list[str] | None = Noneprompt_embeds: typing.Optional[torch.FloatTensor] = Nonenegative_prompt_embeds: typing.Optional[torch.FloatTensor] = Nonemax_sequence_length: int = 128lora_scale: float | None = None )

Parámetros

  • prompt (str o list[str], opcional) — prompt a codificar
  • device — (torch.device): dispositivo de torch
  • num_images_per_prompt (int) — número de imágenes que deben generarse por prompt
  • do_classifier_free_guidance (bool) — si se debe usar classifier free guidance o no
  • negative_prompt (str o list[str], opcional) — El prompt o prompts que no deben guiar la generación de la imagen. Si no se define, se debe pasar negative_prompt_embeds en su lugar. Se ignora cuando no se usa guía (es decir, se ignora si guidance_scale es menor que 1).
  • prompt_embeds (torch.FloatTensor, opcional) — Incrustaciones de texto pregeneradas. Se pueden usar para ajustar fácilmente las entradas de texto, p. ej. ponderación de prompts. Si no se proporcionan, las incrustaciones de texto se generarán a partir del argumento de entrada prompt.
  • negative_prompt_embeds (torch.FloatTensor, opcional) — Incrustaciones de texto negativo pregeneradas. Se pueden usar para ajustar fácilmente las entradas de texto, p. ej. el ponderado del prompt. Si no se proporciona, negative_prompt_embeds se generará a partir del argumento de entrada negative_prompt.
Update on GitHub