Diffusers documentation
HiDreamImageTransformer2DModel
HiDreamImageTransformer2DModel
Un modelo Transformer para datos similares a imágenes de HiDream-I1.
El modelo se puede cargar con el siguiente fragmento de código.
from diffusers import HiDreamImageTransformer2DModel
transformer = HiDreamImageTransformer2DModel.from_pretrained("HiDream-ai/HiDream-I1-Full", subfolder="transformer", dtype=torch.bfloat16)Carga de puntos de control cuantizados GGUF para HiDream-I1
Los puntos de control GGUF para el HiDreamImageTransformer2DModel se pueden cargar usando ~FromOriginalModelMixin.from_single_file
import torch
from diffusers import GGUFQuantizationConfig, HiDreamImageTransformer2DModel
ckpt_path = "https://huggingface.co/city96/HiDream-I1-Dev-gguf/blob/main/hidream-i1-dev-Q2_K.gguf"
transformer = HiDreamImageTransformer2DModel.from_single_file(
ckpt_path,
quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16),
dtype=torch.bfloat16
)HiDreamImageTransformer2DModel
clase diffusers.HiDreamImageTransformer2DModel
< source >( patch_size: int | None = Nonein_channels: int = 64out_channels: int | None = Nonenum_layers: int = 16num_single_layers: int = 32attention_head_dim: int = 128num_attention_heads: int = 20caption_channels: list = Nonetext_emb_dim: int = 2048num_routed_experts: int = 4num_activated_experts: int = 2axes_dims_rope: tuple = (32, 32)max_resolution: tuple = (128, 128)llama_layers: list = Noneforce_inference_output: bool = False )
forward
< source >( hidden_states: Tensortimesteps: LongTensor = Noneencoder_hidden_states_t5: Tensor = Noneencoder_hidden_states_llama3: Tensor = Nonepooled_embeds: Tensor = Noneimg_ids: typing.Optional[torch.Tensor] = Noneimg_sizes: list[tuple[int, int]] | None = Nonehidden_states_masks: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )
Parámetros
- hidden_states (
torch.Tensorde forma(batch_size, in_channels, height, width)o(batch_size, patch_height * patch_width, patch_size * patch_size * channels)) — Estados ocultos de entradahidden_states. - timesteps (
torch.LongTensor) — Se utiliza para indicar el paso de desruido. - encoder_hidden_states_t5 (
torch.Tensor) — Incrustaciones condicionales calculadas a partir del codificador de texto T5. - encoder_hidden_states_llama3 (
torch.Tensor) — Incrustaciones condicionales calculadas a partir del codificador de texto Llama3. - pooled_embeds (
torch.Tensor) — Incrustaciones de texto agrupadas utilizadas para una condición adicional. - img_ids (
torch.Tensor, opcional) — ids de posición de imagen para los estados ocultos parcheados. - img_sizes (
listdetupledeint, opcional) — Tamaños de la cuadrícula de parches por muestra utilizados para des-patchificar la salida. - hidden_states_masks (
torch.Tensor, opcional) — Máscara sobrehidden_statesparcheados. - attention_kwargs (
dict, opcional) — Un diccionario de kwargs que, si se especifica, se pasa alAttentionProcessordefinido enself.processordentro de diffusers.models.attention_processor. - return_dict (
bool, opcional, valor predeterminadoTrue) — Indica si se debe devolver un~models.transformer_2d.Transformer2DModelOutputen lugar de una tupla simple.
El método forward de HiDreamImageTransformer2DModel.
Transformer2DModelOutput
clase diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
Parámetros
- sample (
torch.Tensorde forma(batch_size, num_channels, height, width)o(batch size, num_vector_embeds - 1, num_latent_pixels)si Transformer2DModel es discreto) — La salida de estados ocultos condicionada a la entradaencoder_hidden_states. Si es discreto, devuelve distribuciones de probabilidad para los píxeles latentes sin ruido.
La salida de Transformer2DModel.