Diffusers documentation

SanaPipeline

Diffusers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

SanaPipeline

来自 NVIDIA 和 MIT HAN Lab 的 SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers，作者为 Enze Xie、Junsong Chen、Junyu Chen、Han Cai、Haotian Tang、Yujun Lin、Zhekai Zhang、Muyang Li、Ligeng Zhu、Yao Lu、Song Han。

该论文的摘要如下：

我们推出了 Sana，一个能够高效生成最高达 4096×4096 分辨率图像的文本到图像框架。Sana 能够以极快的速度合成高分辨率、高质量且文本-图像对齐度强的图像，并且可以部署在笔记本电脑 GPU 上。其核心设计包括：(1) 深度压缩自编码器：与传统仅将图像压缩 8 倍的自编码器不同，我们训练了一个能够将图像压缩 32 倍的自编码器，从而有效减少潜在 token 的数量。(2) 线性 DiT：我们将 DiT 中所有的标准注意力机制替换为线性注意力机制，使其在高分辨率下更加高效，同时不牺牲质量。(3) 仅解码器文本编码器：我们用现代仅解码器的小型 LLM 替换了 T5 作为文本编码器，并设计了复杂的人类指令，通过上下文学习来增强图像-文本对齐。(4) 高效的训练与采样：我们提出了 Flow-DPM-Solver 以减少采样步数，并通过高效的字幕标注和选择来加速收敛。因此，Sana-0.6B 与当今的大型扩散模型（例如 Flux-12B）相比极具竞争力，其体积缩小了 20 倍，实测吞吐量提升了 100 倍以上。此外，Sana-0.6B 可以部署在 16GB 的笔记本电脑 GPU 上，生成一张 1024×1024 分辨率的图像所需时间不到 1 秒。Sana 实现了低成本的创作。代码和模型将公开发布。

请务必参阅调度器指南，了解如何探索调度器速度与质量之间的权衡，并查看跨流水线复用组件部分，了解如何高效地将相同组件加载到多个流水线中。

此流水线由 lawrence-cj 和 chenjy2003 贡献。原始代码库可在此处找到。原始权重可在 hf.co/Efficient-Large-Model 下找到。

可用模型：

模型	推荐的 dtype
`Efficient-Large-Model/Sana_1600M_1024px_BF16_diffusers`	`torch.bfloat16`
`Efficient-Large-Model/Sana_1600M_1024px_diffusers`	`torch.float16`
`Efficient-Large-Model/Sana_1600M_1024px_MultiLing_diffusers`	`torch.float16`
`Efficient-Large-Model/Sana_1600M_512px_diffusers`	`torch.float16`
`Efficient-Large-Model/Sana_1600M_512px_MultiLing_diffusers`	`torch.float16`
`Efficient-Large-Model/Sana_600M_1024px_diffusers`	`torch.float16`
`Efficient-Large-Model/Sana_600M_512px_diffusers`	`torch.float16`

有关更多信息，请参阅此集合。

注意：上述推荐的 dtype 适用于 transformer 权重。为了确保模型正确运行，文本编码器和 VAE 的权重必须保持为 torch.bfloat16 或 torch.float32。请参阅下方的推理示例，了解如何以推荐的 dtype 加载模型。

请确保为下载的 checkpoint 传入 variant 参数，以减少磁盘占用。对于推荐 dtype 为 torch.float16 的模型，将其设置为 "fp16"；对于推荐 dtype 为 torch.bfloat16 的模型，将其设置为 "bf16"。默认情况下，下载的是 torch.float32 权重，其占用的磁盘空间是前两者的两倍。此外，通过指定 dtype 参数，可以在运行时将 torch.float32 权重进行降精度转换。详情请参阅文档。

量化

量化通过以较低精度的数据类型存储模型权重，有助于降低超大模型的内存需求。不过，量化对视频质量的影响会因视频模型的不同而有所差异。

请参阅量化概述，以了解支持的量化后端以及如何选择支持您使用场景的量化后端。下面的示例演示了如何使用 bitsandbytes 加载用于推理的量化 SanaPipeline。

import torch
from diffusers import BitsAndBytesConfig as DiffusersBitsAndBytesConfig, SanaTransformer2DModel, SanaPipeline
from transformers import BitsAndBytesConfig as BitsAndBytesConfig, AutoModel

quant_config = BitsAndBytesConfig(load_in_8bit=True)
text_encoder_8bit = AutoModel.from_pretrained(
    "Efficient-Large-Model/Sana_1600M_1024px_diffusers",
    subfolder="text_encoder",
    quantization_config=quant_config,
    dtype=torch.float16,
)

quant_config = DiffusersBitsAndBytesConfig(load_in_8bit=True)
transformer_8bit = SanaTransformer2DModel.from_pretrained(
    "Efficient-Large-Model/Sana_1600M_1024px_diffusers",
    subfolder="transformer",
    quantization_config=quant_config,
    dtype=torch.float16,
)

pipeline = SanaPipeline.from_pretrained(
    "Efficient-Large-Model/Sana_1600M_1024px_diffusers",
    text_encoder=text_encoder_8bit,
    transformer=transformer_8bit,
    dtype=torch.float16,
    device_map="balanced",
)

prompt = "a tiny astronaut hatching from an egg on the moon"
image = pipeline(prompt).images[0]
image.save("sana.png")

SanaPipeline

class diffusers.SanaPipeline

< source >

( tokenizer: GemmaTokenizertext_encoder: Gemma2PreTrainedModelvae: AutoencoderDCtransformer: SanaTransformer2DModelscheduler: DPMSolverMultistepScheduler )

使用 Sana 进行文本到图像生成的 Pipeline。

call

< source >

( prompt: str | list[str] = Nonenegative_prompt: str = ''num_inference_steps: int = 20timesteps: list = Nonesigmas: list = Noneguidance_scale: float = 4.5num_images_per_prompt: int | None = 1height: int = 1024width: int = 1024eta: float = 0.0generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_attention_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_attention_mask: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'pil'return_dict: bool = Trueclean_caption: bool = Falseuse_resolution_binning: bool = Trueattention_kwargs: dict[str, typing.Any] | None = Nonecallback_on_step_end: typing.Optional[typing.Callable[[int, int], NoneType]] = Nonecallback_on_step_end_tensor_inputs: list = ['latents']max_sequence_length: int = 300complex_human_instruction: list = ["Given a user prompt, generate an 'Enhanced prompt' that provides detailed visual descriptions suitable for image generation. Evaluate the level of detail in the user prompt:", '- If the prompt is simple, focus on adding specifics about colors, shapes, sizes, textures, and spatial relationships to create vivid and concrete scenes.', '- If the prompt is already detailed, refine and enhance the existing details slightly without overcomplicating.', 'Here are examples of how to transform or refine prompts:', '- User Prompt: A cat sleeping -> Enhanced: A small, fluffy white cat curled up in a round shape, sleeping peacefully on a warm sunny windowsill, surrounded by pots of blooming red flowers.', '- User Prompt: A busy city street -> Enhanced: A bustling city street scene at dusk, featuring glowing street lamps, a diverse crowd of people in colorful clothing, and a double-decker bus passing by towering glass skyscrapers.', 'Please generate only the enhanced description for the prompt below and avoid including any additional commentary or evaluations:', 'User Prompt: '] ) → SanaPipelineOutput or tuple

参数

prompt (str 或 list[str]，可选) — 用于引导图像生成的提示词或提示词列表。如果未定义，则必须改为传入 prompt_embeds。
negative_prompt (str 或 list[str]，可选) — 用于不引导图像生成的提示词。如果未定义，则必须传入 negative_prompt_embeds。在未使用引导时会被忽略（即当 guidance_scale 小于 1 时忽略）。
num_inference_steps (int, 可选，默认为 20) — 去噪步数。更多的去噪步数通常能生成更高质量的图像，但代价是推理速度变慢。
timesteps (list[int], 可选) — 用于支持 timesteps 参数的调度器去噪过程的自定义时间步，该参数位于其 set_timesteps 方法中。如果未定义，则使用传入 num_inference_steps 时的默认行为。必须按降序排列。
sigmas (list[float]，可选) — 用于在支持 sigmas 参数的调度器的 set_timesteps 方法中，为去噪过程指定自定义的 sigmas。如果未定义，则使用传入 num_inference_steps 时的默认行为。
guidance_scale (float，可选，默认值为 4.5) — Classifier-Free Diffusion Guidance 中定义的引导尺度。guidance_scale 定义为 Imagen Paper 中公式 2 的 w。通过设置 guidance_scale > 1 来启用引导尺度。较高的引导尺度会促使生成与文本 prompt 紧密关联的图像，通常以牺牲图像质量为代价。
num_images_per_prompt (int，可选，默认为 1) — 每个提示词生成的图像数量。
height (int，可选，默认为 self.unet.config.sample_size) — 生成图像的高度（以像素为单位）。
width (int，可选，默认为 self.unet.config.sample_size) — 生成图像的宽度（以像素为单位）。
eta（float，可选，默认值为 0.0）— 对应 DDIM 论文中的参数 eta (η)：https://huggingface.co/papers/2010.02502。仅适用于 schedulers.DDIMScheduler，对其他调度器将被忽略。
generator (torch.Generator 或 list[torch.Generator]，可选) — 一个或一组 torch 生成器，用于使生成过程具有确定性。
latents (torch.Tensor, 可选) — 预先生成的噪声潜变量，从高斯分布中采样得到，用作图像生成的输入。可用于使用不同的提示词对同一生成过程进行微调。如果未提供，将通过使用提供的随机generator进行采样来生成一个潜变量张量。
prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，文本嵌入将从 prompt 输入参数生成。
prompt_attention_mask (torch.Tensor，可选) — 为文本嵌入预生成的注意力掩码。
negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负向文本嵌入。对于 PixArt-Sigma，此负向提示应为 ""。如果未提供，negative_prompt_embeds 将根据 negative_prompt 输入参数生成。
negative_prompt_attention_mask (torch.Tensor, 可选) — 为负向文本嵌入预生成的注意力掩码。
output_type (str，可选，默认为 "pil") — 生成图像的输出格式。可选值为 PIL：PIL.Image.Image 或 np.array。
return_dict (bool，可选，默认为 True) — 是否返回 ~pipelines.stable_diffusion.IFPipelineOutput 而不是普通元组。
attention_kwargs — 一个 kwargs 字典，如果指定，将传递给 AttentionProcessor，该处理器在 diffusers.models.attention_processor 中定义，并位于 self.processor 下。
clean_caption (bool，可选，默认为 True) — 是否在创建嵌入之前清理字幕。需要安装 beautifulsoup4 和 ftfy。如果未安装这些依赖项，嵌入将直接从原始提示创建。
use_resolution_binning (bool，默认为 True) — 如果设置为 True，请求的高度和宽度会先通过 ASPECT_RATIO_1024_BIN 映射到最接近的分辨率。生成的潜变量解码为图像后，会被重新调整回请求的分辨率。适用于生成非正方形图像。
callback_on_step_end (Callable, 可选) — 一个在推理过程中每个去噪步骤结束时调用的函数。该函数以以下参数被调用：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含由 callback_on_step_end_tensor_inputs 指定的所有张量列表。
callback_on_step_end_tensor_inputs (list，可选) — callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含流水线类 ._callback_tensor_inputs 属性中列出的变量。
max_sequence_length（int，默认为 300）— 与 prompt 配合使用的最大序列长度。
complex_human_instruction (list[str], 可选) — 用于复杂人类注意力的指令： https://github.com/NVlabs/Sana/blob/main/configs/sana_app_config/Sana_1600M_app.yaml#L55。

返回值

SanaPipelineOutput 或 tuple

如果 return_dict 为 True，则返回 SanaPipelineOutput，否则返回一个 tuple，其中第一个元素是包含生成图像的列表

调用生成 pipeline 时调用的函数。

示例：

>>> import torch
>>> from diffusers import SanaPipeline

>>> pipe = SanaPipeline.from_pretrained(
...     "Efficient-Large-Model/Sana_1600M_1024px_BF16_diffusers", torch_dtype=torch.float32
... )
>>> pipe.to("cuda")
>>> pipe.text_encoder.to(torch.bfloat16)
>>> pipe.transformer = pipe.transformer.to(torch.bfloat16)

>>> image = pipe(prompt='a cyberpunk cat with a neon sign that says "Sana"')[0]
>>> image[0].save("output.png")

encode_prompt

< source >

( prompt: str | list[str]do_classifier_free_guidance: bool = Truenegative_prompt: str = ''num_images_per_prompt: int = 1device: typing.Optional[torch.device] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_attention_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_attention_mask: typing.Optional[torch.Tensor] = Noneclean_caption: bool = Falsemax_sequence_length: int = 300complex_human_instruction: list[str] | None = Nonelora_scale: float | None = None )

参数

prompt (str 或 list[str]，可选) — 要编码的提示
negative_prompt (str 或 list[str]，可选) — 用于不引导图像生成的提示词。如果未定义，则必须改为传入 negative_prompt_embeds。在未使用引导时会被忽略（即当 guidance_scale 小于 1 时会被忽略）。对于 PixArt-Alpha，此值应为 ""。
do_classifier_free_guidance (bool，可选，默认为 True) — 是否使用 classifier free guidance
num_images_per_prompt (int，可选，默认为 1) — 每个提示词应生成的图像数量
device — (torch.device，可选)：用于放置生成的嵌入向量的 torch 设备
prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，文本嵌入将从 prompt 输入参数生成。
negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负向文本嵌入。对于 Sana，它应该是空字符串 "" 的嵌入。
clean_caption (bool，默认为 False) — 如果为 True，该函数将在编码之前对提供的 caption 进行预处理和清理。
max_sequence_length (int，默认为 300) — 用于提示词的最大序列长度。
complex_human_instruction (list[str]，默认为 complex_human_instruction) — 如果 complex_human_instruction 不为空，该函数将使用复杂的 Human 指令作为提示词。

将提示词编码为文本编码器的隐藏状态。

SanaPAGPipeline

class diffusers.SanaPAGPipeline

< source >

( tokenizer: GemmaTokenizertext_encoder: Gemma2PreTrainedModelvae: AutoencoderDCtransformer: SanaTransformer2DModelscheduler: FlowMatchEulerDiscreteSchedulerpag_applied_layers: str | list[str] = 'transformer_blocks.0' )

用于使用 Sana 进行文本到图像生成的 Pipeline。此 Pipeline 支持使用 Perturbed Attention Guidance (PAG)。

call

< source >

( prompt: str | list[str] = Nonenegative_prompt: str = ''num_inference_steps: int = 20timesteps: list = Nonesigmas: list = Noneguidance_scale: float = 4.5num_images_per_prompt: int | None = 1height: int = 1024width: int = 1024eta: float = 0.0generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_attention_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_attention_mask: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'pil'return_dict: bool = Trueclean_caption: bool = Falseuse_resolution_binning: bool = Truecallback_on_step_end: typing.Optional[typing.Callable[[int, int], NoneType]] = Nonecallback_on_step_end_tensor_inputs: list = ['latents']max_sequence_length: int = 300complex_human_instruction: list = ["Given a user prompt, generate an 'Enhanced prompt' that provides detailed visual descriptions suitable for image generation. Evaluate the level of detail in the user prompt:", '- If the prompt is simple, focus on adding specifics about colors, shapes, sizes, textures, and spatial relationships to create vivid and concrete scenes.', '- If the prompt is already detailed, refine and enhance the existing details slightly without overcomplicating.', 'Here are examples of how to transform or refine prompts:', '- User Prompt: A cat sleeping -> Enhanced: A small, fluffy white cat curled up in a round shape, sleeping peacefully on a warm sunny windowsill, surrounded by pots of blooming red flowers.', '- User Prompt: A busy city street -> Enhanced: A bustling city street scene at dusk, featuring glowing street lamps, a diverse crowd of people in colorful clothing, and a double-decker bus passing by towering glass skyscrapers.', 'Please generate only the enhanced description for the prompt below and avoid including any additional commentary or evaluations:', 'User Prompt: ']pag_scale: float = 3.0pag_adaptive_scale: float = 0.0 ) → ImagePipelineOutput or tuple

参数

prompt (str 或 list[str]，可选) — 用于引导图像生成的提示词或提示词列表。如果未定义，则必须改为传入 prompt_embeds。
negative_prompt (str 或 list[str]，可选) — 用于不引导图像生成的提示词。如果未定义，则必须传入 negative_prompt_embeds。在未使用引导时会被忽略（即当 guidance_scale 小于 1 时忽略）。
num_inference_steps (int, 可选，默认为 20) — 去噪步数。更多的去噪步数通常能生成更高质量的图像，但代价是推理速度变慢。
timesteps (list[int], 可选) — 用于支持 timesteps 参数的调度器去噪过程的自定义时间步，该参数位于其 set_timesteps 方法中。如果未定义，则使用传入 num_inference_steps 时的默认行为。必须按降序排列。
sigmas (list[float]，可选) — 用于在支持 sigmas 参数的调度器的 set_timesteps 方法中，为去噪过程指定自定义的 sigmas。如果未定义，则使用传入 num_inference_steps 时的默认行为。
guidance_scale (float，可选，默认值为 4.5) — Classifier-Free Diffusion Guidance 中定义的引导尺度。guidance_scale 定义为 Imagen Paper 中公式 2 的 w。通过设置 guidance_scale > 1 来启用引导尺度。较高的引导尺度会促使生成与文本 prompt 紧密关联的图像，通常以牺牲图像质量为代价。
num_images_per_prompt (int，可选，默认为 1) — 每个提示词生成的图像数量。
height (int，可选，默认为 self.unet.config.sample_size) — 生成图像的高度（以像素为单位）。
width (int，可选，默认为 self.unet.config.sample_size) — 生成图像的宽度（以像素为单位）。
eta（float，可选，默认值为 0.0）— 对应 DDIM 论文中的参数 eta (η)：https://huggingface.co/papers/2010.02502。仅适用于 schedulers.DDIMScheduler，对其他调度器将被忽略。
generator (torch.Generator 或 list[torch.Generator]，可选) — 一个或一组 torch 生成器，用于使生成过程具有确定性。
latents (torch.Tensor, 可选) — 预先生成的噪声潜变量，从高斯分布中采样得到，用作图像生成的输入。可用于使用不同的提示词对同一生成过程进行微调。如果未提供，将通过使用提供的随机generator进行采样来生成一个潜变量张量。
prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，文本嵌入将从 prompt 输入参数生成。
prompt_attention_mask (torch.Tensor，可选) — 为文本嵌入预生成的注意力掩码。
negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负向文本嵌入。对于 PixArt-Sigma，此负向提示应为 ""。如果未提供，negative_prompt_embeds 将根据 negative_prompt 输入参数生成。
negative_prompt_attention_mask (torch.Tensor, 可选) — 为负向文本嵌入预生成的注意力掩码。
output_type (str，可选，默认为 "pil") — 生成图像的输出格式。可选值为 PIL：PIL.Image.Image 或 np.array。
return_dict (bool，可选，默认为 True) — 是否返回 ~pipelines.stable_diffusion.IFPipelineOutput 而不是普通元组。
clean_caption (bool，可选，默认为 True) — 是否在创建嵌入之前清理字幕。需要安装 beautifulsoup4 和 ftfy。如果未安装这些依赖项，嵌入将直接从原始提示创建。
use_resolution_binning (bool，默认为 True) — 如果设置为 True，请求的高度和宽度会先通过 ASPECT_RATIO_1024_BIN 映射到最接近的分辨率。生成的潜变量解码为图像后，会被重新调整回请求的分辨率。适用于生成非正方形图像。
callback_on_step_end (Callable, 可选) — 一个在推理过程中每个去噪步骤结束时调用的函数。该函数以以下参数被调用：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含由 callback_on_step_end_tensor_inputs 指定的所有张量列表。
callback_on_step_end_tensor_inputs (list，可选) — callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含流水线类 ._callback_tensor_inputs 属性中列出的变量。
max_sequence_length（int，默认为 300）— 与 prompt 配合使用的最大序列长度。
complex_human_instruction (list[str], 可选) — 用于复杂人类注意力的指令： https://github.com/NVlabs/Sana/blob/main/configs/sana_app_config/Sana_1600M_app.yaml#L55。
pag_scale (float，可选，默认为 3.0) — 扰动注意力引导的缩放因子。如果设置为 0.0，则不会使用扰动注意力引导。
pag_adaptive_scale (float, 可选，默认值为 0.0) — 用于扰动注意力引导的自适应缩放因子。如果设置为 0.0，则使用 pag_scale。

返回值

ImagePipelineOutput 或 tuple

如果 return_dict 为 True，则返回 ImagePipelineOutput；否则返回一个 tuple，其中第一个元素是包含生成图像的列表

调用生成 pipeline 时调用的函数。

示例：

>>> import torch
>>> from diffusers import SanaPAGPipeline

>>> pipe = SanaPAGPipeline.from_pretrained(
...     "Efficient-Large-Model/Sana_1600M_1024px_BF16_diffusers",
...     pag_applied_layers=["transformer_blocks.8"],
...     torch_dtype=torch.float32,
... )
>>> pipe.to("cuda")
>>> pipe.text_encoder.to(torch.bfloat16)
>>> pipe.transformer = pipe.transformer.to(torch.bfloat16)

>>> image = pipe(prompt='a cyberpunk cat with a neon sign that says "Sana"')[0]
>>> image[0].save("output.png")

encode_prompt

< source >

参数

prompt (str 或 list[str]，可选) — 要编码的提示
negative_prompt (str 或 list[str]，可选) — 用于不引导图像生成的提示词。如果未定义，则必须改为传入 negative_prompt_embeds。在未使用引导时会被忽略（即当 guidance_scale 小于 1 时会被忽略）。对于 PixArt-Alpha，此值应为 ""。
do_classifier_free_guidance (bool，可选，默认为 True) — 是否使用 classifier free guidance
num_images_per_prompt (int，可选，默认为 1) — 每个提示词应生成的图像数量
device — (torch.device，可选)：用于放置生成的嵌入向量的 torch 设备
prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，文本嵌入将从 prompt 输入参数生成。
negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负向文本嵌入。对于 Sana，它应该是空字符串 "" 的嵌入。
clean_caption (bool，默认为 False) — 如果为 True，该函数将在编码之前对提供的 caption 进行预处理和清理。
max_sequence_length (int，默认为 300) — 用于提示词的最大序列长度。
complex_human_instruction (list[str]，默认为 complex_human_instruction) — 如果 complex_human_instruction 不为空，该函数将使用复杂的 Human 指令作为提示词。

将提示词编码为文本编码器的隐藏状态。

SanaPipelineOutput

class diffusers.pipelines.sana.pipeline_output.SanaPipelineOutput

< source >

( images: list[PIL.Image.Image] | numpy.ndarray )

参数

images (list[PIL.Image.Image] 或 np.ndarray) — 长度为 batch_size 的去噪 PIL 图像列表，或形状为 (batch_size, height, width, num_channels) 的 numpy 数组。PIL 图像或 numpy 数组表示扩散流水线生成的去噪图像。

Sana 管道的输出类。

Update on GitHub

←QwenImage Sana Sprint→

Diffusers

SanaPipeline

量化

SanaPipeline

class diffusers.SanaPipeline

__call__

encode_prompt

SanaPAGPipeline

class diffusers.SanaPAGPipeline

__call__

encode_prompt

SanaPipelineOutput

class diffusers.pipelines.sana.pipeline_output.SanaPipelineOutput

call

call