Diffusers documentation

LongCat-Image

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LongCat-Image

LoRA

我们推出了 LongCat-Image,这是一款开创性的开源双语(中英)图像生成基础模型,旨在解决当前主流模型中普遍存在的多语言文本渲染、照片级真实感、部署效率以及开发者易用性方面的核心挑战。

主要功能

  • 🌟 卓越的效率与性能:仅凭借 6B 参数,LongCat-Image 在多项基准测试中超越了多个规模数倍于它的开源模型,充分展现了高效模型设计的巨大潜力。
  • 🌟 卓越的编辑性能:LongCat-Image-Edit 模型在开源模型中达到了最先进的性能,在指令遵循和图像质量方面表现领先,并具备出色的视觉一致性。
  • 🌟 强大的中文文本渲染能力:与现有的 SOTA 开源模型相比,LongCat-Image 在渲染常用汉字方面展现出更高的准确性和稳定性,并实现了对中文字典的行业领先覆盖。
  • 🌟 出色的照片级真实感:通过创新的数据策略和训练框架,LongCat-Image 在生成的图像中实现了出色的照片级真实感。
  • 🌟 全面的开源生态系统:我们提供完整的工具链,从中间检查点到完整的训练代码,大幅降低了进一步研究和开发的门槛。

有关更多详细信息,请参阅全面的 LongCat-Image 技术报告

使用示例

import torch
import diffusers
from diffusers import LongCatImagePipeline

weight_dtype = torch.bfloat16
pipe = LongCatImagePipeline.from_pretrained("meituan-longcat/LongCat-Image", dtype=torch.bfloat16 )
pipe.to('cuda')  # or "mps", "xpu", "cpu"
# pipe.enable_model_cpu_offload()

prompt = '一个年轻的亚裔女性,身穿黄色针织衫,搭配白色项链。她的双手放在膝盖上,表情恬静。背景是一堵粗糙的砖墙,午后的阳光温暖地洒在她身上,营造出一种宁静而温馨的氛围。镜头采用中距离视角,突出她的神态和服饰的细节。光线柔和地打在她的脸上,强调她的五官和饰品的质感,增加画面的层次感与亲和力。整个画面构图简洁,砖墙的纹理与阳光的光影效果相得益彰,突显出人物的优雅与从容。'
image = pipe(
    prompt,
    height=768,
    width=1344,
    guidance_scale=4.0,
    num_inference_steps=50,
    num_images_per_prompt=1,
    generator=torch.Generator("cpu").manual_seed(43),
    enable_cfg_renorm=True,
    enable_prompt_rewrite=True,
).images[0]
image.save(f'./longcat_image_t2i_example.png')

此流水线由 LongCat-Image 团队贡献。原始代码库可在此处找到。

可用模型:

模型类型描述下载链接
LongCat‑Image文本到图像最终发布版本。用于开箱即用推理的标准模型。🤗 Huggingface
LongCat‑Image‑Dev文本到图像开发。中期训练检查点,适合用于微调。🤗 Huggingface
LongCat‑Image‑Edit图像编辑用于图像编辑的专用模型。🤗 Huggingface

LongCatImagePipeline

class diffusers.LongCatImagePipeline

< >

( scheduler: FlowMatchEulerDiscreteSchedulervae: AutoencoderKLtext_encoder: Qwen2_5_VLForConditionalGenerationtokenizer: Qwen2Tokenizertext_processor: Qwen2VLProcessortransformer: LongCatImageTransformer2DModel )

用于文本到图像生成的流水线。

  • 全部
  • 调用

LongCatImagePipelineOutput

类 diffusers.pipelines.longcat_image.LongCatImagePipelineOutput

< >

( images: list )

参数

  • images (list[PIL.Image.Image] 或 np.ndarray) — 长度为 batch_size 的去噪 PIL 图像列表,或形状为 (batch_size, height, width, num_channels) 的 numpy 数组。PIL 图像或 numpy 数组表示扩散流水线生成的去噪图像。

Stable Diffusion 管道的输出类。

Update on GitHub