LongCat-Image

Apresentamos o LongCat-Image, um modelo de fundação pioneiro, de código aberto e bilíngue (chinês-inglês) para geração de imagens, projetado para abordar os desafios centrais na renderização de texto multilíngue, no fotorealismo, na eficiência de implantação e na acessibilidade para desenvolvedores, que são prevalentes nos modelos líderes atuais.

Principais recursos

• 🌟 Eficiência e desempenho excepcionais: Com apenas 6B parâmetros, o LongCat-Image supera diversos modelos de código aberto que são várias vezes maiores em múltiplos benchmarks, demonstrando o imenso potencial do design de modelos eficientes.
• 🌟 Desempenho superior em edição: O modelo LongCat-Image-Edit atinge desempenho de estado da arte entre os modelos de código aberto, oferecendo liderança em seguimento de instruções e qualidade de imagem, com consistência visual superior.
• 🌟 Renderização de texto em chinês poderosa: O LongCat-Image demonstra precisão e estabilidade superiores na renderização de caracteres chineses comuns em comparação com os modelos open-source SOTA existentes e alcança uma cobertura líder do setor do dicionário chinês.
• 🌟 Fotorrealismo notável: Por meio de uma estratégia de dados e um framework de treinamento inovadores, o LongCat-Image alcança um fotorrealismo notável nas imagens geradas.
• 🌟 Ecossistema Open-Source Abrangente: Fornecemos uma cadeia de ferramentas completa, desde checkpoints intermediários até o código completo de treinamento, reduzindo significativamente a barreira para pesquisas e desenvolvimentos adicionais.

Para mais detalhes, consulte o abrangente Relatório Técnico do LongCat-Image

Exemplo de uso

import torch
import diffusers
from diffusers import LongCatImagePipeline

weight_dtype = torch.bfloat16
pipe = LongCatImagePipeline.from_pretrained("meituan-longcat/LongCat-Image", dtype=torch.bfloat16 )
pipe.to('cuda')  # or "mps", "xpu", "cpu"
# pipe.enable_model_cpu_offload()

prompt = '一个年轻的亚裔女性，身穿黄色针织衫，搭配白色项链。她的双手放在膝盖上，表情恬静。背景是一堵粗糙的砖墙，午后的阳光温暖地洒在她身上，营造出一种宁静而温馨的氛围。镜头采用中距离视角，突出她的神态和服饰的细节。光线柔和地打在她的脸上，强调她的五官和饰品的质感，增加画面的层次感与亲和力。整个画面构图简洁，砖墙的纹理与阳光的光影效果相得益彰，突显出人物的优雅与从容。'
image = pipe(
    prompt,
    height=768,
    width=1344,
    guidance_scale=4.0,
    num_inference_steps=50,
    num_images_per_prompt=1,
    generator=torch.Generator("cpu").manual_seed(43),
    enable_cfg_renorm=True,
    enable_prompt_rewrite=True,
).images[0]
image.save(f'./longcat_image_t2i_example.png')

Este pipeline foi contribuído pela equipe LongCat-Image. A base de código original pode ser encontrada aqui.

Modelos disponíveis:

LongCatImagePipeline

• todos
• call

LongCatImagePipelineOutput