LongCat-Image

Chúng tôi giới thiệu LongCat-Image, một mô hình nền tảng mã nguồn mở và song ngữ (Trung-Anh) tiên phong cho việc tạo hình ảnh, được thiết kế để giải quyết các thách thức cốt lõi trong việc hiển thị văn bản đa ngôn ngữ, tính chân thực như ảnh chụp, hiệu quả triển khai và khả năng tiếp cận cho nhà phát triển, vốn phổ biến ở các mô hình hàng đầu hiện nay.

Tính năng chính

• 🌟 Hiệu suất và hiệu năng vượt trội: Với chỉ 6B tham số, LongCat-Image vượt qua nhiều mô hình mã nguồn mở có kích thước lớn hơn gấp nhiều lần trên nhiều bộ đánh chuẩn, cho thấy tiềm năng to lớn của thiết kế mô hình hiệu quả.
• 🌟 Hiệu suất chỉnh sửa vượt trội: Mô hình LongCat-Image-Edit đạt hiệu suất tiên tiến nhất trong số các mô hình mã nguồn mở, mang lại khả năng tuân theo chỉ thị và chất lượng hình ảnh hàng đầu cùng tính nhất quán thị giác vượt trội.
• 🌟 Hiển thị văn bản tiếng Trung mạnh mẽ: LongCat-Image thể hiện độ chính xác và độ ổn định vượt trội trong việc hiển thị các ký tự tiếng Trung phổ biến so với các mô hình mã nguồn mở SOTA hiện có và đạt được mức độ bao phủ từ điển tiếng Trung dẫn đầu ngành.
• 🌟 Độ chân thực đáng kinh ngạc: Nhờ chiến lược dữ liệu và khung huấn luyện đổi mới, LongCat-Image đạt được độ chân thực đáng kinh ngạc trong các hình ảnh được tạo ra.
• 🌟 Hệ sinh thái mã nguồn mở toàn diện: Chúng tôi cung cấp bộ công cụ hoàn chỉnh, từ các checkpoint trung gian đến mã huấn luyện đầy đủ, giúp giảm đáng kể rào cản cho nghiên cứu và phát triển tiếp theo.

Để biết thêm chi tiết, vui lòng tham khảo Báo cáo kỹ thuật LongCat-Image đầy đủ.

Ví dụ sử dụng

import torch
import diffusers
from diffusers import LongCatImagePipeline

weight_dtype = torch.bfloat16
pipe = LongCatImagePipeline.from_pretrained("meituan-longcat/LongCat-Image", dtype=torch.bfloat16 )
pipe.to('cuda')  # or "mps", "xpu", "cpu"
# pipe.enable_model_cpu_offload()

prompt = '一个年轻的亚裔女性，身穿黄色针织衫，搭配白色项链。她的双手放在膝盖上，表情恬静。背景是一堵粗糙的砖墙，午后的阳光温暖地洒在她身上，营造出一种宁静而温馨的氛围。镜头采用中距离视角，突出她的神态和服饰的细节。光线柔和地打在她的脸上，强调她的五官和饰品的质感，增加画面的层次感与亲和力。整个画面构图简洁，砖墙的纹理与阳光的光影效果相得益彰，突显出人物的优雅与从容。'
image = pipe(
    prompt,
    height=768,
    width=1344,
    guidance_scale=4.0,
    num_inference_steps=50,
    num_images_per_prompt=1,
    generator=torch.Generator("cpu").manual_seed(43),
    enable_cfg_renorm=True,
    enable_prompt_rewrite=True,
).images[0]
image.save(f'./longcat_image_t2i_example.png')

Pipeline này được đóng góp bởi LongCat-Image Team. Mã nguồn gốc có thể được tìm thấy tại đây.

Các model có sẵn:

LongCatImagePipeline

• tất cả
• call

LongCatImagePipelineOutput