Ernie-Image

[t0]ERNIE-Image[/t0] là một mô hình tạo ảnh mạnh mẽ và hiệu quả cao với 8B tham số. Hiện tại chỉ có hai mô hình được phát hành:

ERNIE-Image

ERNIE-Image được thiết kế với kiến trúc tương đối gọn nhẹ và khả năng tuân theo chỉ thị vững chắc, nhấn mạnh vào hiệu quả tham số. Dựa trên khung xương DiT 8B, nó cung cấp hiệu suất tương đương với các mô hình lớn hơn (20B+) trong một số kịch bản, đồng thời duy trì hiệu quả tham số hợp lý. Nó mang lại mức độ hiệu suất tương đối ổn định trong việc hiểu và thực thi chỉ thị, tạo văn bản (ví dụ: tiếng Anh / tiếng Trung / tiếng Nhật) và độ ổn định tổng thể.

ERNIE-Image-Turbo

ERNIE-Image-Turbo là một biến thể đã được chưng cất của ERNIE-Image, chỉ cần 8 NFEs (Number of Function Evaluations) và cung cấp một phương án thay thế hiệu quả hơn với hiệu suất tương đối tương đương so với mô hình đầy đủ trong một số trường hợp.

ErnieImagePipeline

Sử dụng [ErnieImagePipeline] để tạo hình ảnh từ các prompt văn bản. Pipeline hỗ trợ Prompt Enhancer (PE) theo mặc định, giúp tăng cường prompt thô của người dùng để cải thiện chất lượng đầu ra, mặc dù điều này có thể làm giảm độ chính xác trong việc tuân theo chỉ dẫn.

Chúng tôi cung cấp một mô hình PE có 3B tham số đã được huấn luyện trước; tuy nhiên, việc sử dụng các mô hình ngôn ngữ lớn hơn (ví dụ: Gemini hoặc ChatGPT) để tăng cường prompt có thể mang lại kết quả tốt hơn. Mẫu prompt hệ thống có sẵn tại: https://huggingface.co/baidu/ERNIE-Image/blob/main/pe/chat_template.jinja.

Nếu bạn không muốn sử dụng PE, hãy đặt use_pe=False.

import torch
from diffusers import ErnieImagePipeline
from diffusers.utils import load_image

pipe = ErnieImagePipeline.from_pretrained("baidu/ERNIE-Image", dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"
# If you are running low on GPU VRAM, you can enable offloading
pipe.enable_model_cpu_offload()

prompt = "一只黑白相间的中华田园犬"
images = pipe(
    prompt=prompt,
    height=1024,
    width=1024,
    num_inference_steps=50,
    guidance_scale=4.0,
    generator=torch.Generator("cuda").manual_seed(42),
    use_pe=True,
).images
images[0].save("ernie-image-output.png")

import torch
from diffusers import ErnieImagePipeline
from diffusers.utils import load_image

pipe = ErnieImagePipeline.from_pretrained("baidu/ERNIE-Image-Turbo", dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"
# If you are running low on GPU VRAM, you can enable offloading
pipe.enable_model_cpu_offload()

prompt = "一只黑白相间的中华田园犬"
images = pipe(
    prompt=prompt,
    height=1024,
    width=1024,
    num_inference_steps=8,
    guidance_scale=1.0,
    generator=torch.Generator("cuda").manual_seed(42),
    use_pe=True,
).images
images[0].save("ernie-image-turbo-output.png")