Ernie-Image

[t0]ERNIE-Image[/t0] adalah model generasi gambar yang kuat dan sangat efisien dengan 8B parameter. Saat ini hanya ada dua model yang akan dirilis:

ERNIE-Image

ERNIE-Image dirancang dengan arsitektur yang relatif ringkas dan kemampuan mengikuti instruksi yang solid, dengan penekanan pada efisiensi parameter. Berdasarkan backbone DiT 8B, model ini memberikan performa yang setara dengan model yang lebih besar (20B+) dalam beberapa skenario, sambil tetap mempertahankan efisiensi parameter yang wajar. Model ini menawarkan tingkat performa yang relatif stabil dalam pemahaman dan eksekusi instruksi, generasi teks (misalnya, Inggris / Mandarin / Jepang), serta stabilitas keseluruhan.

ERNIE-Image-Turbo

ERNIE-Image-Turbo adalah varian terdistilasi dari ERNIE-Image, yang hanya membutuhkan 8 NFEs (Number of Function Evaluations) dan menawarkan alternatif yang lebih efisien dengan kinerja yang relatif sebanding dengan model penuh dalam beberapa kasus.

ErnieImagePipeline

Gunakan [ErnieImagePipeline] untuk menghasilkan gambar dari prompt teks. Pipeline ini mendukung Prompt Enhancer (PE) secara default, yang meningkatkan prompt mentah pengguna untuk memperbaiki kualitas output, meskipun hal ini dapat mengurangi akurasi kepatuhan terhadap instruksi.

Kami menyediakan model PE dengan 3B parameter yang telah dilatih sebelumnya; namun, penggunaan model bahasa yang lebih besar (misalnya, Gemini atau ChatGPT) untuk peningkatan prompt dapat menghasilkan hasil yang lebih baik. Template prompt sistem tersedia di: https://huggingface.co/baidu/ERNIE-Image/blob/main/pe/chat_template.jinja.

Jika Anda lebih memilih untuk tidak menggunakan PE, atur use_pe=False.

import torch
from diffusers import ErnieImagePipeline
from diffusers.utils import load_image

pipe = ErnieImagePipeline.from_pretrained("baidu/ERNIE-Image", dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"
# If you are running low on GPU VRAM, you can enable offloading
pipe.enable_model_cpu_offload()

prompt = "一只黑白相间的中华田园犬"
images = pipe(
    prompt=prompt,
    height=1024,
    width=1024,
    num_inference_steps=50,
    guidance_scale=4.0,
    generator=torch.Generator("cuda").manual_seed(42),
    use_pe=True,
).images
images[0].save("ernie-image-output.png")

import torch
from diffusers import ErnieImagePipeline
from diffusers.utils import load_image

pipe = ErnieImagePipeline.from_pretrained("baidu/ERNIE-Image-Turbo", dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"
# If you are running low on GPU VRAM, you can enable offloading
pipe.enable_model_cpu_offload()

prompt = "一只黑白相间的中华田园犬"
images = pipe(
    prompt=prompt,
    height=1024,
    width=1024,
    num_inference_steps=8,
    guidance_scale=1.0,
    generator=torch.Generator("cuda").manual_seed(42),
    use_pe=True,
).images
images[0].save("ernie-image-turbo-output.png")