Hugging Face's logo

Diffusers documentation

HunyuanVideo-1.5

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanVideo-1.5

HunyuanVideo-1.5 هو نموذج خفيف الوزن وقوي لتوليد الفيديو، يحقق جودة بصرية واتساقًا حركيًا من الطراز الأول باستخدام 8.3 مليار معامل فقط، مما يتيح استنتاجًا فعالًا على وحدات معالجة الرسومات الموجهة للمستهلكين. يعتمد هذا الإنجاز على عدة مكونات رئيسية، بما في ذلك تدقيق دقيق للبيانات، وهندسة DiT متقدمة مع انتباه انتقائي ومنزلق للبلاطات (SSTA)، وفهم ثنائي اللغة معزز عبر ترميز النص الواعي بالرموز، والتدريب المسبق التدريبي والتدريب اللاحق، وشبكة فعالة لتحسين دقة الفيديو. بالاستفادة من هذه التصاميم، طورنا إطارًا موحّدًا قادرًا على توليد فيديو عالي الجودة من النص إلى الفيديو ومن الصورة إلى الفيديو عبر مدد ودقات متعددة. تُظهر التجارب الواسعة أن هذا النموذج المدمج والكفء يُرسّخ طرازًا جديدًا من الطراز الأول بين النماذج مفتوحة المصدر.

يمكنك العثور على جميع نقاط التفتيش الأصلية لنموذج HunyuanVideo تحت منظمة Tencent.

انقر على نماذج HunyuanVideo في الشريط الجانبي الأيمن لمزيد من الأمثلة على مهام توليد الفيديو.

تستخدم الأمثلة أدناه نقطة تحقق من hunyuanvideo-community لأن الأوزان مخزنة في تخطيط متوافق مع Diffusers.

يُبيّن المثال أدناه كيفية توليد فيديو مُحسَّن للذاكرة أو لسرعة الاستدلال.

<hfoptions id="usage"> <hfoption id="memory">

راجع دليل تقليل استهلاك الذاكرة لمزيد من التفاصيل حول تقنيات توفير الذاكرة المختلفة.

import torch
from diffusers import AutoModel, HunyuanVideo15Pipeline
from diffusers.utils import export_to_video


pipeline = HunyuanVideo15Pipeline.from_pretrained(
    "HunyuanVideo-1.5-Diffusers-480p_t2v",
    dtype=torch.bfloat16,
)

# model-offloading and tiling
pipeline.enable_model_cpu_offload()
pipeline.vae.enable_tiling()

prompt = "A fluffy teddy bear sits on a bed of soft pillows surrounded by children's toys."
video = pipeline(prompt=prompt, num_frames=61, num_inference_steps=30).frames[0]
export_to_video(video, "output.mp4", fps=15)

ملاحظات

  • يستخدم HunyuanVideo1.5 أقنعة انتباه (attention masks) مع تسلسلات بطول متغير. للحصول على أفضل أداء، نوصي باستخدام واجهة خلفية (backend) للانتباه تتعامل مع الحشو (padding) بكفاءة.

    • H100/H800: _flash_3_hub أو _flash_3_varlen_hub
    • A100/A800/RTX 4090: flash_hub أو flash_varlen_hub
    • بطاقات رسومية أخرى: sage_hub

راجع دليل واجهات الانتباه الخلفية لمزيد من التفاصيل حول استخدام واجهة خلفية مختلفة.

pipe.transformer.set_attention_backend("flash_hub")  # or your preferred backend
  • يستخدم HunyuanVideo15Pipeline موجِّهًا ولا يقبل معامل guidance_scale وقت التشغيل.

يمكنك التحقق من إعداد الموجّه الافتراضي باستخدام pipe.guider:

>>> pipe.guider 
ClassifierFreeGuidance {
  "_class_name": "ClassifierFreeGuidance",
  "_diffusers_version": "0.36.0.dev0",
  "enabled": true,
  "guidance_rescale": 0.0,
  "guidance_scale": 6.0,
  "start": 0.0,
  "stop": 1.0,
  "use_original_formulation": false
}

State:
  step: None
  num_inference_steps: None
  timestep: None
  count_prepared: 0
  enabled: True
  num_conditions: 2

لتحديث إعدادات guider، يمكنك تشغيل pipe.guider = pipe.guider.new(...)

pipe.guider = pipe.guider.new(guidance_scale=5.0)

اقرأ المزيد حول Guider هنا.

HunyuanVideo15Pipeline

فئة diffusers.HunyuanVideo15Pipeline

< >

( text_encoder: Qwen2_5_VLTextModeltokenizer: Qwen2Tokenizertransformer: HunyuanVideo15Transformer3DModelvae: AutoencoderKLHunyuanVideo15scheduler: FlowMatchEulerDiscreteSchedulertext_encoder_2: T5EncoderModeltokenizer_2: ByT5Tokenizerguider: ClassifierFreeGuidance )

المعاملات

  • transformer (HunyuanVideo15Transformer3DModel) — بنية Transformer الشرطية (MMDiT) لإزالة الضوضاء من كامنات الفيديو المُرمّزة.
  • scheduler (FlowMatchEulerDiscreteScheduler) — جدول زمني يُستخدم بالاقتران مع transformer لإزالة الضوضاء من كائنات الفيديو المُرمّزة.
  • vae (AutoencoderKLHunyuanVideo15) — نموذج الترميز التبايني التلقائي (VAE) لتشفير وفك تشفير مقاطع الفيديو إلى تمثيلات كامنة ومنها.
  • text_encoder (Qwen2.5-VL-7B-Instruct) — Qwen2.5-VL-7B-Instruct، وتحديداً متغير Qwen2.5-VL-7B-Instruct.
  • tokenizer (Qwen2Tokenizer) — مُجزِّئ من الفئة [Qwen2Tokenizer].
  • text_encoder_2 (T5EncoderModel) — نسخة T5EncoderModel.
  • tokenizer_2 (ByT5Tokenizer) — مُقسِّم من الفئة [ByT5Tokenizer]
  • guider (ClassifierFreeGuidance) — [ClassifierFreeFreeGuidance]لإرشاد بدون مُصنِّف.

خط أنابيب لتوليد الفيديو من النص باستخدام HunyuanVideo1.5.

يرث هذا النموذج من DiffusionPipeline. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة المُنفَّذة لجميع خطوط الأنابيب (التنزيل، الحفظ، التشغيل على جهاز معين، إلخ).

__call__

< >

( prompt: str | list[str] = Nonenegative_prompt: str | list[str] = Noneheight: int | None = Nonewidth: int | None = Nonenum_frames: int = 121num_inference_steps: int = 50sigmas: list[float] = Nonenum_videos_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_mask: typing.Optional[torch.Tensor] = Noneprompt_embeds_2: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask_2: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_2: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_mask_2: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'np'return_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None ) → ~HunyuanVideo15PipelineOutput or tuple

المعاملات

  • prompt (str أو list[str]، اختياري) — الموجّه أو الموجّهات التي تُوجّه توليد الصورة. إذا لم يُعرَّف، يجب تمرير prompt_embeds بدلاً من ذلك.
  • negative_prompt (str أو list[str]، اختياري) — الموجّه أو الموجّهات التي لا ينبغي استخدامها لتوجيه توليد الصورة. إذا لم يُعرَّف، يجب تمرير negative_prompt_embeds بدلاً منه.
  • height (int، اختياري) — ارتفاع الفيديو المولّد بالبكسلات.
  • width (int، اختياري) — عرض الفيديو المولّد بالبكسل.
  • num_frames (int، القيمة الافتراضية 121) — عدد الإطارات في الفيديو المولّد.
  • num_inference_steps (int، القيمة الافتراضية 50) — عدد خطوات إزالة الضوضاء. تؤدي زيادة عدد خطوات إزالة الضوضاء عادةً إلى فيديو بجودة أعلى على حساب بطء الاستدلال.
  • sigmas (list[float]، اختياري) — قيم sigmas مخصصة لاستخدامها في عملية إزالة الضوضاء مع المجدولين الذين يدعمون معامل sigmas في طريقة set_timesteps الخاصة بهم. إذا لم يُعرَّف، فسيتم استخدام السلوك الافتراضي عند تمرير num_inference_steps.
  • num_videos_per_prompt (int، اختياري، القيمة الافتراضية 1) — عدد مقاطع الفيديو التي سيتم توليدها لكل موجه.
  • generator (torch.Generator أو list[torch.Generator]، اختياري) — torch.Generator لجعل التوليد حتميًا.
  • latents (torch.Tensor، اختياري) — كائنات ضجيج مُولّدة مسبقًا ومُسحوبة من توزيع غاوسي، تُستخدم كمدخلات لتوليد الفيديو. يمكن استخدامها لتعديل نفس التوليد باستخدام أوامر مختلفة. إذا لم تُقدَّم، يتم توليد كائن latents عن طريق السحب باستخدام مولّد الأرقام العشوائية generator المُقدَّم.
  • prompt_embeds (torch.Tensor، اختياري) — تضمينات نصية مُولَّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة (مثل وزن الموجهات). إذا لم تُقدَّم، يتم توليد التضمينات النصية من معامل الإدخال prompt.
  • prompt_embeds_mask (torch.Tensor، اختياري) — قناع مُولَّد مسبقًا لتضمينات الموجه.
  • negative_prompt_embeds (torch.Tensor، اختياري) — تضمينات نصية سلبية مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الموجه. إذا لم تُقدَّم، فسيتم توليد negative_prompt_embeds من معامل الإدخال negative_prompt.
  • negative_prompt_embeds_mask (torch.Tensor، اختياري) — قناع مُولّد مسبقًا لتضمينات الموجهات السلبية.
  • prompt_embeds_2 (torch.Tensor، اختياري) — تضمينات نصية مُولَّدة مسبقًا من مُشفِّر النص الثاني. يمكن استخدامها لتعديل مدخلات النص بسهولة.
  • prompt_embeds_mask_2 (torch.Tensor، اختياري) — قناع مُولَّد مسبقًا لتضمينات الموجه من مُشفِّر النص الثاني.
  • negative_prompt_embeds_2 (torch.Tensor، اختياري) — تضمينات نصية سالبة مُولّدة مسبقًا من مُشفّر النص الثاني.
  • negative_prompt_embeds_mask_2 (torch.Tensor، اختياري) — قناع مُولَّد مسبقًا لتضمينات الموجهات السالبة من مُشفِّر النص الثاني.
  • output_type (str، اختياري، الافتراضي "np") — صيغة مخرجات الفيديو المولّد. اختر بين “np” أو “pt” أو “latent”.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع HunyuanVideo15PipelineOutput بدلاً من tuple عادي.
  • attention_kwargs (dict، اختياري) — قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.

يعيد

~HunyuanVideo15PipelineOutput أو tuple

إذا كان return_dict هو True، يُعاد HunyuanVideo15PipelineOutput، وإلا يُعاد tuple يكون عنصره الأول قائمة بالفيديوهات المولّدة.

دالة الاستدعاء call لخط الأنابيب pipeline الخاص بالتوليد.

أمثلة:

>>> import torch
>>> from diffusers import HunyuanVideo15Pipeline
>>> from diffusers.utils import export_to_video

>>> model_id = "hunyuanvideo-community/HunyuanVideo-1.5-480p_t2v"
>>> pipe = HunyuanVideo15Pipeline.from_pretrained(model_id, torch_dtype=torch.float16)
>>> pipe.vae.enable_tiling()
>>> pipe.to("cuda")

>>> output = pipe(
...     prompt="A cat walks on the grass, realistic",
...     num_inference_steps=50,
... ).frames[0]
>>> export_to_video(output, "output.mp4", fps=15)

encode_prompt

< >

( prompt: str | list[str]device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = Nonebatch_size: int = 1num_videos_per_prompt: int = 1prompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask: typing.Optional[torch.Tensor] = Noneprompt_embeds_2: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask_2: typing.Optional[torch.Tensor] = None )

المعاملات

  • prompt (str أو list[str]، اختياري) — الموجّه الذي سيتم ترميزه
  • device — (torch.device): جهاز torch
  • batch_size (int) — حجم الدفعة للموجّهات، القيمة الافتراضية هي 1
  • num_videos_per_prompt (int) — عدد الصور التي يجب توليدها لكل موجه
  • prompt_embeds (torch.Tensor، اختياري) — تضمينات نصية مُولَّدة مسبقًا. إذا لم تُقدَّم، فسيتم توليد تضمينات النص من معامل الإدخال prompt.
  • prompt_embeds_mask (torch.Tensor، اختياري) — قناع نصي مُولّد مسبقًا. إذا لم يُقدَّم، فسيتم توليد قناع النص من معامل الإدخال prompt.
  • prompt_embeds_2 (torch.Tensor، اختياري) — تضمينات نص رمزي مُولّدة مسبقًا من ByT5. إذا لم تُقدَّم، فستُولَّد من حجة الإدخال prompt باستخدام self.tokenizer_2 وself.text_encoder_2.
  • prompt_embeds_mask_2 (torch.Tensor، اختياري) — قناع نص الرموز المُولَّد مسبقًا من ByT5. إذا لم يُقدَّم، فسيتم توليده من حجة الإدخال prompt باستخدام self.tokenizer_2 وself.text_encoder_2.

prepare_cond_latents_and_mask

< >

( latentsdtype: typing.Optional[torch.dtype]device: typing.Optional[torch.device] ) → tuple

المعاملات

  • latents — متجه الكامن الرئيسي (B, C, F, H, W)

يعيد

tuple

(cond_latents_concat, mask_concat) - كلاهما متجهات صفرية في t2v

جهّز الكمونيات الشرطية والقناع لتوليد t2v.

HunyuanVideo15ImageToVideoPipeline

فئة diffusers.HunyuanVideo15ImageToVideoPipeline

< >

( text_encoder: Qwen2_5_VLTextModeltokenizer: Qwen2Tokenizertransformer: HunyuanVideo15Transformer3DModelvae: AutoencoderKLHunyuanVideo15scheduler: FlowMatchEulerDiscreteSchedulertext_encoder_2: T5EncoderModeltokenizer_2: ByT5Tokenizerguider: ClassifierFreeGuidanceimage_encoder: SiglipVisionModelfeature_extractor: SiglipImageProcessorPil )

المعاملات

  • transformer (HunyuanVideo15Transformer3DModel) — بنية Transformer الشرطية (MMDiT) لإزالة الضوضاء من كامنات الفيديو المُرمّزة.
  • scheduler (FlowMatchEulerDiscreteScheduler) — جدول زمني يُستخدم بالاقتران مع transformer لإزالة الضوضاء من كائنات الفيديو المُرمّزة.
  • vae (AutoencoderKLHunyuanVideo15) — نموذج الترميز التبايني التلقائي (VAE) لتشفير وفك تشفير مقاطع الفيديو إلى تمثيلات كامنة ومنها.
  • text_encoder (Qwen2.5-VL-7B-Instruct) — Qwen2.5-VL-7B-Instruct، وتحديداً متغير Qwen2.5-VL-7B-Instruct.
  • tokenizer (Qwen2Tokenizer) — مُجزِّئ من الفئة [Qwen2Tokenizer].
  • text_encoder_2 (T5EncoderModel) — نسخة T5EncoderModel.
  • tokenizer_2 (ByT5Tokenizer) — مُقسِّم من الفئة [ByT5Tokenizer]
  • guider (ClassifierFreeGuidance) — [ClassifierFreeFreeGuidance]لإرشاد بدون مُصنِّف.
  • image_encoder (SiglipVisionModel) — نسخة SiglipVisionModel.
  • feature_extractor (SiglipImageProcessor) — نوع SiglipImageProcessor.

خط أنابيب لتوليد الفيديو من الصور باستخدام HunyuanVideo1.5.

يرث هذا النموذج من DiffusionPipeline. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة المُنفَّذة لجميع خطوط الأنابيب (التنزيل، الحفظ، التشغيل على جهاز معين، إلخ).

__call__

< >

( image: Imageprompt: str | list[str] = Nonenegative_prompt: str | list[str] = Nonenum_frames: int = 121num_inference_steps: int = 50sigmas: list[float] = Nonenum_videos_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_mask: typing.Optional[torch.Tensor] = Noneprompt_embeds_2: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask_2: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_2: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_mask_2: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'np'return_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None ) → ~HunyuanVideo15PipelineOutput or tuple

المعاملات

  • image (PIL.Image.Image) — الصورة المدخلة التي تُشترط عليها عملية توليد الفيديو.
  • prompt (str أو list[str]، اختياري) — الموجّه أو الموجّهات التي تُوجّه توليد الفيديو. إذا لم يُعرَّف، يجب تمرير prompt_embeds بدلاً من ذلك.
  • negative_prompt (str أو list[str]، اختياري) — الموجّه أو الموجّهات التي لا ينبغي استخدامها لتوجيه توليد الفيديو. إذا لم يُعرَّف، يجب تمرير negative_prompt_embeds بدلاً منه.
  • num_frames (int، القيمة الافتراضية 121) — عدد الإطارات في الفيديو المولّد.
  • num_inference_steps (int، القيمة الافتراضية 50) — عدد خطوات إزالة الضوضاء. تؤدي زيادة عدد خطوات إزالة الضوضاء عادةً إلى فيديو بجودة أعلى على حساب بطء الاستدلال.
  • sigmas (list[float]، اختياري) — قيم sigmas مخصصة لاستخدامها في عملية إزالة الضوضاء مع المجدولين الذين يدعمون معامل sigmas في طريقة set_timesteps الخاصة بهم. إذا لم يُعرَّف، فسيتم استخدام السلوك الافتراضي عند تمرير num_inference_steps.
  • num_videos_per_prompt (int، اختياري، القيمة الافتراضية 1) — عدد مقاطع الفيديو التي سيتم توليدها لكل موجه.
  • generator (torch.Generator أو list[torch.Generator]، اختياري) — torch.Generator لجعل التوليد حتميًا.
  • latents (torch.Tensor، اختياري) — كائنات ضجيج مُولّدة مسبقًا ومُسحوبة من توزيع غاوسي، تُستخدم كمدخلات لتوليد الفيديو. يمكن استخدامها لتعديل نفس التوليد باستخدام أوامر مختلفة. إذا لم تُقدَّم، يتم توليد كائن latents عن طريق السحب باستخدام مولّد الأرقام العشوائية generator المُقدَّم.
  • prompt_embeds (torch.Tensor، اختياري) — تضمينات نصية مُولَّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة (مثل وزن الموجهات). إذا لم تُقدَّم، يتم توليد التضمينات النصية من معامل الإدخال prompt.
  • prompt_embeds_mask (torch.Tensor، اختياري) — قناع مُولَّد مسبقًا لتضمينات الموجه.
  • negative_prompt_embeds (torch.Tensor، اختياري) — تضمينات نصية سلبية مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الموجه. إذا لم تُقدَّم، فسيتم توليد negative_prompt_embeds من معامل الإدخال negative_prompt.
  • negative_prompt_embeds_mask (torch.Tensor، اختياري) — قناع مُولّد مسبقًا لتضمينات الموجهات السلبية.
  • prompt_embeds_2 (torch.Tensor، اختياري) — تضمينات نصية مُولَّدة مسبقًا من مُشفِّر النص الثاني. يمكن استخدامها لتعديل مدخلات النص بسهولة.
  • prompt_embeds_mask_2 (torch.Tensor، اختياري) — قناع مُولَّد مسبقًا لتضمينات الموجه من مُشفِّر النص الثاني.
  • negative_prompt_embeds_2 (torch.Tensor، اختياري) — تضمينات نصية سالبة مُولّدة مسبقًا من مُشفّر النص الثاني.
  • negative_prompt_embeds_mask_2 (torch.Tensor، اختياري) — قناع مُولَّد مسبقًا لتضمينات الموجهات السالبة من مُشفِّر النص الثاني.
  • output_type (str، اختياري، الافتراضي "np") — صيغة مخرجات الفيديو المولّد. اختر بين “np” أو “pt” أو “latent”.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع HunyuanVideo15PipelineOutput بدلاً من tuple عادي.
  • attention_kwargs (dict، اختياري) — قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.

يعيد

~HunyuanVideo15PipelineOutput أو tuple

إذا كان return_dict هو True، يُعاد HunyuanVideo15PipelineOutput، وإلا يُعاد tuple يكون عنصره الأول قائمة بالفيديوهات المولّدة.

دالة الاستدعاء call لخط الأنابيب pipeline الخاص بالتوليد.

أمثلة:

>>> import torch
>>> from diffusers import HunyuanVideo15ImageToVideoPipeline
>>> from diffusers.utils import export_to_video

>>> model_id = "hunyuanvideo-community/HunyuanVideo-1.5-480p_i2v"
>>> pipe = HunyuanVideo15ImageToVideoPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
>>> pipe.vae.enable_tiling()
>>> pipe.to("cuda")

>>> image = load_image("https://huggingface.co/datasets/YiYiXu/testing-images/resolve/main/wan_i2v_input.JPG")

>>> output = pipe(
...     prompt="Summer beach vacation style, a white cat wearing sunglasses sits on a surfboard. The fluffy-furred feline gazes directly at the camera with a relaxed expression. Blurred beach scenery forms the background featuring crystal-clear waters, distant green hills, and a blue sky dotted with white clouds. The cat assumes a naturally relaxed posture, as if savoring the sea breeze and warm sunlight. A close-up shot highlights the feline's intricate details and the refreshing atmosphere of the seaside.",
...     image=image,
...     num_inference_steps=50,
... ).frames[0]
>>> export_to_video(output, "output.mp4", fps=24)

encode_prompt

< >

( prompt: str | list[str]device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = Nonebatch_size: int = 1num_videos_per_prompt: int = 1prompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask: typing.Optional[torch.Tensor] = Noneprompt_embeds_2: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask_2: typing.Optional[torch.Tensor] = None )

المعاملات

  • prompt (str أو list[str]، اختياري) — الموجّه الذي سيتم ترميزه
  • device — (torch.device): جهاز torch
  • batch_size (int) — حجم الدفعة للموجّهات، القيمة الافتراضية هي 1
  • num_videos_per_prompt (int) — عدد الصور التي يجب توليدها لكل موجه
  • prompt_embeds (torch.Tensor، اختياري) — تضمينات نصية مُولَّدة مسبقًا. إذا لم تُقدَّم، فسيتم توليد تضمينات النص من معامل الإدخال prompt.
  • prompt_embeds_mask (torch.Tensor، اختياري) — قناع نصي مُولّد مسبقًا. إذا لم يُقدَّم، فسيتم توليد قناع النص من معامل الإدخال prompt.
  • prompt_embeds_2 (torch.Tensor، اختياري) — تضمينات نص رمزي مُولّدة مسبقًا من ByT5. إذا لم تُقدَّم، فستُولَّد من حجة الإدخال prompt باستخدام self.tokenizer_2 وself.text_encoder_2.
  • prompt_embeds_mask_2 (torch.Tensor، اختياري) — قناع نص الرموز المُولَّد مسبقًا من ByT5. إذا لم يُقدَّم، فسيتم توليده من حجة الإدخال prompt باستخدام self.tokenizer_2 وself.text_encoder_2.

prepare_cond_latents_and_mask

< >

( latents: Tensorimage: Imagebatch_size: intheight: intwidth: intdtype: dtypedevice: device ) → tuple

المعاملات

  • latents — متجه الكامن الرئيسي (B, C, F, H, W)

يعيد

tuple

(cond_latents_concat, mask_concat) - كلاهما متجهات صفرية في t2v

جهّز الكمونيات الشرطية والقناع لتوليد t2v.

HunyuanVideo15PipelineOutput

فئة diffusers.pipelines.hunyuan_video1_5.pipeline_output.HunyuanVideo15PipelineOutput

< >

( frames: Tensor )

المعاملات

  • frames (torch.Tensor أو np.ndarray أو قائمة[قائمة[PIL.Image.Image]]) — قائمة من مخرجات الفيديو - يمكن أن تكون قائمة متداخلة بطول batch_size, حيث تحتوي كل قائمة فرعية على سلاسل صور PIL منزوعة الضوضاء بطول num_frames. كما يمكن أن تكون مصفوفة NumPy أو متجه Torch من الشكل (batch_size, num_frames, channels, height, width).

فئة الإخراج لخطوط أنابيب HunyuanVideo1.5.

Update on GitHub

←HunyuanVideo Kandinsky 5.0 Video→