Hugging Face's logo

Diffusers documentation

StableAudioDiTModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

StableAudioDiTModel

نموذج Transformer لموجات الصوت من Stable Audio Open.

StableAudioDiTModel

فئة diffusers.StableAudioDiTModel

< >

( sample_size: int = 1024in_channels: int = 64num_layers: int = 24attention_head_dim: int = 64num_attention_heads: int = 24num_key_value_attention_heads: int = 12out_channels: int = 64cross_attention_dim: int = 768time_proj_dim: int = 256global_states_input_dim: int = 1536cross_attention_input_dim: int = 768 )

المعاملات

  • sample_size ( int, اختياري، القيمة الافتراضية 1024) — حجم العينة المدخلة.
  • in_channels (int، اختياري، القيمة الافتراضية 64) — عدد القنوات في المدخلات.
  • num_layers (int، اختياري، القيمة الافتراضية 24) — عدد طبقات كتل Transformer المستخدمة.
  • attention_head_dim (int، اختياري، القيمة الافتراضية 64) — عدد القنوات في كل رأس.
  • num_attention_heads (int، اختياري، القيمة الافتراضية 24) — عدد الرؤوس المستخدمة لحالات الاستعلام.
  • num_key_value_attention_heads (int، اختياري، القيمة الافتراضية 12) — عدد الرؤوس المستخدمة لحالات المفتاح والقيمة.
  • out_channels (int، القيمة الافتراضية 64) — عدد قنوات الإخراج.
  • cross_attention_dim ( int، اختياري، القيمة الافتراضية 768) — بُعد إسقاط الانتباه المتقاطع.
  • time_proj_dim ( int, اختياري، القيمة الافتراضية 256) — بُعد الإسقاط الداخلي لخطوة الزمن.
  • global_states_input_dim ( int, اختياري، القيمة الافتراضية 1536) — بعد الإدخال لإسقاط الحالات المخفية العالمية.
  • cross_attention_input_dim ( int، اختياري، القيمة الافتراضية 768) — بعد المدخلات لإسقاط الانتباه المتقاطع

نموذج Diffusion Transformer الذي تم تقديمه في Stable Audio.

مرجع: https://github.com/Stability-AI/stable-audio-tools

forward

< >

( hidden_states: FloatTensortimestep: LongTensor = Noneencoder_hidden_states: FloatTensor = Noneglobal_hidden_states: FloatTensor = Nonerotary_embedding: FloatTensor = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.LongTensor] = Noneencoder_attention_mask: typing.Optional[torch.LongTensor] = None )

المعاملات

  • hidden_states (torch.FloatTensor من الشكل (batch size, in_channels, sequence_len)) — مدخلات hidden_states.
  • timestep ( torch.LongTensor) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء.
  • encoder_hidden_states (torch.FloatTensor من الشكل (batch size, encoder_sequence_len, cross_attention_input_dim)) — تضمينات شرطية (تضمينات محسوبة من الشروط المدخلة مثل الأوامر النصية) للاستخدام.
  • global_hidden_states (torch.FloatTensor من الشكل (batch size, global_sequence_len, global_states_input_dim)) — تضمينات عالمية ستُضاف إلى بداية حالات الإخفاء.
  • rotary_embedding (torch.Tensor) — تضمينات الدوران (rotary embeddings) التي تُطبَّق على متجهات الاستعلام والمفتاح أثناء حساب الانتباه.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع ~models.transformer_2d.Transformer2DModelOutput بدلاً من tuple عادي.
  • attention_mask (torch.Tensor بشكل (batch_size, sequence_len), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس رموس الحشو، يتم تشكيله عن طريق دمج أقنعة الانتباه الخاصة بمشفري النص معًا. قيم القناع المختارة في [0, 1]:
    • 1 للرموز التي لم تُقنَّع،
    • 0 للرموز التي تم إخفاؤها.
  • encoder_attention_mask (torch.Tensor بشكل (batch_size, sequence_len), اختياري) — قناع لتجنب تنفيذ الانتباه على فهارس الانتباه المتقاطع لرموز الحشو، يتم تشكيله عن طريق دمج أقنعة الانتباه الخاصة بمشفري النص معًا. قيم القناع المختارة في [0, 1]:
    • 1 للرموز التي لم تُقنَّع،
    • 0 للرموز التي تم إخفاؤها.

طريقة StableAudioDiTModel الأمامية.

set_default_attn_processor

< >

( )

يعطّل معالجات الانتباه المخصصة ويضبط تطبيق الانتباه الافتراضي.

Update on GitHub

←StableAudio3DiTModel Transformer2DModel→