Diffusers documentation
Flux2Transformer2DModel
Flux2Transformer2DModel
Flux2からの画像類似データ向けのTransformerモデル。
Flux2Transformer2DModel
クラス diffusers.Flux2Transformer2DModel
< source >( patch_size: int = 1in_channels: int = 128out_channels: int | None = Nonenum_layers: int = 8num_single_layers: int = 48attention_head_dim: int = 128num_attention_heads: int = 48joint_attention_dim: int = 15360timestep_guidance_channels: int = 256mlp_ratio: float = 3.0axes_dims_rope: tuple[int, ...] = (32, 32, 32, 32)rope_theta: int = 2000eps: float = 1e-06guidance_embeds: bool = True )
パラメータ
- patch_size (
int、デフォルトは1) — 入力データを小さなパッチに変換するためのパッチサイズ。 - in_channels (
int, デフォルトは128) — 入力におけるチャネル数です。 - out_channels (
int, 省略可、デフォルトはNone) — 出力のチャネル数です。指定しない場合、デフォルトでin_channelsになります。 - num_layers (
int、デフォルトは8) — 使用するデュアルストリーム DiT ブロックの層数です。 - num_single_layers (
int, デフォルトは48) — 使用する単一ストリーム DiT ブロックの層数です。 - attention_head_dim (
int, デフォルトは128) — 各アテンションヘッドに使用する次元数です。 - num_attention_heads (
int, デフォルトは48) — 使用するアテンションヘッドの数です。 - joint_attention_dim (
int、デフォルトは15360) —encoder_hidden_statesの埋め込み/チャネル次元として、ジョイントアテンションに使用する次元数です。 - pooled_projection_dim (
int, デフォルトは768) — プーリング投影に使用する次元数。 - guidance_embeds (
bool、デフォルトはTrue) — モデルのガイダンス蒸留版でガイダンス埋め込みを使用するかどうか。 - axes_dims_rope (
tuple[int]、デフォルトは(32, 32, 32, 32)) — 回転位置埋め込みに使用する次元です。
Flux 2 で導入された Transformer モデル。
参照: https://blackforestlabs.ai/announcing-black-forest-labs/
forward
< source >( hidden_states: Tensorencoder_hidden_states: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Noneguidance: Tensor = Nonejoint_attention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Truekv_cache: Flux2KVCache | None = Nonekv_cache_mode: str | None = Nonenum_ref_tokens: int = 0ref_fixed_timestep: float = 0.0 )
パラメータ
- hidden_states (
torch.Tensor、形状(batch_size, image_sequence_length, in_channels)) — 入力となるhidden_states。 - encoder_hidden_states (
torch.Tensor、形状(batch_size, text_sequence_length, joint_attention_dim)) — 使用する条件埋め込み（プロンプトなどの入力条件から計算される埋め込み）。 - timestep (
torch.LongTensor) — デノイジングステップを示すために使用されます。 - img_ids (
torch.Tensor) — 回転位置埋め込みを計算するために使用される画像の位置 ID。 - txt_ids (
torch.Tensor) — 回転位置埋め込みを計算するために使用されるテキストの位置 ID。 - guidance (
torch.Tensor、任意) — モデルのガイダンス蒸留版で使用するガイダンススケール埋め込み。 - joint_attention_kwargs (
dict、省略可) — 指定された場合、diffusers.models.attention_processor で定義されているself.processor配下のAttentionProcessorに渡される kwargs の辞書です。 - return_dict (
bool、任意、デフォルトはTrue) — プレーンなタプルではなく~models.transformer_2d.Transformer2DModelOutputを返すかどうか。 - kv_cache (
Flux2KVCache、任意) — 参照画像トークンの KV キャッシュです。kv_cache_modeが “extract” の場合、新しいキャッシュが作成されて返されます。“cached” の場合、提供されたキャッシュが使用され、アテンション時に参照 K/V が注入されます。 - kv_cache_mode (
str、省略可) — “extract”（参照トークンを用いた最初のステップ）または“cached”（キャッシュされた参照 K/V を用いるその後のステップ）のいずれか。Noneの場合、KV キャッシングなしの標準的なフォワードパスになります。 - num_ref_tokens (
int、デフォルトは0) —hidden_statesの先頭に付加する参照画像トークンの数（kv_cache_mode="extract"の場合のみ使用）。 - ref_fixed_timestep (
float、デフォルトは0.0) — 参照トークンのモジュレーションに使用する固定タイムステップ(kv_cache_mode="extract"の場合のみ使用)。
Flux2Transformer2DModelのforwardメソッドです。
Flux2Transformer2DModelOutput
class diffusers.models.transformers.transformer_flux2.Flux2Transformer2DModelOutput
< source >( sample: torch.Tensorkv_cache: Flux2KVCache | None = None )
Flux2Transformer2DModelの出力です。