Diffusers documentation

BriaFibo2Transformer2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

BriaFibo2Transformer2DModel

Bria Fibo 2.0 的单流 Transformer 基于 Z-Image 块构建。其文本条件通过 Qwen3-VL 以两种方式引入:Perceiver resampler 将文本编码器的隐藏状态转换为 gist tokens,使其与图像 tokens 共享同一数据流;此外,五个块在各自的 Qwen3-VL 层组中添加了带门控的交叉注意力。在执行编辑时,待编辑图像的潜变量作为干净 tokens 加入数据流,每张图像拥有独立的 RoPE 平面。

BriaFibo2Transformer2DModel

类 diffusers.BriaFibo2Transformer2DModel

< >

( in_channels: int = 32patch_size: int = 2dim: int = 3584n_layers: int = 44n_refiner_layers: int = 2n_heads: int = 28norm_eps: float = 1e-05cap_feat_dim: int = 7680injection_layer_ids: tuple[int, ...] = (6, 14, 22, 30, 38)perceiver_num_layers: int = 2min_num_gist_tokens: int = 256max_num_gist_tokens: int = 512gist_step: int = 64gist_min_text_len: int = 256gist_max_text_len: int = 2048rope_theta: float = 256.0t_scale: float = 1000.0axes_dims: tuple[int, ...] = (32, 48, 48)axes_lens: tuple[int, ...] = (2048, 512, 512) )

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_attention_mask: typing.Optional[torch.Tensor] = Nonecontext_latents: list[torch.Tensor] | None = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple

参数

  • hidden_states(形状为 (batch_size, in_channels, height, width) 的 torch.Tensor)— 正在生成的图像的归一化 VAE 潜变量。
  • timestep(形状为 (batch_size,) 的 torch.Tensor)— [0, 1] 范围内的噪声水平:1 表示纯噪声,0 表示清晰图像。
  • encoder_hidden_states (torch.Tensor,形状为 (batch_size, 1 + len(injection_layer_ids), text_len, cap_feat_dim)) — 文本编码器特征:首先是 Perceiver 的特征束,随后是每个注入块对应的一个特征束。
  • encoder_attention_mask(形状为 (batch_size, text_len) 的 torch.Tensor,可选) — 真实文本 token 的布尔掩码,用于填充至相同长度的提示词批次。若未进行填充,请保持为 None。
  • context_latents (list[torch.Tensor], 可选) — 待编辑图像的归一化 VAE 潜变量,按顺序为每张图像提供一个形状为 (batch_size, in_channels, height, width) 的张量。每张图像可以具有不同的尺寸。它们的 token 作为干净 token 为生成过程提供条件,且不会被预测。
  • return_dict (bool,默认为 True) — 是否返回 Transformer2DModelOutput 而不是元组。

返回值

Transformer2DModelOutput 或 tuple

预测速度,形状为 hidden_states。如果 return_dict 为 False,则返回一个元组,其第一个元素为该张量。

Update on GitHub