Hugging Face's logo

Diffusers documentation

ZImageTransformer2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ZImageTransformer2DModel

Z-Image의 이미지형 데이터용 Transformer 모델입니다.

ZImageTransformer2DModel

클래스 diffusers.ZImageTransformer2DModel

< >

( all_patch_size = (2,)all_f_patch_size = (1,)in_channels = 16dim = 3840n_layers = 30n_refiner_layers = 2n_heads = 30n_kv_heads = 30norm_eps = 1e-05qk_norm = Truecap_feat_dim = 2560siglip_feat_dim = Nonerope_theta = 256.0t_scale = 1000.0axes_dims = [32, 48, 48]axes_lens = [1024, 512, 512] )

forward

< >

( x: list[torch.Tensor, list[list[torch.Tensor]]]tcap_feats: list[torch.Tensor, list[list[torch.Tensor]]]return_dict: bool = Truecontrolnet_block_samples: dict[int, torch.Tensor] | None = Nonesiglip_feats: list[list[torch.Tensor]] | None = Noneimage_noise_mask: list[list[int]] | None = Nonepatch_size: int = 2f_patch_size: int = 1joint_attention_kwargs: dict[str, typing.Any] | None = None )

매개변수

  • x (list of torch.Tensor 또는 torch.Tensor의 중첩된 list) — 입력 latents입니다. 표준 모드에서 실행할 때는 평탄한 리스트, omni 모드에서 실행할 때는 중첩 리스트입니다.
  • t (torch.Tensor) — 노이즈 제거 단계를 나타내는 데 사용됩니다.
  • cap_feats (list of torch.Tensor or nested list of torch.Tensor) — 사용할 조건부 캡션 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩).
  • return_dict (bool, 선택 사항, 기본값 True) — 단순 tuple 대신 ~models.transformer_2d.Transformer2DModelOutput를 반환할지 여부.
  • controlnet_block_samples (dict of int to torch.Tensor, 선택 사항) — 블록 인덱스에서 텐서로 매핑되며, 지정된 경우 transformer 블록의 잔차에 추가됩니다.
  • siglip_feats (list of list of torch.Tensor, 선택 사항) — 추가 조건으로 사용되는 선택적 SigLIP 이미지 특징입니다.
  • image_noise_mask (list of list of int, 선택 사항) — omni 모드에서 노이즈 토큰과 클린 토큰을 나타내는 이미지별 노이즈 마스크입니다.
  • patch_size (int, 선택 사항, 기본값 2) — 입력 latents를 patchify하는 데 사용되는 공간 patch 크기입니다.
  • f_patch_size (int, 선택 사항, 기본값 1) — 입력 latents를 patchify하는 데 사용되는 시간적 patch 크기입니다.
  • joint_attention_kwargs (dict, 선택 사항) — kwargs 사전입니다. LoRA 레이어를 스케일링하기 위해 scale 항목만 사용됩니다.

ZImageTransformer2DModel의 forward 메서드입니다.

Flow: patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify

patchify_and_embed

< >

( all_image: list[torch.Tensor]all_cap_feats: list[torch.Tensor]patch_size: intf_patch_size: int )

기본 모드용 Patchify: 배치 항목당 단일 이미지.

patchify_and_embed_omni

< >

( all_x: list[list[torch.Tensor]]all_cap_feats: list[list[torch.Tensor]]all_siglip_feats: list[list[torch.Tensor]]patch_size: intf_patch_size: intimages_noise_mask: list[list[int]] )

omni 모드용 Patchify: 노이즈 마스크를 가진 배치 항목당 여러 이미지.

Update on GitHub

←WanTransformer3DModel StableCascadeUNet→