Hugging Face's logo

Diffusers documentation

LatteTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LatteTransformer3DModel

Um modelo Diffusion Transformer para dados 3D do Latte.

LatteTransformer3DModel

classe diffusers.LatteTransformer3DModel

< >

( num_attention_heads: int = 16attention_head_dim: int = 88in_channels: int | None = Noneout_channels: int | None = Nonenum_layers: int = 1dropout: float = 0.0cross_attention_dim: int | None = Noneattention_bias: bool = Falsesample_size: int = 64patch_size: int | None = Noneactivation_fn: str = 'geglu'num_embeds_ada_norm: int | None = Nonenorm_type: str = 'layer_norm'norm_elementwise_affine: bool = Truenorm_eps: float = 1e-05caption_channels: int = Nonevideo_length: int = 16 )

forward

< >

( hidden_states: Tensortimestep: typing.Optional[torch.LongTensor] = Noneencoder_hidden_states: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.Tensor] = Noneenable_temporal_attentions: bool = Truereturn_dict: bool = True )

Parâmetros

  • hidden_states (torch.Tensor de forma (batch size, channel, num_frame, height, width)) — hidden_states de entrada.
  • timestep ( torch.LongTensor, opcional) — Usado para indicar o passo de desruido. Timestep opcional a ser aplicado como um embedding em AdaLayerNorm.
  • encoder_hidden_states ( torch.FloatTensor de forma (batch size, sequence len, embed dims), opcional) — Incorporações condicionais para a camada de atenção cruzada. Se não fornecidas, a atenção cruzada usa por padrão a autoatenção.
  • encoder_attention_mask ( torch.Tensor, opcional) — Máscara de atenção cruzada aplicada a encoder_hidden_states. Dois formatos suportados:
    • Máscara (batcheight, sequence_length) True = manter, False = descartar.
    • Viés (batcheight, 1, sequence_length) 0 = manter, -10000 = descartar.

    Se ndim == 2: será interpretado como uma máscara e, em seguida, convertido em um viés consistente com o formato acima. Esse viés será adicionado às pontuações de atenção cruzada.

  • enable_temporal_attentions — (bool, opcional, padrão True): Se as atenções temporais devem ser habilitadas.
  • return_dict (bool, opcional, padrão True) — Se deve ou não retornar um ~models.unet_2d_condition.UNet2DConditionOutput em vez de uma tupla simples.

O método forward do LatteTransformer3DModel.

Update on GitHub

←Krea2Transformer2DModel LongCatImageTransformer2DModel→