Hugging Face's logo

Diffusers documentation

HiDreamImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HiDreamImageTransformer2DModel

Un modèle Transformer pour des données de type image issu de HiDream-I1.

Le modèle peut être chargé à l'aide du fragment de code suivant.

from diffusers import HiDreamImageTransformer2DModel

transformer = HiDreamImageTransformer2DModel.from_pretrained("HiDream-ai/HiDream-I1-Full", subfolder="transformer", dtype=torch.bfloat16)

Chargement des points de contrôle quantifiés GGUF pour HiDream-I1

Les points de contrôle GGUF pour le HiDreamImageTransformer2DModel peuvent être chargés à l'aide de ~FromOriginalModelMixin.from_single_file

import torch
from diffusers import GGUFQuantizationConfig, HiDreamImageTransformer2DModel

ckpt_path = "https://huggingface.co/city96/HiDream-I1-Dev-gguf/blob/main/hidream-i1-dev-Q2_K.gguf"
transformer = HiDreamImageTransformer2DModel.from_single_file(
    ckpt_path,
    quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16),
    dtype=torch.bfloat16
)

HiDreamImageTransformer2DModel

classe diffusers.HiDreamImageTransformer2DModel

< >

( patch_size: int | None = Nonein_channels: int = 64out_channels: int | None = Nonenum_layers: int = 16num_single_layers: int = 32attention_head_dim: int = 128num_attention_heads: int = 20caption_channels: list = Nonetext_emb_dim: int = 2048num_routed_experts: int = 4num_activated_experts: int = 2axes_dims_rope: tuple = (32, 32)max_resolution: tuple = (128, 128)llama_layers: list = Noneforce_inference_output: bool = False )

forward

< >

( hidden_states: Tensortimesteps: LongTensor = Noneencoder_hidden_states_t5: Tensor = Noneencoder_hidden_states_llama3: Tensor = Nonepooled_embeds: Tensor = Noneimg_ids: typing.Optional[torch.Tensor] = Noneimg_sizes: list[tuple[int, int]] | None = Nonehidden_states_masks: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Paramètres

  • hidden_states (torch.Tensor de forme (batch_size, in_channels, height, width) ou (batch_size, patch_height * patch_width, patch_size * patch_size * channels)) — hidden_states d'entrée.
  • timesteps (torch.LongTensor) — Utilisé pour indiquer l'étape de débruitage.
  • encoder_hidden_states_t5 (torch.Tensor) — Embeddings conditionnels calculés à partir de l'encodeur de texte T5.
  • encoder_hidden_states_llama3 (torch.Tensor) — Embeddings conditionnels calculés à partir de l'encodeur de texte Llama3.
  • pooled_embeds (torch.Tensor) — Embeddings de texte agrégés utilisés pour un conditionnement supplémentaire.
  • img_ids (torch.Tensor, facultatif) — Identifiants de position des images pour les états cachés patchés.
  • img_sizes (list de tuple de int, facultatif) — Tailles des grilles de patches par échantillon utilisées pour dépatchifier la sortie.
  • hidden_states_masks (torch.Tensor, facultatif) — Masque appliqué aux hidden_states patchées.
  • attention_kwargs (dict, facultatif) — Un dictionnaire de kwargs qui, s'il est spécifié, est transmis à l'AttentionProcessor défini sous self.processor dans diffusers.models.attention_processor.
  • return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un ~models.transformer_2d.Transformer2DModelOutput plutôt qu'un simple tuple.

La méthode forward du HiDreamImageTransformer2DModel.

Transformer2DModelOutput

classe diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Paramètres

  • sample (torch.Tensor de forme (batch_size, num_channels, height, width) ou (batch size, num_vector_embeds - 1, num_latent_pixels) si Transformer2DModel est discret) — Les états cachés en sortie, conditionnés par l'entrée encoder_hidden_states. Si discret, renvoie les distributions de probabilité pour les pixels latents non bruités.

La sortie de Transformer2DModel.

Update on GitHub

←HeliosTransformer3DModel HunyuanDiT2DModel→