Diffusers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

MiniMaxMusic3Transformer1DModel

Le Diffusion Transformer à flow-matching de 2,4 Md de paramètres de MiniMax Music 3. Il débruite les latents audio Flow-VAE à 128 canaux, conditionnés sur les états cachés par trame de l’étape de modèle de langage autorégressif du modèle, en préfixant le pas de temps du flow-matching en tant que jeton de séquence supplémentaire (un transformer continu de lignée Stable-Audio avec attention rotative partielle et feedforwards GLU).

MiniMaxMusic3Transformer1DModel

classe diffusers.MiniMaxMusic3Transformer1DModel

< source >

( in_channels: int = 128condition_dim: int = 2048num_layers: int = 36num_attention_heads: int = 32attention_head_dim: int = 64ff_inner_dim: int = 8192rotary_dim: int = 32fourier_embedding_dim: int = 256 )

Le transformateur de diffusion par correspondance de flux de MiniMax Music 3. Il débruite les latents audio Flow-VAE conditionnés par les états cachés par trame produits par l'étape du modèle de langage autorégressif.

Les entrées sont des séquences latentes 1D de forme (batch, in_channels, length). Le signal de conditionnement (encoder_hidden_states, de forme (batch, length, condition_dim)) doit déjà être aligné sur la chronologie latente — voir MiniMaxMusic3ConditionEncoder. Le timestep de flow-matching va de 0 (bruit) à 1 (données).

forward

< source >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorreturn_dict: bool = True )

Paramètres

hidden_states (torch.Tensor de forme (batch, in_channels, length)) — Latents Flow-VAE bruités.
timestep (torch.Tensor de forme (batch,)) — Temps de flow-matching dans [0, 1], où 0 correspond au bruit pur et 1 aux données.
encoder_hidden_states (torch.Tensor de forme (batch, length, condition_dim)) — Conditionnement aligné sur les trames issu de MiniMaxMusic3ConditionEncoder. Passez des zéros pour la branche non conditionnelle du classifier-free guidance.
return_dict (bool, par défaut True) — Indique s'il faut retourner un Transformer2DModelOutput plutôt qu'un simple tuple.

Update on GitHub

←MiniMaxH3Transformer3DModel MochiTransformer3DModel→