AutoencoderOobleck

O modelo de autoencoder variacional (VAE) Oobleck com perda KL foi introduzido em Stability-AI/stable-audio-tools e Stable Audio Open pela Stability AI. O modelo é usado no 🤗 Diffusers para codificar formas de onda de áudio em latentes e para decodificar representações latentes em formas de onda de áudio.

O resumo do artigo é:

Modelos generativos abertos são de extrema importância para a comunidade, pois permitem o ajuste fino e servem como linhas de base ao apresentar novos modelos. No entanto, a maioria dos modelos atuais de texto para áudio são privados e não acessíveis para que artistas e pesquisadores possam construir sobre eles. Aqui, descrevemos a arquitetura e o processo de treinamento de um novo modelo de texto para áudio com pesos abertos, treinado com dados Creative Commons. Nossa avaliação mostra que o desempenho do modelo é competitivo em relação ao estado da arte em diversas métricas. Notavelmente, os resultados de FDopenl3 relatados (que medem o realismo das gerações) demonstram seu potencial para síntese de som estéreo de alta qualidade a 44,1 kHz.

AutoencoderOobleck

classe diffusers.AutoencoderOobleck

< source >

( encoder_hidden_size = 128downsampling_ratios = [2, 4, 4, 8, 8]channel_multiples = [1, 2, 4, 8, 16]decoder_channels = 128decoder_input_channels = 64audio_channels = 2sampling_rate = 44100 )

Parâmetros

encoder_hidden_size (int, opcional, padrão 128) — Dimensão da representação intermediária para o codificador.
downsampling_ratios (list[int], opcional, padrão [2, 4, 4, 8, 8]) — Razões para o downsampling no encoder. Elas são usadas em ordem reversa para o upsampling no decoder.
channel_multiples (list[int], opcional, padrão [1, 2, 4, 8, 16]) — Múltiplos usados para determinar os tamanhos ocultos das camadas ocultas.
decoder_channels (int, opcional, padrão 128) — Dimensão da representação intermediária para o decodificador.
decoder_input_channels (int, opcional, padrão 64) — Dimensão de entrada para o decodificador. Corresponde à dimensão latente.
audio_channels (int, opcional, padrão 2) — Número de canais nos dados de áudio. 1 para mono ou 2 para estéreo.
sampling_rate (int, opcional, padrão 44100) — A taxa de amostragem na qual a forma de onda de áudio deve ser digitalizada, expressa em hertz (Hz).

Um autoencoder para codificar formas de onda em latentes e decodificar representações latentes em formas de onda. Introduzido pela primeira vez no Stable Audio.

Este modelo herda de ModelMixin. Consulte a documentação da superclasse para seus métodos genéricos implementados para todos os modelos (como download ou salvamento).

decode

< source >

( z: FloatTensorreturn_dict: bool = Truegenerator = None ) → ~models.vae.OobleckDecoderOutput or tuple

Parâmetros

z (torch.Tensor) — Lote de entrada de vetores latentes.
return_dict (bool, opcional, padrão True) — Se deve retornar um ~models.vae.OobleckDecoderOutput em vez de uma tupla simples.

Retorna

~models.vae.OobleckDecoderOutput ou tuple

If return_dict is True, a ~models.vae.OobleckDecoderOutput is returned, otherwise a plain tuple is returned.

Decodifique um lote de imagens.

encode

< source >

( x: Tensorreturn_dict: bool = True )

Parâmetros

x (torch.Tensor) — Lote de entrada de imagens.
return_dict (bool, opcional, padrão True) — Se deve retornar um ~models.autoencoder_kl.AutoencoderKLOutput em vez de uma tupla simples.

Codifica um lote de imagens em latentes.

forward

< source >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.OobleckDecoderOutput or tuple

Parâmetros

sample (torch.Tensor) — Amostra de entrada.
sample_posterior (bool, opcional, padrão False) — Se deve amostrar da posterior.
return_dict (bool, opcional, padrão True) — Se deve ou não retornar um OobleckDecoderOutput em vez de uma tupla simples.
generator (torch.Generator, opcional) — Um torch.Generator para tornar a amostragem determinística.

Retorna

~models.vae.OobleckDecoderOutput ou tuple

Se return_dict for True, um ~models.vae.OobleckDecoderOutput é retornado; caso contrário, uma tuple simples é retornada.

OobleckDecoderOutput

classe diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput

< source >

( sample: Tensor )

Parâmetros

sample (torch.Tensor de forma (batch_size, audio_channels, sequence_length)) — A amostra de saída decodificada da última camada do modelo.

Saída do método de decodificação.

AutoencoderOobleckOutput

classe diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput

< source >

( latent_dist: OobleckDiagonalGaussianDistribution )

Parâmetros

latent_dist (OobleckDiagonalGaussianDistribution) — Saídas codificadas do Encoder representadas como a média e o desvio padrão de OobleckDiagonalGaussianDistribution. OobleckDiagonalGaussianDistribution permite amostrar latentes da distribuição.

Saída do método de codificação do AutoencoderOobleck.

Update on GitHub