# WavLM

## Обзор

Модель WavLM была предложена в статье [WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing](https://huggingface.co/papers/2110.13900) авторами Sanyuan Chen, Chengyi Wang, Zhengyang Chen, Yu Wu, Shujie Liu, Zhuo Chen, Jinyu Li, Naoyuki Kanda, Takuya Yoshioka, Xiong Xiao, Jian Wu, Long Zhou, Shuo Ren, Yanmin Qian, Yao Qian, Jian Wu, Michael Zeng, Furu Wei.

Аннотация из статьи следующая:

*Самообучение (SSL) демонстрирует выдающиеся результаты в распознавании речи, тогда как для других задач обработки речи предпринимались лишь ограниченные попытки. Поскольку речевой сигнал содержит многоаспектную информацию, включая идентификатор говорящего, паралингвистические признаки, произносимое содержание и т. д., обучение универсальным представлениям для всех речевых задач представляет собой сложную задачу. В данной статье мы предлагаем новую предобученную модель WavLM для решения полного набора задач обработки речи. WavLM построена на основе фреймворка HuBERT с акцентом как на моделирование произносимого содержания, так и на сохранение идентификатора говорящего. Во-первых, мы оснащаем структуру Transformer смещением относительного позиционного кодирования с гейтом, чтобы улучшить её возможности в задачах распознавания. Во-вторых, для лучшей дискриминации говорящих мы предлагаем стратегию обучения с микшированием реплик, в рамках которой дополнительно создаются перекрывающиеся реплики без учителя и включаются в процесс обучения модели. Наконец, мы масштабируем набор данных для обучения с 60 тыс. часов до 94 тыс. часов. WavLM Large достигает наилучших результатов на бенчмарке SUPERB и обеспечивает значительное улучшение для различных задач обработки речи на их репрезентативных бенчмарках.*

Соответствующие контрольные точки можно найти по адресу https://huggingface.co/models?other=wavlm.

Эта модель была предоставлена пользователем [patrickvonplaten](https://huggingface.co/patrickvonplaten). Код авторов можно найти [здесь](https://github.com/microsoft/unilm/tree/master/wavlm).

## Советы по использованию

- WavLM — это модель для обработки речи, которая принимает массив float, соответствующий исходной волновой форме речевого сигнала. Для извлечения признаков используйте [Wav2Vec2Processor](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor).
- Модель WavLM может быть дообучена с использованием связного временного классификационного метода (CTC), поэтому вывод модели необходимо декодировать с помощью [Wav2Vec2CTCTokenizer](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer).
- WavLM демонстрирует особенно высокую эффективность в задачах верификации говорящего, идентификации говорящего и диаризации говорящих.

## Ресурсы

- [Руководство по задаче классификации аудио](../tasks/audio_classification)
- [Руководство по задаче автоматического распознавания речи](../tasks/asr)

## WavLMConfig[[transformers.WavLMConfig]]

#### transformers.WavLMConfig[[transformers.WavLMConfig]]

```python
transformers.WavLMConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 32, hidden_size: int = 768, num_hidden_layers: int = 12, num_attention_heads: int = 12, intermediate_size: int = 3072, hidden_act: str = 'gelu', hidden_dropout: float | int = 0.1, activation_dropout: float | int = 0.1, attention_dropout: float | int = 0.1, feat_proj_dropout: float | int = 0.0, final_dropout: float | int = 0.1, layerdrop: float | int = 0.1, initializer_range: float = 0.02, layer_norm_eps: float = 1e-05, feat_extract_norm: str = 'group', feat_extract_activation: str = 'gelu', conv_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 512, 512, 512), conv_stride: list[int] | tuple[int, ...] = (5, 2, 2, 2, 2, 2, 2), conv_kernel: list[int] | tuple[int, ...] = (10, 3, 3, 3, 3, 2, 2), conv_bias: bool = False, num_conv_pos_embeddings: int = 128, num_conv_pos_embedding_groups: int = 16, num_buckets: int = 320, max_bucket_distance: int = 800, do_stable_layer_norm: bool = False, apply_spec_augment: bool = True, mask_time_prob: float | int = 0.05, mask_time_length: int = 10, mask_time_min_masks: int = 2, mask_feature_prob: float | int = 0.0, mask_feature_length: int = 10, num_codevectors_per_group: int = 320, num_codevector_groups: int = 2, contrastive_logits_temperature: float = 0.1, num_negatives: int = 100, codevector_dim: int = 256, proj_codevector_dim: int = 256, diversity_loss_weight: float = 0.1, ctc_loss_reduction: str = 'mean', ctc_zero_infinity: bool = False, use_weighted_layer_sum: bool = False, classifier_proj_size: int = 256, tdnn_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 1500), tdnn_kernel: list[int] | tuple[int, ...] = (5, 3, 3, 1, 1), tdnn_dilation: list[int] | tuple[int, ...] = (1, 2, 3, 1, 1), xvector_output_dim: int = 512, num_ctc_classes: int = 80, pad_token_id: int | None = 0, bos_token_id: int | None = 1, eos_token_id: int | list[int] | None = 2, add_adapter: bool = False, adapter_kernel_size: int = 3, adapter_stride: int = 2, num_adapter_layers: int = 3, output_hidden_size: int | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wavlm/configuration_wavlm.py#L27)

**Параметры:**

vocab_size (`int`, *необязательный*, по умолчанию `32`) : Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в `input_ids`.

hidden_size (`int`, *optional*, по умолчанию `768`) : Размерность скрытых представлений.

num_hidden_layers (`int`, *необязательный*, по умолчанию `12`) : Количество скрытых слоев в декодере Transformer.

num_attention_heads (`int`, *необязательный*, по умолчанию `12`) : Количество головок внимания для каждого слоя внимания в декодере Transformer.

intermediate_size (`int`, *optional*, по умолчанию `3072`) : Размерность представлений MLP.

hidden_act (`str`, *необязательный*, по умолчанию `gelu`) : Нелинейная функция активации (функция или строка) в декодере. Например, `"gelu"`, `"relu"`, `"silu"` и т. д.

hidden_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.1`) : Вероятность dropout для всех полносвязных слоев в эмбеддингах, энкодере и пулере.

activation_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.1`) : Коэффициент dropout для активаций внутри полносвязного слоя.

attention_dropout (`Union[float, int]`, *необязательный*, по умолчанию `0.1`) : Доля dropout для вероятностей внимания.

feat_proj_dropout (`float`, *optional*, по умолчанию 0.0) : Вероятность dropout для вывода кодировщика признаков.

final_dropout (`float`, *необязательный*, по умолчанию 0.1) : Вероятность dropout для финального проекционного слоя [WavLMForCTC](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMForCTC).

layerdrop (`Union[float, int]`, *необязательный*, по умолчанию `0.1`) : Вероятность LayerDrop. Подробнее см. в [статье о LayerDrop](see https://huggingface.co/papers/1909.11556).

initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.

layer_norm_eps (`float`, *необязательный*, по умолчанию `1e-05`) : Значение epsilon, используемое слоями нормализации.

feat_extract_norm (`str`, *optional*, по умолчанию `"group"`) : Нормализация, применяемая к одномерным свёрточным слоям в кодере признаков. Одно из значений: `"group"` для групповой нормализации только первого одномерного свёрточного слоя или `"layer"` для слоистой нормализации всех одномерных свёрточных слоев.

feat_extract_activation (`str, `optional`, defaults to `"gelu"`) : The non-linear activation function (function or string) in the 1D convolutional layers of the feature extractor. If string, `"gelu"`, `"relu"`, `"selu"` and `"gelu_new"` are supported.

conv_dim (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `(512, 512, 512, 512, 512, 512, 512)`) : Кортеж целых чисел, определяющий количество входных и выходных каналов каждого одномерного свёрточного слоя в кодировщике признаков. Длина *conv_dim* определяет количество одномерных свёрточных слоев.

conv_stride (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `(5, 2, 2, 2, 2, 2, 2)`) : Кортеж целых чисел, определяющий шаг каждого одномерного свёрточного слоя в кодере признаков. Длина *conv_stride* определяет количество свёрточных слоев и должна совпадать с длиной *conv_dim*.

conv_kernel (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `(10, 3, 3, 3, 3, 3, 3)`) : Кортеж целых чисел, определяющий размер ядра каждого одномерного свёрточного слоя в кодере признаков. Длина *conv_kernel* определяет количество свёрточных слоев и должна совпадать с длиной *conv_dim*.

conv_bias (`bool`, *необязательный*, по умолчанию `False`) : Указывает, имеют ли одномерные свёрточные слои смещение (bias).

num_conv_pos_embeddings (`int`, *optional*, по умолчанию 128) : Количество сверточных позиционных эмбеддингов. Определяет размер ядра слоя 1D сверточных позиционных эмбеддингов.

num_conv_pos_embedding_groups (`int`, *optional*, по умолчанию 16) : Количество групп слоя одномерных свёрточных позиционных эмбеддингов.

num_buckets (`int`, *необязательный*, по умолчанию 320) : Количество бакетов, используемых для каждого слоя внимания

max_bucket_distance (`int`, *optional*, по умолчанию 800) : Максимальная дистанция корзины

do_stable_layer_norm (`bool`, *необязательный*, по умолчанию `False`) : следует ли применять архитектуру *стабильной* нормализации слоя для кодировщика Transformer. `do_stable_layer_norm is True` означает применение нормализации слоя перед слоем внимания, тогда как `do_stable_layer_norm is False` означает применение нормализации слоя после слоя внимания.

apply_spec_augment (`bool`, *необязательный*, по умолчанию `True`) : Применяется ли аугментация данных *SpecAugment* к выводам кодировщика признаков. Для справки см. [SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition](https://huggingface.co/papers/1904.08779).

mask_time_prob (`float`, *optional*, по умолчанию 0.05) : Вероятность того, что каждый вектор признаков вдоль временной оси будет выбран в качестве начала векторного диапазона, подлежащего маскировке. Примерно `mask_time_prob * sequence_length // mask_time_length` векторов признаков будут замаскированы вдоль временной оси. Это имеет значение только в том случае, если `apply_spec_augment is True`.

mask_time_length (`int`, *optional*, по умолчанию 10) : Длина векторного охвата вдоль временной оси.

mask_time_min_masks (`int`, *optional*, по умолчанию 2), : минимальное количество масок длины `mask_feature_length`, генерируемых вдоль временной оси, на каждом шаге времени, независимо от `mask_feature_prob`. Актуально только если ''mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks''

mask_feature_prob (`float`, *optional*, по умолчанию 0.0) : Вероятность того, что каждый вектор признаков вдоль оси признаков будет выбран в качестве начала векторного диапазона, подлежащего маскировке. Примерно `mask_time_prob * hidden_size // mask_time_length` векторов признаков будут замаскированы вдоль временной оси. Это имеет значение только в том случае, если `apply_spec_augment is True`.

mask_feature_prob (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Процент (от 0 до 1) всех векторов признаков вдоль оси признаков, которые будут замаскированы. Процедура маскирования генерирует `mask_feature_prob*len(feature_axis)/mask_time_length` независимых масок вдоль оси. Если рассуждать с точки зрения вероятности того, что каждый вектор признаков будет выбран в качестве начала векторного диапазона для маскирования, *mask_feature_prob* должен быть равен `prob_vector_start*mask_feature_length`. Обратите внимание, что перекрытие может уменьшить фактический процент замаскированных векторов. Это имеет значение только в том случае, если `apply_spec_augment` равно `True`.

mask_feature_length (`int`, *optional*, по умолчанию 10) : Длина векторного охвата вдоль оси признаков.

num_codevectors_per_group (`int`, *optional*, по умолчанию 320) : Количество записей в каждом квантовом коде (группе).

num_codevector_groups (`int`, *optional*, по умолчанию 2) : Количество групп кодовых векторов для квантования с использованием произведений кодовых векторов.

contrastive_logits_temperature (`float`, *необязательный*, по умолчанию 0.1) : температура *kappa* в контрастивной функции потерь.

num_negatives (`int`, *необязательный*, по умолчанию 100) : Количество отрицательных выборок для контрастивной функции потерь.

codevector_dim (`int`, *optional*, по умолчанию 256) : Размерность квантованных векторов признаков.

proj_codevector_dim (`int`, *optional*, по умолчанию 256) : Размерность финальной проекции как квантованных, так и трансформерных признаков.

diversity_loss_weight (`int`, *optional*, по умолчанию 0.1) : Вес компонента потерь разнообразия кодовой книги.

ctc_loss_reduction (`str`, *необязательный*, по умолчанию `mean`) : Указывает тип агрегации, применяемый к выходу `torch.nn.CTCLoss`. Актуально только при обучении.

ctc_zero_infinity (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли обнулять бесконечные потери и связанные с ними градиенты `torch.nn.CTCLoss`. Бесконечные потери возникают в основном, когда входные данные слишком короткие для выравнивания с целевыми. Актуально только при обучении экземпляра [WavLMForCTC](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMForCTC).

use_weighted_layer_sum (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли взвешенное среднее выходов слоёв с обучаемыми весами. Актуально только при использовании экземпляра [WavLMForSequenceClassification](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMForSequenceClassification).

classifier_proj_size (`int`, *optional*, по умолчанию 256) : Размерность проекции перед усреднением токенов для классификации.

tdnn_dim (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `(512, 512, 512, 512, 1500)`) : Кортеж целых чисел, определяющий количество выходных каналов каждого одномерного свёрточного слоя в модуле *TDNN* модели *XVector*. Длина *tdnn_dim* определяет количество слоёв *TDNN*.

tdnn_kernel (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `(5, 3, 3, 1, 1)`) : Кортеж целых чисел, определяющий размер ядра каждого одномерного свёрточного слоя в модуле *TDNN* модели *XVector*. Длина *tdnn_kernel* должна совпадать с длиной *tdnn_dim*.

tdnn_dilation (`tuple[int]` или `list[int]`, *необязательный*, по умолчанию `(1, 2, 3, 1, 1)`) : Кортеж целых чисел, определяющий коэффициент дилатации каждого одномерного свёрточного слоя в модуле *TDNN* модели *XVector*. Длина *tdnn_dilation* должна совпадать с длиной *tdnn_dim*.

xvector_output_dim (`int`, *необязательный*, по умолчанию 512) : Размерность векторов встраивания *XVector*.

num_ctc_classes (`int`, *optional*, по умолчанию 80) : Указывает количество классов (токены фонем и пустой токен) для функции потерь CTC на уровне фонем. Актуально только при использовании экземпляра [UniSpeechForPreTraining](/docs/transformers/v5.23.0/ru/model_doc/unispeech#transformers.UniSpeechForPreTraining).

pad_token_id (`int`, *необязательный*, по умолчанию `0`) : Идентификатор токена, используемый для выравнивания в словаре.

bos_token_id (`int`, *необязательный*, по умолчанию `1`) : Идентификатор токена, используемый для обозначения начала потока в словаре.

eos_token_id (`Union[int, list[int]]`, *необязательный*, по умолчанию `2`) : Идентификатор токена, используемого для обозначения конца потока в словаре.

add_adapter (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли размещать свёрточную сеть поверх кодировщика Wav2Vec2. Может быть очень полезно для предварительной настройки (warm-start) Wav2Vec2 для моделей SpeechEncoderDecoder.

adapter_kernel_size (`int`, *optional*, по умолчанию 3) : Размер ядра свёрточных слоёв в сети адаптера. Актуально только если `add_adapter is True`.

adapter_stride (`int`, *optional*, по умолчанию 2) : Шаг свёрточных слоёв в сети адаптера. Актуально только если `add_adapter is True`.

num_adapter_layers (`int`, *optional*, по умолчанию 3) : Количество свёрточных слоёв, которые должны использоваться в сети адаптера. Актуально только если `add_adapter is True`.

output_hidden_size (`int`, *optional*) : Размерность выходного слоя кодировщика. Если не задано, по умолчанию используется *hidden-size*. Актуально только если `add_adapter is True`.

Это класс конфигурации для хранения настроек модели WavLMModel. Он используется для создания модели Wavlm в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации модели [microsoft/wavlm-base](https://huggingface.co/microsoft/wavlm-base)

Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig).

Пример:

```python

```

Пример:

```python
>>> from transformers import WavLMConfig, WavLMModel

>>> # Initializing a WavLM facebook/wavlm-base-960h style configuration
>>> configuration = WavLMConfig()

>>> # Initializing a model (with random weights) from the facebook/wavlm-base-960h style configuration
>>> model = WavLMModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## WavLMModel[[transformers.WavLMModel]]

#### transformers.WavLMModel[[transformers.WavLMModel]]

```python
transformers.WavLMModel(config: WavLMConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wavlm/modeling_wavlm.py#L952)

**Параметры:**

config ([WavLMConfig](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Wavlm без дополнительных слоёв, выводящая необработанные скрытые состояния.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.WavLMModel.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, mask_time_indices: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wavlm/modeling_wavlm.py#L1026)

**Параметры:**

input_values (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательно*) : Значения типа float входной необработанной звуковой волны. Значения можно получить, загрузив аудиофайл `.flac` или `.wav` в массив типа `list[float]`, `numpy.ndarray` или `torch.Tensor`, *например*, с помощью библиотеки torchcodec (`pip install torchcodec`) или библиотеки soundfile (`pip install soundfile`). Для подготовки массива в `input_values` следует использовать [AutoProcessor](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoProcessor) для выравнивания и преобразования в тензор типа `torch.Tensor`. Подробности см. в [Wav2Vec2Processor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor.__call__).

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

mask_time_indices (`torch.BoolTensor` формы `(batch_size, sequence_length)`, *необязательный*) : Индексы для маскирования извлечённых признаков для контрастивной функции потерь. В режиме обучения модель учится предсказывать замаскированные извлечённые признаки в пространстве *config.proj_codevector_dim*.

**Возвращает:** [Wav2Vec2BaseModelOutput](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.modeling_outputs.Wav2Vec2BaseModelOutput) или `tuple(torch.Tensor)`

Объект [Wav2Vec2BaseModelOutput](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.modeling_outputs.Wav2Vec2BaseModelOutput) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([WavLMConfig](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMConfig)) и входных данных.

Метод forward модели [WavLMModel](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMModel) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Последовательность скрытых состояний на выходе последнего слоя модели.
- **extract_features** (`torch.Tensor` формы `(batch_size, sequence_length, conv_dim[-1])`) -- Последовательность векторов признаков, извлечённых из последнего свёрточного слоя модели.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также выходные значения начального слоя встраиваний.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

## WavLMForCTC[[transformers.WavLMForCTC]]

#### transformers.WavLMForCTC[[transformers.WavLMForCTC]]

```python
transformers.WavLMForCTC(config: WavLMConfig, target_lang: str | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wavlm/modeling_wavlm.py#L1077)

**Параметры:**

config ([WavLMConfig](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

target_lang (`str`, *необязательный*) : Идентификатор языка весов адаптера. Веса адаптера хранятся в формате adapter..safetensors или adapter..bin. Актуально только при использовании экземпляра [WavLMForCTC](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMForCTC) с адаптерами. По умолчанию используется 'eng'.

Модель WavLM с головкой `language modeling` для Connectionist Temporal Classification (CTC).

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.WavLMForCTC.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wavlm/modeling_wavlm.py#L1146)

**Параметры:**

input_values (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательно*) : Значения типа float входной необработанной звуковой волны. Значения можно получить, загрузив аудиофайл `.flac` или `.wav` в массив типа `list[float]`, `numpy.ndarray` или `torch.Tensor`, *например*, с помощью библиотеки torchcodec (`pip install torchcodec`) или библиотеки soundfile (`pip install soundfile`). Для подготовки массива в `input_values` следует использовать [AutoProcessor](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoProcessor) для выравнивания и преобразования в тензор типа `torch.Tensor`. Подробности см. в [Wav2Vec2Processor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor.__call__).

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

labels (`torch.LongTensor` формы `(batch_size, target_length)`, *необязательный*) : Метки для связного временного классификационного метода (CTC). Обратите внимание, что `target_length` должен быть меньше или равен длине последовательности выходных логитов. Индексы выбираются из диапазона `[-100, 0, ..., config.vocab_size - 1]`. Все метки, установленные в `-100`, игнорируются (маскируются); функция потерь вычисляется только для меток из диапазона `[0, ..., config.vocab_size - 1]`.

**Возвращает:** [CausalLMOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.CausalLMOutput) или `tuple(torch.Tensor)`

Объект [CausalLMOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.CausalLMOutput) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([WavLMConfig](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMConfig)) и входных данных.

Метод [WavLMForCTC](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMForCTC) forward переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потеря языковой модели (для предсказания следующего токена).
- **logits** (`torch.Tensor` формы `(batch_size, sequence_length, config.vocab_size)`) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

```python
>>> from transformers import AutoProcessor, WavLMForCTC
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = AutoProcessor.from_pretrained("microsoft/wavlm-base")
>>> model = WavLMForCTC.from_pretrained("microsoft/wavlm-base")

>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...

>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...
```

## WavLMForSequenceClassification[[transformers.WavLMForSequenceClassification]]

#### transformers.WavLMForSequenceClassification[[transformers.WavLMForSequenceClassification]]

```python
transformers.WavLMForSequenceClassification(config: WavLMConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wavlm/modeling_wavlm.py#L1204)

**Параметры:**

config ([WavLMConfig](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель WavLM с головой последовательной классификации сверху (линейный слой над пул-выводом) для задач, таких как SUPERB Keyword Spotting.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.WavLMForSequenceClassification.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wavlm/modeling_wavlm.py#L1237)

**Параметры:**

input_values (`torch.Tensor` формы `(batch_size, sequence_length)`) : Значения типа float входной необработанной звуковой волны. Значения можно получить, загрузив аудиофайл `.flac` или `.wav` в массив типа `list[float]`, `numpy.ndarray` или `torch.Tensor`, *например*, с помощью библиотеки torchcodec (`pip install torchcodec`) или библиотеки soundfile (`pip install soundfile`). Для подготовки массива в `input_values` следует использовать [AutoProcessor](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoProcessor) для выравнивания и преобразования в тензор типа `torch.Tensor`. Подробности см. в `WavLMProcessor.__call__`.

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

labels (`torch.LongTensor` формы `(batch_size,)`, *необязательный*) : Метки для вычисления функции потерь классификации/регрессии последовательности. Индексы должны находиться в диапазоне `[0, ..., config.num_labels - 1]`. Если `config.num_labels == 1`, вычисляется функция потерь регрессии (среднеквадратичная ошибка), если `config.num_labels > 1` — функция потерь классификации (кросс-энтропия).

**Возвращает:** [SequenceClassifierOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) или `tuple(torch.Tensor)`

Объект [SequenceClassifierOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) или кортеж из `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([WavLMConfig](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMConfig)) и входных данных.

Метод [WavLMForSequenceClassification](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMForSequenceClassification) forward переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потери классификации (или регрессии, если config.num_labels==1).
- **logits** (`torch.Tensor` формы `(batch_size, config.num_labels)`) — Оценки классификации (или регрессии, если config.num_labels==1) до применения SoftMax.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример классификации с одной меткой:

```python
>>> import torch
>>> from transformers import AutoTokenizer, WavLMForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("microsoft/wavlm-base")
>>> model = WavLMForSequenceClassification.from_pretrained("microsoft/wavlm-base")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = WavLMForSequenceClassification.from_pretrained("microsoft/wavlm-base", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

Пример многоклассовой классификации:

```python
>>> import torch
>>> from transformers import AutoTokenizer, WavLMForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("microsoft/wavlm-base")
>>> model = WavLMForSequenceClassification.from_pretrained("microsoft/wavlm-base", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = WavLMForSequenceClassification.from_pretrained(
...     "microsoft/wavlm-base", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss
```

## WavLMForAudioFrameClassification[[transformers.WavLMForAudioFrameClassification]]

#### transformers.WavLMForAudioFrameClassification[[transformers.WavLMForAudioFrameClassification]]

```python
transformers.WavLMForAudioFrameClassification(config: WavLMConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wavlm/modeling_wavlm.py#L1297)

**Параметры:**

config ([WavLMConfig](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Wavlm с головкой классификации кадров для задач, таких как диаризация говорящих.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.WavLMForAudioFrameClassification.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wavlm/modeling_wavlm.py#L1329)

**Параметры:**

input_values (`torch.Tensor` формы `(batch_size, sequence_length)`) : Значения типа float входной необработанной звуковой волны. Значения можно получить, загрузив аудиофайл `.flac` или `.wav` в массив типа `list[float]`, `numpy.ndarray` или `torch.Tensor`, *например*, с помощью библиотеки torchcodec (`pip install torchcodec`) или библиотеки soundfile (`pip install soundfile`). Для подготовки массива в `input_values` следует использовать [AutoProcessor](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoProcessor) для выравнивания и преобразования в тензор типа `torch.Tensor`. Подробности см. в `WavLMProcessor.__call__`.

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

labels (`torch.LongTensor` формы `(batch_size,)`, *необязательный*) : Метки для вычисления функции потерь классификации/регрессии последовательности. Индексы должны находиться в диапазоне `[0, ..., config.num_labels - 1]`. Если `config.num_labels == 1`, вычисляется функция потерь регрессии (среднеквадратичная ошибка), если `config.num_labels > 1` — функция потерь классификации (кросс-энтропия).

**Возвращает:** [TokenClassifierOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.TokenClassifierOutput) или `tuple(torch.Tensor)`

Объект [TokenClassifierOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.TokenClassifierOutput) или кортеж из `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([WavLMConfig](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMConfig)) и входных данных.

Метод forward класса [WavLMForAudioFrameClassification](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMForAudioFrameClassification) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потери классификации.
- **logits** (`torch.Tensor` формы `(batch_size, sequence_length, config.num_labels)`) — Оценки классификации (до SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

```python
>>> from transformers import AutoFeatureExtractor, WavLMForAudioFrameClassification
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("microsoft/wavlm-base")
>>> model = WavLMForAudioFrameClassification.from_pretrained("microsoft/wavlm-base")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], return_tensors="pt", sampling_rate=sampling_rate)
>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> probabilities = torch.sigmoid(logits[0])
>>> # labels is a one-hot array of shape (num_frames, num_speakers)
>>> labels = (probabilities > 0.5).long()
>>> labels[0].tolist()
...
```

## WavLMForXVector[[transformers.WavLMForXVector]]

#### transformers.WavLMForXVector[[transformers.WavLMForXVector]]

```python
transformers.WavLMForXVector(config: WavLMConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wavlm/modeling_wavlm.py#L1422)

**Параметры:**

config ([WavLMConfig](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель WavLM с головой извлечения признаков XVector для таких задач, как верификация говорящего.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.WavLMForXVector.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wavlm/modeling_wavlm.py#L1472)

**Параметры:**

input_values (`torch.Tensor` формы `(batch_size, sequence_length)`) : Значения типа float входной необработанной звуковой волны. Значения можно получить, загрузив аудиофайл `.flac` или `.wav` в массив типа `list[float]`, `numpy.ndarray` или `torch.Tensor`, *например*, с помощью библиотеки torchcodec (`pip install torchcodec`) или библиотеки soundfile (`pip install soundfile`). Для подготовки массива в `input_values` следует использовать [AutoProcessor](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoProcessor) для выравнивания и преобразования в тензор типа `torch.Tensor`. Подробности см. в `WavLMProcessor.__call__`.

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

labels (`torch.LongTensor` формы `(batch_size,)`, *необязательный*) : Метки для вычисления функции потерь классификации/регрессии последовательности. Индексы должны находиться в диапазоне `[0, ..., config.num_labels - 1]`. Если `config.num_labels == 1`, вычисляется функция потерь регрессии (среднеквадратичная ошибка), если `config.num_labels > 1` — функция потерь классификации (кросс-энтропия).

**Возвращает:** [XVectorOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.XVectorOutput) или `tuple(torch.Tensor)`

[XVectorOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.XVectorOutput) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([WavLMConfig](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMConfig)) и входных данных.

Метод forward класса [WavLMForXVector](/docs/transformers/v5.23.0/ru/model_doc/wavlm#transformers.WavLMForXVector) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потери классификации.
- **logits** (`torch.Tensor` формы `(batch_size, config.xvector_output_dim)`) -- Скрытые состояния классификации до AMSoftmax.
- **embeddings** (`torch.Tensor` формы `(batch_size, config.xvector_output_dim)`) -- Векторы высказываний, используемые для поиска на основе векторного сходства.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также выходные значения начального слоя встраиваний.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

```python
>>> from transformers import AutoFeatureExtractor, WavLMForXVector
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("microsoft/wavlm-base")
>>> model = WavLMForXVector.from_pretrained("microsoft/wavlm-base")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(
...     [d["array"] for d in dataset[:2]["audio"]], sampling_rate=sampling_rate, return_tensors="pt", padding=True
... )
>>> with torch.no_grad():
...     embeddings = model(**inputs).embeddings

>>> embeddings = torch.nn.functional.normalize(embeddings, dim=-1).cpu()

>>> # the resulting embeddings can be used for cosine similarity-based retrieval
>>> cosine_sim = torch.nn.CosineSimilarity(dim=-1)
>>> similarity = cosine_sim(embeddings[0], embeddings[1])
>>> threshold = 0.7  # the optimal threshold is dataset-dependent
>>> if similarity < threshold:
...     print("Speakers are not the same!")
>>> round(similarity.item(), 2)
...
```

