Transformers documentation

Extracteurs de caractéristiques

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Extracteurs de caractéristiques

Les extracteurs de caractéristiques prétraitent les données audio pour les mettre dans le format correct d'un modèle donné. Ils prennent le signal audio brut et le convertissent en un tenseur pouvant être fourni à un modèle. La forme du tenseur dépend du modèle, mais l'extracteur de caractéristiques prétraitera correctement les données audio pour vous en fonction du modèle que vous utilisez. Les extracteurs de caractéristiques incluent également des méthodes pour le bourrage (padding), la troncature et le rééchantillonnage.

Appel de from_pretrained() pour charger un extracteur de caractéristiques et sa configuration de préprocesseur depuis le Hub Hugging Face ou un répertoire local. La configuration de l'extracteur de caractéristiques et du préprocesseur est enregistrée dans un fichier preprocessor_config.json.

Transmettez le signal audio, généralement stocké dans array, à l’extracteur de caractéristiques et définissez le paramètre sampling_rate sur la fréquence d’échantillonnage du modèle audio préentraîné. Il est important que la fréquence d’échantillonnage des données audio corresponde à celle des données sur lesquelles le modèle audio préentraîné a été entraîné.

from transformers import AutoFeatureExtractor

feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")
dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
processed_sample = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=16000)
processed_sample
{'input_values': [array([ 9.4472744e-05,  3.0777880e-03, -2.8888427e-03, ...,
       -2.8888427e-03,  9.4472744e-05,  9.4472744e-05], dtype=float32)]}

L'extracteur de caractéristiques renvoie une entrée, input_values, prête à être consommée par le modèle.

Ce guide vous présente les classes d'extracteurs de caractéristiques et la façon de prétraiter les données audio.

Classes d'extracteurs de caractéristiques

Les extracteurs de fonctionnalités de Transformers héritent de la classe de base SequenceFeatureExtractor, qui est une sous-classe de FeatureExtractionMixin.

Il existe deux façons de charger un extracteur de caractéristiques : AutoFeatureExtractor et une classe d'extracteur de caractéristiques spécifique à un modèle.

AutoFeatureExtractor
extracteur de fonctionnalités spécifique au modèle

L'API AutoClass charge automatiquement le bon extracteur de caractéristiques pour un modèle donné.

Utilisez from_pretrained() pour charger un extracteur de caractéristiques.

from transformers import AutoFeatureExtractor

feature_extractor = AutoFeatureExtractor.from_pretrained("openai/whisper-tiny")

Prétraitement

Un extracteur de caractéristiques s'attend à recevoir l'entrée sous forme de tenseur PyTorch d'une forme donnée. La forme exacte de l'entrée peut varier en fonction du modèle audio spécifique que vous utilisez.

Par exemple, Whisper s'attend à ce que input_features soit un tenseur de forme (batch_size, feature_size, sequence_length) tandis que Wav2Vec2 s'attend à ce que input_values soit un tenseur de forme (batch_size, sequence_length).

Le feature extractor génère la forme d'entrée correcte pour le modèle audio que vous utilisez.

Un extracteur de caractéristiques définit également le taux d'échantillonnage (le nombre de valeurs du signal audio capturées par seconde) des fichiers audio. Le taux d'échantillonnage de vos données audio doit correspondre au taux d'échantillonnage du jeu de données sur lequel le modèle pré-entraîné a été entraîné. Cette valeur est généralement indiquée dans la fiche du modèle.

Chargez un jeu de données et un extracteur de caractéristiques avec from_pretrained().

from datasets import load_dataset, Audio
from transformers import AutoFeatureExtractor

dataset = load_dataset("PolyAI/minds14", name="en-US", split="train")
feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/wav2vec2-base")

Consultez le premier exemple du jeu de données et accédez à la colonne audio qui contient array, le signal audio brut.

dataset[0]["audio"]["array"]
array([ 0.        ,  0.00024414, -0.00024414, ..., -0.00024414,
        0.        ,  0.        ])

L'extracteur de caractéristiques prétraite array dans le format d'entrée attendu pour un modèle audio donné. Utilisez le paramètre sampling_rate pour définir le taux d'échantillonnage approprié.

processed_dataset = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=16000)
processed_dataset
{'input_values': [array([ 9.4472744e-05,  3.0777880e-03, -2.8888427e-03, ...,
       -2.8888427e-03,  9.4472744e-05,  9.4472744e-05], dtype=float32)]}

Remplissage

Les longueurs de séquences audio différentes posent problème car Transformers s’attend à ce que toutes les séquences aient la même longueur afin de pouvoir être regroupées en lots. Les longueurs de séquences inégales ne peuvent pas être regroupées en lots.

dataset[0]["audio"]["array"].shape
(86699,)

dataset[1]["audio"]["array"].shape
(53248,)

Le padding ajoute un jeton de padding spécial pour garantir que toutes les séquences ont la même longueur. L'extracteur de caractéristiques ajoute un 0 - interprété comme du silence - à array pour le compléter. Définissez padding=True pour compléter les séquences jusqu'à la longueur de la séquence la plus longue du lot.

def preprocess_function(examples):
    audio_arrays = [x["array"] for x in examples["audio"]]
    inputs = feature_extractor(
        audio_arrays,
        sampling_rate=16000,
        padding=True,
    )
    return inputs

processed_dataset = preprocess_function(dataset[:5])
processed_dataset["input_values"][0].shape
(86699,)

processed_dataset["input_values"][1].shape
(86699,)

Troncature

Les modèles ne peuvent traiter que des séquences d'une longueur maximale avant de planter.

La troncature est une stratégie visant à supprimer les jetons excédentaires d'une séquence afin de s'assurer qu'elle ne dépasse pas la longueur maximale. Définissez truncation=True pour tronquer une séquence à la longueur spécifiée dans le paramètre max_length.

def preprocess_function(examples):
    audio_arrays = [x["array"] for x in examples["audio"]]
    inputs = feature_extractor(
        audio_arrays,
        sampling_rate=16000,
        max_length=50000,
        truncation=True,
    )
    return inputs

processed_dataset = preprocess_function(dataset[:5])
processed_dataset["input_values"][0].shape
(50000,)

processed_dataset["input_values"][1].shape
(50000,)

Rééchantillonnage

La bibliothèque Datasets peut également rééchantillonner les données audio pour correspondre à la fréquence d’échantillonnage attendue par un modèle audio. Cette méthode rééchantillonne les données audio à la volée lors de leur chargement, ce qui peut être plus rapide que de rééchantillonner l’ensemble du jeu de données sur place.

Le jeu de données audio sur lequel vous travaillez a une fréquence d'échantillonnage de 8 kHz et le modèle préentraîné s'attend à 16 kHz.

dataset[0]["audio"]
{'path': '/root/.cache/huggingface/datasets/downloads/extracted/f507fdca7f475d961f5bb7093bcc9d544f16f8cab8608e772a2ed4fbeb4d6f50/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav',
 'array': array([ 0.        ,  0.00024414, -0.00024414, ..., -0.00024414,
         0.        ,  0.        ]),
 'sampling_rate': 8000}

Appel de cast_column sur la colonne audio pour remonter le taux d'échantillonnage à 16 kHz.

dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))

Lorsque vous chargez l'échantillon du jeu de données, il est désormais rééchantillonné à 16 kHz.

dataset[0]["audio"]
{'path': '/root/.cache/huggingface/datasets/downloads/extracted/f507fdca7f475d961f5bb7093bcc9d544f16f8cab8608e772a2ed4fbeb4d6f50/en-US~JOINT_ACCOUNT/602ba55abb1e6d0fbce92065.wav',
 'array': array([ 1.70562416e-05,  2.18727451e-04,  2.28099874e-04, ...,
         3.43842403e-05, -5.96364771e-06, -1.76846661e-05]),
 'sampling_rate': 16000}
Update on GitHub