TRL documentation

AWS Trainiumでのトレーニング

You are viewing v1.18.1 version. A newer version v1.18.2 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AWS Trainiumでのトレーニング

AWS Trainiumはtorch-neuronxパッケージを介してPyTorchをネイティブで実行し、neuronデバイスを登録します。TRLのトレーナーはコードの変更なしでこれ上で動作します。Neuronは検出する各入力形状に対してグラフをコンパイルし、各コンパイルに約1分かかります。そのため、このページの大部分は形状を静的に保つ方法についてです。インストールとTransformers側の詳細については、Transformers AWS Trainiumガイドを参照してください。

インストール

AWS Neuron セットアップガイドに従ってtorch-neuronxをインストールし、同じ環境にTRLをインストールしてください。

pip install trl

教師ありファインチューニング

SFTTrainerのクイックスタートはそのまま実行できます:

from datasets import load_dataset
from trl import SFTTrainer

trainer = SFTTrainer(
    model="Qwen/Qwen3-0.6B",
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

Neuron 上では、pad_to_multiple_of のデフォルト値は 128(その "auto" 値)であり、シーケンスは 128 の倍数にパディングされます。これにより、形状の数、ひいてはコンパイルの回数が max_length / 128 に制限されます。これを設定しないと、新しいシーケンス長が現れるたびにコンパイルがトリガーされます。NeuronCore 1 つで per_device_train_batch_size=4 の場合、上記の例の 20 ステップは、デフォルト設定では 130 秒、pad_to_multiple_of=None では 260 秒かかります。

pad_to_multiple_ofオプションを持つすべてのトレーナーにも同じことが当てはまります: DPO、KTO、Reward、GRPO、RLOO、Distillation。

モデルのコンパイル

torch_compile=True を設定すると、モデルは neuron バックエンドでコンパイルされます。Dynamo の自動動的シェイプは、Neuron バックエンドではまだコンパイルできないグラフを生成するため(#7660)、これを無効にしてください。

import torch
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer

torch._dynamo.config.automatic_dynamic_shapes = False

trainer = SFTTrainer(
    model="Qwen/Qwen3-0.6B",
    args=SFTConfig(torch_compile=True),
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

最初のステップでは、コンパイルに約2分かかります。その後、per_device_train_batch_size=4の場合、Qwen3-0.6Bは1つのNeuronCore上でコンパイルなしの1.71 s/stepに対し、1.15 s/stepで学習します。

オンライン手法

vLLMはNeuronでは動作しないため、GRPOおよびRLOOはTransformersで生成を行います。デフォルトのdynamic cacheでは、生成される各トークンごとに新しいshapeとなり、1ステップに数分かかります。デコーディングのshapeを固定するstatic cacheを使用してください:

from datasets import load_dataset
from trl import GRPOConfig, GRPOTrainer


# Reward completions close to 200 characters
def reward_len(completions, **kwargs):
    return [-abs(200 - len(completion)) / 100 for completion in completions]


trainer = GRPOTrainer(
    model="Qwen/Qwen3-0.6B",
    reward_funcs=reward_len,
    args=GRPOConfig(
        per_device_train_batch_size=4,
        num_generations=4,
        max_completion_length=128,
        cache_implementation="static",
        model_init_kwargs={"dtype": "bfloat16"},
    ),
    train_dataset=load_dataset("trl-lib/tldr", split="train"),
)
trainer.train()

プロンプトは生成前に pad_to_multiple_of までパディングされるため、静的キャッシュはごく少数のサイズしか必要としません。各新しいサイズは NeuronCore 1 つあたり約 12 分かけてコンパイルされますが、サイズがコンパイルされると、この例の 1 ステップは約 25 秒で完了します。

静的キャッシュには、現時点でbf16モデルが必要です。デフォルトのfp32モデルでは、キーとバリューが異なるdtypeになってしまいます(#7664)。

データ並列性

trn2.3xlargeインスタンスにはTrainium2チップが1つ搭載されており、デフォルトのLogical NeuronCore構成(LNC=2)では、チップの8つの物理NeuronCoreが4つの論理NeuronCoreにペアリングされます。

4つのNeuronCoreすべてで学習するには、NeuronCoreごとに1つのプロセスをtorchrunで起動します:

torchrun --nproc_per_node 4 train.py

この設定では、SFTは1つのNeuronCoreよりも4つのNeuronCoreで3.6倍速く実行されます。

NeuronCore のサブセットにランを制限するには、NEURON_RT_VISIBLE_CORES を 0,1、2,3、または 0-3 に設定します。1,2 のような他の組み合わせはサポートされていません。Neuron ランタイムは、それらの間でコレクティブを設定できないためです。

Update on GitHub