TRL documentation
AWS Trainiumでのトレーニング
AWS Trainiumでのトレーニング
AWS Trainiumはtorch-neuronxパッケージを介してPyTorchをネイティブで実行し、neuronデバイスを登録します。TRLのトレーナーはコードの変更なしでこれ上で動作します。Neuronは検出する各入力形状に対してグラフをコンパイルし、各コンパイルに約1分かかります。そのため、このページの大部分は形状を静的に保つ方法についてです。インストールとTransformers側の詳細については、Transformers AWS Trainiumガイドを参照してください。
インストール
AWS Neuron セットアップガイドに従ってtorch-neuronxをインストールし、同じ環境にTRLをインストールしてください。
pip install trl
教師ありファインチューニング
SFTTrainerのクイックスタートはそのまま実行できます:
from datasets import load_dataset
from trl import SFTTrainer
trainer = SFTTrainer(
model="Qwen/Qwen3-0.6B",
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Neuron 上では、pad_to_multiple_of のデフォルト値は 128(その "auto" 値)であり、シーケンスは 128 の倍数にパディングされます。これにより、形状の数、ひいてはコンパイルの回数が max_length / 128 に制限されます。これを設定しないと、新しいシーケンス長が現れるたびにコンパイルがトリガーされます。NeuronCore 1 つで per_device_train_batch_size=4 の場合、上記の例の 20 ステップは、デフォルト設定では 130 秒、pad_to_multiple_of=None では 260 秒かかります。
pad_to_multiple_ofオプションを持つすべてのトレーナーにも同じことが当てはまります: DPO、KTO、Reward、GRPO、RLOO、Distillation。
モデルのコンパイル
torch_compile=True を設定すると、モデルは neuron バックエンドでコンパイルされます。Dynamo の自動動的シェイプは、Neuron バックエンドではまだコンパイルできないグラフを生成するため(#7660)、これを無効にしてください。
import torch
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer
torch._dynamo.config.automatic_dynamic_shapes = False
trainer = SFTTrainer(
model="Qwen/Qwen3-0.6B",
args=SFTConfig(torch_compile=True),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()最初のステップでは、コンパイルに約2分かかります。その後、per_device_train_batch_size=4の場合、Qwen3-0.6Bは1つのNeuronCore上でコンパイルなしの1.71 s/stepに対し、1.15 s/stepで学習します。
オンライン手法
vLLMはNeuronでは動作しないため、GRPOおよびRLOOはTransformersで生成を行います。デフォルトのdynamic cacheでは、生成される各トークンごとに新しいshapeとなり、1ステップに数分かかります。デコーディングのshapeを固定するstatic cacheを使用してください:
from datasets import load_dataset
from trl import GRPOConfig, GRPOTrainer
# Reward completions close to 200 characters
def reward_len(completions, **kwargs):
return [-abs(200 - len(completion)) / 100 for completion in completions]
trainer = GRPOTrainer(
model="Qwen/Qwen3-0.6B",
reward_funcs=reward_len,
args=GRPOConfig(
per_device_train_batch_size=4,
num_generations=4,
max_completion_length=128,
cache_implementation="static",
model_init_kwargs={"dtype": "bfloat16"},
),
train_dataset=load_dataset("trl-lib/tldr", split="train"),
)
trainer.train()プロンプトは生成前に pad_to_multiple_of までパディングされるため、静的キャッシュはごく少数のサイズしか必要としません。各新しいサイズは NeuronCore 1 つあたり約 12 分かけてコンパイルされますが、サイズがコンパイルされると、この例の 1 ステップは約 25 秒で完了します。
静的キャッシュには、現時点でbf16モデルが必要です。デフォルトのfp32モデルでは、キーとバリューが異なるdtypeになってしまいます(#7664)。
データ並列性
trn2.3xlargeインスタンスにはTrainium2チップが1つ搭載されており、デフォルトのLogical NeuronCore構成(LNC=2)では、チップの8つの物理NeuronCoreが4つの論理NeuronCoreにペアリングされます。
4つのNeuronCoreすべてで学習するには、NeuronCoreごとに1つのプロセスをtorchrunで起動します:
torchrun --nproc_per_node 4 train.py
この設定では、SFTは1つのNeuronCoreよりも4つのNeuronCoreで3.6倍速く実行されます。
NeuronCore のサブセットにランを制限するには、NEURON_RT_VISIBLE_CORES を 0,1、2,3、または 0-3 に設定します。1,2 のような他の組み合わせはサポートされていません。Neuron ランタイムは、それらの間でコレクティブを設定できないためです。