TRL documentation
Pelatihan di AWS Trainium
Pelatihan di AWS Trainium
AWS Trainium menjalankan PyTorch secara native melalui paket torch-neuronx, yang mendaftarkan perangkat neuron. TRL trainers berjalan di atasnya tanpa perubahan kode. Neuron mengompilasi graf untuk setiap bentuk input yang dilihatnya, dan setiap kompilasi memakan waktu sekitar satu menit, sehingga sebagian besar halaman ini membahas cara menjaga bentuk tetap statis. Untuk instalasi dan sisi Transformers, lihat panduan Transformers AWS Trainium.
Instalasi
Instal torch-neuronx dengan mengikuti panduan setup AWS Neuron, lalu instal TRL di lingkungan yang sama.
pip install trl
Penyesuaian halus yang diawasi
Quick start SFTTrainer berjalan apa adanya:
from datasets import load_dataset
from trl import SFTTrainer
trainer = SFTTrainer(
model="Qwen/Qwen3-0.6B",
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Pada Neuron, pad_to_multiple_of secara default bernilai 128 (nilai "auto"-nya), sehingga urutan dipadatkan hingga kelipatan 128. Hal ini membatasi jumlah bentuk, dan dengan demikian jumlah kompilasi, menjadi max_length / 128. Tanpa pengaturan ini, setiap panjang urutan baru akan memicu kompilasi. Pada satu NeuronCore, dengan per_device_train_batch_size=4, 20 langkah dari contoh di atas membutuhkan waktu 130 detik dengan nilai default dan 260 detik dengan pad_to_multiple_of=None.
Hal yang sama berlaku untuk setiap trainer yang memiliki opsi pad_to_multiple_of: DPO, KTO, Reward, GRPO, RLOO, dan Distillation.
Mengompilasi model
Set torch_compile=True untuk mengompilasi model dengan backend neuron. Bentuk dinamis otomatis dari Dynamo menghasilkan graf yang belum dapat dikompilasi oleh backend Neuron (#7660), sehingga matikan fitur tersebut:
import torch
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer
torch._dynamo.config.automatic_dynamic_shapes = False
trainer = SFTTrainer(
model="Qwen/Qwen3-0.6B",
args=SFTConfig(torch_compile=True),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Langkah pertama melakukan kompilasi selama sekitar 2 menit. Setelah itu, dengan per_device_train_batch_size=4, Qwen3-0.6B dilatih pada 1,15 s/step di satu NeuronCore, dibandingkan 1,71 s/step tanpa kompilasi.
Metode online
vLLM tidak berjalan di Neuron, sehingga GRPO dan RLOO menghasilkan output dengan Transformers. Dengan cache dinamis bawaan, setiap token yang dihasilkan memiliki bentuk baru, dan satu langkah memakan waktu beberapa menit. Gunakan cache statis, yang menjaga bentuk decoding tetap tetap:
from datasets import load_dataset
from trl import GRPOConfig, GRPOTrainer
# Reward completions close to 200 characters
def reward_len(completions, **kwargs):
return [-abs(200 - len(completion)) / 100 for completion in completions]
trainer = GRPOTrainer(
model="Qwen/Qwen3-0.6B",
reward_funcs=reward_len,
args=GRPOConfig(
per_device_train_batch_size=4,
num_generations=4,
max_completion_length=128,
cache_implementation="static",
model_init_kwargs={"dtype": "bfloat16"},
),
train_dataset=load_dataset("trl-lib/tldr", split="train"),
)
trainer.train()Prompt juga di-*pad* hingga pad_to_multiple_of sebelum generasi, sehingga cache statis hanya mengambil beberapa ukuran. Setiap ukuran baru masih dikompilasi selama sekitar 12 menit pada satu NeuronCore; setelah suatu ukuran dikompilasi, satu langkah dari contoh ini memakan waktu sekitar 25 detik.
Cache statis saat ini membutuhkan model bf16: dengan model fp32 bawaan, kunci dan nilai berakhir dengan dtype yang berbeda (#7664).
Paralelisme data
Pada instance trn2.3xlarge, yang berisi satu chip Trainium2, konfigurasi Logical NeuronCore default (LNC=2) memasangkan 8 NeuronCore fisik chip menjadi 4 NeuronCore logis.
Untuk melatih di keempatnya, jalankan satu proses per NeuronCore dengan torchrun:
torchrun --nproc_per_node 4 train.py
Dalam konfigurasi ini, SFT berjalan 3,6x lebih cepat di 4 NeuronCore dibandingkan di 1.
Untuk membatasi sebuah run pada subset NeuronCores, atur NEURON_RT_VISIBLE_CORES ke 0,1, 2,3, atau 0-3. Kombinasi lain seperti 1,2 tidak didukung: runtime Neuron gagal mengatur collectives di antara mereka.