Pelatihan pada GPU AMD

Pelatih TRL berjalan di GPU AMD Instinct tanpa perubahan kode. Build ROCm dari PyTorch mengeksposnya sebagai perangkat cuda, sehingga perintah di bagian lain dokumentasi berfungsi sebagaimana adanya.

Instalasi

Instal build ROCm PyTorch, lalu TRL di lingkungan yang sama:

pip install torch torchvision --index-url https://download.pytorch.org/whl/rocm7.2
pip install trl

Kernel perhatian

Kernel FlashAttention yang digunakan dalam contoh dokumentasi ini (kernels-community/flash-attn2, flash-attn3 dan flash-attn4) tidak memiliki build ROCm. Pada GPU AMD, gunakan kernels-community/aiter-flash-attn, yang diunduh dari Hub oleh pustaka kernels (pip install trl[kernels]):

from trl import SFTConfig

training_args = SFTConfig(model_init_kwargs={"attn_implementation": "kernels-community/aiter-flash-attn@v2"})

Kernel tidak memiliki soft-capping untuk attention-logit, dan Transformers melewatkan attn_logit_softcapping tanpa peringatan, sehingga model yang menggunakannya, seperti Gemma 2, dilatih dengan attention tanpa batas.

Generasi dengan vLLM

GRPO dan RLOO dengan use_vllm=True memerlukan build ROCm dari vLLM, lihat panduan instalasi vLLM.