TRL documentation

Быстрый старт

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.18.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Быстрый старт

TRL — это комплексная библиотека для пост-обучения базовых моделей с использованием таких методов, как Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO).

Быстрые примеры

Начните работу сразу с самых популярных тренеров TRL. Каждый пример использует компактные модели для быстрого экспериментирования.

Детальная настройка с учителем

from trl import SFTTrainer
from datasets import load_dataset

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-0.5B",
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

Групповая относительная оптимизация политики

Для accuracy_reward требуется math-verify, который можно установить с помощью pip install trl[math_verify].

from trl import GRPOTrainer
from datasets import load_dataset
from trl.rewards import accuracy_reward

trainer = GRPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=load_dataset("trl-lib/DeepMath-103K", split="train"),
    reward_funcs=accuracy_reward,
)
trainer.train()

Direct Preference Optimization

from trl import DPOTrainer
from datasets import load_dataset

trainer = DPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()

Моделирование вознаграждения

from trl import RewardTrainer
from datasets import load_dataset

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

trainer = RewardTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=dataset,
)
trainer.train()

Интерфейс командной строки

Пропустите код и обучайте модель напрямую из терминала:

# SFT: Fine-tune on instructions
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
    --dataset_name trl-lib/Capybara

# DPO: Align with preferences  
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized

# Reward: Train a reward model
trl reward --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized

Что дальше?

📚 Подробнее

  • SFT Trainer — Полное руководство по SFT
  • DPO Trainer — выравнивание предпочтений
  • GRPO Trainer — групповая относительная оптимизация политики

🚀 Масштабирование

💡 Примеры

Устранение неполадок

Не хватает памяти?

Уменьшите размер батча и включите оптимизации:

SFT
DPO
GRPO
training_args = SFTConfig(
    per_device_train_batch_size=1,  # Start small
    gradient_accumulation_steps=8,  # Maintain effective batch size
)

Потери не уменьшаются?

Попробуйте отрегулировать скорость обучения:

training_args = SFTConfig(learning_rate=2e-5)  # Good starting point

Для получения дополнительной помощи создайте issue на GitHub.

Update on GitHub