TRL documentation
Быстрый старт
Начало работы
Концептуальные руководства
Тренеры
Руководства
Интерфейс командной строки (CLI)Обучение с помощью JobsНастройка обученияСнижение потребления памятиУскорение обученияРаспределение обученияОбучение на AWS TrainiumОбучение на GPU AMDОбучение на последовательностях длиннее 1 млн токеновИспользование обученных моделей
Интеграции
Примеры
API
Экспериментальный
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.18.0).
Быстрый старт
TRL — это комплексная библиотека для пост-обучения базовых моделей с использованием таких методов, как Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO).
Быстрые примеры
Начните работу сразу с самых популярных тренеров TRL. Каждый пример использует компактные модели для быстрого экспериментирования.
Детальная настройка с учителем
from trl import SFTTrainer
from datasets import load_dataset
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B",
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Групповая относительная оптимизация политики
Для accuracy_reward требуется math-verify, который можно установить с помощью pip install trl[math_verify].
from trl import GRPOTrainer
from datasets import load_dataset
from trl.rewards import accuracy_reward
trainer = GRPOTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=load_dataset("trl-lib/DeepMath-103K", split="train"),
reward_funcs=accuracy_reward,
)
trainer.train()Direct Preference Optimization
from trl import DPOTrainer
from datasets import load_dataset
trainer = DPOTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()Моделирование вознаграждения
from trl import RewardTrainer
from datasets import load_dataset
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
trainer = RewardTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=dataset,
)
trainer.train()Интерфейс командной строки
Пропустите код и обучайте модель напрямую из терминала:
# SFT: Fine-tune on instructions
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
--dataset_name trl-lib/Capybara
# DPO: Align with preferences
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--dataset_name trl-lib/ultrafeedback_binarized
# Reward: Train a reward model
trl reward --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--dataset_name trl-lib/ultrafeedback_binarizedЧто дальше?
📚 Подробнее
- SFT Trainer — Полное руководство по SFT
- DPO Trainer — выравнивание предпочтений
- GRPO Trainer — групповая относительная оптимизация политики
🚀 Масштабирование
- Распределённое обучение - конфигурации с несколькими GPU
- Оптимизация памяти - Эффективное обучение
- Интеграция с PEFT - LoRA и QLoRA
💡 Примеры
- Скрипты примеров — готовый к использованию в продакшене код
- Обучающие материалы сообщества - Внешние руководства
Устранение неполадок
Не хватает памяти?
Уменьшите размер батча и включите оптимизации:
SFT
DPO
GRPO
training_args = SFTConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
)training_args = DPOConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
)training_args = GRPOConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
num_generations=4, # Reduce from default 8 (GRPO generates num_generations completions per prompt)
max_completion_length=512, # Tune based on task; longer sequences cost more memory
)Потери не уменьшаются?
Попробуйте отрегулировать скорость обучения:
training_args = SFTConfig(learning_rate=2e-5) # Good starting pointДля получения дополнительной помощи создайте issue на GitHub.
Update on GitHub