TRL documentation
Обучающие материалы сообщества
Начало работы
Концептуальные руководства
Тренеры
Руководства
Интерфейс командной строки (CLI)Обучение с помощью JobsНастройка обученияСнижение потребления памятиУскорение обученияРаспределение обученияОбучение на AWS TrainiumОбучение на GPU AMDОбучение на последовательностях длиннее 1 млн токеновИспользование обученных моделей
Интеграции
Примеры
API
Экспериментальный
Обучающие материалы сообщества
Обучающие материалы сообщества создаются активными участниками сообщества Hugging Face, которые хотят делиться своими знаниями и опытом с другими. Это отличный способ узнать о библиотеке и её возможностях, а также начать работу с базовыми классами и модальностями.
Языковые модели
Учебные материалы
| Задача | Класс | Описание | Автор | Руководство | Colab |
|---|---|---|---|---|---|
| Обучение с подкреплением | GRPOTrainer | Эффективное обучение в режиме онлайн с GRPO и vLLM в TRL | Sergio Paniego | Ссылка | |
| Обучение с подкреплением | GRPOTrainer | Постобучение LLM для рассуждений с помощью GRPO в TRL | Sergio Paniego | Ссылка | |
| Обучение с подкреплением | GRPOTrainer | Mini-R1: Воспроизведение «момента озарения» Deepseek R1 — учебник по RL | Philipp Schmid | Ссылка | |
| Обучение с подкреплением | GRPOTrainer | RL на LLaMA 3.1-8B с GRPO и оптимизациями Unsloth | Andrea Manzoni | Ссылка | |
| Инструктивное обучение | SFTTrainer | Допобучение LLM Google Gemma в формате ChatML с использованием QLoRA | Philipp Schmid | Ссылка | |
| Структурированная генерация | SFTTrainer | Допобучение Llama-2-7B для генерации персидских каталогов товаров в формате JSON с использованием QLoRA и PEFT | Mohammadreza Esmaeilian | Ссылка | |
| Оптимизация предпочтений | DPOTrainer | Выравнивание Mistral-7b с помощью Direct Preference Optimization для согласования с предпочтениями человека | Maxime Labonne | Ссылка | |
| Оптимизация предпочтений | experimental.orpo.ORPOTrainer | Доработка Llama 3 с помощью ORPO, объединяющего обучение по инструкциям и выравнивание предпочтений | Maxime Labonne | Ссылка | |
| Инструктивное обучение | SFTTrainer | Как дообучать открытые LLM в 2025 году с помощью Hugging Face | Philipp Schmid | Ссылка | |
| Рассуждения на уровне шагов | GRPOTrainer | Надзорное обучение с подкреплением (SRL) для пошагового рассуждения с vLLM | Deepak Swaminathan | Ссылка |
Видео
| Задача | Заголовок | Автор | Видео |
|---|---|---|---|
| Инструктивное обучение | Доработка открытых моделей ИИ с помощью Hugging Face TRL | Wietse Venema | ![]() |
| Инструктивное обучение | Как дообучить smol-LM с помощью Hugging Face, TRL и набора данных smoltalk | Mayurji | ![]() |
⚠️ Deprecated features notice for "How to fine-tune a smol-LM with Hugging Face, TRL, and the smoltalk Dataset" (click to expand)
В этом учебнике используются две устаревшие функции:
SFTTrainer(..., tokenizer=tokenizer): используйте вместо этогоSFTTrainer(..., processing_class=tokenizer)или просто опустите этот параметр (он будет определён из модели).setup_chat_format(model, tokenizer): используйтеSFTConfig(..., chat_template_path="Qwen/Qwen3-0.6B"), гдеchat_template_pathуказывает на модель, шаблон чата которой вы хотите скопировать.
Модели зрения и языка
Учебные материалы
| Задача | Класс | Описание | Автор | Руководство | Colab |
|---|---|---|---|---|---|
| Визуальный контроль качества | SFTTrainer | Допобучение Qwen2-VL-7B для визуального ответа на вопросы на наборе данных ChartQA | Sergio Paniego | Ссылка | |
| Визуальный контроль качества | SFTTrainer | Допобучение SmolVLM с помощью TRL на потребительском GPU | Sergio Paniego | Ссылка | |
| Описание для SEO | SFTTrainer | Допобучение Qwen2-VL-7B для генерации SEO-дружественных описаний по изображениям | Philipp Schmid | Ссылка | |
| Визуальный контроль качества | DPOTrainer | PaliGemma 🤝 Direct Preference Optimization | Merve Noyan | Ссылка | |
| Визуальный контроль качества | DPOTrainer | Дополнительная настройка SmolVLM с использованием прямой оптимизации предпочтений (DPO) в TRL на потребительском GPU | Sergio Paniego | Ссылка | |
| Grounding обнаружения объектов | SFTTrainer | Дополнительная настройка VLM для определения объектов с привязкой к координатам с помощью TRL | Sergio Paniego | Ссылка | |
| Визуальный контроль качества | DPOTrainer | Доработка модели «зрение-язык» с помощью TRL с использованием MPO | Sergio Paniego | Ссылка | |
| Обучение с подкреплением | GRPOTrainer | Постобучение VLM для рассуждений с помощью GRPO с использованием TRL | Sergio Paniego | Ссылка |
Языковые модели для речи
Учебные материалы
| Задача | Класс | Описание | Автор | Руководство |
|---|---|---|---|---|
| Синтез речи | GRPOTrainer | Постобучение речевого языковой модели с помощью GRPO в TRL | Steven Zheng | Ссылка |
Внесение вклада
Если у вас есть учебное пособие, которое вы хотели бы добавить в этот список, пожалуйста, создайте PR для его добавления. Мы рассмотрим его и объединим, если оно будет актуально для сообщества.
Update on GitHub
