TRL documentation

Обучающие материалы сообщества

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Обучающие материалы сообщества

Обучающие материалы сообщества создаются активными участниками сообщества Hugging Face, которые хотят делиться своими знаниями и опытом с другими. Это отличный способ узнать о библиотеке и её возможностях, а также начать работу с базовыми классами и модальностями.

Языковые модели

Учебные материалы

ЗадачаКлассОписаниеАвторРуководствоColab
Обучение с подкреплениемGRPOTrainerЭффективное обучение в режиме онлайн с GRPO и vLLM в TRLSergio PaniegoСсылкаOpen In Colab
Обучение с подкреплениемGRPOTrainerПостобучение LLM для рассуждений с помощью GRPO в TRLSergio PaniegoСсылкаOpen In Colab
Обучение с подкреплениемGRPOTrainerMini-R1: Воспроизведение «момента озарения» Deepseek R1 — учебник по RLPhilipp SchmidСсылкаOpen In Colab
Обучение с подкреплениемGRPOTrainerRL на LLaMA 3.1-8B с GRPO и оптимизациями UnslothAndrea ManzoniСсылкаOpen In Colab
Инструктивное обучениеSFTTrainerДопобучение LLM Google Gemma в формате ChatML с использованием QLoRAPhilipp SchmidСсылкаOpen In Colab
Структурированная генерацияSFTTrainerДопобучение Llama-2-7B для генерации персидских каталогов товаров в формате JSON с использованием QLoRA и PEFTMohammadreza EsmaeilianСсылкаOpen In Colab
Оптимизация предпочтенийDPOTrainerВыравнивание Mistral-7b с помощью Direct Preference Optimization для согласования с предпочтениями человекаMaxime LabonneСсылкаOpen In Colab
Оптимизация предпочтенийexperimental.orpo.ORPOTrainerДоработка Llama 3 с помощью ORPO, объединяющего обучение по инструкциям и выравнивание предпочтенийMaxime LabonneСсылкаOpen In Colab
Инструктивное обучениеSFTTrainerКак дообучать открытые LLM в 2025 году с помощью Hugging FacePhilipp SchmidСсылкаOpen In Colab
Рассуждения на уровне шаговGRPOTrainerНадзорное обучение с подкреплением (SRL) для пошагового рассуждения с vLLMDeepak SwaminathanСсылкаOpen In Colab

Видео

ЗадачаЗаголовокАвторВидео
Инструктивное обучениеДоработка открытых моделей ИИ с помощью Hugging Face TRLWietse Venema
Инструктивное обучениеКак дообучить smol-LM с помощью Hugging Face, TRL и набора данных smoltalkMayurji
⚠️ Deprecated features notice for "How to fine-tune a smol-LM with Hugging Face, TRL, and the smoltalk Dataset" (click to expand)

В этом учебнике используются две устаревшие функции:

  • SFTTrainer(..., tokenizer=tokenizer): используйте вместо этого SFTTrainer(..., processing_class=tokenizer) или просто опустите этот параметр (он будет определён из модели).
  • setup_chat_format(model, tokenizer): используйте SFTConfig(..., chat_template_path="Qwen/Qwen3-0.6B"), где chat_template_path указывает на модель, шаблон чата которой вы хотите скопировать.

Модели зрения и языка

Учебные материалы

ЗадачаКлассОписаниеАвторРуководствоColab
Визуальный контроль качестваSFTTrainerДопобучение Qwen2-VL-7B для визуального ответа на вопросы на наборе данных ChartQASergio PaniegoСсылкаOpen In Colab
Визуальный контроль качестваSFTTrainerДопобучение SmolVLM с помощью TRL на потребительском GPUSergio PaniegoСсылкаOpen In Colab
Описание для SEOSFTTrainerДопобучение Qwen2-VL-7B для генерации SEO-дружественных описаний по изображениямPhilipp SchmidСсылкаOpen In Colab
Визуальный контроль качестваDPOTrainerPaliGemma 🤝 Direct Preference OptimizationMerve NoyanСсылкаOpen In Colab
Визуальный контроль качестваDPOTrainerДополнительная настройка SmolVLM с использованием прямой оптимизации предпочтений (DPO) в TRL на потребительском GPUSergio PaniegoСсылкаOpen In Colab
Grounding обнаружения объектовSFTTrainerДополнительная настройка VLM для определения объектов с привязкой к координатам с помощью TRLSergio PaniegoСсылкаOpen In Colab
Визуальный контроль качестваDPOTrainerДоработка модели «зрение-язык» с помощью TRL с использованием MPOSergio PaniegoСсылкаOpen In Colab
Обучение с подкреплениемGRPOTrainerПостобучение VLM для рассуждений с помощью GRPO с использованием TRLSergio PaniegoСсылкаOpen In Colab

Языковые модели для речи

Учебные материалы

ЗадачаКлассОписаниеАвторРуководство
Синтез речиGRPOTrainerПостобучение речевого языковой модели с помощью GRPO в TRLSteven ZhengСсылка

Внесение вклада

Если у вас есть учебное пособие, которое вы хотели бы добавить в этот список, пожалуйста, создайте PR для его добавления. Мы рассмотрим его и объединим, если оно будет актуально для сообщества.

Update on GitHub