TRL documentation

Интеграция и использование Kernels Hub

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Интеграция и использование Kernels Hub

kernel-builder logo

Библиотека kernels позволяет загружать оптимизированные вычислительные ядра непосредственно из Hub.
Найти kernels можно в выделенных организациях или с помощью поиска по тегу kernel в Hub.

Ядра — это оптимизированные фрагменты кода, которые используются при разработке, обучении и инференсе моделей. Здесь мы сосредоточимся на их интеграции с TRL, но для более подробной информации обратитесь к указанным выше ресурсам.

Установка

Чтобы использовать ядра с TRL, необходимо установить библиотеку в вашем окружении Python:

pip install kernels

Использование Kernels из Hub в TRL

Ядра могут напрямую заменять реализации внимания, устраняя необходимость в ручной компиляции бэкендов внимания, таких как Flash Attention, и ускоряя обучение, просто загрузив соответствующее ядро внимания из Hub.

Вы можете указать ядро при загрузке модели:

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "your-model-name",
    attn_implementation="kernels-community/flash-attn2"  # other options: kernels-community/vllm-flash-attn3, kernels-community/paged-attention
)

Или при запуске скрипта обучения TRL:

python sft.py ... --attn_implementation kernels-community/flash-attn2

Или с помощью TRL CLI:

trl sft ... --attn_implementation kernels-community/flash-attn2

Теперь вы можете использовать более быстрые бэкенды внимания с предварительно оптимизированным ядром для вашей конфигурации оборудования из Hub, что ускоряет как разработку, так и обучение.

Выбор и фиксация версии ядра

Репозитории ядер на Hub версионируются как ветки (v1, v2, v3, …), и Transformers выбирает версию по умолчанию для каждого репозитория. Эта версия по умолчанию может меняться от одного релиза Transformers к другому, поэтому одно и то же значение attn_implementation не всегда приводит к одной и той же сборке.

Чтобы управлять тем, какая сборка загружается, добавьте ревизию к идентификатору репозитория — ветку версии или SHA коммита:

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "your-model-name",
    attn_implementation="kernels-community/flash-attn2@v2",  # or a commit SHA to pin an exact build
)

Фиксация версии полезна для обеспечения воспроизводимости процесса обучения и для использования проверенной сборки в случае, если более новая содержит регрессии. Обратите внимание, что каждая версия предоставляет сборки только для определённого диапазона версий Torch и CUDA, поэтому для зафиксированной версии может не существовать варианта, совместимого с вашей средой.

attn_implementation="flash_attention_2" переключается на ядро kernels-community/flash-attn2 из Hub, если пакет flash-attn не установлен, поэтому вы можете использовать ядро из Hub, даже не запрашивая его явно.

Сборки v3 для CUDA 12.8 в настоящее время завершаются с ошибкой на этапе обратного распространения для моделей, использующих групповое внимание (grouped-query attention). Если в вашей среде используется эта версия CUDA, зафиксируйте версию @v2, пока не будет закрыт huggingface/kernels-community#1085.

Сравнение реализаций внимания

Мы оценили различные реализации внимания, доступные в transformers, а также различные ядра-бэкенды, используя TRL и SFT.
Эксперименты проводились на одном H100 GPU с CUDA 12.9, с использованием Qwen3-8B при batch size of 8, gradient accumulation of 1 и точности bfloat16.
Обратите внимание, что представленные здесь результаты специфичны для данной конфигурации и могут отличаться при других настройках обучения.

На приведённой ниже иллюстрации показаны латентность (время на шаг обучения) и пиковый объём выделенной памяти для различных реализаций внимания и ядерных бэкендов.
Реализации на основе ядер демонстрируют производительность, сопоставимую с производительностью кастомно установленных реализаций внимания, а увеличение max_length модели дополнительно повышает производительность. Потребление памяти во всех реализациях примерно одинаковое, значимых различий не наблюдается. Мы получаем ту же производительность, но с меньшими трудностями, как описано в следующем разделе.

Latency and Memory Usage Latency and Memory Usage

Flash Attention и ядра Hub

Сборка Flash Attention из исходного кода может занять много времени — от нескольких минут до нескольких часов, в зависимости от вашего оборудования, конфигурации CUDA/PyTorch и наличия предварительно скомпилированных колёс.

В отличие от этого, Hugging Face Kernels обеспечивают значительно более быстрый и надежный рабочий процесс. Разработчикам не нужно беспокоиться о сложных настройках — всё выполняется автоматически. В наших бенчмарках ядра были готовы к использованию примерно за 2,5 секунды, без необходимости компиляции. Это позволяет начать обучение практически мгновенно, значительно ускоряя разработку. Просто укажите желаемую версию, и kernels возьмет на себя остальное.

Update on GitHub