TRL documentation

تسريع التدريب

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

تسريع التدريب

يتناول هذا الدليل طرقًا متنوعة لتسريع التدريب في TRL. تتضمن كل تقنية أمثلة مبسطة مع روابط إلى وثائق أكثر شمولاً.

vLLM للتوليد السريع في الأساليب عبر الإنترنت

تتطلب الطرق التفاعلية مثل GRPO أو Online DPO من النموذج توليد إكمالات، وهو غالبًا عملية بطيئة يمكن أن تؤثر بشكل كبير على وقت التدريب. لتسريع التوليد، يمكنك استخدام vLLM، وهو مكتبة تُمكّن من التوليد السريع من خلال، بين أمور أخرى، PagedAttention. تدعم مدرّبات TRL التفاعلية vLLM، مما يحسّن سرعة التدريب بشكل كبير. لمزيد من التفاصيل، راجع تكامل vLLM.

لاستخدام vLLM، قم أولاً بتثبيته باستخدام:

pip install trl[vllm]
DPO عبر الإنترنت
GRPO
RLOO

أولاً، ابدأ خادم vLLM من خلال تشغيل:

VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
    --weight-transfer-config '{"backend": "nccl"}' \
    --logprobs-mode processed_logprobs \
    --max-logprobs -1

ثم، شغّل سكربت التدريب ومرّر use_vllm=True في حُجج التدريب.

from trl.experimental.online_dpo import OnlineDPOConfig

training_args = OnlineDPOConfig(..., use_vllm=True, vllm_mode="server")

تنفيذات الانتباه المُحسّنة

يدعم TRL تنفيذاً مختلفاً لآلية الانتباه المُحسَّنة، والتي يمكن أن تسرّع التدريب بشكل كبير مع تقليل استهلاك الذاكرة. يمكنك استخدام نواة مُحسَّنة مسبقاً مباشرةً من Kernels Hub أو واجهة خلفية للانتباه مبنية يدوياً.

النواة من المستودع
البناء اليدوي

يمكنك استخدام نوى الانتباه المُحسَّنة مسبقًا من Hub دون الحاجة إلى تجميع يدوي:

from trl import SFTConfig

training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "kernels-community/flash-attn2"})

تشمل الخيارات الأخرى kernels-community/vllm-flash-attn3 وkernels-community/paged-attention.

يعمل الانتباه المُحسَّن عبر جميع مُدرِّبي TRL. لمزيد من التفاصيل، راجع تكامل Kernels Hub.

تدريب الدقة المختلطة

يمكن لتدريب الدقة المختلطة باستخدام bf16 أو fp16 أن يسرّع التدريب ويقلل من استهلاك الذاكرة مع تأثير ضئيل على جودة النموذج.

from trl import SFTConfig

training_args = SFTConfig(..., bf16=True)  # or fp16=True for older GPUs

استخدم bf16=True لبطاقات Ampere (A100، RTX 30xx) أو الأحدث، وfp16=True لبطاقات أقدم. يدعم التدريب بدقة مختلطة جميع مدرّبي TRL.

Update on GitHub