TRL documentation
تسريع التدريب
تسريع التدريب
يتناول هذا الدليل طرقًا متنوعة لتسريع التدريب في TRL. تتضمن كل تقنية أمثلة مبسطة مع روابط إلى وثائق أكثر شمولاً.
vLLM للتوليد السريع في الأساليب عبر الإنترنت
تتطلب الطرق التفاعلية مثل GRPO أو Online DPO من النموذج توليد إكمالات، وهو غالبًا عملية بطيئة يمكن أن تؤثر بشكل كبير على وقت التدريب. لتسريع التوليد، يمكنك استخدام vLLM، وهو مكتبة تُمكّن من التوليد السريع من خلال، بين أمور أخرى، PagedAttention. تدعم مدرّبات TRL التفاعلية vLLM، مما يحسّن سرعة التدريب بشكل كبير. لمزيد من التفاصيل، راجع تكامل vLLM.
لاستخدام vLLM، قم أولاً بتثبيته باستخدام:
pip install trl[vllm]
أولاً، ابدأ خادم vLLM من خلال تشغيل:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1ثم، شغّل سكربت التدريب ومرّر use_vllm=True في حُجج التدريب.
from trl.experimental.online_dpo import OnlineDPOConfig
training_args = OnlineDPOConfig(..., use_vllm=True, vllm_mode="server")أولاً، ابدأ خادم vLLM من خلال تشغيل:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1ثم، شغّل سكربت التدريب ومرّر use_vllm=True في حُجج التدريب.
from trl import GRPOConfig
training_args = GRPOConfig(..., use_vllm=True, vllm_mode="server")يمكنك تخصيص إعدادات الخادم عن طريق تمرير حِجج إضافية. لمزيد من المعلومات، راجع تكامل vLLM.
عند استخدام vLLM، تأكد من أن وحدات معالجة الرسوميات (GPUs) المخصصة للتدريب والتوليد منفصلة لتجنب تعارض الموارد. على سبيل المثال، إذا كنت تخطط لاستخدام 4 وحدات معالجة رسوميات للتدريب و4 أخرى لتوليد vLLM، يمكنك تحديد تخصيص وحدات المعالجة باستخدام
CUDA_VISIBLE_DEVICES.اضبط وحدات معالجة الرسوميات 0-3 لتوليد vLLM:
CUDA_VISIBLE_DEVICES=0,1,2,3 VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \ --weight-transfer-config '{"backend": "nccl"}' \ --logprobs-mode processed_logprobs \ --max-logprobs -1وحدات معالجة الرسوميات 4-7 للتدريب:
CUDA_VISIBLE_DEVICES=4,5,6,7 torchrun --nproc_per_node 4 train.py
أولاً، ابدأ خادم vLLM من خلال تشغيل:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1ثم، شغّل سكربت التدريب ومرّر use_vllm=True في حُجج التدريب.
from trl import RLOOConfig
training_args = RLOOConfig(..., use_vllm=True, vllm_mode="server")يمكنك تخصيص إعدادات الخادم عن طريق تمرير حِجج إضافية. لمزيد من المعلومات، راجع تكامل vLLM.
عند استخدام vLLM، تأكد من أن وحدات معالجة الرسوميات (GPUs) المخصصة للتدريب والتوليد منفصلة لتجنب تعارض الموارد. على سبيل المثال، إذا كنت تخطط لاستخدام 4 وحدات معالجة رسوميات للتدريب و4 أخرى لتوليد vLLM، يمكنك تحديد تخصيص وحدات المعالجة باستخدام
CUDA_VISIBLE_DEVICES.اضبط وحدات معالجة الرسوميات 0-3 لتوليد vLLM:
CUDA_VISIBLE_DEVICES=0,1,2,3 VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \ --weight-transfer-config '{"backend": "nccl"}' \ --logprobs-mode processed_logprobs \ --max-logprobs -1وحدات معالجة الرسوميات 4-7 للتدريب:
CUDA_VISIBLE_DEVICES=4,5,6,7 torchrun --nproc_per_node 4 train.py
تنفيذات الانتباه المُحسّنة
يدعم TRL تنفيذاً مختلفاً لآلية الانتباه المُحسَّنة، والتي يمكن أن تسرّع التدريب بشكل كبير مع تقليل استهلاك الذاكرة. يمكنك استخدام نواة مُحسَّنة مسبقاً مباشرةً من Kernels Hub أو واجهة خلفية للانتباه مبنية يدوياً.
يمكنك استخدام نوى الانتباه المُحسَّنة مسبقًا من Hub دون الحاجة إلى تجميع يدوي:
from trl import SFTConfig
training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "kernels-community/flash-attn2"})تشمل الخيارات الأخرى kernels-community/vllm-flash-attn3 وkernels-community/paged-attention.
يعمل الانتباه المُحسَّن عبر جميع مُدرِّبي TRL. لمزيد من التفاصيل، راجع تكامل Kernels Hub.
إنشاء واجهات خلفية مخصصة لعمليات الانتباه يدويًا هو عملية معقدة وتستغرق وقتًا طويلاً. لا يُنصح بذلك إلا عند الضرورة القصوى. يُفضَّل استخدام Kernels من Hub بدلاً من ذلك، كما هو موضح في القسم السابق.
إذا كنت قد قمت بتثبيت واجهة خلفية مُحسّنة للانتباه يدوياً مثل Flash Attention 2، يمكنك تحديد ذلك في حُجج التدريب:
from trl import SFTConfig
training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "flash_attention_2"})تدريب الدقة المختلطة
يمكن لتدريب الدقة المختلطة باستخدام bf16 أو fp16 أن يسرّع التدريب ويقلل من استهلاك الذاكرة مع تأثير ضئيل على جودة النموذج.
from trl import SFTConfig
training_args = SFTConfig(..., bf16=True) # or fp16=True for older GPUsاستخدم bf16=True لبطاقات Ampere (A100، RTX 30xx) أو الأحدث، وfp16=True لبطاقات أقدم. يدعم التدريب بدقة مختلطة جميع مدرّبي TRL.