# توزيع التدريب

## التدريب متعدد وحدات معالجة الرسومات باستخدام TRL

تُطلق مُدرِّبات TRL باستخدام [torchrun](https://docs.pytorch.org/docs/stable/elastic/run.html)، وهو مُطلق التوزيع في PyTorch. يبدأ عملية واحدة لكل وحدة معالجة رسومية:

```bash
torchrun --nproc_per_node 8 train.py <SCRIPT_ARGS>
```

يقوم سطر الأوامر `trl` بنفس الشيء في الخلفية، لذا يُنفَّذ `trl sft ...` على كل وحدة معالجة رسومية في الجهاز؛ مرّر `--nproc_per_node` لاستخدام عدد أقل منها.

في الخلفية، يقوم [🤗 Accelerate](https://github.com/huggingface/accelerate) بإنشاء نموذج واحد لكل وحدة معالجة رسومية. كل عملية:

- يعالج دفعة البيانات الخاصة به
- يُحسب الخسارة والتدرجات لذلك الدفعة
- يشارك تحديثات التدرّجات عبر جميع وحدات معالجة الرسوميات

![multi gpu](https://huggingface.co/datasets/trl-lib/documentation-images/resolve/main/multi_gpu.png)

يُحسب حجم الدفعة الفعّال على النحو التالي:

$$ \text{حجم الدفعة} = \text{per\_device\_train\_batch\_size} \times \text{num\_devices} \times \text{gradient\_accumulation\_steps} $$

للحفاظ على حجم دفعة ثابت عند التوسع إلى وحدات معالجة رسومات متعددة، تأكد من تحديث `per_device_train_batch_size` و`gradient_accumulation_steps` وفقًا لذلك.

على سبيل المثال، هذه الإعدادات مكافئة، وينبغي أن تعطي نفس النتائج:

| عدد وحدات معالجة الرسوميات | حجم الدفعة لكل جهاز | خطوات تراكم التدرج | التعليقات |
| --- | --- | --- | --- |
| 1 | 32 | 1 | استهلاك ذاكرة مرتفع محتمل، لكن تدريب أسرع |
| 1 | 4 | 8 | استهلاك أقل للذاكرة، تدريب أبطأ |
| 8 | 4 | 1 | تعدد وحدات معالجة الرسوميات للحصول على أفضل ما في العالمين |

> [!TIP]
> قد يؤدي تخصيص نموذج واحد لكل وحدة معالجة رسومية إلى استهلاك عالٍ للذاكرة، وهو ما قد لا يكون قابلاً للتطبيق بالنسبة للنماذج الكبيرة أو وحدات معالجة الرسومية ذات الذاكرة المنخفضة. في مثل هذه الحالات، يمكنك الاستفادة من [DeepSpeed](https://github.com/deepspeedai/DeepSpeed)، الذي يوفر تحسينات مثل تقسيم النموذج، ومُحسِّن الصفر غير المتكرر، والتدريب بدقة مختلطة، وإفراغ البيانات إلى وحدة المعالجة المركزية أو NVMe. راجع دليل [DeepSpeed Integration](deepspeed_integration) لدينا لمزيد من التفاصيل.

> [!TIP]
> يوجد دليل خاص بالتدريب على التسلسلات الطويلة جداً: [التدريب لما يتجاوز مليون رمز](long_context_training).

## التدريب متعدد العقد

عندما لا تملك آلة واحدة عددًا كافٍ من وحدات معالجة الرسوميات (GPU)، يمكن لـ torchrun توسيع نطاق التدريب عبر عدة آلات (عُقد). تعمل كل عقدة على تنفيذ نفس الأمر مع إجمالي عدد العقد، وترتيبها الخاص (rank)، ونقطة الالتقاء (rendezvous endpoint) على العقدة الرئيسية.

### الخيار 1: الإيداع اليدوي (غير HPC)

قم بتشغيل ما يلي يدويًا على كل عقدة:

```bash
# Node 0 (main node, IP 10.0.0.1)
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 0 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.py

# Node 1
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 1 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.py
```

> [!NOTE]
> استبدل `10.0.0.1` بعنوان IP الفعلي للعقدة الرئيسية (الرتبة 0).

### الخيار 2: بدء تشغيل SLURM (عناقيد HPC)

بالنسبة إلى العناقيد التي تستخدم مجدول المهام SLURM، أنشئ سكربت مهمة (على سبيل المثال، `slurm_job.sh`):

```bash
#!/bin/bash
#SBATCH --nodes=2
#SBATCH --gpus-per-node=8
#SBATCH --job-name=trl_multi

MAIN_NODE=$(scontrol show hostnames $SLURM_JOB_NODELIST | head -n 1)
srun torchrun --nnodes 2 --nproc_per_node 8 --node_rank $SLURM_NODEID --rdzv_backend c10d --rdzv_endpoint $MAIN_NODE:29500 train.py
```

ثم أرسل المهمة:

```bash
sbatch slurm_job.sh
```

`srun` يبدأ عملية `torchrun` واحدة لكل عقدة، وكل واحدة منها تبدأ عملية واحدة لكل وحدة معالجة رسومية.

**توجيهات SLURM الرئيسية:**
- `--nodes=2`: طلب عقدتي حوسبة
- `--gpus-per-node=8`: تخصيص 8 وحدات معالجة رسومية لكل عقدة (16 وحدة إجمالاً)
- `--job-name`: تسمية لتتبع المهمة في قائمة الانتظار

يمكنك دمج تعدد العقد مع DeepSpeed من خلال تعيين `deepspeed` في إعدادات التدريب. راجع [دليل تكامل DeepSpeed](deepspeed_integration).

### قراءات إضافية

- [torchrun (إطلاق مرن)](https://docs.pytorch.org/docs/stable/elastic/run.html)
- [توثيق مدير الأحمال SLURM](https://slurm.schedmd.com/) - لجدولة مهام العناقيد

