# DeepSpeedの統合

TRLは、高度な学習最適化技術を実装したライブラリであるDeepSpeedによる学習をサポートしています。これには、オプティマイザ状態のパーティショニング、オフローディング、勾配のパーティショニングなどが含まれます。

DeepSpeedは、[Zero Redundancy Optimizer (ZeRO)](https://huggingface.co/papers/1910.02054)を統合しており、これにより、デバイスの数に比例してモデルサイズを拡大しながら、高い効率を維持できます。

![ZeRO Stages](https://huggingface.co/datasets/trl-lib/documentation-images/resolve/main/zero_stages.png)

## インストール

TRLでDeepSpeedを使用するには、以下のコマンドでインストールしてください:

```bash
pip install deepspeed
```

## DeepSpeedでトレーニングスクリプトを実行する

学習スクリプトの修正は不要です。[Trainer](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.Trainer)と同様に、学習引数を通じてDeepSpeedを有効にします。`deepspeed`にDeepSpeed設定ファイルのパスを設定し、torchrunで起動してください。

```python
training_args = SFTConfig(..., deepspeed="<DEEPSPEED_CONFIG_FILE.json>")
```

```bash
torchrun --nproc_per_node 8 train.py
```

`trl` CLI の背後にあるスクリプトなど、[TrlParser](/docs/trl/v1.18.0/ja/script_utils#trl.TrlParser) で引数を解析するスクリプトは、コマンドラインから取得します：

```bash
trl sft ... --deepspeed <DEEPSPEED_CONFIG_FILE.json>
```

[`examples/deepspeed_configs`](https://github.com/huggingface/trl/tree/main/examples/deepspeed_configs) ディレクトリに、すぐに使える DeepSpeed の設定ファイルを提供しています。例えば、ZeRO Stage 2 でトレーニングを実行するには:

```bash
trl sft ... --deepspeed examples/deepspeed_configs/zero2.json
```

これらのファイル内で`"auto"`に設定されている値（バッチサイズ、勾配の累積、精度など）は、トレーニング引数から補完されます。

## 追加のリソース

DeepSpeed統合の詳細については、🤗 Transformersの[DeepSpeedドキュメント](https://huggingface.co/docs/transformers/deepspeed)を参照してください。

