TRL documentation
vLLM 統合
vLLM 統合
このドキュメントでは、GRPOやOnline DPOなどのオンライン手法において、vLLMをTRLと組み合わせてより高速な生成を行う方法を解説します。まず、vLLMをTRLと組み合わせて使用する方法の要約(tl;dr)を提示し、その後、内部でどのように動作しているかという詳細について説明します。
TRLは現在、
0.23.0から0.33.xまでのvLLMバージョンのみをサポートしています。互換性の問題を避けるために、この範囲内のバージョンがインストールされていることを確認してください。
現在、vLLMによる生成をサポートしているトレーナーは以下の通りです。
🚀 vLLMをTRLと組み合わせてトレーニングを高速化するにはどうすればよいですか?
💡 注: この特定の例に必要なリソース: 8つのGPUを備えた単一ノード。
TRLでvLLMを使用する場合は、競合を避けるために、vLLMサーバーとtrainerを別々のCUDAデバイスで実行する必要があります。 この設定方法については、トレーニング中のvLLMの使用方法を参照してください。
まず、以下のコマンドを使用してvLLMをインストールします。
pip install "trl[vllm]"その後、特定のGPU(例:GPU 0-3)でサーバーを実行します:
CUDA_VISIBLE_DEVICES=0,1,2,3 VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen2.5-7B --tensor-parallel-size 4 \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1サーバーが起動したら、トレーニング用の補完を生成するために使用できます。以下の例では、vLLMサーバーを生成に使用して、サポートされているさまざまなトレーナーを使用しています。--tensor-parallel-sizeおよび--data-parallel-size引数は、モデルとデータをGPU間でどのようにシャーディングするかを制御します。
この例では、テンソル並列性を使用して1つのモデルを4つのGPUにシャードします。次に、トレーニング引数にuse_vllm=Trueを渡すことで、異なるGPU(例:GPU 4-7)でトレーニングスクリプトを実行します。
シンプルなtrain.pyスクリプトの例:
from datasets import load_dataset
from trl import GRPOTrainer, GRPOConfig
from trl.rewards import accuracy_reward
dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
trainer = GRPOTrainer(
model="Qwen/Qwen2.5-7B",
args=GRPOConfig(use_vllm=True, vllm_mode="server"),
reward_funcs=accuracy_reward,
train_dataset=dataset,
)
trainer.train()from datasets import load_dataset
from trl.experimental.online_dpo import OnlineDPOConfig, OnlineDPOTrainer
from trl.rewards import accuracy_reward
dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
trainer = OnlineDPOTrainer(
model="Qwen/Qwen2.5-7B",
args=OnlineDPOConfig(use_vllm=True, vllm_mode="server"),
reward_funcs=accuracy_reward,
train_dataset=dataset,
)
trainer.train()from datasets import load_dataset
from trl import RLOOTrainer, RLOOConfig
from trl.rewards import accuracy_reward
dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
trainer = RLOOTrainer(
model="Qwen/Qwen2.5-7B",
args=RLOOConfig(use_vllm=True, vllm_mode="server"),
reward_funcs=accuracy_reward,
train_dataset=dataset,
)
trainer.train()そして、サーバーとは別のGPUでtrainコマンドを実行します:
CUDA_VISIBLE_DEVICES=4,5,6,7 torchrun --nproc_per_node 4 train.py
vLLMを使用する理由
オンライン手法では、学習中に補完を生成しますが、モデル自身のgenerateでそれらを生成することがボトルネックとなります。PagedAttentionなどの技術のおかげで、vLLMはこれらの補完を大幅に高速にサーブできます。
TRLがサーバーを使用する方法🔍
Trainer は、OpenAI 互換の /v1/completions エンドポイントに対して補完を要求し、プロンプトのトークン ID を送信します。マルチモーダルなプロンプトは別の経路をたどります。サーバーが画像を独自に処理し、得られた特徴量は、OpenAI 互換のエンドポイントがトークン ID と画像を同時に受け入れられないため、/inference/v1/generate 上で同じトークン ID とペアリングされます。
サーバーは生成のみを行います。各オプティマイザーステップの後、トレーナーは更新された重みをNCCL経由でサーバーにストリーミングし、/start_weight_updateと/update_weightsでそれを通知し、/finish_weight_updateでコミットします。
高度な使用方法
🍷 vLLMによるさらなるカスタマイズオプション
vllm serve の引数を渡すことでサーバー設定をカスタマイズできます。例えば --tensor-parallel-size、--data-parallel-size、--max-model-len、--enable-prefix-caching、--enforce-eager、--kv-cache-dtype、--trust-remote-code などです。全リストを確認するには vllm serve --help を実行してください。
TRLで必須なのは、以下の項目のみです:
| 設定 | なぜ |
|---|---|
VLLM_SERVER_DEV_MODE=1 | 学習重みをサーバーにプッシュするために使用される、重み転送およびプレフィックスキャッシュのエンドポイントを公開します。また、vLLMのその他の開発用エンドポイントも公開されるため、サーバーは信頼できるネットワーク上に配置してください。 |
--weight-transfer-config '{"backend": "nccl"}' | NCCLのウェイト転送エンジンを有効にします。トレーナーとサーバーがGPUを共有している場合は、代わりに"ipc"を使用してください。 |
--logprobs-mode processed_logprobs | 温度スケーリングとlogit処理後のlogprobsを返します。これは、importance sampling補正が期待するものです。 |
--max-logprobs -1 | トークンごとのlogprobsの上限をOpenAI互換の20から引き上げ、蒸留のためにtop-k教師分布をリクエストできるようにします。 |
--enable-scale-out | vLLM 0.30.0 以降、マルチモーダルプロンプトおよび--return-sampling-maskの場合のみ: トレーナーが画像を処理し、各サンプリングされたトークンの候補セットを取得するために使用する/v1/chat/completions/renderと/inference/v1/generateを登録します。以前のバージョンでは、このフラグは拒否されます。 |
trl vllm-serveは非推奨になりました。現在、このコマンドを構築して vLLM のサーバーを実行するだけです。実行する正確なvllm serveコマンドを出力するため、コピーしてラッパーを削除できます。
💆🏻♀️ 最適な分散セットアップはどれですか?
--tensor-parallel-size を使用して生成をスケーリングします。データ並列性は、Denseモデルにはもはや有効ではありません。vLLM PR #30739(0.14.0 でリリース)以降、非MoEモデルのオフラインデータ並列スケーリングはサポートされていません。
Transformers バックエンド付き vLLM
vLLMは、LLMおよびVLMの両方で動作するモデル実装として、Transformersバックエンドを使用できます。
これを有効にするには、設定でvllm_model_impl="transformers"を設定するか、コマンドライン引数として渡してください。
詳細については、vLLM Transformers Backendを参照してください。
例:
CUDA_DEVICE_ORDER=PCI_BUS_ID CUDA_VISIBLE_DEVICES=0 VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen2.5-VL-3B-Instruct \
--tensor-parallel-size 1 --port 8000 --enforce-eager --model-impl transformers \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1 \
--enable-scale-out # vLLM 0.30.0 and later, drop on earlier versionsトレーニング中のvLLMの使用方法
TRLは、トレーニング中のvLLM統合のために2つのモードをサポートしています:colocateモード(デフォルト)とserverモードです。
Colocateモード
colocate モードでは、vLLM はトレーナープロセス内で実行され、学習モデルと GPU メモリを共有します。これにより、別のサーバーを起動する必要がなくなり、GPU の利用効率を向上させることができますが、学習用 GPU 上でメモリ競合が発生する可能性があります。これがデフォルトのモードです。
設定の例:
from trl import GRPOConfig
training_args = GRPOConfig(
...,
use_vllm=True, # vllm_mode="colocate" by default
)from trl.experimental.online_dpo import OnlineDPOConfig
training_args = OnlineDPOConfig(
...,
use_vllm=True, # vllm_mode="colocate" by default
)from trl import RLOOConfig
training_args = RLOOConfig(
...,
use_vllm=True, # vllm_mode="colocate" by default
)サーバーモード
サーバーモードでは、vLLMは専用のGPU上で独立したプロセスとして実行され、HTTP経由でトレーナーと通信します。 推論に専用のGPUがある場合、この構成が最適です。
設定の例:
from trl import GRPOConfig
training_args = GRPOConfig(
...,
use_vllm=True,
vllm_mode="server",
)from trl.experimental.online_dpo import OnlineDPOConfig
training_args = OnlineDPOConfig(
...,
use_vllm=True,
vllm_mode="server",
)from trl import RLOOConfig
training_args = RLOOConfig(
...,
use_vllm=True,
vllm_mode="server",
)vLLMの使用方法とパラメータの詳細については、使用しているトレーナーのドキュメントを参照してください。
Update on GitHubvLLMの実行時にGPUメモリ使用量を削減するには、vLLMのスリープモードを有効にすることを検討してください。