Accelerate documentation

クイックツアー

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

クイックツアー

トレーニング環境(torchrun、DeepSpeed など)や利用可能なハードウェアによって、コードを起動・実行する方法は多岐にわたります。Accelerate は、異なる分散構成での起動とトレーニングのための統一インターフェースを提供し、これらの異なる構成にコードを適応させる複雑な処理ではなく、PyTorch のトレーニングコードそのものに集中できるようにします。これにより、GPU や TPU などのハードウェアを用いた分散構成でのトレーニングおよび推論のために、PyTorch コードを簡単にスケーリングできます。また、Accelerate は Big Model Inference を提供し、通常はメモリに収まりにくい非常に大きなモデルの読み込みと推論の実行を、よりアクセスしやすくしています。

このクイックツアーでは、Accelerateの3つの主要な機能をご紹介します:

  • 分散学習スクリプト用の統合コマンドライン起動インターフェース
  • PyTorchの学習コードを、異なる分散環境で実行できるように適応するための学習ライブラリ
  • 大規模モデル推論

統合された起動インターフェース

Accelerate は、accelerate config コマンドから生成される統合設定ファイルを通じて、指定された分散学習フレームワーク(DeepSpeed、FSDP など)に適した設定値を自動的に選択します。SLURM を使用している場合など、特定の状況では、コマンドラインに設定値を明示的に渡すこともできます。

ただし、ほとんどの場合、まず accelerate config を実行して、Accelerate にトレーニング環境を認識させることをお勧めします。

accelerate config

accelerate config コマンドは、Accelerate のキャッシュフォルダに default_config.yaml ファイルを作成して保存します。このファイルには、トレーニング環境の設定が保存されており、Accelerate があなたのマシンに基づいてトレーニングスクリプトを正しく起動するのに役立ちます。

環境を設定した後、accelerate test を実行してセットアップをテストできます。このコマンドは、分散環境をテストするための短いスクリプトを起動します。

accelerate test

設定ファイルがキャッシュなどの既定以外の場所に保存されている場合は、--config_file を accelerate test または accelerate launch コマンドに追加して、設定ファイルの場所を指定します。

環境のセットアップが完了したら、accelerate launchでトレーニングスクリプトを起動してください!

accelerate launch path_to_script.py --args_for_the_script

詳細については、スクリプトの起動方法についてさらに学ぶために、分散コードの起動チュートリアルをご覧ください。

また、configuration zooでは、実行可能なさまざまなセットアップ向けの、minimalなサンプル設定を多数紹介しています。

トレーニングコードの適応

Accelerate の次の主要な機能は、Accelerator クラスです。このクラスは、PyTorch のコードをさまざまな分散環境で実行できるように適応させます。

トレーニングスクリプトに数行のコードを追加するだけで、複数のGPUやTPUで実行できるようにできます。

+ from accelerate import Accelerator
+ accelerator = Accelerator()

+ device = accelerator.device
+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+     model, optimizer, training_dataloader, scheduler
+ )

  for batch in training_dataloader:
      optimizer.zero_grad()
      inputs, targets = batch
-     inputs = inputs.to(device)
-     targets = targets.to(device)
      outputs = model(inputs)
      loss = loss_function(outputs, targets)
+     accelerator.backward(loss)
      optimizer.step()
      scheduler.step()
  1. 学習スクリプトの冒頭で、Acceleratorクラスをインポートしてインスタンス化します。Acceleratorクラスは分散学習に必要なすべての初期化を行い、コードの起動方法に基づいて、学習環境(GPUを1つ搭載した単一マシン、複数のGPUを搭載したマシン、複数GPUを搭載した複数マシン、TPUなど)を自動的に検出します。
from accelerate import Accelerator

accelerator = Accelerator()
  1. モデルや入力データに対する.cuda()のような呼び出しを削除してください。Acceleratorクラスが、これらのオブジェクトを適切なデバイスに自動的に配置します。

このステップは任意ですが、Accelerate にデバイス配置を処理させることがベストプラクティスとされています。Acceleratorを初期化する際にdevice_placement=Falseを渡すことで、自動デバイス配置を無効にすることもできます。.to(device)でオブジェクトを明示的にデバイスに配置する場合は、代わりにaccelerator.deviceを使用してください。例えば、モデルをaccelerator.deviceに配置する前にオプティマイザーを作成すると、TPU 上でトレーニングが失敗します。

Accelerate は、自動デバイス配置においてデフォルトで非ブロッキング転送を使用しないため、望ましくない CUDA 同期が発生する可能性があります。Accelerator を初期化する際に、dataloader_config として non_blocking=True が設定された DataLoaderConfiguration を渡すことで、非ブロッキング転送を有効にできます。通常どおり、非ブロッキング転送が機能するには、dataloader 側でも pin_memory=True が設定されている必要があります。GPU から CPU への非ブロッキング転送を使用する場合、未準備のテンソルに対して CPU 上の操作が実行されることで、誤った結果を引き起こす可能性がある点に注意してください。

device = accelerator.device
  1. 学習に関連するすべての PyTorch オブジェクト(オプティマイザー、モデル、データローダー、学習率スケジューラー)は、作成された時点で prepare() メソッドに渡してください。このメソッドは、モデルを分散環境に最適化されたコンテナでラップし、Accelerate 版のオプティマイザーとスケジューラーを使用し、GPU や TPU 間で分散するためのシャード化されたデータローダーを作成します。
model, optimizer, train_dataloader, lr_scheduler = accelerator.prepare(
    model, optimizer, train_dataloader, lr_scheduler
)
  1. loss.backward()を、トレーニング環境に合った正しいbackward()メソッドであるbackward()に置き換えてください。
accelerator.backward(loss)

Accelerateがコードをどのように適応させるかについての詳細を学ぶには、Accelerateの内部メカニズムのガイドをお読みください。

分散評価

分散評価を実行するには、検証用dataloaderをprepare()メソッドに渡します:

validation_dataloader = accelerator.prepare(validation_dataloader)

Each device in your distributed setup only receives a part of the evaluation data, which means you should group your predictions together with the gather_for_metrics() method. This method requires all tensors to be the same size on each process, so if your tensors have different sizes on each process (for instance when dynamically padding to the maximum length in a batch), you should use the pad_across_processes() method to pad you tensor to the largest size across processes. Note that the tensors needs to be 1D and that we concatenate the tensors along the first dimension.

for inputs, targets in validation_dataloader:
    predictions = model(inputs)
    # Gather all predictions and targets
    all_predictions, all_targets = accelerator.gather_for_metrics((predictions, targets))
    # Example of use with a *Datasets.Metric*
    metric.add_batch(all_predictions, all_targets)

より複雑なケース(例:2Dテンソル、テンソルの連結を避けたい場合、3Dテンソルの辞書など)では、gather_for_metricsにuse_gather_object=Trueを渡すことができます。これにより、集約後のオブジェクトのリストが返されます。GPUテンソルでの使用は十分にサポートされておらず、非効率である点にご注意ください。

データセットの末尾のデータは、バッチをすべてのワーカー間で均等に分割できるようにするために重複している場合があります。gather_for_metrics() メソッドは、より正確なメトリックを計算するために、自動的に重複したデータを削除します。

大規模モデル推論

Accelerate の Big Model Inference には、通常メモリに収まらない大規模モデルを推論用に読み込むための2つの主要な機能、init_empty_weights() と load_checkpoint_and_dispatch() があります。

Big Model Inferenceの内部動作をより深く理解するには、推論のための大規模モデルの処理ガイドをご覧ください。

空の重みの初期化

init_empty_weights() コンテキストマネージャーは、モデルのスケルトンを作成し、パラメータが作成されるたびに PyTorch の meta デバイスへ移動・配置することで、任意のサイズのモデルを初期化します。これにより、すべての重みが即座にロードされることはなく、モデルの一部のみがメモリにロードされます。

例えば、空のMixtral-8x7Bモデルを読み込む場合、モデルと重みをCPUに完全に読み込む場合よりも、はるかに少ないメモリで済みます。

from accelerate import init_empty_weights
from transformers import AutoConfig, AutoModelForCausalLM

config = AutoConfig.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1")
with init_empty_weights():
    model = AutoModelForCausalLM.from_config(config)

重みの読み込みとディスパッチ

load_checkpoint_and_dispatch() 関数は、フルまたはシャーディングされたチェックポイントを空のモデルに読み込み、利用可能なすべてのデバイスに重みを自動的に分散します。

device_map パラメータは、各モデルのレイヤーをどこに配置するかを決定します。"auto" を指定すると、まず GPU に、次に CPU に、それでもメモリが不足する場合はメモリマップドテンソルとしてハードドライブに配置されます。残差接続を持つモジュールなど、デバイス間で分割すべきでないモジュールを指定するには、no_split_module_classes パラメータを使用します。

from accelerate import load_checkpoint_and_dispatch

model_checkpoint = "your-local-model-folder"
model = load_checkpoint_and_dispatch(
    model, checkpoint=model_checkpoint, device_map="auto", no_split_module_classes=['Block']
)

次のステップ

Accelerateの主要な機能についてご紹介しましたので、次のステップとしては以下が挙げられます:

  • Accelerateの穏やかな導入として、tutorialsをご覧ください。分散学習やこのライブラリを初めて扱う方にとって、特に有用です。
  • ガイドを詳しく見て、Accelerateを特定のユースケースにどのように使用するかを確認してください。
  • コンセプトガイドを読むことで、Accelerate の内部動作に関する概念的な理解を深めることができます。
  • 利用可能なパラメータとオプションを確認するには、API リファレンスでクラスとコマンドを検索してください。
Update on GitHub