Accelerate documentation
低精度トレーニング手法
低精度トレーニング手法
新しい種類のハードウェアの登場により、それらをより効果的に活用する新しいトレーニングパラダイムが生まれました。現在、これはTransformersEngine(TE)やtorchao(ネイティブ PyTorch FP8)などのパッケージを使用して8ビット精度でトレーニングを行うという形をとっています。
本日の議論するトピックの入門として、このドキュメントでは頻繁に参照されるため、低精度使用ガイドの復習をお勧めします。
簡単なチャート
以下は、学習中の各ソリューションの異なるビット精度を示す簡単なチャートです:
| 最適化レベル | 計算(GEMM) | コミット | 重み | マスターウェイト | 重み勾配 | オプティマイザの状態 |
|---|---|---|---|---|---|---|
| FP16 AMP | FP16 | FP32 | FP32 | N/A | FP32 | FP32+FP32 |
| Nvidia TE | FP8 | FP32 | FP32 | N/A | FP32 | FP32+FP32 |
TransformersEngine
TransformersEngineは、8ビット浮動小数点での学習を試みる最初のソリューションです。モデル内の特定のレイヤーを、FP8エンジンを利用してビット数を削減(32ビットから8ビットなど)しながら、モデルの最終的な精度を劣化させないドロップイン置換レイヤーに置き換えることで機能します。
具体的には、Accelerateは以下のレイヤーを検出し、TransformersEngineのバージョンに置き換えます。
te.LayerNormへのnn.LayerNormnn.Linearをte.Linearに
その結果、モデルの大部分のレイヤーがBF16で、一部のレイヤーがFP16となり、メモリ使用量が削減されます。
経験則として、TransformerEngineを使用した場合、モデル内の層の大部分が置き換え対象の2つの層で構成されるようになって初めて、パフォーマンスの向上が顕著に現れ始める傾向があることに気づいています。その結果、パラメータ数が数十億規模に達する大きなモデルでのみ、パフォーマンスの改善が確認されています。
TransformerEngine は、FP8 計算の実行方法やその動作をカスタマイズするための多くの異なる引数を受け取ることができます。引数の完全なリストは以下に示されています:
margin: グラデーションのスケーリングに使用するマージン。interval: スケーリング係数を再計算する間隔。fp8_format``: The format to use for the FP8 recipe. Must be one ofHYBRIDorE4M3. (GenerallyHYBRIDfor training,E4M3` for evaluation)amax_history_len: スケーリング係数の計算に使用する履歴の長さamax_compute_algo: スケーリング係数の計算に使用するアルゴリズム。maxまたはmost_recentのいずれかである必要があります。override_linear_precision:fprop、dgrad、wgradの GEMM を高精度で実行するかどうか。
モデルのパフォーマンスを最適化するために、utils.TERecipeKwargsの一部としてこれらをそれぞれカスタマイズできます。
前述のチャートを確認すると、TEは計算レイヤーのみをFP8にキャストし、それ以外はすべてFP32で処理しています。その結果、メモリ使用量は最大になりますが、学習時の最終精度における損失を最小限に抑えるという利点があります。
Update on GitHub