# 低精度训练方法

Accelerate 通过 `TransformersEngine` 和 `torchao` 包，提供了在指定支持的硬件上使用低精度方法进行训练的功能。本文档将指导您了解哪些硬件受支持、如何配置 [Accelerator](/docs/accelerate/v1.16.0/zh/package_reference/accelerator#accelerate.Accelerator) 以利用低精度方法，以及训练时可以预期到的效果。

## 在 FP8 上进行训练意味着什么

若要深入了解使用 PyTorch 和 Accelerate 以 FP8 进行训练的更多细节，请参阅 [concept_guide](../concept_guides/low_precision_training)，了解为何这可能颇具挑战。但本质上，与使用 BF16 训练不同，模型训练的某些（或全部）环节可以改用 8 位而非 16 位来执行。其中的难点在于，这样做时不能降低最终性能。

此功能仅在特定的 NVIDIA 硬件上启用，具体包括：

* 3000 系列消费级显卡之后的任何显卡（例如 4090）
* 基于 Hopper 的 GPU 架构（例如 `H100` 和 `H200`）

这将带来内存使用量的减少（因为训练过程中某些部分所需的内存已减半），并且对于可以用支持 FP8 的层替换某些层的大型模型，*应该*也能看到吞吐量的提升。

## 配置加速器

目前支持两个积极维护的 FP8 后端（`TransformersEngine` 和 `torchao`），它们各自具有不同的功能和配置。

要使用其中任意一种，都采用相同的核心 API。只需在 `accelerate config` 提示关于混合精度时，或在 `config.yaml` 文件的 `mixed_precision` 键中，将 `mixed_precision="fp8"` 传递给 [Accelerator](/docs/accelerate/v1.16.0/zh/package_reference/accelerator#accelerate.Accelerator)：

```{python}
from accelerate import Accelerator
accelerator = Accelerator(mixed_precision="fp8")
```

要指定后端（并自定义 FP8 混合精度配置的其他部分），您可以使用 `RecipeKwargs` 数据类之一，例如 [utils.AORecipeKwargs](/docs/accelerate/v1.16.0/zh/package_reference/fp8#accelerate.utils.AORecipeKwargs) 或 [utils.TERecipeKwargs](/docs/accelerate/v1.16.0/zh/package_reference/fp8#accelerate.utils.TERecipeKwargs)；您也可以在配置 `yaml` 中或在 `accelerate launch` 期间进行说明。对于新项目，我们建议使用 `TransformersEngine` 或 `torchao`：

```{python}
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs, AORecipeKwargs
# Use TransformersEngine
kwargs = [TERecipeKwargs()]
# Or to use torchao
# kwargs = [AORecipeKwargs()]
accelerator = Accelerator(mixed_precision="fp8", kwarg_handlers=kwargs)
```

```{yaml}
mixed_precision: fp8
fp8_config:
  amax_compute_algo: max
  amax_history_len: 1024
  backend: TE
  fp8_format: HYBRID
  interval: 1
  margin: 0
  override_linear_precision: (false, false, false)
  use_autocast_during_eval: false
```

## 配置 TransformersEngine

TransformersEngine 提供了许多选项，用于自定义 FP8 计算的执行方式和内容。完整的受支持参数列表及其含义可在 [NVIDIA 的文档](https://docs.nvidia.com/deeplearning/transformer-engine/api/common.html)中查阅，但为了方便起见，这些参数也作为 `FP8KwargsHandler` 文档字符串的一部分进行了说明。

Accelerate 会尝试设置合理的默认值，但自行探索和微调各项参数可能会带来更好的性能。

要使用它，请指定 `backend="te"`，并在你的 kwarg 处理程序中修改所需的任意参数：

```{python}
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs
kwargs = [TERecipeKwargs(...)]
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=kwargs)
```

或者在 `accelerate launch` 期间通过 `--fp8_backend=te ...` 指定。使用 `accelerate launch --fp8_backend=te -h` 查看相关参数。

同样，您可以在 `config.yaml` 中设置：

```{yaml}
mixed_precision: fp8
fp8_config:
    amax_compute_algo: max
    amax_history_len: 1024
    backend: TE
    fp8_format: HYBRID
    interval: 1
    margin: 0
    override_linear_precision: (false, false, false)
    use_autocast_during_eval: false
```

## 配置 `torchao`

`torchao` 是一个由 [PyTorch](https://github.com/pytorch/ao/tree/main/torchao/float8) 驱动的、可定制的 FP8 后端，旨在比前两个引擎更易于上手。与 `ao` 相比，前两个引擎的一个核心区别在于，为了数值稳定性，通常建议将模型中的第一个 *和* 最后一个层保持常规精度（无论是 FP32 还是 BF16），而将其他层量化为 FP8。因此，`ao` 的配置看起来略有不同：

> 注意：此 API 处于实验阶段，可能会发生变化

```{python}
from accelerate import Accelerator
from accelerate.utils import AORecipeKwargs, TorchDynamoPlugin, FullyShardedDataParallelPlugin
from torchao.float8 import Float8LinearConfig

fsdp2_plugin = FullyShardedDataParallelPlugin(
  fsdp_version=2,
  cpu_ram_efficient_loading=False, # CPU RAM efficient loading CANNOT work with fp8 torchao
  fsdp_auto_wrap_policy="TRANSFORMER_BASED_WRAP",
)
dynamo_plugin = TorchDynamoPlugin(
  backend="inductor",
  use_regional_compilation=True,
)
fp8_config = Float8LinearConfig(
  enable_fsdp_float8_all_gather=True, # Use FP8 all_gather in FSDP2
  pad_inner_dim=True,
)
kwargs = [AORecipeKwargs(
  config=fp8_config
)]
accelerator = Accelerator(
  mixed_precision="fp8",
  fsdp_plugin=fsdp2_plugin,
  dynamo_plugin=dynamo_plugin,
  kwarg_handlers=kwargs,
)
```

或者在 `accelerate launch` 期间通过 `--fp8_backend=ao ...` 进行。使用 `accelerate launch --fp8_backend=ao -h` 查看相关参数。

同样，也可以在`config.yaml`中设置：

```{yaml}
mixed_precision: fp8
fsdp_config:
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_cpu_ram_efficient_loading: false
  fsdp_version: 2
fp8_config:
  backend: AO
  pad_inner_dim: true
  enable_fsdp_float8_all_gather: true
dynamo_config:
  dynamo_backend: INDUCTOR
  dynamo_use_regional_compilation: true
```

要了解要使用的具体参数，请参阅官方的 `torchao` 仓库。

## 示例动物园

我们在 accelerate 仓库中提供了使用 FP8 进行训练的示例，包括 accelerate 及其底层实现。目前我们支持的脚本展示了以下内容：

* 单 GPU
* 分布式数据并行（多 GPU）
* 完全分片数据并行
* DeepSpeed ZeRO 1 至 3

在此处[了解更多信息](https://github.com/huggingface/accelerate/tree/main/benchmarks/fp8)

## 延伸阅读

要了解有关 FP8 训练的更多信息，请查看以下资源：

* [我们的概念指南](../concept_guides/low_precision_training)，更详细地介绍了 TransformersEngine 和 torchao
* [`transformers-engine` 文档](https://docs.nvidia.com/deeplearning/transformer-engine/api/common.html)
* [`torchao` 文档](https://github.com/pytorch/ao/tree/main/torchao/float8)

