# 저정밀도 학습 방법

Accelerate는 `TransformersEngine` 및 `torchao` 패키지를 통해 지정된 지원 하드웨어를 사용하여 낮은 정밀도 방식으로 학습할 수 있는 통합 기능을 제공합니다. 이 문서에서는 어떤 하드웨어가 지원되는지, [Accelerator](/docs/accelerate/v1.16.0/ko/package_reference/accelerator#accelerate.Accelerator)를 어떻게 구성해야 낮은 정밀도 방식을 활용할 수 있는지, 그리고 학습 시 어떤 결과를 기대할 수 있는지를 안내합니다.

## FP8에서 학습하는 것의 의미

PyTorch와 Accelerate를 사용하여 FP8로 학습하는 세부 사항을 더 자세히 살펴보고 싶다면, 이것이 왜 어려운지 설명하는 [concept_guide](../concept_guides/low_precision_training)를 확인해 보세요. 기본적으로 BF16으로 학습하는 대신, 모델 학습의 일부(또는 전체) 측면을 16비트 대신 8비트로 수행할 수 있습니다. 여기서의 과제는 최종 성능이 저하되지 않도록 하는 것입니다.

이 기능은 특정 NVIDIA 하드웨어, 즉 다음 하드웨어에서만 활성화됩니다:

* 3000 시리즈 소비자용 그래픽 카드 이후의 제품(예: 4090)
* Hopper 기반 GPU 아키텍처(예: `H100`, `H200`)

이로 인해 일부 학습 단계에서 필요한 메모리가 절반으로 줄어듦에 따라 사용 메모리가 감소하고, 특정 레이어를 FP8 지원 레이어로 대체할 수 있는 더 큰 모델의 경우에도 처리량이 증가하는 것이 *확인*될 것입니다.

## 가속기 구성

현재 FP8에 대해 두 가지의 능동적으로 유지 관리되는 백엔드(`TransformersEngine` 및 `torchao`)가 지원되며, 각각 다른 기능과 구성을 제공합니다.

둘 중 어느 것을 사용하더라도 동일한 핵심 API를 사용합니다. `accelerate config` 실행 시 혼합 정밀도에 대해 질문을 받으면 `mixed_precision="fp8"`를 [Accelerator](/docs/accelerate/v1.16.0/ko/package_reference/accelerator#accelerate.Accelerator)에 전달하거나, `config.yaml` 파일의 `mixed_precision` 키로 지정하세요:

```{python}
from accelerate import Accelerator
accelerator = Accelerator(mixed_precision="fp8")
```

백엔드를 지정하고(그리고 FP8 혼합 정밀도 설정의 다른 부분을 사용자 정의하려면) [utils.AORecipeKwargs](/docs/accelerate/v1.16.0/ko/package_reference/fp8#accelerate.utils.AORecipeKwargs) 또는 [utils.TERecipeKwargs](/docs/accelerate/v1.16.0/ko/package_reference/fp8#accelerate.utils.TERecipeKwargs)와 같은 `RecipeKwargs` 데이터 클래스 중 하나를 활용할 수 있습니다. 또한 설정 `yaml`에서 또는 `accelerate launch` 시점에 이를 명확히 할 수도 있습니다. 새로운 프로젝트에는 `TransformersEngine` 또는 `torchao` 사용을 권장합니다:

```{python}
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs, AORecipeKwargs
# Use TransformersEngine
kwargs = [TERecipeKwargs()]
# Or to use torchao
# kwargs = [AORecipeKwargs()]
accelerator = Accelerator(mixed_precision="fp8", kwarg_handlers=kwargs)
```

```{yaml}
mixed_precision: fp8
fp8_config:
  amax_compute_algo: max
  amax_history_len: 1024
  backend: TE
  fp8_format: HYBRID
  interval: 1
  margin: 0
  override_linear_precision: (false, false, false)
  use_autocast_during_eval: false
```

## TransformersEngine 구성

TransformersEngine에는 FP8 계산의 수행 방식과 대상에 대한 다양한 커스터마이징 옵션이 있습니다. 지원되는 인수의 전체 목록과 그 의미는 [NVIDIA의 문서](https://docs.nvidia.com/deeplearning/transformer-engine/api/common.html)에서 확인할 수 있으며, 편의를 위해 `FP8KwargsHandler`의 docstring에도 다시 명시되어 있습니다.

Accelerate는 합리적인 기본값을 설정하도록 노력하지만, 다양한 매개변수를 직접 탐색하고 조정하면 잠재적으로 더 나은 성능을 얻을 수 있습니다.

사용하려면 `backend="te"`를 지정하고 kwarg 핸들러의 일부로 원하는 인수를 수정합니다:

```{python}
from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs
kwargs = [TERecipeKwargs(...)]
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=kwargs)
```

또는 `--fp8_backend=te ...`를 통해 `accelerate launch` 실행 시 사용할 수 있습니다. 관련 인수를 확인하려면 `accelerate launch --fp8_backend=te -h`를 사용하세요.

마찬가지로 `config.yaml`에서 이를 설정할 수 있습니다:

```{yaml}
mixed_precision: fp8
fp8_config:
    amax_compute_algo: max
    amax_history_len: 1024
    backend: TE
    fp8_format: HYBRID
    interval: 1
    margin: 0
    override_linear_precision: (false, false, false)
    use_autocast_during_eval: false
```

## `torchao` 구성

`torchao`는 [PyTorch 기반](https://github.com/pytorch/ao/tree/main/torchao/float8)의 해킹 가능한 FP8 백엔드로, 이전 두 엔진보다 접근하기 쉽도록 설계되었습니다. `ao`의 이전 두 엔진과 비교했을 때 핵심 차이점 중 하나는 수치적 안정성을 위해 모델의 첫 번째 *및* 마지막 레이어를 일반 정밀도(FP32 또는 BF16)로 유지하고, 나머지 레이어만 FP8로 양자화하는 것이 일반적으로 더 좋다는 점입니다. 따라서 `ao`의 설정은 다음과 같이 약간 다르게 보입니다:

> 참고: 이 API는 실험적이며 변경될 수 있습니다

```{python}
from accelerate import Accelerator
from accelerate.utils import AORecipeKwargs, TorchDynamoPlugin, FullyShardedDataParallelPlugin
from torchao.float8 import Float8LinearConfig

fsdp2_plugin = FullyShardedDataParallelPlugin(
  fsdp_version=2,
  cpu_ram_efficient_loading=False, # CPU RAM efficient loading CANNOT work with fp8 torchao
  fsdp_auto_wrap_policy="TRANSFORMER_BASED_WRAP",
)
dynamo_plugin = TorchDynamoPlugin(
  backend="inductor",
  use_regional_compilation=True,
)
fp8_config = Float8LinearConfig(
  enable_fsdp_float8_all_gather=True, # Use FP8 all_gather in FSDP2
  pad_inner_dim=True,
)
kwargs = [AORecipeKwargs(
  config=fp8_config
)]
accelerator = Accelerator(
  mixed_precision="fp8",
  fsdp_plugin=fsdp2_plugin,
  dynamo_plugin=dynamo_plugin,
  kwarg_handlers=kwargs,
)
```

또는 `--fp8_backend=ao ...`를 통해 `accelerate launch` 실행 시 사용할 수 있습니다. 관련 인수를 확인하려면 `accelerate launch --fp8_backend=ao -h`를 사용하세요.

마찬가지로, `config.yaml`에서 이를 설정할 수 있습니다:

```{yaml}
mixed_precision: fp8
fsdp_config:
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_cpu_ram_efficient_loading: false
  fsdp_version: 2
fp8_config:
  backend: AO
  pad_inner_dim: true
  enable_fsdp_float8_all_gather: true
dynamo_config:
  dynamo_backend: INDUCTOR
  dynamo_use_regional_compilation: true
```

구체적으로 사용할 매개변수에 대해 자세히 알아보려면 공식 `torchao` 저장소를 참고하세요.

## 예제 Zoo

accelerate 레포지토리에서 accelerate와 그 기반 구현을 모두 사용하여 FP8로 학습하는 예제를 제공합니다. 현재 지원되는 스크립트는 다음과 같습니다:

* 단일 GPU
* 분산 데이터 병렬성(멀티-GPU)
* Fully Sharded Data Parallelism
* DeepSpeed ZeRO 1~3

자세한 내용은 [여기](https://github.com/huggingface/accelerate/tree/main/benchmarks/fp8)에서 확인하세요.

## 추가 자료

FP8으로 학습하는 방법에 대해 자세히 알아보려면 다음 리소스를 확인하세요:

* [개념 가이드](../concept_guides/low_precision_training)에서 TransformersEngine과 torchao에 대해 자세히 설명합니다
* [`transformers-engine` 문서](https://docs.nvidia.com/deeplearning/transformer-engine/api/common.html)
* [`torchao` 문서](https://github.com/pytorch/ao/tree/main/torchao/float8)

