Accelerate documentation
安装
入门指南
教程
操作指南
Accelerate
训练
梯度累积本地 SGD低精度(FP8)训练DeepSpeed使用 DeepSpeed 搭配多个模型DDP 通信钩子完全分片数据并行Megatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudi编译
推理
概念与基础
Accelerate 的内部机制将大型模型加载到内存中比较不同分布式配置下的性能执行和延迟任务梯度同步FSDP 与 DeepSpeedFSDP1 与 FSDP2上下文并行序列并行低精度训练方法在 TPU 上进行训练
参考
安装
在开始之前,您需要配置环境、安装相应的包并配置 Accelerate。Accelerate 已在 Python 3.11+ 上完成测试。
Accelerate 可在 pypi 和 conda 上获取,也可在 GitHub 上找到。以下是从各个来源安装的详细信息:
pip
要从 pypi 安装 Accelerate,请执行以下操作:
pip install accelerate
conda
Accelerate 也可以通过 conda 安装,命令如下:
conda install -c conda-forge accelerate
源代码
每天都有尚未发布的新功能被添加。如需自行试用,请从 GitHub 仓库安装:
pip install git+https://github.com/huggingface/accelerate
如果你正在为库做贡献,或者希望操作源代码并在运行代码时查看实时结果,可以从本地克隆的仓库安装可编辑版本:
git clone https://github.com/huggingface/accelerate
cd accelerate
pip install -e .配置
安装完成后,您需要根据当前系统的训练配置来设置 Accelerate。 为此,请运行以下命令并回答提示的问题:
accelerate config
要编写一个不包含 DeepSpeed 配置或在 TPU 上运行等选项的最简配置,您可以快速运行:
python -c "from accelerate.utils import write_basic_config; write_basic_config(mixed_precision='fp16')"Accelerate 将自动利用可用的最大数量 GPU,并设置混合精度模式。
要检查您的配置是否正常,请运行:
accelerate env以下是一个示例输出,它描述了单台机器上的两个 GPU,且未使用混合精度:
- `Accelerate` version: 1.2.0.dev0
- Platform: Linux-6.8.0-47-generic-x86_64-with-glibc2.35
- `accelerate` bash location: /home/zach/miniconda3/envs/accelerate/bin/accelerate
- Python version: 3.10.13
- Numpy version: 1.26.4
- PyTorch version (GPU?): 2.5.1+cu124 (True)
- PyTorch XPU available: False
- PyTorch NPU available: False
- PyTorch MLU available: False
- PyTorch MUSA available: False
- System RAM: 187.91 GB
- GPU type: NVIDIA GeForce RTX 4090
- `Accelerate` default config:
- compute_environment: LOCAL_MACHINE
- distributed_type: MULTI_GPU
- mixed_precision: no
- use_cpu: False
- debug: False
- num_processes: 2
- machine_rank: 0
- num_machines: 1
- gpu_ids: all
- rdzv_backend: static
- same_network: True
- main_training_function: main
- enable_cpu_affinity: False
- downcast_bf16: no
- tpu_use_cluster: False
- tpu_use_sudo: False
- tpu_env: []