Accelerate documentation
在 Mac 上加速 PyTorch 训练
入门指南
教程
操作指南
Accelerate
训练
梯度累积本地 SGD低精度(FP8)训练DeepSpeed使用 DeepSpeed 搭配多个模型DDP 通信钩子完全分片数据并行Megatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudi编译
推理
概念与基础
Accelerate 的内部机制将大型模型加载到内存中比较不同分布式配置下的性能执行和延迟任务梯度同步FSDP 与 DeepSpeedFSDP1 与 FSDP2上下文并行序列并行低精度训练方法在 TPU 上进行训练
参考
在 Mac 上加速 PyTorch 训练
随着 PyTorch v1.12 的发布,开发者和研究人员可以利用 Apple 硅 GPU 实现显著更快的模型训练。
这使得人们能够在 Mac 上本地执行机器学习工作流,例如原型设计和微调。
Apple 的 Metal Performance Shaders (MPS) 作为 PyTorch 的后端实现了这一功能,并可通过新的 "mps" 设备使用。
这将把计算图和原语映射到 MPS 图框架以及 MPS 提供的调优内核上。
有关更多信息,请参阅官方文档 Introducing Accelerated PyTorch Training on Mac 和 MPS BACKEND。
使用 Apple Silicon 芯片进行训练和推理的优势
- 允许用户在本地训练更大的网络或更大的批次大小
- 由于统一内存架构,降低了数据检索延迟,并使 GPU 能够直接访问完整的内存存储。 因此,提升了端到端性能。
- 降低了与基于云的开发相关的成本,或减少了对额外本地 GPU 的需求。
先决条件:要安装支持 mps 的 torch,请遵循这篇优秀的 medium 文章 GPU-Acceleration Comes to PyTorch on M1 Macs。
开箱即用的工作原理
在启用 MPS 的 Apple Silicon GPU 的 MacOs 机器上,此功能默认启用。
若要禁用它,请在 accelerate launch 命令中传入 --cpu 标志,或在回答 accelerate config 问卷时选择相应的选项。
您可以直接运行以下脚本,在支持 MPS 的 Apple Silicon 机器上进行测试:
accelerate launch /examples/cv_example.py --data_dir images
需要注意的几个问题
- 分布式设置
gloo和nccl无法与mps设备配合使用。 这意味着目前只能使用mps设备类型的单个 GPU。
最后,请记住,Accelerate 仅集成了 MPS 后端,因此如果您在使用 MPS 后端时遇到任何问题或疑问,请在 PyTorch GitHub 上提交 issue。