Accelerate documentation

在 Mac 上加速 PyTorch 训练

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

在 Mac 上加速 PyTorch 训练

随着 PyTorch v1.12 的发布,开发者和研究人员可以利用 Apple 硅 GPU 实现显著更快的模型训练。 这使得人们能够在 Mac 上本地执行机器学习工作流,例如原型设计和微调。 Apple 的 Metal Performance Shaders (MPS) 作为 PyTorch 的后端实现了这一功能,并可通过新的 "mps" 设备使用。 这将把计算图和原语映射到 MPS 图框架以及 MPS 提供的调优内核上。 有关更多信息,请参阅官方文档 Introducing Accelerated PyTorch Training on Mac 和 MPS BACKEND。

使用 Apple Silicon 芯片进行训练和推理的优势

  1. 允许用户在本地训练更大的网络或更大的批次大小
  2. 由于统一内存架构,降低了数据检索延迟,并使 GPU 能够直接访问完整的内存存储。 因此,提升了端到端性能。
  3. 降低了与基于云的开发相关的成本,或减少了对额外本地 GPU 的需求。

先决条件:要安装支持 mps 的 torch,请遵循这篇优秀的 medium 文章 GPU-Acceleration Comes to PyTorch on M1 Macs。

开箱即用的工作原理

在启用 MPS 的 Apple Silicon GPU 的 MacOs 机器上,此功能默认启用。 若要禁用它,请在 accelerate launch 命令中传入 --cpu 标志,或在回答 accelerate config 问卷时选择相应的选项。

您可以直接运行以下脚本,在支持 MPS 的 Apple Silicon 机器上进行测试:

accelerate launch /examples/cv_example.py --data_dir images

需要注意的几个问题

  1. 分布式设置 gloo 和 nccl 无法与 mps 设备配合使用。 这意味着目前只能使用 mps 设备类型的单个 GPU。

最后,请记住,Accelerate 仅集成了 MPS 后端,因此如果您在使用 MPS 后端时遇到任何问题或疑问,请在 PyTorch GitHub 上提交 issue。

Update on GitHub