Accelerate documentation

快速入门

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

快速入门

根据你的训练环境(torchrun、DeepSpeed 等)和可用硬件,启动和运行代码的方式有很多种。Accelerate 为在不同分布式配置下启动和训练提供了统一接口,让你可以专注于 PyTorch 训练代码,而无需操心将代码适配到这些不同配置的复杂细节。这使得你可以轻松地将 PyTorch 代码扩展到使用 GPU 和 TPU 等硬件的分布式环境中进行训练和推理。Accelerate 还提供了 Big Model Inference,使加载和运行通常无法装入内存的超大模型的推理变得更加便捷。

本快速入门介绍了 Accelerate 的三大主要功能:

  • 用于分布式训练脚本的统一命令行启动界面
  • 一个用于将 PyTorch 训练代码适配到不同分布式环境的训练库
  • 大模型推理

统一启动界面

Accelerate 会通过由 accelerate config 命令生成的统一配置文件,自动为任意给定的分布式训练框架(DeepSpeed、FSDP 等)选择适当的配置值。您也可以将配置值显式地传递给命令行,这在某些情况下(例如使用 SLURM 时)会很有帮助。

但在大多数情况下,您应始终先运行 accelerate config,以帮助 Accelerate 了解您的训练配置。

accelerate config

accelerate config 命令会在 Accelerate 的缓存文件夹中创建并保存一个 default_config.yaml 文件。该文件存储了您的训练环境配置,有助于 Accelerate 根据您的机器正确启动训练脚本。

配置好环境后,您可以使用 accelerate test 来测试您的设置,该命令会启动一个简短的脚本以测试分布式环境。

accelerate test

如果配置文件保存在非默认位置(例如缓存目录),请在 accelerate test 或 accelerate launch 命令中添加 --config_file 以指定配置文件的位置。

环境配置完成后,使用 accelerate launch 启动您的训练脚本!

accelerate launch path_to_script.py --args_for_the_script

如需了解更多信息,请参阅 启动分布式代码 教程,以获取有关启动脚本的详细信息。

我们还有一个配置库,其中展示了多种可运行的不同场景的最小化示例配置。

适配训练代码

Accelerate 的下一个主要功能是 Accelerator 类,它可以将你的 PyTorch 代码适配到不同的分布式环境中运行。

您只需在训练脚本中添加几行代码,即可使其在多个 GPU 或 TPU 上运行。

+ from accelerate import Accelerator
+ accelerator = Accelerator()

+ device = accelerator.device
+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+     model, optimizer, training_dataloader, scheduler
+ )

  for batch in training_dataloader:
      optimizer.zero_grad()
      inputs, targets = batch
-     inputs = inputs.to(device)
-     targets = targets.to(device)
      outputs = model(inputs)
      loss = loss_function(outputs, targets)
+     accelerator.backward(loss)
      optimizer.step()
      scheduler.step()
  1. 在训练脚本的开头导入并实例化 Accelerator 类。Accelerator 类会初始化分布式训练所需的一切,并根据代码的启动方式自动检测训练环境(例如单台带 GPU 的机器、多台带多个 GPU 的机器、多台带多个 GPU 的机器或 TPU 等)。
from accelerate import Accelerator

accelerator = Accelerator()
  1. 请移除模型和输入数据上的 .cuda() 等调用。Accelerator 类会自动将这些对象放置到合适的设备上。

此步骤是可选的,但让 Accelerate 处理设备放置被视为最佳实践。你也可以在初始化 Accelerator 时传入 device_placement=False 来禁用自动设备放置。如果你想使用 .to(device) 显式地将对象放置到某个设备上,请确保使用 accelerator.device。例如,如果在将模型放置到 accelerator.device 之前创建优化器,训练将在 TPU 上失败。

Accelerate 在自动设备放置中默认不使用非阻塞传输,这可能会导致不必要的 CUDA 同步。 您可以通过在初始化 Accelerator 时,将 dataloader_config 设置为一个 non_blocking=True 的 DataLoaderConfiguration 来启用非阻塞传输。 与往常一样,只有当数据加载器也设置了 pin_memory=True 时,非阻塞传输才能正常工作。 请注意,如果从 GPU 到 CPU 的非阻塞传输导致在尚未就绪的张量上执行 CPU 操作,则可能会产生错误的结果。

device = accelerator.device
  1. 在创建所有用于训练的相关 PyTorch 对象(优化器、模型、数据加载器、学习率调度器)后,立即将它们传递给 prepare() 方法。该方法会将模型包装在一个针对您的分布式环境优化的容器中,使用 Accelerate 版本的优化器和调度器,并创建一个分片版本的数据加载器,以便在 GPU 或 TPU 之间进行分发。
model, optimizer, train_dataloader, lr_scheduler = accelerator.prepare(
    model, optimizer, train_dataloader, lr_scheduler
)
  1. 将 loss.backward() 替换为 backward(),以使用适用于您训练设置的正确 backward() 方法。
accelerator.backward(loss)

阅读 Accelerate 的内部机制 指南,以了解 Accelerate 如何适配您的代码的更多细节。

分布式评估

要执行分布式评估,请将验证数据加载器传递给 prepare() 方法:

validation_dataloader = accelerator.prepare(validation_dataloader)

Each device in your distributed setup only receives a part of the evaluation data, which means you should group your predictions together with the gather_for_metrics() method. This method requires all tensors to be the same size on each process, so if your tensors have different sizes on each process (for instance when dynamically padding to the maximum length in a batch), you should use the pad_across_processes() method to pad you tensor to the largest size across processes. Note that the tensors needs to be 1D and that we concatenate the tensors along the first dimension.

for inputs, targets in validation_dataloader:
    predictions = model(inputs)
    # Gather all predictions and targets
    all_predictions, all_targets = accelerator.gather_for_metrics((predictions, targets))
    # Example of use with a *Datasets.Metric*
    metric.add_batch(all_predictions, all_targets)

对于更复杂的场景(例如 2D 张量、不希望拼接张量、3D 张量的字典),你可以在 gather_for_metrics 中传入 use_gather_object=True。这将返回收集后的对象列表。请注意,在 GPU 张量上使用此选项的支持不佳且效率较低。

数据集末尾的数据可能会被重复,以便将批次均匀分配给所有工作进程。gather_for_metrics() 方法会自动移除重复的数据,以计算更准确的指标。

大模型推理

Accelerate 的大模型推理功能包含两个主要特性:init_empty_weights() 和 load_checkpoint_and_dispatch(),用于加载通常无法装入内存的大型模型以进行推理。

请参阅处理用于推理的大模型指南,以更深入地了解 Big Model Inference 的底层工作原理。

空权重初始化

init_empty_weights() 上下文管理器通过创建一个模型骨架,并在每次创建参数时将其移动并放置到 PyTorch 的 meta 设备上,从而初始化任意大小的模型。这样,并非所有权重都会被立即加载,每次只有一小部分模型被加载到内存中。

例如,加载一个空的 Mixtral-8x7B 模型所需的内存,远少于在 CPU 上完整加载模型和权重所需的内存。

from accelerate import init_empty_weights
from transformers import AutoConfig, AutoModelForCausalLM

config = AutoConfig.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1")
with init_empty_weights():
    model = AutoModelForCausalLM.from_config(config)

加载并分发权重

load_checkpoint_and_dispatch() 函数会将完整或分片的检查点加载到空模型中,并自动在所有可用设备上分配权重。

device_map 参数用于确定每个模型层的放置位置,指定 "auto" 会优先将层放置在 GPU 上,然后是 CPU,如果内存仍然不足,则作为内存映射张量放置在硬盘上。使用 no_split_module_classes 参数来指示哪些模块不应跨设备拆分(通常是具有残差连接的模块)。

from accelerate import load_checkpoint_and_dispatch

model_checkpoint = "your-local-model-folder"
model = load_checkpoint_and_dispatch(
    model, checkpoint=model_checkpoint, device_map="auto", no_split_module_classes=['Block']
)

后续步骤

现在你已经了解了 Accelerate 的主要功能,接下来的步骤可能包括:

  • 查看教程,了解 Accelerate 的入门指南。如果您是分布式训练和该库的新手,这将特别有用。
  • 深入了解指南,了解如何使用 Accelerate 处理特定用例。
  • 通过阅读概念指南,深入了解 Accelerate 的内部工作原理。
  • 在 API 参考 中查找类和命令,以了解可用的参数和选项。
Update on GitHub