Accelerate documentation

분산 추론

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

분산 추론

분산 추론은 두 가지 범주로 나눌 수 있습니다:

  1. GPU 각각에 전체 모델을 로드하고, 배치의 청크를 한 번에 GPU별 모델 복사본을 통해 전달하는 방식
  2. 모델의 각 부분을 GPU별로 로드하고 한 번에 하나의 입력만 처리하는 방식

이 가이드는 첫 번째 괄호에 대해 다룹니다. 두 번째에 대해서는 Big Model Inference를 참조하세요.

…

이 솔루션은 특정 시점에 각 GPU가 메모리에 모델의 전체 복사본을 유지해야 하므로 메모리 사용량이 가장 높은 솔루션입니다.

일반적으로 이 작업을 수행할 때, 사용자는 모델을 CPU에서 로드하기 위해 특정 장치로 보내고, 각 프롬프트를 다른 장치로 이동합니다.

diffusers 라이브러리를 사용한 기본적인 파이프라인은 다음과 같은 형태일 수 있습니다:

import torch
import torch.distributed as dist
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16)

이후 특정 프롬프트를 기반으로 추론을 수행합니다:

def run_inference(rank, world_size):
    dist.init_process_group("nccl", rank=rank, world_size=world_size)
    pipe.to(rank)

    if torch.distributed.get_rank() == 0:
        prompt = "a dog"
    elif torch.distributed.get_rank() == 1:
        prompt = "a cat"

    result = pipe(prompt).images[0]
    result.save(f"result_{rank}.png")

rank를 확인해야 어떤 프롬프트를 보내야 하는지 알 수 있다는 점을 알아차릴 수 있는데, 이는 다소 번거로울 수 있습니다.

사용자는 Accelerate를 사용하면 Accelerator로 데이터 로더를 준비하여 이러한 작업을 관리하는 것이 간단할 수도 있다고 생각할 수 있습니다. (자세한 내용은 Quick Tour의 관련 섹션을 참고하세요.)

관리할 수 있을까요? 네. 하지만 불필요한 추가 코드를 포함하는가? 이것도 네.

Accelerate를 사용하면 Accelerator.split_between_processes() 컨텍스트 매니저(이것은 PartialState와 AcceleratorState에도 존재합니다)를 활용하여 이 과정을 단순화할 수 있습니다. 이 함수는 전달하는 데이터(프롬프트, 텐서 집합, 이전 데이터의 사전 등)를 자동으로 모든 프로세스에 분할하여(패딩이 적용될 수 있음) 바로 사용할 수 있게 해줍니다.

이 컨텍스트 매니저를 사용하여 위의 예제를 다시 작성해 보겠습니다:

import torch
from accelerate import PartialState  # Can also be Accelerator or AcceleratorState
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16)
distributed_state = PartialState()
pipe.to(distributed_state.device)

# Assume two processes
with distributed_state.split_between_processes(["a dog", "a cat"]) as prompt:
    result = pipe(prompt).images[0]
    result.save(f"result_{distributed_state.process_index}.png")

그리고 코드를 실행하려면 Accelerate를 사용할 수 있습니다:

accelerate config를 사용하여 설정 파일을 생성한 경우:

accelerate launch distributed_inference.py

사용하려는 특정 config 파일이 있는 경우:

accelerate launch --config_file my_config.json distributed_inference.py

config 파일을 만들고 싶지 않고 두 개의 GPU에서 실행하려면:

Note: 시스템에 기반하여 값이 추측된다는 경고가 표시됩니다. 이를 제거하려면 accelerate config default를 실행하거나 accelerate config를 통해 설정 파일을 생성할 수 있습니다.

accelerate launch --num_processes 2 distributed_inference.py

이제 이 데이터를 분할하는 데 필요한 불필요한 코드를 몇 줄의 코드로 쉽게 줄일 수 있습니다.

그렇다면 프롬프트가 GPU에 홀수로 분배되는 경우는 어떻게 될까요? 예를 들어, 프롬프트가 3개인데 GPU는 2개뿐인 경우를 생각해 보겠습니다.

컨텍스트 매니저 아래에서 첫 번째 GPU는 첫 번째와 두 번째 프롬프트를, 두 번째 GPU는 세 번째 프롬프트를 수신하여 모든 프롬프트가 분할되고 오버헤드가 필요 없도록 보장합니다.

그러나, 모든 GPU의 결과를 활용하고 싶다면 어떻게 해야 할까요? (예: 모든 결과를 수집한 후 후처리 수행) apply_padding=True를 전달하여 프롬프트 목록이 동일한 길이가 되도록 패딩을 적용할 수 있습니다. 이 경우 추가 데이터는 마지막 샘플에서 가져옵니다. 이렇게 하면 모든 GPU가 동일한 수의 프롬프트를 가지게 되어 결과를 수집할 수 있습니다.

결과 수집과 같이 각 디바이스의 데이터 길이가 동일해야 하는 작업을 수행할 때만 필요합니다. 기본적인 추론에는 이 과정이 필요하지 않습니다.

예를 들어:

import torch
from accelerate import PartialState  # Can also be Accelerator or AcceleratorState
from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16)
distributed_state = PartialState()
pipe.to(distributed_state.device)

# Assume two processes
with distributed_state.split_between_processes(["a dog", "a cat", "a chicken"], apply_padding=True) as prompt:
    result = pipe(prompt).images

첫 번째 GPU에서는 프롬프트가 ["a dog", "a cat"]이고, 두 번째 GPU에서는 ["a chicken", "a chicken"]입니다. 마지막 샘플은 이전 샘플과 중복되므로 제거해야 합니다.

LLM과 함께 사용하는 방법과 같은 더 복잡한 예제는 여기에서 확인할 수 있습니다.

Update on GitHub