Accelerate documentation
Accelerate의 내부 메커니즘
Accelerate의 내부 메커니즘
내부적으로 Accelerate는 스크립트가 실행되는 환경을 먼저 분석하여 어떤 종류의 분산 설정이 사용되는지, 서로 다른 프로세스가 몇 개인지, 그리고 현재 스크립트가 어느 프로세스에 속하는지를 파악합니다. 이 모든 정보는 ~AcceleratorState에 저장됩니다.
이 클래스는 ~Accelerator를 처음 인스턴스화할 때 초기화되며, 분산 설정에 필요한 특정 초기화 작업도 수행합니다. 이후 그 상태는 AcceleratorState의 모든 인스턴스를 통해 고유하게 공유됩니다. (이것은 PartialState로도 수행할 수 있으며, 이는 이를 상속받은 더 기본적인 버전입니다)
그 후 prepare()를 호출하면 라이브러리가 다음을 수행합니다:
- …
- 옵티마이저를 AcceleratedOptimizer로 감싸
- 스케줄러를 AcceleratedScheduler로 감쌉니다
- creates a new version of your dataloader(s) in a DataLoaderShard or DataLoaderDispatcher
모델, 옵티마이저, 스케줄러는 단순한 래퍼에 담기는 반면, 데이터로더는 다시 생성됩니다. 이는 주로 PyTorch가 생성된 데이터로더의 batch_sampler를 사용자가 변경할 수 없도록 하고, 라이브러리가 활성화된 경우 해당 batch_sampler을 변경하여 num_processes개의 배치 중 매번 다른 배치를 반환하도록 함으로써 프로세스 간 데이터 샤딩을 처리하기 때문입니다.
DataLoaderShard은 DataLoader를 서브클래스로 상속하여 다음 기능을 추가합니다:
- 각 새로운 반복 시점에 모든 프로세스의 적절한 난수 생성기를 동기화하여, 셔플링과 같은 모든 무작위화가 프로세스 간에 정확히 동일한 방식으로 수행되도록 보장합니다.
device_placement=True를 해제하지 않은 경우, 배치(yield)를 반환하기 전에 올바른 장치에 배치합니다.
DataLoaderDispatcher 하위 클래스는 DataLoaderShard와 다릅니다. DataLoader를 반복할 때, 데이터는 모두 프로세스 0에서 시작하여 그 다음에 분할되고 각 프로세스로 전송됩니다. 이는 데이터셋 레벨에서 이러한 처리가 일어나는 것과 다릅니다.
random number generator 동기화는 기본적으로 다음을 동기화합니다:
- PyTorch >= 1.6의 경우, 주어진 sampler(예: PyTorch
RandomSampler)의generator속성 - PyTorch <=1.5.1의 주요 난수 생성기
rng_types 인수를 사용하여 메인 Accelerator와 동기화할 난수 생성기를 선택할 수 있습니다. PyTorch >= 1.6에서는 모든 프로세스에서 메인 난수 생성기에 동일한 시드를 설정하는 것을 피하기 위해 로컬 generator를 사용하는 것이 권장됩니다.
주 torch(또는 CUDA 또는 XLA) 난수 생성기의 동기화는 데이터셋에 존재할 수 있는 다른 잠재적 난수 산출물(예: 랜덤 데이터 증강)에도 영향을 미칩니다. 이는 모든 프로세스가 torch 난수 모듈에서 동일한 난수를 받으므로, torch에 의해 제어되는 경우 동일한 랜덤 데이터 증강이 적용되기 때문입니다.
사용자가 정의한 커스텀 샘플러, 배치 샘플러 또는 반복 가능 데이터셋의 무작위화 부분은 PyTorch >= 1.6에서 로컬
torch.Generator객체를 사용하여 수행해야 합니다. 예를 들어 전통적인RandomSampler를 참고하세요.
torchdata>=0.8.0이 설치되어 있고 DataLoaderConfiguration에 use_stateful_dataloader=True를 전달한 경우, 이 클래스들은 StatefulDataLoader를 직접 상속받아 state_dict를 유지합니다.
내부 구조에 대한 자세한 내용은 Internals 페이지를 참조하세요.
Update on GitHub