Accelerate documentation
DataLoaders, Optimizers, dan Schedulers
DataLoaders, Optimizers, dan Schedulers
Kelas internal yang digunakan Accelerate untuk menyiapkan objek untuk pelatihan terdistribusi saat memanggil prepare().
Utilitas DataLoader
accelerate.data_loader.prepare_data_loader
< source >( dataloader: DataLoaderdevice: torch.device | None = Nonenum_processes: int | None = Noneprocess_index: int | None = Nonesplit_batches: bool = Falseput_on_device: bool = Falserng_types: list[str | accelerate.utils.dataclasses.RNGType] | None = Nonedispatch_batches: bool | None = Noneeven_batches: bool = Trueslice_fn_for_dispatch: typing.Callable | None = Noneuse_seedable_sampler: bool = Falsedata_seed: int | None = Nonenon_blocking: bool = Falseuse_stateful_dataloader: bool = Falsetorch_device_mesh = None ) β torch.utils.data.dataloader.DataLoader
Parameter
- dataloader (
torch.utils.data.dataloader.DataLoader) β Pemuat data untuk dibagi ke beberapa perangkat. - device (
torch.device) β Perangkat target untukDataLoaderyang dikembalikan. - num_processes (
int, opsional) β Jumlah proses yang berjalan secara bersamaan. Akan menggunakan nilai yang diberikan oleh PartialState secara default. - process_index (
int, opsional) β Indeks dari proses saat ini. Akan secara default menggunakan nilai yang diberikan oleh PartialState. - split_batches (
bool, optional, defaults toFalse) — Whether the resultingDataLoadershould split the batches of the original data loader across devices or yield full batches (in which case it will yield batches starting at theprocess_index-th and advancing ofnum_processesbatches at each iteration).Cara lain untuk melihat hal ini adalah bahwa ukuran batch yang diamati akan sama dengan ukuran batch awal
dataloaderjika opsi ini diatur keTrue, atau ukuran batch awaldataloaderdikalikan dengannum_processesjika tidak.Menetapkan opsi ini ke
Truemensyaratkan bahwa ukuran batch daridataloadermerupakan kelipatan bulat daribatch_size. - put_on_device (
bool, opsional, defaultFalse) β Apakah batch akan dipindahkan kedevice(hanya berfungsi jika batch berupa nested list, tuples, atau dictionaries dari tensor). - rng_types (daftar
stratau RNGType) β Daftar generator angka acak yang akan disinkronkan di awal setiap iterasi. Harus berupa satu atau beberapa dari:"torch": generator angka acak dasar torch"cuda": generator angka acak CUDA (hanya GPU)- Jenis perangkat akselerator PyTorch yang terdaftar: generator angka acak perangkatnya.
"xla": generator angka acak XLA (hanya TPU)"generator":torch.Generatordari sampler (atau batch sampler jika tidak ada sampler di dataloader Anda) atau dari dataset iterable (jika ada) jika dataset dasarnya bertipe tersebut.
- dispatch_batches (
bool, opsional) β Jika diset keTrue, dataloader yang disiapkan hanya diiterasi pada proses utama, kemudian batch dipecah dan disiarkan ke setiap proses. Akan default keTruejika dataset dasarnya adalahIterableDataset,Falseselain itu. - even_batches (
bool, opsional, defaultTrue) β Jika diset keTrue, dalam kasus di mana ukuran batch total di seluruh proses tidak membagi dataset secara tepat, sampel di awal dataset akan diduplikasi agar batch dapat dibagi secara merata di antara semua worker. - slice_fn_for_dispatch (
Callable, optional) -- If passed, this function will be used to slice tensors acrossnum_processes. Will default to [slice_tensors()](/docs/accelerate/v1.16.0/en/package_reference/utilities#accelerate.utils.slice_tensors). This argument is used only whendispatch_batchesis set toTrue` and will be ignored otherwise. - use_seedable_sampler (
bool, opsional, defaultFalse) β Apakah akan menggunakanSeedableRandomSampleralih-alihRandomSampleruntuk reproducibility yang lebih baik. Hal ini berisiko menghasilkan performa yang berbeda karena algoritma pengacakan yang berbeda, tetapi memastikan hasil akan persis sama. Sebaiknya dipasangkan denganset_seed()di setiapself.set_epoch - data_seed (
int, opsional, defaultnyaNone) β Seed yang akan digunakan untuk generator dasar saat menggunakanuse_seedable_sampler. JikaNone, generator akan menggunakan seed default saat ini dari torch. - non_blocking (
bool, opsional, defaultFalse) β Jika diset keTrue, dataloader akan memanfaatkan transfer host-ke-perangkat non-blocking. Jika dataloader memilikipin_memoryyang diset keTrue, hal ini akan membantu meningkatkan overlap antara transfer data dan komputasi. - use_stateful_dataloader (
bool, opsional, defaultFalse) β βJika diset ke true, dataloader yang disiapkan oleh Accelerator akan didukung oleh β βtorchdata.StatefulDataLoader. Hal ini memerlukantorchdataversi 0.8.0 atau lebih tinggi yang mendukung StatefulDataLoader untuk diinstal.β - torch_device_mesh (
torch.distributed.DeviceMesh, opsional, defaultNone) β PyTorch device mesh.
Mengembalikan
torch.utils.data.dataloader.DataLoader
Pemuat data baru yang akan menghasilkan bagian dari batch
Membungkus DataLoader PyTorch untuk menghasilkan batch hanya untuk salah satu proses.
Tergantung pada nilai atribut drop_last dari dataloader yang diteruskan, iterasi akan berhenti pada batch pertama yang terlalu kecil / tidak ada di semua proses, atau akan berulang dengan indeks dari awal.
BatchSamplerdengan ukuran batch yang bervariasi tidak diaktifkan secara default. Untuk mengaktifkan perilaku ini, atureven_batchesmenjadiFalse
Membuat torch.utils.data.DataLoader yang akan secara efisien melewati num_batches pertama. Tidak boleh digunakan jika
dataloader asli adalah StatefulDataLoader.
BatchSamplerShard
kelas accelerate.data_loader.BatchSamplerShard
< source >( batch_sampler: BatchSamplernum_processes: int = 1process_index: int = 0split_batches: bool = Falseeven_batches: bool = True )
Parameter
- batch_sampler (
torch.utils.data.sampler.BatchSampler) β Batch sampler untuk membagi data ke dalam beberapa shard. - num_processes (
int, opsional, default 1) β Jumlah proses yang berjalan secara bersamaan. - process_index (
int, opsional, default 0) β Indeks dari proses saat ini. - split_batches (
bool, opsional, defaultnyaFalse) β Apakah shard harus dibuat dengan membagi batch untuk memberikan sebagian di setiap proses, atau dengan menghasilkan batch penuh yang berbeda di setiap proses.Pada dua proses dengan sampler
[[0, 1, 2, 3], [4, 5, 6, 7]], ini akan menghasilkan:- sampler pada proses 0 menghasilkan
[0, 1, 2, 3]dan sampler pada proses 1 menghasilkan[4, 5, 6, 7]jika argumen ini diatur keFalse. - sampler pada proses 0 menghasilkan
[0, 1]kemudian[4, 5]dan sampler pada proses 1 menghasilkan[2, 3]kemudian[6, 7]jika argumen ini diatur keTrue.
- sampler pada proses 0 menghasilkan
- even_batches (
bool, opsional, defaultTrue) β Apakah akan kembali ke awal sampler ketika jumlah sampel bukan kelipatan bulat dari (ukuran batch asli / jumlah proses).
Membungkus BatchSampler PyTorch untuk menghasilkan batch hanya untuk salah satu proses. Instans dari kelas ini akan selalu menghasilkan jumlah batch yang merupakan kelipatan bulat dari num_processes dan semuanya memiliki ukuran yang sama. Tergantung pada nilai atribut drop_last dari batch sampler yang diberikan, iterasi akan berhenti pada batch pertama yang terlalu kecil / tidak ada di semua proses atau berulang dengan indeks dari awal.
BatchSamplerdengan ukuran batch yang bervariasi tidak diaktifkan secara default. Untuk mengaktifkan perilaku ini, atureven_batchesmenjadiFalse
IterableDatasetShard
kelas accelerate.data_loader.IterableDatasetShard
< source >( dataset: IterableDatasetbatch_size: int = 1drop_last: bool = Falsenum_processes: int = 1process_index: int = 0split_batches: bool = False )
Parameter
- dataset (
torch.utils.data.dataset.IterableDataset) β Batch sampler yang akan dipecah menjadi beberapa shard. - batch_size (
int, opsional, default 1) β Ukuran batch per shard (jikasplit_batches=False) atau ukuran batch (jikasplit_batches=True). - drop_last (
bool, opsional, defaultFalse) β Apakah akan membuang batch terakhir yang tidak lengkap atau melengkapi batch terakhir dengan menggunakan sampel dari awal. - num_processes (
int, opsional, default 1) β Jumlah proses yang berjalan secara bersamaan. - process_index (
int, opsional, default 0) β Indeks dari proses saat ini. - split_batches (
bool, opsional, defaultnyaFalse) β Apakah shard harus dibuat dengan membagi batch untuk memberikan sebagian di setiap proses, atau dengan menghasilkan batch penuh yang berbeda di setiap proses.Pada dua proses dengan dataset iterable yang menghasilkan
[0, 1, 2, 3, 4, 5, 6, 7], ini akan menghasilkan:- shard pada proses 0 menghasilkan
[0, 1, 2, 3]dan shard pada proses 1 menghasilkan[4, 5, 6, 7]jika argumen ini diatur keFalse. - shard pada proses 0 menghasilkan
[0, 1, 4, 5]dan sampler pada proses 1 menghasilkan[2, 3, 6, 7]jika argumen ini diatur keTrue.
- shard pada proses 0 menghasilkan
Membungkus IterableDataset PyTorch untuk menghasilkan sampel hanya untuk salah satu proses. Instans dari kelas ini akan selalu menghasilkan jumlah sampel yang merupakan kelipatan bulat dari ukuran batch aktual (tergantung pada nilai split_batches, ini adalah batch_size atau batch_size x num_processes). Tergantung pada nilai atribut drop_last dari batch sampler yang diteruskan, iterasi akan berhenti pada batch pertama yang terlalu kecil atau berulang dengan indeks dari awal.
DataLoaderShard
kelas accelerate.data_loader.DataLoaderShard
< source >( datasetdevice = Nonerng_types = Nonesynchronized_generator = Noneskip_batches = 0use_stateful_dataloader = False_drop_last: bool = False_non_blocking: bool = Falsetorch_device_mesh = Noneiteration = 0**kwargs )
Parameter
- dataset (
torch.utils.data.dataset.Dataset) β Dataset yang akan digunakan untuk membangun dataloader ini. - device (
torch.device, opsional) β Jika diberikan, perangkat untuk menempatkan semua batch. - rng_types (daftar
stratau RNGType) β Daftar generator angka acak yang akan disinkronkan di awal setiap iterasi. Harus berupa satu atau beberapa dari:"torch": generator angka acak dasar torch"cuda": generator angka acak CUDA (hanya GPU)- Jenis perangkat akselerator PyTorch yang terdaftar: generator angka acak perangkatnya.
"xla": generator angka acak XLA (hanya TPU)"generator":torch.Generatoropsional
- synchronized_generator (
torch.Generator, opsional) β Generator angka acak untuk menjaga sinkronisasi antar proses. - skip_batches (
int, opsional, default 0) β Jumlah batch yang dilewati di awal. - use_stateful_dataloader (
bool, opsional, defaultFalse) β Apakah kelas ini akan mengadaptasiStatefulDataLoaderdaritorchdataalih-alihDataLoaderreguler. - **kwargs (argumen kata kunci tambahan, opsional) β
Semua argumen kata kunci lainnya untuk diteruskan ke inisialisasi
DataLoaderreguler.
Subkelas dari DataLoaderAdapter yang akan menangani penempatan perangkat dan setup distribusi saat ini.
Atribut yang tersedia:
total_batch_size (
int) β Total ukuran batch dari dataloader di seluruh proses. Sama dengan ukuran batch asli ketikasplit_batches=True; selain itu, ukuran batch asli * total jumlah prosestotal_dataset_length (
int) β Total panjang dataset internal di semua proses.
DataLoaderDispatcher
kelas accelerate.data_loader.DataLoaderDispatcher
< source >( datasetsplit_batches: bool = Falseskip_batches = 0use_stateful_dataloader = False_drop_last: bool = False_non_blocking: bool = Falseslice_fn = Nonetorch_device_mesh = Noneiteration = 0**kwargs )
Parameter
- split_batches (
bool, opsional, defaultFalse) β ApakahDataLoaderyang dihasilkan harus membagi batch dari data loader asli di antara perangkat atau menghasilkan batch penuh (dalam hal ini, batch yang dihasilkan akan dimulai dari batch ke-process_indexdan maju sebanyaknum_processesbatch pada setiap iterasi). Cara lain untuk melihat ini adalah bahwa ukuran batch yang diamati akan sama dengandataloaderawal jika opsi ini diatur keTrue, sedangkan ukuran batchdataloaderawal dikalikan dengannum_processesjika tidak. Mengatur opsi ini keTruemensyaratkan bahwa ukuran batchdataloadermerupakan kelipatan bulat daribatch_size. - skip_batches (
int, opsional, default 0) β Jumlah batch yang dilewati di awal iterasi. - use_stateful_dataloader (
bool, opsional, defaultFalse) β Apakah kelas ini akan mengadaptasiStatefulDataLoaderdaritorchdataalih-alihDataLoaderreguler.
Subkelas dari DataLoaderAdapter yang akan melakukan iterasi dan praproses hanya pada proses 0, kemudian mendistribusikan bagian batch mereka ke setiap proses.
Atribut yang tersedia:
total_batch_size (
int) β Total ukuran batch dari dataloader di seluruh proses. Sama dengan ukuran batch asli ketikasplit_batches=True; selain itu, ukuran batch asli * total jumlah prosestotal_dataset_length (
int) β Total panjang dataset internal di semua proses.
AcceleratedOptimizer
kelas accelerate.optimizer.AcceleratedOptimizer
< source >( optimizerdevice_placement = Truescaler = None )
Parameter
- optimizer (
torch.optim.optimizer.Optimizer) β Optimizer yang akan dibungkus. - device_placement (
bool, opsional, defaultTrue) β Apakah optimizer harus menangani penempatan perangkat. Jika ya, state dictionary darioptimizerakan ditempatkan pada perangkat yang tepat. - scaler (
torch.amp.GradScaleratautorch.cuda.amp.GradScaler, opsional) β Scaler yang akan digunakan dalam fungsi step jika pelatihan dilakukan dengan presisi campuran.
Wrapper internal di sekitar optimizer torch.
Secara kondisional akan melakukan step dan zero_grad jika gradien harus disinkronkan saat melakukan akumulasi gradien.
Mengatur optimizer ke mode βevalβ. Berguna untuk optimizer seperti schedule_free
Mengatur optimizer ke mode βtrainβ. Berguna untuk optimizer seperti schedule_free
AcceleratedScheduler
kelas accelerate.scheduler.AcceleratedScheduler
< source >( scheduleroptimizersstep_with_optimizer: bool = Truesplit_batches: bool = False )
Parameter
- scheduler (
torch.optim.lr_scheduler._LRScheduler) β Scheduler yang akan dibungkus. - optimizers (satu atau daftar
torch.optim.Optimizer) β Optimizer yang digunakan. - step_with_optimizer (
bool, opsional, defaultTrue) β Apakah scheduler harus di-step pada setiap langkah optimizer. - split_batches (
bool, opsional, defaultFalse) β Apakah dataloader membagi satu batch di antara proses yang berbeda (sehingga ukuran batch sama terlepas dari jumlah proses) atau membuat batch di setiap proses (sehingga ukuran batch adalah ukuran batch asli dikalikan dengan jumlah proses).
Wrapper di sekitar learning rate scheduler yang hanya akan melakukan step ketika optimizer memiliki langkah pelatihan. Berguna untuk menghindari scheduler yang melakukan step terlalu cepat ketika gradien mengalami overflow dan tidak ada langkah pelatihan (dalam pelatihan presisi campuran)
Saat melakukan akumulasi gradien, panjang scheduler tidak perlu diubah secara sesuai, karena Accelerate akan selalu melangkah (step) scheduler untuk memperhitungkannya.