Accelerate documentation

DataLoaders, Optimizers, dan Schedulers

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DataLoaders, Optimizers, dan Schedulers

Kelas internal yang digunakan Accelerate untuk menyiapkan objek untuk pelatihan terdistribusi saat memanggil prepare().

Utilitas DataLoader

accelerate.data_loader.prepare_data_loader

< >

( dataloader: DataLoaderdevice: torch.device | None = Nonenum_processes: int | None = Noneprocess_index: int | None = Nonesplit_batches: bool = Falseput_on_device: bool = Falserng_types: list[str | accelerate.utils.dataclasses.RNGType] | None = Nonedispatch_batches: bool | None = Noneeven_batches: bool = Trueslice_fn_for_dispatch: typing.Callable | None = Noneuse_seedable_sampler: bool = Falsedata_seed: int | None = Nonenon_blocking: bool = Falseuse_stateful_dataloader: bool = Falsetorch_device_mesh = None ) β†’ torch.utils.data.dataloader.DataLoader

Parameter

  • dataloader (torch.utils.data.dataloader.DataLoader) β€” Pemuat data untuk dibagi ke beberapa perangkat.
  • device (torch.device) β€” Perangkat target untuk DataLoader yang dikembalikan.
  • num_processes (int, opsional) β€” Jumlah proses yang berjalan secara bersamaan. Akan menggunakan nilai yang diberikan oleh PartialState secara default.
  • process_index (int, opsional) β€” Indeks dari proses saat ini. Akan secara default menggunakan nilai yang diberikan oleh PartialState.
  • split_batches (bool, optional, defaults to False) — Whether the resulting DataLoader should split the batches of the original data loader across devices or yield full batches (in which case it will yield batches starting at the process_index-th and advancing of num_processes batches at each iteration).

    Cara lain untuk melihat hal ini adalah bahwa ukuran batch yang diamati akan sama dengan ukuran batch awal dataloader jika opsi ini diatur ke True, atau ukuran batch awal dataloader dikalikan dengan num_processes jika tidak.

    Menetapkan opsi ini ke True mensyaratkan bahwa ukuran batch dari dataloader merupakan kelipatan bulat dari batch_size.

  • put_on_device (bool, opsional, default False) β€” Apakah batch akan dipindahkan ke device (hanya berfungsi jika batch berupa nested list, tuples, atau dictionaries dari tensor).
  • rng_types (daftar str atau RNGType) β€” Daftar generator angka acak yang akan disinkronkan di awal setiap iterasi. Harus berupa satu atau beberapa dari:
    • "torch": generator angka acak dasar torch
    • "cuda": generator angka acak CUDA (hanya GPU)
    • Jenis perangkat akselerator PyTorch yang terdaftar: generator angka acak perangkatnya.
    • "xla": generator angka acak XLA (hanya TPU)
    • "generator": torch.Generator dari sampler (atau batch sampler jika tidak ada sampler di dataloader Anda) atau dari dataset iterable (jika ada) jika dataset dasarnya bertipe tersebut.
  • dispatch_batches (bool, opsional) β€” Jika diset ke True, dataloader yang disiapkan hanya diiterasi pada proses utama, kemudian batch dipecah dan disiarkan ke setiap proses. Akan default ke True jika dataset dasarnya adalah IterableDataset, False selain itu.
  • even_batches (bool, opsional, default True) β€” Jika diset ke True, dalam kasus di mana ukuran batch total di seluruh proses tidak membagi dataset secara tepat, sampel di awal dataset akan diduplikasi agar batch dapat dibagi secara merata di antara semua worker.
  • slice_fn_for_dispatch (Callable, optional) -- If passed, this function will be used to slice tensors across num_processes. Will default to [slice_tensors()](/docs/accelerate/v1.16.0/en/package_reference/utilities#accelerate.utils.slice_tensors). This argument is used only when dispatch_batchesis set toTrue` and will be ignored otherwise.
  • use_seedable_sampler (bool, opsional, default False) β€” Apakah akan menggunakan SeedableRandomSampler alih-alih RandomSampler untuk reproducibility yang lebih baik. Hal ini berisiko menghasilkan performa yang berbeda karena algoritma pengacakan yang berbeda, tetapi memastikan hasil akan persis sama. Sebaiknya dipasangkan dengan set_seed() di setiap self.set_epoch
  • data_seed (int, opsional, defaultnya None) β€” Seed yang akan digunakan untuk generator dasar saat menggunakan use_seedable_sampler. Jika None, generator akan menggunakan seed default saat ini dari torch.
  • non_blocking (bool, opsional, default False) β€” Jika diset ke True, dataloader akan memanfaatkan transfer host-ke-perangkat non-blocking. Jika dataloader memiliki pin_memory yang diset ke True, hal ini akan membantu meningkatkan overlap antara transfer data dan komputasi.
  • use_stateful_dataloader (bool, opsional, default False) β€” β€œJika diset ke true, dataloader yang disiapkan oleh Accelerator akan didukung oleh ” ”torchdata.StatefulDataLoader. Hal ini memerlukan torchdata versi 0.8.0 atau lebih tinggi yang mendukung StatefulDataLoader untuk diinstal.”
  • torch_device_mesh (torch.distributed.DeviceMesh, opsional, default None) β€” PyTorch device mesh.

Mengembalikan

torch.utils.data.dataloader.DataLoader

Pemuat data baru yang akan menghasilkan bagian dari batch

Membungkus DataLoader PyTorch untuk menghasilkan batch hanya untuk salah satu proses.

Tergantung pada nilai atribut drop_last dari dataloader yang diteruskan, iterasi akan berhenti pada batch pertama yang terlalu kecil / tidak ada di semua proses, atau akan berulang dengan indeks dari awal.

BatchSampler dengan ukuran batch yang bervariasi tidak diaktifkan secara default. Untuk mengaktifkan perilaku ini, atur even_batches menjadi False

accelerate.skip_first_batches

< >

( dataloadernum_batches = 0 )

Membuat torch.utils.data.DataLoader yang akan secara efisien melewati num_batches pertama. Tidak boleh digunakan jika dataloader asli adalah StatefulDataLoader.

BatchSamplerShard

kelas accelerate.data_loader.BatchSamplerShard

< >

( batch_sampler: BatchSamplernum_processes: int = 1process_index: int = 0split_batches: bool = Falseeven_batches: bool = True )

Parameter

  • batch_sampler (torch.utils.data.sampler.BatchSampler) β€” Batch sampler untuk membagi data ke dalam beberapa shard.
  • num_processes (int, opsional, default 1) β€” Jumlah proses yang berjalan secara bersamaan.
  • process_index (int, opsional, default 0) β€” Indeks dari proses saat ini.
  • split_batches (bool, opsional, defaultnya False) β€” Apakah shard harus dibuat dengan membagi batch untuk memberikan sebagian di setiap proses, atau dengan menghasilkan batch penuh yang berbeda di setiap proses.

    Pada dua proses dengan sampler [[0, 1, 2, 3], [4, 5, 6, 7]], ini akan menghasilkan:

    • sampler pada proses 0 menghasilkan [0, 1, 2, 3] dan sampler pada proses 1 menghasilkan [4, 5, 6, 7] jika argumen ini diatur ke False.
    • sampler pada proses 0 menghasilkan [0, 1] kemudian [4, 5] dan sampler pada proses 1 menghasilkan [2, 3] kemudian [6, 7] jika argumen ini diatur ke True.
  • even_batches (bool, opsional, default True) β€” Apakah akan kembali ke awal sampler ketika jumlah sampel bukan kelipatan bulat dari (ukuran batch asli / jumlah proses).

Membungkus BatchSampler PyTorch untuk menghasilkan batch hanya untuk salah satu proses. Instans dari kelas ini akan selalu menghasilkan jumlah batch yang merupakan kelipatan bulat dari num_processes dan semuanya memiliki ukuran yang sama. Tergantung pada nilai atribut drop_last dari batch sampler yang diberikan, iterasi akan berhenti pada batch pertama yang terlalu kecil / tidak ada di semua proses atau berulang dengan indeks dari awal.

BatchSampler dengan ukuran batch yang bervariasi tidak diaktifkan secara default. Untuk mengaktifkan perilaku ini, atur even_batches menjadi False

IterableDatasetShard

kelas accelerate.data_loader.IterableDatasetShard

< >

( dataset: IterableDatasetbatch_size: int = 1drop_last: bool = Falsenum_processes: int = 1process_index: int = 0split_batches: bool = False )

Parameter

  • dataset (torch.utils.data.dataset.IterableDataset) β€” Batch sampler yang akan dipecah menjadi beberapa shard.
  • batch_size (int, opsional, default 1) β€” Ukuran batch per shard (jika split_batches=False) atau ukuran batch (jika split_batches=True).
  • drop_last (bool, opsional, default False) β€” Apakah akan membuang batch terakhir yang tidak lengkap atau melengkapi batch terakhir dengan menggunakan sampel dari awal.
  • num_processes (int, opsional, default 1) β€” Jumlah proses yang berjalan secara bersamaan.
  • process_index (int, opsional, default 0) β€” Indeks dari proses saat ini.
  • split_batches (bool, opsional, defaultnya False) β€” Apakah shard harus dibuat dengan membagi batch untuk memberikan sebagian di setiap proses, atau dengan menghasilkan batch penuh yang berbeda di setiap proses.

    Pada dua proses dengan dataset iterable yang menghasilkan [0, 1, 2, 3, 4, 5, 6, 7], ini akan menghasilkan:

    • shard pada proses 0 menghasilkan [0, 1, 2, 3] dan shard pada proses 1 menghasilkan [4, 5, 6, 7] jika argumen ini diatur ke False.
    • shard pada proses 0 menghasilkan [0, 1, 4, 5] dan sampler pada proses 1 menghasilkan [2, 3, 6, 7] jika argumen ini diatur ke True.

Membungkus IterableDataset PyTorch untuk menghasilkan sampel hanya untuk salah satu proses. Instans dari kelas ini akan selalu menghasilkan jumlah sampel yang merupakan kelipatan bulat dari ukuran batch aktual (tergantung pada nilai split_batches, ini adalah batch_size atau batch_size x num_processes). Tergantung pada nilai atribut drop_last dari batch sampler yang diteruskan, iterasi akan berhenti pada batch pertama yang terlalu kecil atau berulang dengan indeks dari awal.

DataLoaderShard

kelas accelerate.data_loader.DataLoaderShard

< >

( datasetdevice = Nonerng_types = Nonesynchronized_generator = Noneskip_batches = 0use_stateful_dataloader = False_drop_last: bool = False_non_blocking: bool = Falsetorch_device_mesh = Noneiteration = 0**kwargs )

Parameter

  • dataset (torch.utils.data.dataset.Dataset) β€” Dataset yang akan digunakan untuk membangun dataloader ini.
  • device (torch.device, opsional) β€” Jika diberikan, perangkat untuk menempatkan semua batch.
  • rng_types (daftar str atau RNGType) β€” Daftar generator angka acak yang akan disinkronkan di awal setiap iterasi. Harus berupa satu atau beberapa dari:
    • "torch": generator angka acak dasar torch
    • "cuda": generator angka acak CUDA (hanya GPU)
    • Jenis perangkat akselerator PyTorch yang terdaftar: generator angka acak perangkatnya.
    • "xla": generator angka acak XLA (hanya TPU)
    • "generator": torch.Generator opsional
  • synchronized_generator (torch.Generator, opsional) β€” Generator angka acak untuk menjaga sinkronisasi antar proses.
  • skip_batches (int, opsional, default 0) β€” Jumlah batch yang dilewati di awal.
  • use_stateful_dataloader (bool, opsional, default False) β€” Apakah kelas ini akan mengadaptasi StatefulDataLoader dari torchdata alih-alih DataLoader reguler.
  • **kwargs (argumen kata kunci tambahan, opsional) β€” Semua argumen kata kunci lainnya untuk diteruskan ke inisialisasi DataLoader reguler.

Subkelas dari DataLoaderAdapter yang akan menangani penempatan perangkat dan setup distribusi saat ini.

Atribut yang tersedia:

  • total_batch_size (int) β€” Total ukuran batch dari dataloader di seluruh proses. Sama dengan ukuran batch asli ketika split_batches=True; selain itu, ukuran batch asli * total jumlah proses

  • total_dataset_length (int) β€” Total panjang dataset internal di semua proses.

DataLoaderDispatcher

kelas accelerate.data_loader.DataLoaderDispatcher

< >

( datasetsplit_batches: bool = Falseskip_batches = 0use_stateful_dataloader = False_drop_last: bool = False_non_blocking: bool = Falseslice_fn = Nonetorch_device_mesh = Noneiteration = 0**kwargs )

Parameter

  • split_batches (bool, opsional, default False) β€” Apakah DataLoader yang dihasilkan harus membagi batch dari data loader asli di antara perangkat atau menghasilkan batch penuh (dalam hal ini, batch yang dihasilkan akan dimulai dari batch ke-process_index dan maju sebanyak num_processes batch pada setiap iterasi). Cara lain untuk melihat ini adalah bahwa ukuran batch yang diamati akan sama dengan dataloader awal jika opsi ini diatur ke True, sedangkan ukuran batch dataloader awal dikalikan dengan num_processes jika tidak. Mengatur opsi ini ke True mensyaratkan bahwa ukuran batch dataloader merupakan kelipatan bulat dari batch_size.
  • skip_batches (int, opsional, default 0) β€” Jumlah batch yang dilewati di awal iterasi.
  • use_stateful_dataloader (bool, opsional, default False) β€” Apakah kelas ini akan mengadaptasi StatefulDataLoader dari torchdata alih-alih DataLoader reguler.

Subkelas dari DataLoaderAdapter yang akan melakukan iterasi dan praproses hanya pada proses 0, kemudian mendistribusikan bagian batch mereka ke setiap proses.

Atribut yang tersedia:

  • total_batch_size (int) β€” Total ukuran batch dari dataloader di seluruh proses. Sama dengan ukuran batch asli ketika split_batches=True; selain itu, ukuran batch asli * total jumlah proses

  • total_dataset_length (int) β€” Total panjang dataset internal di semua proses.

AcceleratedOptimizer

kelas accelerate.optimizer.AcceleratedOptimizer

< >

( optimizerdevice_placement = Truescaler = None )

Parameter

  • optimizer (torch.optim.optimizer.Optimizer) β€” Optimizer yang akan dibungkus.
  • device_placement (bool, opsional, default True) β€” Apakah optimizer harus menangani penempatan perangkat. Jika ya, state dictionary dari optimizer akan ditempatkan pada perangkat yang tepat.
  • scaler (torch.amp.GradScaler atau torch.cuda.amp.GradScaler, opsional) β€” Scaler yang akan digunakan dalam fungsi step jika pelatihan dilakukan dengan presisi campuran.

Wrapper internal di sekitar optimizer torch.

Secara kondisional akan melakukan step dan zero_grad jika gradien harus disinkronkan saat melakukan akumulasi gradien.

eval

< >

( )

Mengatur optimizer ke mode β€œeval”. Berguna untuk optimizer seperti schedule_free

latih

< >

( )

Mengatur optimizer ke mode β€œtrain”. Berguna untuk optimizer seperti schedule_free

AcceleratedScheduler

kelas accelerate.scheduler.AcceleratedScheduler

< >

( scheduleroptimizersstep_with_optimizer: bool = Truesplit_batches: bool = False )

Parameter

  • scheduler (torch.optim.lr_scheduler._LRScheduler) β€” Scheduler yang akan dibungkus.
  • optimizers (satu atau daftar torch.optim.Optimizer) β€” Optimizer yang digunakan.
  • step_with_optimizer (bool, opsional, default True) β€” Apakah scheduler harus di-step pada setiap langkah optimizer.
  • split_batches (bool, opsional, default False) β€” Apakah dataloader membagi satu batch di antara proses yang berbeda (sehingga ukuran batch sama terlepas dari jumlah proses) atau membuat batch di setiap proses (sehingga ukuran batch adalah ukuran batch asli dikalikan dengan jumlah proses).

Wrapper di sekitar learning rate scheduler yang hanya akan melakukan step ketika optimizer memiliki langkah pelatihan. Berguna untuk menghindari scheduler yang melakukan step terlalu cepat ketika gradien mengalami overflow dan tidak ada langkah pelatihan (dalam pelatihan presisi campuran)

Saat melakukan akumulasi gradien, panjang scheduler tidak perlu diubah secara sesuai, karena Accelerate akan selalu melangkah (step) scheduler untuk memperhitungkannya.

Update on GitHub