Accelerate documentation

فئات ذات حالة

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

فئات ذات حالة

فيما يلي تنويعات لفئة singleton بمعنى أن جميع الكائنات تشارك الحالة نفسها، والتي يتم تهيئتها عند أول إنشاء.

هذه الفئات غير قابلة للتغيير وتخزّن معلومات حول إعدادات أو حالات معينة.

PartialState

فئة accelerate.PartialState

< >

( cpu: bool = False**kwargs )

المعاملات

  • cpu (bool, اختياري) — ما إذا كان يجب إجبار السكربت على التنفيذ على وحدة المعالجة المركزية (CPU). إذا تم ضبطه على True، سيتم تجاهل أي معجلات متاحة وإجبار التنفيذ على وحدة المعالجة المركزية.
  • kwargs (معلمات إضافية بالكلمات المفتاحية، اختيارية) — معلمات إضافية بالكلمات المفتاحية تُمرَّر إلى دالة init_process_group ذات الصلة. يمكن العثور على kwargs الصالحة في utils.InitProcessGroupKwargs. راجع قسم الأمثلة للاستخدام المفصّل.

فئة أحادية تحتوي على معلومات حول بيئة التدريب الحالية ودوال تساعد في التحكم في العمليات. صُممت للاستخدام عندما يكون التحكم في العمليات وحالات تنفيذ الأجهزة هو المطلوب فقط. لا تحتاج إلى التهيئة من Accelerator.

الخصائص المتاحة:

  • device (torch.device) — الجهاز المستخدم.
  • distributed_type (DistributedType) — نوع بيئة التوزيع المستخدمة حاليًا.
  • local_process_index (int) — فهرس العملية الحالية على الخادم الحالي.
  • mixed_precision (str) — ما إذا كان النص البرمجي الحالي سيستخدم الدقة المختلطة أم لا، وإذا كان كذلك، نوع الدقة المختلطة المُنفَّذة. (اختر من بين ‘no’، ‘fp16’، ‘bf16’ أو ‘fp8’).
  • num_processes (int) — عدد العمليات التي تم إطلاقها بالتوازي حاليًا.
  • process_index (int) — فهرس العملية الحالية.
  • is_last_process (bool) — ما إذا كان العملية الحالية هي الأخيرة أم لا.
  • is_main_process (bool) — ما إذا كان العملية الحالية هي العملية الرئيسية أم لا.
  • is_local_main_process (bool) — ما إذا كان العملية الحالية هي العملية الرئيسية على العقدة المحلية أم لا.
  • debug (bool) — ما إذا كان النص البرمجي الحالي يعمل في وضع التصحيح أم لا.

مثال:

from accelerate.utils import InitProcessGroupKwargs

# To include `InitProcessGroupKwargs`, init then call `.to_kwargs()`
kwargs = InitProcessGroupKwargs(...).to_kwargs()
state = PartialState(**kwargs)

destroy_process_group

< >

( group = None )

يُدمّر مجموعة العمليات. إذا لم يتم تحديد مجموعة، يتم تدمير مجموعة العمليات الافتراضية.

local_main_process_first

< >

( )

يسمح للعملية الرئيسية المحلية بالدخول إلى كتلة with.

ستدخل العمليات الأخرى كتلة with بعد خروج العملية الرئيسية.

مثال:

>>> from accelerate.state import PartialState

>>> state = PartialState()
>>> with state.local_main_process_first():
...     # This will be printed first by local process 0 then in a seemingly
...     # random order by the other processes.
...     print(f"This will be printed by process {state.local_process_index}")

main_process_first

< >

( )

يسمح للعملية الرئيسية بالبدء أولاً داخل كتلة with.

ستدخل العمليات الأخرى كتلة with بعد خروج العملية الرئيسية.

مثال:

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> with accelerator.main_process_first():
...     # This will be printed first by process 0 then in a seemingly
...     # random order by the other processes.
...     print(f"This will be printed by process {accelerator.process_index}")

on_last_process

< >

( function: Callable[..., Any] )

المعاملات

  • function (Callable) — الدالة التي سيتم تزيينها.

مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة فقط على العملية الأخيرة.

مثال:

# Assume we have 4 processes.
from accelerate.state import PartialState

state = PartialState()


@state.on_last_process
def print_something():
    print(f"Printed on process {state.process_index}")


print_something()
"Printed on process 3"

on_local_main_process

< >

( function: Callable[..., Any] | None = None )

المعاملات

  • function (Callable) — الدالة التي سيتم تزيينها.

مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة فقط على العملية الرئيسية المحلية.

مثال:

# Assume we have 2 servers with 4 processes each.
from accelerate.state import PartialState

state = PartialState()


@state.on_local_main_process
def print_something():
    print("This will be printed by process 0 only on each server.")


print_something()
# On server 1:
"This will be printed by process 0 only"
# On server 2:
"This will be printed by process 0 only"

on_local_process

< >

( function: Callable[..., Any] | None = Nonelocal_process_index: int | None = None )

المعاملات

  • function (Callable، اختياري) — الدالة التي سيتم تزيينها.
  • local_process_index (int، اختياري) — مؤشر العملية المحلية التي سيتم تشغيل الدالة عليها.

مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة فقط على العملية ذات الفهرس المحدد على العقدة الحالية.

مثال:

# Assume we have 2 servers with 4 processes each.
from accelerate import Accelerator

accelerator = Accelerator()


@accelerator.on_local_process(local_process_index=2)
def print_something():
    print(f"Printed on process {accelerator.local_process_index}")


print_something()
# On server 1:
"Printed on process 2"
# On server 2:
"Printed on process 2"

on_main_process

< >

( function: Callable[..., Any] | None = None )

المعاملات

  • function (Callable) — الدالة التي سيتم تزيينها.

مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة فقط على العملية الرئيسية.

مثال:

>>> from accelerate.state import PartialState

>>> state = PartialState()


>>> @state.on_main_process
... def print_something():
...     print("This will be printed by process 0 only.")


>>> print_something()
"This will be printed by process 0 only"

on_process

< >

( function: Callable[..., Any] | None = Noneprocess_index: int | None = None )

المعاملات

  • function (Callable, optional) — الدالة التي سيتم تزيينها.
  • process_index (int, optional) — مؤشر العملية التي سيتم تشغيل الدالة عليها.

مُزيِّن (Decorator) يُنفِّذ الدالة المُزيَّنة فقط على العملية التي تحمل الفهرس المحدد.

مثال:

# Assume we have 4 processes.
from accelerate.state import PartialState

state = PartialState()


@state.on_process(process_index=2)
def print_something():
    print(f"Printed on process {state.process_index}")


print_something()
"Printed on process 2"

set_device

< >

( )

يُعيّن الجهاز في self.device إلى بيئة التوزيع الحالية.

split_between_processes

< >

( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )

المعاملات

  • inputs (list، tuple، torch.Tensor، dict من list/tuple/torch.Tensor، أو datasets.Dataset) — المدخلات التي سيتم تقسيمها بين العمليات.
  • apply_padding (bool، optional، القيمة الافتراضية False) — ما إذا كان سيتم تطبيق الحشو (padding) عن طريق تكرار العنصر الأخير من المدخلات بحيث تمتلك جميع العمليات (processes) نفس عدد العناصر. يكون مفيدًا عند محاولة تنفيذ إجراءات مثل gather() على المخرجات أو عند تمرير مدخلات أقل من عدد العمليات. في هذه الحالة، تذكّر ببساطة بإسقاط العناصر المحشوة لاحقًا.

يقسم input بسرعة بين self.num_processes ويمكن استخدامه بعد ذلك على تلك العملية. مفيد عند تنفيذ الاستدلال الموزّع، مثل استخدام أوامر مختلفة.

لاحظ أنه عند استخدام dict، يجب أن تحتوي جميع المفاتيح على نفس عدد العناصر.

مثال:

# Assume there are two processes
from accelerate import PartialState

state = PartialState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]

with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]

wait_for_everyone

< >

( )

توقف تنفيذ العملية الحالية حتى تصل جميع العمليات الأخرى إلى تلك النقطة (لذا لا يؤدي هذا الأمر أي شيء عند تشغيل السكربت في عملية واحدة فقط). مفيد للقيام به قبل حفظ النموذج.

مثال:

>>> # Assuming two GPU processes
>>> import time
>>> from accelerate.state import PartialState

>>> state = PartialState()
>>> if state.is_main_process:
...     time.sleep(2)
>>> else:
...     print("I'm waiting for the main process to finish its sleep...")
>>> state.wait_for_everyone()
>>> # Should print on every process at the same time
>>> print("Everyone is here")

AcceleratorState

فئة accelerate.state.AcceleratorState

< >

( mixed_precision: str | None = Nonecpu: bool = Falsedynamo_plugin = Nonedeepspeed_plugin = Nonefsdp_plugin = Nonetorch_tp_plugin = Nonemegatron_lm_plugin = Noneparallelism_config = None_from_accelerator: bool = False**kwargs )

فئة مفردة تحتوي على معلومات حول بيئة التدريب الحالية.

الخصائص المتاحة:

  • device (torch.device) — الجهاز المستخدم.
  • distributed_type (DistributedType) — نوع بيئة التوزيع المستخدمة حاليًا.
  • parallelism_config (ParallelismConfig) — إعدادات التوازي لبيئة التدريب الحالية. تُستخدم هذه الإعدادات لضبط بيئة التدريب الموزّع.
  • مُهيّأ (bool) — ما إذا كان AcceleratorState قد تم تهيئته من Accelerator أم لا.
  • local_process_index (int) — فهرس العملية الحالية على الخادم الحالي.
  • mixed_precision (str) — ما إذا كان النص البرمجي الحالي سيستخدم الدقة المختلطة أم لا، وإذا كان كذلك، نوع الدقة المختلطة المُنفَّذة. (اختر من بين ‘no’، ‘fp16’، ‘bf16’ أو ‘fp8’).
  • num_processes (int) — عدد العمليات التي تم إطلاقها بالتوازي حاليًا.
  • process_index (int) — فهرس العملية الحالية.
  • is_last_process (bool) — ما إذا كان العملية الحالية هي الأخيرة أم لا.
  • is_main_process (bool) — ما إذا كان العملية الحالية هي العملية الرئيسية أم لا.
  • is_local_main_process (bool) — ما إذا كان العملية الحالية هي العملية الرئيسية على العقدة المحلية أم لا.
  • debug (bool) — ما إذا كان النص البرمجي الحالي يعمل في وضع التصحيح أم لا.

destroy_process_group

< >

( group = None )

يُدمّر مجموعة العمليات. إذا لم يتم تحديد مجموعة، يتم تدمير مجموعة العمليات الافتراضية.

إذا كان self.fork_launched هو True وكان group هو None، فلا يحدث شيء.

get_deepspeed_plugin

< >

( name: str )

يعيد DeepSpeedPlugin باستخدام plugin_key المحدد.

local_main_process_first

< >

( )

يسمح للعملية الرئيسية المحلية بالدخول إلى كتلة with.

ستدخل العمليات الأخرى كتلة with بعد خروج العملية الرئيسية.

main_process_first

< >

( )

يسمح للعملية الرئيسية بالبدء أولاً داخل كتلة with.

ستدخل العمليات الأخرى كتلة with بعد خروج العملية الرئيسية.

select_deepspeed_plugin

< >

( name: str | None = None )

Activates the DeepSpeedPlugin with the given name, and will disable all other plugins.

split_between_processes

< >

( inputs: list | tuple | dict | torch.Tensorapply_padding: bool = False )

المعاملات

  • inputs (list أو tuple أو torch.Tensor أو dict من list/tuple/torch.Tensor) — المدخلات التي سيتم تقسيمها بين العمليات.
  • apply_padding (bool، optional، القيمة الافتراضية False) — ما إذا كان سيتم تطبيق الحشو (padding) عن طريق تكرار العنصر الأخير من المدخلات بحيث تمتلك جميع العمليات (processes) نفس عدد العناصر. يكون مفيدًا عند محاولة تنفيذ إجراءات مثل gather() على المخرجات أو عند تمرير مدخلات أقل من عدد العمليات. في هذه الحالة، تذكّر ببساطة بإسقاط العناصر المحشوة لاحقًا.

يقسم input بسرعة بين self.num_processes ويمكن استخدامه بعد ذلك على تلك العملية. مفيد عند تنفيذ الاستدلال الموزّع، مثل استخدام أوامر مختلفة.

لاحظ أنه عند استخدام dict، يجب أن تحتوي جميع المفاتيح على نفس عدد العناصر.

مثال:

# Assume there are two processes
from accelerate.state import AcceleratorState

state = AcceleratorState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]

with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]

GradientState

فئة accelerate.state.GradientState

< >

( gradient_accumulation_plugin: GradientAccumulationPlugin | None = None )

فئة مفردة تحتوي على معلومات تتعلق بمزامنة التدرجات لتراكم التدرجات

الخصائص المتاحة:

  • end_of_dataloader (bool) — ما إذا كنا قد وصلنا إلى نهاية مُحمِّل البيانات الحالي
  • الباقي (int) — عدد العينات الإضافية التي أُضيفت من خلال ملء مُحمِّل البيانات
  • sync_gradients (bool) — ما إذا كان يجب مزامنة التدرجات عبر جميع الأجهزة
  • active_dataloader (Optional[DataLoader]) — مُحمِّل البيانات الذي يتم التكرار عليه حاليًا
  • dataloader_references (List[Optional[DataLoader]]) — قائمة من الإحالات إلى مُحمِّلات البيانات التي يتم التكرار عليها
  • num_steps (int) — عدد الخطوات التي يتم تراكمها
  • adjust_scheduler (bool) — ما إذا كان يجب تعديل الجدولة (scheduler) لتأخذ في الاعتبار تراكم التدرجات
  • sync_with_dataloader (bool) — ما إذا كان يجب مزامنة التدرجات في نهاية تكرار مُحمِّل البيانات وإعادة تعيين العدد الإجمالي للخطوات
  • is_xla_gradients_synced (bool) — ما إذا كانت تدرّجات XLA قد تمت مزامنتها. يتم تهيئتها كقيمة false. بمجرد تقليل التدرّجات قبل خطوة المُحسِّن، يتم تعيين هذا العلم إلى true. وبشكل متتالي، بعد كل خطوة، يُعاد تعيين العلم إلى false. ستقوم FSDP دائمًا بمزامنة التدرّجات، وبالتالي يكون is_xla_gradients_synced دائمًا true.
Update on GitHub