Accelerate documentation

FP8

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FP8

Aşağıda, altta yatan FP8 uygulamasına ait işlevler ve sınıflar yer almaktadır

TERecipeKwargs

sınıf accelerate.utils.TERecipeKwargs

< >

( use_autocast_during_eval: bool | None = Nonemargin: int | None = Noneinterval: int | None = Nonefp8_format: typing.Literal['HYBRID', 'E4M3', 'E5M2'] = Noneamax_history_len: int | None = Noneamax_compute_algo: typing.Literal['max', 'most_recent'] = Noneoverride_linear_precision: tuple[bool, bool, bool] = Noneuse_mxfp8_block_scaling: bool | None = None )

Parametreler

  • use_autocast_during_eval (bool, isteğe bağlı, varsayılan False) — Eval modunda FP8 autocast kullanılacak mı. Genellikle bu değer False olduğunda daha iyi metrikler elde edilir.
  • margin (int, isteğe bağlı, varsayılan 0) — Gradyan ölçeklendirmesi için kullanılacak pay.
  • interval (int, isteğe bağlı, varsayılan 1) — Ölçekleme faktörünün ne sıklıkla yeniden hesaplanacağı için kullanılacak aralık.
  • fp8_format (str, isteğe bağlı, varsayılan “HYBRID”) — FP8 tarifi için kullanılacak biçim. HYBRID, E4M3 veya E5M2 değerlerinden biri olmalıdır. (Genel olarak eğitim için HYBRID, değerlendirme için E4M3 veya E5M2)
  • amax_history_len (int, isteğe bağlı, varsayılan 1024) — Ölçekleme faktörü hesabında kullanılacak geçmişin uzunluğu
  • amax_compute_algo (str, isteğe bağlı, varsayılan “most_recent”) — Ölçekleme faktörü hesabı için kullanılacak algoritma. max veya most_recent değerlerinden biri olmalıdır.
  • override_linear_precision (tuple of three bool, isteğe bağlı, varsayılan (False, False, False)) — fprop, dgrad ve wgrad GEMM'lerinin daha yüksek hassasiyette çalıştırılıp çalıştırılmayacağı.

FP8 karma hassasiyetli eğitim için transformer-engine ile reçetenin başlatılmasını özelleştirmek için bu nesneyi Accelerator içinde kullanın.

args hakkında daha fazla bilgi için lütfen API belgelerine başvurun.

from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs

kwargs = TERecipeKwargs(fp8_format="HYBRID")
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=[kwargs])

AORecipeKwargs

sınıf accelerate.utils.AORecipeKwargs

< >

( config: ForwardRef('Float8LinearConfig') | None = Nonemodule_filter_func: typing.Callable | None = Nonepad_inner_dim: bool | None = Noneenable_fsdp_float8_all_gather: bool | None = None )

Parametreler

  • config (torchao.float8.Float8LinearConfig, isteğe bağlı, varsayılan olarak None) — FP8 eğitimi için yapılandırma. Eğer None, çoğu kullanım senaryosu için makul varsayılanlara sahip bir varsayılan yapılandırma oluşturulur:
    • pad_inner_dim=True: torch._scaled_mm işlemlerinde çalışma zamanı hatalarını önlemek için matris boyutlarını 16'ya bölünebilir olacak şekilde doldurur.
    • enable_fsdp_float8_all_gather=True: FSDP2 için FP8 all-gather işlemini etkinleştirir. Parametrelerin all-gather işleminden önce dönüştürülmesi sayesinde bellek bant genişliğinde tasarruf sağlar ve BF16'ye kıyasla %50 bant genişliği tasarrufu sunar.

    Bu varsayılanları, kendi Float8LinearConfig örneğinizi sağlayarak geçersiz kılabilirsiniz.

  • module_filter_func (Callable, isteğe bağlı, varsayılan None) — Bir modül ve katman adı alıp, modülün FP8'e dönüştürülüp dönüştürülmemesi gerektiğini gösteren bir boole değeri döndüren isteğe bağlı bir fonksiyon. Varsayılan olarak accelerate.utils.ao.filter_linear_layers kullanılır. Bir örnek için bkz.

FP8 karma hassasiyetli eğitim için torchao FP8 ile reçetenin başlatılmasını özelleştirmek için bu nesneyi Accelerator içinde kullanın.

convert_model

accelerate.utils.convert_model

< >

( modelto_transformer_engine = True_convert_linear = True_convert_ln = True )

Bir modelin lineer ve layernorm katmanlarını transformers_engine karşılıklarına özyinelemeli olarak dönüştürür.

has_transformer_engine_layers

accelerate.utils.has_transformer_engine_layers

< >

( model )

Belirli bir modelin herhangi bir transformer_engine katmanına sahip olup olmadığını döndürür.

contextual_fp8_autocast

accelerate.utils.contextual_fp8_autocast

< >

( model_forwardfp8_recipeuse_during_eval = False )

Bir modelin forward metoduna FP8 autocast uygulamak için bir sarmalayıcıdır. Bağlamdan haberdardır; bu, varsayılan olarak eval modu sırasında FP8 autocast'i devre dışı bırakacağı anlamına gelir ve bu, genellikle daha doğru metrikler için daha iyidir.

apply_fp8_autowrap

accelerate.utils.apply_fp8_autowrap

< >

( modelfp8_recipe_handler )

Modelin forward yöntemine FP8 bağlam yöneticisini uygular

Update on GitHub