Accelerate documentation
FP8
FP8
Aşağıda, altta yatan FP8 uygulamasına ait işlevler ve sınıflar yer almaktadır
TERecipeKwargs
sınıf accelerate.utils.TERecipeKwargs
< source >( use_autocast_during_eval: bool | None = Nonemargin: int | None = Noneinterval: int | None = Nonefp8_format: typing.Literal['HYBRID', 'E4M3', 'E5M2'] = Noneamax_history_len: int | None = Noneamax_compute_algo: typing.Literal['max', 'most_recent'] = Noneoverride_linear_precision: tuple[bool, bool, bool] = Noneuse_mxfp8_block_scaling: bool | None = None )
Parametreler
- use_autocast_during_eval (
bool, isteğe bağlı, varsayılanFalse) — Eval modunda FP8 autocast kullanılacak mı. Genellikle bu değerFalseolduğunda daha iyi metrikler elde edilir. - margin (
int, isteğe bağlı, varsayılan 0) — Gradyan ölçeklendirmesi için kullanılacak pay. - interval (
int, isteğe bağlı, varsayılan 1) — Ölçekleme faktörünün ne sıklıkla yeniden hesaplanacağı için kullanılacak aralık. - fp8_format (
str, isteğe bağlı, varsayılan “HYBRID”) — FP8 tarifi için kullanılacak biçim.HYBRID,E4M3veyaE5M2değerlerinden biri olmalıdır. (Genel olarak eğitim içinHYBRID, değerlendirme içinE4M3veyaE5M2) - amax_history_len (
int, isteğe bağlı, varsayılan 1024) — Ölçekleme faktörü hesabında kullanılacak geçmişin uzunluğu - amax_compute_algo (
str, isteğe bağlı, varsayılan “most_recent”) — Ölçekleme faktörü hesabı için kullanılacak algoritma.maxveyamost_recentdeğerlerinden biri olmalıdır. - override_linear_precision (
tupleof threebool, isteğe bağlı, varsayılan(False, False, False)) —fprop,dgradvewgradGEMM'lerinin daha yüksek hassasiyette çalıştırılıp çalıştırılmayacağı.
FP8 karma hassasiyetli eğitim için transformer-engine ile reçetenin başlatılmasını özelleştirmek için bu nesneyi Accelerator içinde kullanın.
args hakkında daha fazla bilgi için lütfen API belgelerine başvurun.
AORecipeKwargs
sınıf accelerate.utils.AORecipeKwargs
< source >( config: ForwardRef('Float8LinearConfig') | None = Nonemodule_filter_func: typing.Callable | None = Nonepad_inner_dim: bool | None = Noneenable_fsdp_float8_all_gather: bool | None = None )
Parametreler
- config (
torchao.float8.Float8LinearConfig, isteğe bağlı, varsayılan olarakNone) — FP8 eğitimi için yapılandırma. EğerNone, çoğu kullanım senaryosu için makul varsayılanlara sahip bir varsayılan yapılandırma oluşturulur:pad_inner_dim=True:torch._scaled_mmişlemlerinde çalışma zamanı hatalarını önlemek için matris boyutlarını 16'ya bölünebilir olacak şekilde doldurur.enable_fsdp_float8_all_gather=True: FSDP2 için FP8 all-gather işlemini etkinleştirir. Parametrelerin all-gather işleminden önce dönüştürülmesi sayesinde bellek bant genişliğinde tasarruf sağlar ve BF16'ye kıyasla %50 bant genişliği tasarrufu sunar.
Bu varsayılanları, kendi
Float8LinearConfigörneğinizi sağlayarak geçersiz kılabilirsiniz. - module_filter_func (
Callable, isteğe bağlı, varsayılanNone) — Bir modül ve katman adı alıp, modülün FP8'e dönüştürülüp dönüştürülmemesi gerektiğini gösteren bir boole değeri döndüren isteğe bağlı bir fonksiyon. Varsayılan olarakaccelerate.utils.ao.filter_linear_layerskullanılır. Bir örnek için bkz.
FP8 karma hassasiyetli eğitim için torchao FP8 ile reçetenin başlatılmasını özelleştirmek için bu nesneyi Accelerator içinde kullanın.
convert_model
accelerate.utils.convert_model
< source >( modelto_transformer_engine = True_convert_linear = True_convert_ln = True )
Bir modelin lineer ve layernorm katmanlarını transformers_engine karşılıklarına özyinelemeli olarak dönüştürür.
has_transformer_engine_layers
Belirli bir modelin herhangi bir transformer_engine katmanına sahip olup olmadığını döndürür.
contextual_fp8_autocast
accelerate.utils.contextual_fp8_autocast
< source >( model_forwardfp8_recipeuse_during_eval = False )
Bir modelin forward metoduna FP8 autocast uygulamak için bir sarmalayıcıdır. Bağlamdan haberdardır; bu, varsayılan olarak eval modu sırasında FP8 autocast'i devre dışı bırakacağı anlamına gelir ve bu, genellikle daha doğru metrikler için daha iyidir.
apply_fp8_autowrap
Modelin forward yöntemine FP8 bağlam yöneticisini uygular