TRL documentation

SFT Eğitmeni

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SFT Eğitmeni

All_models-SFT-blue smol_course-Chapter_1-yellow

Genel Bakış

TRL, dil modelleri eğitmek için Denetimli İnce Ayar (SFT) Eğiticisini destekler.

SFTTrainer, DiffusionGemma gibi difüzyon modellerini yerel olarak desteklemez, ancak bunu kolayca genişletilebilir; bkz. block-diffusion SFT örneği.

Bu eğitim sonrası yöntemi Younes Belkada tarafından katkı sağlanmıştır.

Hızlı başlangıç

Bu örnek, TRL'deki SFTTrainer kullanarak bir dil modelinin nasıl eğitileceğini göstermektedir. Capybara dataset üzerinde bir Qwen 3 0.6B modeli eğitiyoruz; bu, akıl yürütme ve genelleştirmeyi ölçmek için kullanılan kompakt ve çeşitli çok turlu bir veri setidir.

from trl import SFTTrainer
from datasets import load_dataset

trainer = SFTTrainer(
    model="Qwen/Qwen3-0.6B",
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

Beklenen veri seti türü ve biçimi

SFT, hem language modeling hem de prompt-completion veri setlerini destekler. SFTTrainer, hem standart hem de konuşma tabanlı veri seti biçimleriyle uyumludur. Konuşma tabanlı bir veri seti sağlandığında, eğitimci veri setine sohbet şablonunu otomatik olarak uygular.

# Standard language modeling
{"text": "The sky is blue."}

# Conversational language modeling
{"messages": [{"role": "user", "content": "What color is the sky?"},
              {"role": "assistant", "content": "It is blue."}]}

# Standard prompt-completion
{"prompt": "The sky is",
 "completion": " blue."}

# Conversational prompt-completion
{"prompt": [{"role": "user", "content": "What color is the sky?"}],
 "completion": [{"role": "assistant", "content": "It is blue."}]}

Veri setiniz bu formatlardan birinde değilse, beklenen formata dönüştürmek için ön işleme uygulayabilirsiniz. FreedomIntelligence/medical-o1-reasoning-SFT veri setiyle ilgili bir örnek aşağıdadır:

from datasets import load_dataset

dataset = load_dataset("FreedomIntelligence/medical-o1-reasoning-SFT", "en")

def preprocess_function(example):
    return {
        "prompt": [{"role": "user", "content": example["Question"]}],
        "completion": [
            {"role": "assistant", "content": f"<think>{example['Complex_CoT']}</think>{example['Response']}"}
        ],
    }

dataset = dataset.map(preprocess_function, remove_columns=["Question", "Response", "Complex_CoT"])
print(next(iter(dataset["train"])))
{
    "prompt": [
        {
            "content": "Given the symptoms of sudden weakness in the left arm and leg, recent long-distance travel, and the presence of swollen and tender right lower leg, what specific cardiac abnormality is most likely to be found upon further evaluation that could explain these findings?",
            "role": "user",
        }
    ],
    "completion": [
        {
            "content": "<think>Okay, let's see what's going on here. We've got sudden weakness [...] clicks into place!</think>The specific cardiac abnormality most likely to be found in [...] the presence of a PFO facilitating a paradoxical embolism.",
            "role": "assistant",
        }
    ],
}

SFT yönteminin derinlemesine incelenmesi

Gözetimli İnce Ayar (SFT), bir dil modelini hedef veri setine uyarlamak için kullanılan en basit ve en yaygın yöntemdir. Model, girdi ve çıktı dizileri çiftleri kullanılarak tamamen gözetimli bir şekilde eğitilir. Hedef, girdiye koşullu olarak hedef dizinin negatif log-olasılık yoğunluğunu (NLL) en aza indirmektir.

Bu bölüm, SFT'nin pratikte nasıl çalıştığını, ana adımları kapsayacak şekilde açıklar: ön işleme, tokenizasyon ve kayıp hesaplama.

Önişleme ve belirteçleştirme

Eğitim sırasında, veri seti biçimine bağlı olarak her örneğin bir text alanı veya bir (prompt, completion) çifti içermesi beklenir. Beklenen biçimler hakkında daha fazla ayrıntı için Dataset formats bölümüne bakın. SFTTrainer, her girdiyi modelin tokenizer'ı kullanarak işler. Hem prompt hem de completion ayrı ayrı sağlanırsa, bunlar tokenizasyondan önce birleştirilir.

Kaybın hesaplanması

sft_figure

SFT'de kullanılan kayıp token düzeyinde çapraz entropi kaybıdır, şu şekilde tanımlanır: LSFT(θ)=−∑t=1Tlog⁡pθ(yt∣y<t), \mathcal{L}_{\text{SFT}}(\theta) = - \sum_{t=1}^{T} \log p_\theta(y_t \mid y_{<t}),

burada yt y_t adımındaki hedef token'dır t t , ve model, önceki token'lara dayanarak bir sonraki token'ı tahmin etmeye yönelik olarak eğitilir. Uygulamada, dolgu token'ları kayıp hesabı sırasında maskeleme ile dışlanır.

On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification adlı makale, ödül sinyalini düzelterek genelleştirmeyi iyileştirmeyi amaçlayan Dynamic Fine-Tuning (DFT) adlı alternatif bir kayıp fonksiyonu önermektedir. Bu yöntem, SFTConfig içinde loss_type="dft" olarak ayarlanarak etkinleştirilebilir. Daha fazla ayrıntı için Paper Index - Dynamic Fine-Tuning sayfasına bakın.

Etiket kaydırma ve maskeleme

Eğitim sırasında kayıp, tek jeton kaydırma kullanılarak hesaplanır: model, dizideki her jetonu önceki tüm jetonlara dayanarak tahmin etmeye çalışacak şekilde eğitilir. Özellikle, giriş dizisi hedef etiketleri oluşturmak için bir konum sağa kaydırılır. Doldurma jetonları (varsa), kayıp hesabında ilgili konumlara bir yoksayma indeksi (varsayılan: -100) uygulanarak yok sayılır. Bu, kaybın yalnızca anlamlı, doldurma olmayan jetonlara odaklanmasını sağlar.

Kaydedilen metrikler

Eğitim ve değerlendirme sırasında aşağıdaki metrikleri kaydederiz:

  • global_step: Şu ana kadar atılan toplam optimizör adımı sayısı.
  • epoch: Veri seti yinelemesine dayalı olarak geçerli epoch numarası.
  • num_tokens: Şu ana kadar işlenen toplam token sayısı.
  • loss: Güncel kayıt aralığında maskelenmemiş jetonlar üzerinde hesaplanan ortalama çapraz entropi kaybı.
  • entropy: Modelin maskelenmemiş jetonlar üzerindeki tahmini jeton dağılımının ortalama entropisi.
  • aux_loss: Bir Mixture-of-Experts modelinin, router_aux_loss_coef ile ölçeklenip kayba eklenmeden önceki yük dengeleme yardımcı kaybı. Sadece model bir MoE modeli olduğunda ve router_aux_loss_coef sıfır olmadığında kaydedilir.
  • mean_token_accuracy: Modelin en iyi 1 tahmininin doğru token ile eşleştiği, maskelenmemiş tokenların oranı.
  • learning_rate: Bir zamanlayıcı kullanılıyorsa dinamik olarak değişebilen mevcut öğrenme oranı.
  • grad_norm: Gradyan kesme işleminden önce hesaplanan gradyanların L2 normu.

Özelleştirme

Model başlatma

from_pretrained() yönteminin kwargs'larını doğrudan SFTConfig'e iletebilirsiniz. Örneğin, bir modeli farklı bir hassasiyette yüklemek istiyorsanız, buna benzer şekilde

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", dtype=torch.bfloat16)

Bunu, SFTConfig nesnesine model_init_kwargs={"dtype": torch.bfloat16} argümanını geçirerek yapabilirsiniz.

from trl import SFTConfig

training_args = SFTConfig(
    model_init_kwargs={"dtype": torch.bfloat16},
)

from_pretrained() işlevinin tüm anahtar kelime argümanlarının desteklendiğini unutmayın.

Paketleme

SFTTrainer, eğitim verimliliğini artırmak için birden fazla örneğin aynı giriş dizisine sıkıştırıldığı örnek paketleme özelliğini destekler. Paketlemeyi etkinleştirmek için SFTConfig yapıcısına packing=True parametresini iletmeniz yeterlidir.

training_args = SFTConfig(packing=True)

Paketleme hakkında daha fazla ayrıntı için Paketleme bölümüne bakın.

Yalnızca asistan mesajlarında eğit

Yalnızca asistan mesajlarında eğitim yapmak için conversational bir veri seti kullanın ve SFTConfig içinde assistant_only_loss=True ayarlayın. Bu ayar, kaybın kullanıcı veya sistem mesajları yoksayılarak yalnızca asistan yanıtlarında hesaplanmasını sağlar.

training_args = SFTConfig(assistant_only_loss=True)

train_on_assistant

Bu işlev, sohbet şablonunun {% generation %} ve {% endgeneration %} anahtar kelimelerini içermesini gerektirir. Bilinen model aileleri (ör. Qwen3) için TRL, assistant_only_loss=True olduğunda şablonu otomatik olarak yamalar. Paketlenen eğitim şablonlarının tam listesi için Chat Templates bölümüne bakın. Diğer modeller için sohbet şablonunuzun bu anahtar kelimeleri içerdiğinden emin olun. Örnek olarak HuggingFaceTB/SmolLM3-3B modeline bakabilirsiniz.

Bir görüntü veri seti ile yalnızca asistan kaybı, transformers>=5.18.0 sürümünü ve konuşma tabanlı bir dil modelleme veri setini gerektirir.

Sadece tamamlanma üzerine eğit

Sadece tamamlama üzerinde eğitim yapmak için prompt-completion veri seti kullanın. Varsayılan olarak, trainer yalnızca tamamlama jetonları üzerinde kaybı hesaplar ve prompt jetonlarını yok sayar. Tüm dizgi üzerinde eğitim yapmak istiyorsanız, SFTConfig içinde completion_only_loss=False olarak ayarlayın.

from trl import SFTConfig, SFTTrainer
from datasets import load_dataset

# Load a prompt-completion dataset; loss is computed on the completion only by default
dataset = load_dataset("trl-lib/kto-mix-14k", split="train")

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    args=SFTConfig(completion_only_loss=True),  # True by default for prompt-completion datasets
    train_dataset=dataset,
)
trainer.train()

train_on_completion

Sadece tamamlama üzerinde eğitim, yalnızca asistan mesajları üzerinde eğitimle uyumludur. Bu durumda, konuşmacı istek-tamamlama veri seti kullanın ve SFTConfig içinde assistant_only_loss=True olarak ayarlayın.

PEFT ile adaptörler eğitin

🤗 PEFT kütüphanesiyle sıkı entegrasyon destekliyoruz; bu sayede kullanıcılar, tüm modeli eğitmek yerine adaptörleri kolayca eğitebilir ve Hub üzerinde paylaşabilir.

from datasets import load_dataset
from trl import SFTTrainer
from peft import LoraConfig

dataset = load_dataset("trl-lib/Capybara", split="train")

trainer = SFTTrainer(
    "Qwen/Qwen3-0.6B",
    train_dataset=dataset,
    peft_config=LoraConfig(),
)

trainer.train()

PeftModel eğitiminizi devam ettirebilirsiniz. Bunun için, önce SFTTrainer dışında bir PeftModel yükleyin ve peft_config argümanını geçirmeden doğrudan trainer'a iletin.

from datasets import load_dataset
from trl import SFTTrainer
from peft import AutoPeftModelForCausalLM

model = AutoPeftModelForCausalLM.from_pretrained("trl-lib/Qwen3-4B-LoRA", is_trainable=True)
dataset = load_dataset("trl-lib/Capybara", split="train")

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
)

trainer.train()

Adaptörler eğitilirken, yalnızca yeni parametrelerin öğrenildiği için genellikle daha yüksek bir öğrenme oranı (≈1e‑4) kullanılır.

SFTConfig(learning_rate=1e-4, ...)

SFT için Hızlı Deney

RapidFire AI, TRL üzerine oturan ve tek bir GPU üzerinde bile birden fazla SFT yapılandırmasını aynı anda başlatmanızı sağlayan açık kaynak bir deney motorudur. Yapılandırmaları sırayla denemek yerine RapidFire, yeniden başlatmadan tüm öğrenme eğrilerini daha erken görmenize, düşük performans gösteren çalıştırmaları durdurmanıza ve umut verici olanları uçuş sırasında yeni ayarlarla klonlamanıza olanak tanır. Daha fazla bilgi için RapidFire AI Entegrasyonu bölümüne bakın.

Unsloth ile Eğitim

Unsloth, LLM'leri (Llama, Mistral, Gemma, DeepSeek ve diğerleri) %70'e varan VRAM tasarrufu ile 2 katına kadar daha hızlı eğiten, eğitim, değerlendirme ve dağıtım için akıcı, Hugging Face ile uyumlu bir iş akışı sunan açık kaynaklı bir ince ayar ve pekiştirmeli öğrenme çerçevesidir. Daha fazla bilgi için Unsloth Entegrasyonu sayfasına bakın.

Talimat ayarlama örneği

Yönerge ayarlama, temel bir dil modeline kullanıcı talimatlarını takip etmeyi ve sohbetlere katılmayı öğretir. Bunun için şunlar gerekir:

  1. Sohbet şablonu: Rol işaretçilerini (kullanıcı/asistan), özel jetonları ve tur sınırlarını içeren konuşmaların metin dizilerine nasıl yapılandırılacağını tanımlar. Sohbet şablonları hakkında daha fazla bilgi için Sohbet şablonları bölümüne göz atın.
  2. Sohbet veri seti: Talimat-yanıt çiftlerini içerir

Bu örnek, Capybara veri setini ve HuggingFaceTB/SmolLM3-3B'den bir sohbet şablonu kullanarak Qwen 3 0.6B Base modelini talimat takibi yapan bir modele dönüştürmeyi gösterir. SFT Trainer, tokenizer güncellemelerini ve özel token yapılandırmasını otomatik olarak yönetir.

from trl import SFTConfig, SFTTrainer
from datasets import load_dataset

trainer = SFTTrainer(
    model="Qwen/Qwen3-0.6B-Base",
    args=SFTConfig(
        output_dir="Qwen3-0.6B-Instruct",
        chat_template_path="HuggingFaceTB/SmolLM3-3B",
    ),
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

Qwen gibi bazı temel modellerin, modelin tokenizer'ında önceden tanımlanmış bir sohbet şablonu vardır. Bu durumlarda, tokenizer zaten biçimlendirmeyi ele aldığı için clone_chat_template() uygulamak gerekmez. Ancak, modelin yanıtlarının doğru şekilde sonlanmasını sağlamak için EOS token'ını sohbet şablonuyla hizalamak gereklidir. Bu durumlarda, SFTConfig içinde eos_token parametresini belirtin; örneğin, Qwen/Qwen2.5-1.5B için eos_token="<|im_end|>" olarak ayarlanmalıdır.

Eğitildikten sonra, modeliniz artık yeni sohbet şablonunu kullanarak talimatları takip edebilir ve sohbetlere katılabilir.

>>> from transformers import pipeline
>>> pipe = pipeline("text-generation", model="Qwen3-0.6B-Instruct/checkpoint-5000")
>>> prompt = "<|im_start|>user\nWhat is the capital of France? Answer in one word.<|im_end|>\n<|im_start|>assistant\n"
>>> response = pipe(prompt)
>>> response[0]["generated_text"]
'<|im_start|>user\nWhat is the capital of France? Answer in one word.<|im_end|>\n<|im_start|>assistant\nThe capital of France is Paris.'

Alternatif olarak, yapılandırılmış sohbet biçimini kullanın (önerilen):

>>> prompt = [{"role": "user", "content": "What is the capital of France? Answer in one word."}]
>>> response = pipe(prompt)
>>> response[0]["generated_text"]
[{'role': 'user', 'content': 'What is the capital of France? Answer in one word.'}, {'role': 'assistant', 'content': 'The capital of France is Paris.'}]

SFT ile Araç Çağrısı

SFTTrainer, tool calling yeteneklerine sahip modellerin ince ayarını tamamen destekler. Bu durumda, veri setindeki her örnek şunları içermelidir:

  • Araç çağrıları (tool_calls) ve araç yanıtları (tool rolü mesajları) dahil olmak üzere sohbet mesajları
  • tools sütunundaki kullanılabilir araçların listesi, genellikle JSON şemaları olarak sağlanır

Beklenen veri seti yapısına ilişkin ayrıntılar için Veri Seti Biçimi — Araç Çağrısı bölümüne bakın.

Görsel Dil Modellerinin Eğitimi

SFTTrainer, Görüntü-Dil Modelleri (VLM) eğitimini tam olarak destekler. Bir VLM eğitmek için, veri setinde her örnek için tek bir görüntü içeren bir image sütunu veya her örnek için bir görüntü listesi içeren bir images sütunu bulunmalıdır. Beklenen veri seti yapısı hakkında daha fazla bilgi için Veri Seti Biçimi — Görüntü Veri Seti bölümüne bakın. Bu tür bir veri setinin bir örneği LLaVA Instruct Mix'tir.

from trl import SFTConfig, SFTTrainer
from datasets import load_dataset

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-VL-3B-Instruct",
    args=SFTConfig(max_length=None),
    train_dataset=load_dataset("trl-lib/llava-instruct-mix", split="train"),
)
trainer.train()

VLM'ler için kırpma işlemi, eğitim sırasında hatalara yol açabilecek şekilde görüntü belirteçlerini (token) kaldırabilir. Bunu önlemek için SFTConfig içinde max_length=None değerini ayarlayın. Bu, modelin görüntü belirteçlerini kırpma işlemi olmadan tam dizi uzunluğunu işlemesine olanak tanır.

SFTConfig(max_length=None, ...)

Tüm veri setinde kırpmanın görüntü belirteçlerini kaldırmayacağını doğruladığınızda yalnızca max_length kullanın.

SFTTrainer

sınıf trl.SFTTrainer

< >

( model: str | PreTrainedModel | PeftModelargs: trl.trainer.sft_config.SFTConfig | transformers.training_args.TrainingArguments | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | datasets.dataset_dict.DatasetDict | datasets.dataset_dict.IterableDatasetDict | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecompute_loss_func: collections.abc.Callable | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)optimizer_cls_and_kwargs: tuple[type[torch.optim.Optimizer], dict[str, typing.Any]] | None = Nonepreprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonequantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = Noneformatting_func: collections.abc.Callable[[dict], str] | None = None )

Parametreler

  • model (str veya PreTrainedModel veya PeftModel) — Eğitilecek model. Şunlardan biri olabilir:
    • Bir dize, huggingface.co üzerindeki bir model deposunda barındırılan ön eğitilmiş bir modelin model kimliği veya save_pretrained kullanılarak kaydedilmiş model ağırlıklarını içeren bir dizin yolu, örneğin './my_model_directory/'. Model, args.model_init_kwargs içindeki anahtar kelime argümanlarıyla, <ModelArchitecture>.from_pretrained (burada <ModelArchitecture> model yapılandırmasından türetilir) kullanılarak yüklenir. dtype, args.model_init_kwargs içinde belirtilmediyse, varsayılan olarak float32 olur. Bu, from_pretrained'den farklıdır; orada (Transformers v5'ten itibaren) dtype model yapılandırmasından çıkarılır.
    • Bir PreTrainedModel nesnesi. Yalnızca nedensel dil modelleri desteklenir.
    • Bir PeftModel nesnesi. Yalnızca nedensel dil modelleri desteklenir.
  • args (SFTConfig, isteğe bağlı) — Bu eğitimci için yapılandırma. None ise varsayılan yapılandırma kullanılır.
  • data_collator (DataCollator, isteğe bağlı) — İşlenmiş train_dataset veya eval_dataset öğelerinin listesinden bir batch oluşturmak için kullanılacak işlev. Varsayılan olarak DataCollatorForLanguageModeling kullanılır, veri seti görüntüler içeriyorsa DataCollatorForVisionLanguageModeling kullanılır.
  • train_dataset (Dataset veya IterableDataset) — Eğitim için kullanılacak veri seti. Bu trainer hem dil modelleme türünü hem de prompt-tamamlama türünü destekler. Örneklerin biçimi şu şekillerden biri olabilir:
    • Standart: Her örnek düz metin içerir.
    • Sohbet: Her örnek yapılandırılmış mesajlar içerir (ör. rol ve içerik).

    Trainer, zorunlu input_ids sütunu ile tanınan önceden tokenize edilmiş veri setlerini de destekler. İsteğe bağlı labels sütunu (kayıptan hariç tutulan tokenlar için -100) mevcut olduğu gibi kullanılır; aksi halde etiketler, isteğe bağlı assistant_masks / completion_mask sütunlarından (bu sütunlar birleştirildikten sonra atılır, completion_mask yalnızca completion_only_loss=True olduğunda) oluşturulur veya input_ids kopyası olarak varsayılan değer alınır. Diziler, hazırlık sırasında max_length değerine kısaltılır. skip_prepare_dataset=True ile hazırlık atlanır ve collator'ın veri setini olduğu gibi işlemesi beklenir.

    train_dataset bir IterableDataset (ör. bir akış veri seti) olduğunda, uzunluğu çıkarılamadığı ve eğitim döngüsünü sınırlamak ile öğrenme oranı zamanlayıcısını yapılandırmak için toplam eğitim adım sayısının gerekli olması nedeniyle, max_steps eğitim argümanlarında ayarlanmalıdır.

  • eval_dataset (Dataset, IterableDataset, DatasetDict, IterableDatasetDict veya dict[str, Dataset | IterableDataset]) — Değerlendirme için kullanılacak veri seti. train_dataset ile aynı gereksinimleri karşılaması gerekir.
  • processing_class (PreTrainedTokenizerBase, ProcessorMixin, isteğe bağlı) — Verileri işlemek için kullanılan işleme sınıfı. None ise, işleme sınıfı from_pretrained ile modelin adından yüklenir. Bir dolgu belirteci, tokenizer.pad_token, ayarlanmış olmalıdır. İşleme sınıfı bir dolgu belirteci ayarlamadıysa, varsayılan olarak tokenizer.eos_token kullanılır.
  • compute_loss_func (Callable, isteğe bağlı) — Model çıktılarını, etiketleri ve birikmiş tüm batch'teki öğe sayısını (batch_size * gradient_accumulation_steps) kabul edip kaybı döndüren bir fonksiyon. Bu özellik kullanımdan kaldırılmıştır ve v2.0.0 sürümünde kaldırılacaktır: bunun yerine SFTTrainer sınıfından türetip compute_loss metodunu geçersiz kılın.
  • compute_metrics (Callable[[EvalPrediction], dict], isteğe bağlı) — Değerlendirme sırasında metrikleri hesaplamak için kullanılacak işlev. Bir EvalPrediction almalı ve metrik değerlerini içeren bir sözlük döndürmelidir. SFTConfig ile batch_eval_metrics değeri True olarak ayarlandığında, compute_metrics işleviniz bir boole compute_result argümanı almalıdır. Bu, son değerlendirme grubundan sonra tetiklenir ve işlevin grup düzeyindeki istatistikleri biriktirmek yerine küresel özet istatistikleri hesaplayıp döndürmesi gerektiğini sinyal verir. Aldığı logitler, ek bir ileri geçişle yeniden hesaplanır. Bu özellik kullanımdan kaldırılmıştır ve v2.0.0 sürümünde kaldırılacaktır.
  • callbacks (liste TrainerCallback, isteğe bağlı) — Eğitim döngüsünü özelleştirmek için kullanılacak geri çağrılar listesi. Bunlar, burada.

    Varsayılan olarak kullanılan geri çağrılardan birini kaldırmak istiyorsanız, remove_callback metodunu kullanın.

  • optimizers (tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None], isteğe bağlı, varsayılan (None, None)) — Kullanılacak optimizörü ve zamanlayıcıyı içeren bir demet. Modelinizde AdamW örneği ve args tarafından kontrol edilen get_linear_schedule_with_warmup tarafından verilen bir zamanlayıcı olarak varsayılan değerlere sahip olacaktır.
  • optimizer_cls_and_kwargs (tuple[Type[torch.optim.Optimizer], Dict[str, Any]], isteğe bağlı) — Kullanılacak optimizator sınıfını ve anahtar kelime argümanlarını içeren bir tuple. optim ve optim_args içindeki args. ile uyumsuzdur. optimizers argümanı.

    optimizers'un aksine, bu argüman, Trainer'ı başlatmadan önce model parametrelerini doğru cihazlara yerleştirme ihtiyacını ortadan kaldırır.

  • preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor], isteğe bağlı) — Her değerlendirme adımında logit'leri önbelleğe almadan hemen önce işleyen bir işlev. İki girdi (tensor) almalıdır: logit'ler ve etiketler; ardından istenildiği gibi işlenmiş logit'leri döndürmelidir. Bu işlev tarafından yapılan değişiklikler, compute_metrics.

    Etiketlerin (ikinci parametre) veri setinde bulunmaması durumunda None olacağını unutmayın.

  • quantization_config (BitsAndBytesConfig, isteğe bağlı) — Model bir model tanımlayıcısından yüklenirken kullanılan nicelleştirme yapılandırması. QLoRA eğitimi için peft_config ile birleştirin. Model zaten örneklenmişse yok sayılır.
  • peft_config (PeftConfig, isteğe bağlı) — Modeli sarmak için kullanılan PEFT yapılandırması. None ise model sarılmaz.
  • formatting_func (Callable, isteğe bağlı) — Tokenizasyon öncesinde veri setine uygulanan biçimlendirme işlevi. Biçimlendirme işlevinin açıkça uygulanması, veri setini language modeling türüne dönüştürür.

Gözetimli İnce Ayarlama (SFT) yöntemi için Trainer.

Bu sınıf, Trainer sınıfının bir sarmalayıcısıdır ve tüm özelliklerini ve yöntemlerini devralır.

Örnek:

>>> from trl import SFTTrainer
>>> from datasets import load_dataset

>>> dataset = load_dataset("roneneldan/TinyStories", split="train[:1%]")

>>> trainer = SFTTrainer(
...     model="Qwen/Qwen2.5-0.5B-Instruct",
...     train_dataset=dataset,
... )
>>> trainer.train()

eğit

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Parametreler

  • resume_from_checkpoint (str veya bool, isteğe bağlı) — str ise, önceki bir Trainer örneği tarafından kaydedilen bir kontrol noktasının yerel yolu. bool ise ve True değerine eşitse, önceki bir Trainer örneği tarafından args.output_dir içinde kaydedilen son kontrol noktasını yükler. Mevcutsa, eğitim burada yüklenen model/optimizör/zamanlayıcı durumlarından devam eder.
  • trial (optuna.Trial veya dict[str, Any], isteğe bağlı) — Hiperparametre araması için deneme çalışması veya hiperparametre sözlüğü.
  • ignore_keys_for_eval (list[str], isteğe bağlı) — Eğitim sırasında değerlendirme için tahminleri toplarken göz ardı edilmesi gereken, model çıktısındaki (bir sözlükse) anahtarların listesi.

Dönüş değeri

~trainer_utils.TrainOutput

Küresel adım sayısını, eğitim kaybını ve metrikleri içeren nesne.

Ana eğitim giriş noktası.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Modeli kaydeder, böylece from_pretrained() kullanarak yeniden yükleyebilirsiniz.

Yalnızca ana süreçten kaydedecektir.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Parametreler

  • commit_message (str, isteğe bağlı, varsayılan "End of training") — İterlerken gönderilecek mesaj.
  • blocking (bool, isteğe bağlı, varsayılan True) — Fonksiyonun yalnızca git push işlemi tamamlandığında mı değer döndürmesi gerektiğini belirtir.
  • token (str, isteğe bağlı, varsayılan None) — Trainer'ın orijinal argümanlarını üzerine yazma iznine sahip jeton.
  • revision (str, isteğe bağlı) — Commit'in alınacağı git revizyonu. Varsayılan olarak “main” dalının başıdır.
  • private (bool, isteğe bağlı) — Depo oluşturulurken özel yapılıp yapılmayacağı. Varsayılan olarak args.hub_private_repo değerini alır. Depo zaten mevcutsa hiçbir etkisi yoktur.
  • kwargs (dict[str, Any], isteğe bağlı) — ~Trainer.create_model_card ile birlikte iletilen ek anahtar kelime argümanları.

self.model ve self.processing_class öğelerini self.args.hub_model_id deposundaki 🤗 model hub'ına yükleyin.

SFTConfig

sınıf trl.SFTConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 2e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonechat_template_path: str | None = Nonedataset_text_field: str = 'text'dataset_kwargs: dict[str, typing.Any] | str | None = Nonedataset_num_proc: int | None = Noneeos_token: str | None = Nonemax_length: int | None = 1024truncation_mode: str = 'keep_start'shuffle_dataset: bool = Falsepacking: bool = Falsepacking_strategy: str = 'bfd'padding_free: bool = Falsepad_to_multiple_of: int | str | None = 'auto'eval_packing: bool | None = Nonecompletion_only_loss: bool | None = Noneassistant_only_loss: bool = Falseloss_type: str = 'nll'activation_offloading: bool = Falsepad_token: str | None = None )

Modeli kontrol eden parametreler

  • model_init_kwargs (dict[str, Any], isteğe bağlı) — SFTTrainer'ın model argümanı bir dize olarak verildiğinde from_pretrained için kullanılan anahtar kelime argümanları. revision değeri, işleme sınıfı yüklenirken de kullanılır.
  • trust_remote_code (bool, isteğe bağlı, varsayılan False) — Hub'dan özel Python kodu içeren modellerin ve tokenizer'ların yüklenmesine izin verilip verilmeyeceğini belirtir. from_pretrained ve from_pretrained işlevlerine aktarılır.
  • router_aux_loss_coef (float, isteğe bağlı) — Mixture-of-Experts (MoE) modelleri için yük dengeleme yardımcı kaybının katsayısı, eğitim kaybına bu ağırlıkla eklenir. Ayarlanmadığında, model yapılandırmasında beyan edilen değer kullanılır. Devre dışı bırakmak için 0.0 olarak ayarlayın. MoE olmayan bir modelle kullanıldığında hata verir.
  • chat_template_path (str, isteğe bağlı) — Belirtilirse, modelin sohbet şablonunu ayarlar. Bu, bir tokenizer'ın yolu (yerel dizin veya Hugging Face Hub modeli) ya da bir Jinja şablon dosyasına doğrudan yol olabilir. Jinja dosyası kullanırken, şablonda referans verilen özel token'ların tokenizer'a eklendiğinden ve modelin embedding katmanının buna göre yeniden boyutlandırıldığından emin olmalısınız.

Veri ön işleme sürecini kontrol eden parametreler

  • dataset_text_field (str, isteğe bağlı, varsayılan "text") — Veri setinde metin verisi içeren sütunun adı.
  • dataset_kwargs (dict[str, Any], isteğe bağlı) — Veri seti hazırlığı için isteğe bağlı anahtar-argümanların sözlüğü. Desteklenen tek anahtar skip_prepare_dataset'tir. Veri seti görseller içeriyorsa, ön işleme anlık olarak yapıldığı için skip_prepare_dataset, sağlanan değerden bağımsız olarak otomatik olarak True olarak ele alınır.
  • dataset_num_proc (int, isteğe bağlı) — Veri setini işlemek için kullanılacak süreç sayısı.
  • eos_token (str, isteğe bağlı) — Bir turun veya dizinin sonunu belirtmek için kullanılan token. None ise, varsayılan olarak processing_class.eos_token kullanılır.
  • max_length (int veya None, isteğe bağlı, varsayılan 1024) — Tokenize edilmiş dizinin maksimum uzunluğu. max_length değerinden uzun olan diziler, truncation_mode parametresine bağlı olarak soldan veya sağdan kırpılır. None değeri verilirse kırpma uygulanmaz. Paketleme (packing) etkinleştirildiğinde bu değer, dizi uzunluğunu belirler.
  • truncation_mode (str, isteğe bağlı, varsayılan "keep_start") — Dizi max_length değerini aştığında kullanılacak kesme modu. Desteklenen tek değer "keep_start"'tır. "keep_end" değeri kullanımdan kaldırılmıştır ve v2.0.0 sürümünde kaldırılacaktır.
  • shuffle_dataset (bool, isteğe bağlı, varsayılan False) — Veri setinin karıştırılıp karıştırılmayacağı.
  • packing (bool, isteğe bağlı, varsayılan False) — Hesaplama verimliliğini artırmak ve dolgu (padding) miktarını azaltmak için birden fazla diziyi sabit uzunlukta bloklara gruplayıp gruplamayacağını belirtir. Dizi uzunluğunu tanımlamak için max_length kullanılır.
  • packing_strategy (str, isteğe bağlı, varsayılan "bfd") — Dizileri paketleme stratejisi. "bfd" (en iyi uyum azalan, taşmayı keser), "bfd_split" (en iyi uyum azalan, taşan dizileri böler) veya "wrapped" (agresif, dizinin ortasından keser) olabilir.
  • padding_free (bool, isteğe bağlı, varsayılan False) — Batch içindeki tüm dizileri tek bir sürekli diziye dönüştürerek padding olmadan ileri geçişleri (forward pass) gerçekleştirip gerçekleştirilmeyeceğini belirtir. Bu, padding kaynaklı gereksiz bellek kullanımını ortadan kaldırarak bellek tüketimini azaltır. Şu anda bu özellik, düzleştirilmiş batch yapısını verimli bir şekilde işleyebildiği için yalnızca FlashAttention 2 veya 3 ile desteklenmektedir. Packing, "bfd" stratejisiyle etkinleştirildiğinde, bu parametrenin değerinden bağımsız olarak padding-free modu etkinleştirilir.
  • pad_to_multiple_of (int veya str, isteğe bağlı, varsayılan "auto") — Belirlenirse, diziler bu değerin katına kadar doldurulur. "auto", Neuron (AWS Trainium) üzerinde 128'in katına kadar doldurur; bu platform her giriş şekli için bir kez derleme yapar ve başka yerlerde doldurma uygulanmaz.
  • eval_packing (bool, isteğe bağlı) — Değerlendirme veri setinin paketlenip paketlenmeyeceğini belirtir. None ise packing ile aynı değeri kullanır.

Eğitimi kontrol eden parametreler

  • completion_only_loss (bool, isteğe bağlı) — Kaybın yalnızca dizinin tamamlama kısmında hesaplanıp hesaplanmayacağı. True olarak ayarlanırsa, kayıp yalnızca tamamlama üzerinde hesaplanır ve bu yalnızca prompt-completion veri kümeleri için desteklenir. False ise, kayıp tüm dizi üzerinde hesaplanır. None (varsayılan) ise davranış veri kümesine bağlıdır: kayıp, prompt-completion veri kümeleri için tamamlama üzerinde, language modeling veri kümeleri için ise tam dizi üzerinde hesaplanır.
  • assistant_only_loss (bool, isteğe bağlı, varsayılan False) — Kaybın yalnızca dizinin asistan kısmında hesaplanıp hesaplanmayacağı. True olarak ayarlanırsa, kayıp yalnızca asistan yanıtlarında hesaplanır ve bu yalnızca sohbet veri kümeleri için desteklenir. False ise kayıp tüm dizide hesaplanır.
  • loss_type (str, isteğe bağlı, varsayılan olarak "nll") — Kullanılacak kayıp türü. Olası değerler şunlardır:
    • "nll": standart negatif log-olasılık.
    • "dft": bu makalede anlatıldığı üzere Dinamik İnce Ayar (Dynamic Fine-Tuning).
    • "chunked_nll": "nll"'in, kaybı aynı şekilde hesaplayan terk edilmiş bir takma adıdır. v2.0.0 sürümünde kaldırılacaktır.
  • activation_offloading (bool, isteğe bağlı, varsayılan False) — Aktivasyonların CPU'ya taşınıp taşınmayacağı.

Kullanımdan kaldırılan parametreler

  • pad_token —

    pad_token parametresi kullanımdan kaldırılmıştır ve v2.0.0 sürümünde kaldırılacaktır. Bunun yerine tokenizer.pad_token değerini doğrudan ayarlayın ve trainer'a processing_class olarak iletin.

SFTTrainer için yapılandırma sınıfı.

Bu sınıf yalnızca SFT eğitimine özgü parametreleri içerir. Eğitim argümanlarının tam listesi için lütfen TrainingArguments belgelerine başvurun. Bu sınıftaki varsayılan değerlerin TrainingArguments içindeki değerlerden farklı olabileceğini unutmayın.

HfArgumentParser kullanarak bu sınıfı, komut satırında belirtilebilen argparse argümanlarına dönüştürebiliriz.

Bu parametrenin TrainingArguments'ten farklı varsayılan değerleri vardır:

  • logging_steps: Varsayılan olarak 500 yerine 10 değerine ayarlanır.
  • gradient_checkpointing: Varsayılan olarak False yerine True değerini alır.
  • bf16: fp16 ayarlanmadıysa varsayılan olarak True, False yerine.
  • learning_rate: Varsayılan olarak 5e-5 yerine 2e-5 olarak ayarlanır.
Update on GitHub