TRL documentation
SFT Eğitmeni
SFT Eğitmeni
Genel Bakış
TRL, dil modelleri eğitmek için Denetimli İnce Ayar (SFT) Eğiticisini destekler.
SFTTrainer, DiffusionGemma gibi difüzyon modellerini yerel olarak desteklemez, ancak bunu kolayca genişletilebilir; bkz. block-diffusion SFT örneği.
Bu eğitim sonrası yöntemi Younes Belkada tarafından katkı sağlanmıştır.
Hızlı başlangıç
Bu örnek, TRL'deki SFTTrainer kullanarak bir dil modelinin nasıl eğitileceğini göstermektedir. Capybara dataset üzerinde bir Qwen 3 0.6B modeli eğitiyoruz; bu, akıl yürütme ve genelleştirmeyi ölçmek için kullanılan kompakt ve çeşitli çok turlu bir veri setidir.
from trl import SFTTrainer
from datasets import load_dataset
trainer = SFTTrainer(
model="Qwen/Qwen3-0.6B",
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Beklenen veri seti türü ve biçimi
SFT, hem language modeling hem de prompt-completion veri setlerini destekler. SFTTrainer, hem standart hem de konuşma tabanlı veri seti biçimleriyle uyumludur. Konuşma tabanlı bir veri seti sağlandığında, eğitimci veri setine sohbet şablonunu otomatik olarak uygular.
# Standard language modeling
{"text": "The sky is blue."}
# Conversational language modeling
{"messages": [{"role": "user", "content": "What color is the sky?"},
{"role": "assistant", "content": "It is blue."}]}
# Standard prompt-completion
{"prompt": "The sky is",
"completion": " blue."}
# Conversational prompt-completion
{"prompt": [{"role": "user", "content": "What color is the sky?"}],
"completion": [{"role": "assistant", "content": "It is blue."}]}Veri setiniz bu formatlardan birinde değilse, beklenen formata dönüştürmek için ön işleme uygulayabilirsiniz. FreedomIntelligence/medical-o1-reasoning-SFT veri setiyle ilgili bir örnek aşağıdadır:
from datasets import load_dataset
dataset = load_dataset("FreedomIntelligence/medical-o1-reasoning-SFT", "en")
def preprocess_function(example):
return {
"prompt": [{"role": "user", "content": example["Question"]}],
"completion": [
{"role": "assistant", "content": f"<think>{example['Complex_CoT']}</think>{example['Response']}"}
],
}
dataset = dataset.map(preprocess_function, remove_columns=["Question", "Response", "Complex_CoT"])
print(next(iter(dataset["train"]))){
"prompt": [
{
"content": "Given the symptoms of sudden weakness in the left arm and leg, recent long-distance travel, and the presence of swollen and tender right lower leg, what specific cardiac abnormality is most likely to be found upon further evaluation that could explain these findings?",
"role": "user",
}
],
"completion": [
{
"content": "<think>Okay, let's see what's going on here. We've got sudden weakness [...] clicks into place!</think>The specific cardiac abnormality most likely to be found in [...] the presence of a PFO facilitating a paradoxical embolism.",
"role": "assistant",
}
],
}SFT yönteminin derinlemesine incelenmesi
Gözetimli İnce Ayar (SFT), bir dil modelini hedef veri setine uyarlamak için kullanılan en basit ve en yaygın yöntemdir. Model, girdi ve çıktı dizileri çiftleri kullanılarak tamamen gözetimli bir şekilde eğitilir. Hedef, girdiye koşullu olarak hedef dizinin negatif log-olasılık yoğunluğunu (NLL) en aza indirmektir.
Bu bölüm, SFT'nin pratikte nasıl çalıştığını, ana adımları kapsayacak şekilde açıklar: ön işleme, tokenizasyon ve kayıp hesaplama.
Önişleme ve belirteçleştirme
Eğitim sırasında, veri seti biçimine bağlı olarak her örneğin bir text alanı veya bir (prompt, completion) çifti içermesi beklenir. Beklenen biçimler hakkında daha fazla ayrıntı için Dataset formats bölümüne bakın. SFTTrainer, her girdiyi modelin tokenizer'ı kullanarak işler. Hem prompt hem de completion ayrı ayrı sağlanırsa, bunlar tokenizasyondan önce birleştirilir.
Kaybın hesaplanması

SFT'de kullanılan kayıp token düzeyinde çapraz entropi kaybıdır, şu şekilde tanımlanır:
burada adımındaki hedef token'dır , ve model, önceki token'lara dayanarak bir sonraki token'ı tahmin etmeye yönelik olarak eğitilir. Uygulamada, dolgu token'ları kayıp hesabı sırasında maskeleme ile dışlanır.
On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification adlı makale, ödül sinyalini düzelterek genelleştirmeyi iyileştirmeyi amaçlayan Dynamic Fine-Tuning (DFT) adlı alternatif bir kayıp fonksiyonu önermektedir. Bu yöntem, SFTConfig içinde
loss_type="dft"olarak ayarlanarak etkinleştirilebilir. Daha fazla ayrıntı için Paper Index - Dynamic Fine-Tuning sayfasına bakın.
Etiket kaydırma ve maskeleme
Eğitim sırasında kayıp, tek jeton kaydırma kullanılarak hesaplanır: model, dizideki her jetonu önceki tüm jetonlara dayanarak tahmin etmeye çalışacak şekilde eğitilir. Özellikle, giriş dizisi hedef etiketleri oluşturmak için bir konum sağa kaydırılır.
Doldurma jetonları (varsa), kayıp hesabında ilgili konumlara bir yoksayma indeksi (varsayılan: -100) uygulanarak yok sayılır. Bu, kaybın yalnızca anlamlı, doldurma olmayan jetonlara odaklanmasını sağlar.
Kaydedilen metrikler
Eğitim ve değerlendirme sırasında aşağıdaki metrikleri kaydederiz:
global_step: Şu ana kadar atılan toplam optimizör adımı sayısı.epoch: Veri seti yinelemesine dayalı olarak geçerli epoch numarası.num_tokens: Şu ana kadar işlenen toplam token sayısı.loss: Güncel kayıt aralığında maskelenmemiş jetonlar üzerinde hesaplanan ortalama çapraz entropi kaybı.entropy: Modelin maskelenmemiş jetonlar üzerindeki tahmini jeton dağılımının ortalama entropisi.aux_loss: Bir Mixture-of-Experts modelinin,router_aux_loss_coefile ölçeklenip kayba eklenmeden önceki yük dengeleme yardımcı kaybı. Sadece model bir MoE modeli olduğunda verouter_aux_loss_coefsıfır olmadığında kaydedilir.mean_token_accuracy: Modelin en iyi 1 tahmininin doğru token ile eşleştiği, maskelenmemiş tokenların oranı.learning_rate: Bir zamanlayıcı kullanılıyorsa dinamik olarak değişebilen mevcut öğrenme oranı.grad_norm: Gradyan kesme işleminden önce hesaplanan gradyanların L2 normu.
Özelleştirme
Model başlatma
from_pretrained() yönteminin kwargs'larını doğrudan SFTConfig'e iletebilirsiniz. Örneğin, bir modeli farklı bir hassasiyette yüklemek istiyorsanız, buna benzer şekilde
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", dtype=torch.bfloat16)Bunu, SFTConfig nesnesine model_init_kwargs={"dtype": torch.bfloat16} argümanını geçirerek yapabilirsiniz.
from trl import SFTConfig
training_args = SFTConfig(
model_init_kwargs={"dtype": torch.bfloat16},
)from_pretrained() işlevinin tüm anahtar kelime argümanlarının desteklendiğini unutmayın.
Paketleme
SFTTrainer, eğitim verimliliğini artırmak için birden fazla örneğin aynı giriş dizisine sıkıştırıldığı örnek paketleme özelliğini destekler. Paketlemeyi etkinleştirmek için SFTConfig yapıcısına packing=True parametresini iletmeniz yeterlidir.
training_args = SFTConfig(packing=True)Paketleme hakkında daha fazla ayrıntı için Paketleme bölümüne bakın.
Yalnızca asistan mesajlarında eğit
Yalnızca asistan mesajlarında eğitim yapmak için conversational bir veri seti kullanın ve SFTConfig içinde assistant_only_loss=True ayarlayın. Bu ayar, kaybın kullanıcı veya sistem mesajları yoksayılarak yalnızca asistan yanıtlarında hesaplanmasını sağlar.
training_args = SFTConfig(assistant_only_loss=True)
Bu işlev, sohbet şablonunun
{% generation %}ve{% endgeneration %}anahtar kelimelerini içermesini gerektirir. Bilinen model aileleri (ör. Qwen3) için TRL,assistant_only_loss=Trueolduğunda şablonu otomatik olarak yamalar. Paketlenen eğitim şablonlarının tam listesi için Chat Templates bölümüne bakın. Diğer modeller için sohbet şablonunuzun bu anahtar kelimeleri içerdiğinden emin olun. Örnek olarak HuggingFaceTB/SmolLM3-3B modeline bakabilirsiniz.
Bir görüntü veri seti ile yalnızca asistan kaybı,
transformers>=5.18.0sürümünü ve konuşma tabanlı bir dil modelleme veri setini gerektirir.
Sadece tamamlanma üzerine eğit
Sadece tamamlama üzerinde eğitim yapmak için prompt-completion veri seti kullanın. Varsayılan olarak, trainer yalnızca tamamlama jetonları üzerinde kaybı hesaplar ve prompt jetonlarını yok sayar. Tüm dizgi üzerinde eğitim yapmak istiyorsanız, SFTConfig içinde completion_only_loss=False olarak ayarlayın.
from trl import SFTConfig, SFTTrainer
from datasets import load_dataset
# Load a prompt-completion dataset; loss is computed on the completion only by default
dataset = load_dataset("trl-lib/kto-mix-14k", split="train")
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
args=SFTConfig(completion_only_loss=True), # True by default for prompt-completion datasets
train_dataset=dataset,
)
trainer.train()
Sadece tamamlama üzerinde eğitim, yalnızca asistan mesajları üzerinde eğitimle uyumludur. Bu durumda, konuşmacı istek-tamamlama veri seti kullanın ve SFTConfig içinde
assistant_only_loss=Trueolarak ayarlayın.
PEFT ile adaptörler eğitin
🤗 PEFT kütüphanesiyle sıkı entegrasyon destekliyoruz; bu sayede kullanıcılar, tüm modeli eğitmek yerine adaptörleri kolayca eğitebilir ve Hub üzerinde paylaşabilir.
from datasets import load_dataset
from trl import SFTTrainer
from peft import LoraConfig
dataset = load_dataset("trl-lib/Capybara", split="train")
trainer = SFTTrainer(
"Qwen/Qwen3-0.6B",
train_dataset=dataset,
peft_config=LoraConfig(),
)
trainer.train()PeftModel eğitiminizi devam ettirebilirsiniz. Bunun için, önce SFTTrainer dışında bir PeftModel yükleyin ve peft_config argümanını geçirmeden doğrudan trainer'a iletin.
from datasets import load_dataset
from trl import SFTTrainer
from peft import AutoPeftModelForCausalLM
model = AutoPeftModelForCausalLM.from_pretrained("trl-lib/Qwen3-4B-LoRA", is_trainable=True)
dataset = load_dataset("trl-lib/Capybara", split="train")
trainer = SFTTrainer(
model=model,
train_dataset=dataset,
)
trainer.train()Adaptörler eğitilirken, yalnızca yeni parametrelerin öğrenildiği için genellikle daha yüksek bir öğrenme oranı (≈1e‑4) kullanılır.
SFTConfig(learning_rate=1e-4, ...)
SFT için Hızlı Deney
RapidFire AI, TRL üzerine oturan ve tek bir GPU üzerinde bile birden fazla SFT yapılandırmasını aynı anda başlatmanızı sağlayan açık kaynak bir deney motorudur. Yapılandırmaları sırayla denemek yerine RapidFire, yeniden başlatmadan tüm öğrenme eğrilerini daha erken görmenize, düşük performans gösteren çalıştırmaları durdurmanıza ve umut verici olanları uçuş sırasında yeni ayarlarla klonlamanıza olanak tanır. Daha fazla bilgi için RapidFire AI Entegrasyonu bölümüne bakın.
Unsloth ile Eğitim
Unsloth, LLM'leri (Llama, Mistral, Gemma, DeepSeek ve diğerleri) %70'e varan VRAM tasarrufu ile 2 katına kadar daha hızlı eğiten, eğitim, değerlendirme ve dağıtım için akıcı, Hugging Face ile uyumlu bir iş akışı sunan açık kaynaklı bir ince ayar ve pekiştirmeli öğrenme çerçevesidir. Daha fazla bilgi için Unsloth Entegrasyonu sayfasına bakın.
Talimat ayarlama örneği
Yönerge ayarlama, temel bir dil modeline kullanıcı talimatlarını takip etmeyi ve sohbetlere katılmayı öğretir. Bunun için şunlar gerekir:
- Sohbet şablonu: Rol işaretçilerini (kullanıcı/asistan), özel jetonları ve tur sınırlarını içeren konuşmaların metin dizilerine nasıl yapılandırılacağını tanımlar. Sohbet şablonları hakkında daha fazla bilgi için Sohbet şablonları bölümüne göz atın.
- Sohbet veri seti: Talimat-yanıt çiftlerini içerir
Bu örnek, Capybara veri setini ve HuggingFaceTB/SmolLM3-3B'den bir sohbet şablonu kullanarak Qwen 3 0.6B Base modelini talimat takibi yapan bir modele dönüştürmeyi gösterir. SFT Trainer, tokenizer güncellemelerini ve özel token yapılandırmasını otomatik olarak yönetir.
from trl import SFTConfig, SFTTrainer
from datasets import load_dataset
trainer = SFTTrainer(
model="Qwen/Qwen3-0.6B-Base",
args=SFTConfig(
output_dir="Qwen3-0.6B-Instruct",
chat_template_path="HuggingFaceTB/SmolLM3-3B",
),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Qwen gibi bazı temel modellerin, modelin tokenizer'ında önceden tanımlanmış bir sohbet şablonu vardır. Bu durumlarda, tokenizer zaten biçimlendirmeyi ele aldığı için
clone_chat_template()uygulamak gerekmez. Ancak, modelin yanıtlarının doğru şekilde sonlanmasını sağlamak için EOS token'ını sohbet şablonuyla hizalamak gereklidir. Bu durumlarda, SFTConfig içindeeos_tokenparametresini belirtin; örneğin,Qwen/Qwen2.5-1.5Biçineos_token="<|im_end|>"olarak ayarlanmalıdır.
Eğitildikten sonra, modeliniz artık yeni sohbet şablonunu kullanarak talimatları takip edebilir ve sohbetlere katılabilir.
>>> from transformers import pipeline
>>> pipe = pipeline("text-generation", model="Qwen3-0.6B-Instruct/checkpoint-5000")
>>> prompt = "<|im_start|>user\nWhat is the capital of France? Answer in one word.<|im_end|>\n<|im_start|>assistant\n"
>>> response = pipe(prompt)
>>> response[0]["generated_text"]
'<|im_start|>user\nWhat is the capital of France? Answer in one word.<|im_end|>\n<|im_start|>assistant\nThe capital of France is Paris.'Alternatif olarak, yapılandırılmış sohbet biçimini kullanın (önerilen):
>>> prompt = [{"role": "user", "content": "What is the capital of France? Answer in one word."}]
>>> response = pipe(prompt)
>>> response[0]["generated_text"]
[{'role': 'user', 'content': 'What is the capital of France? Answer in one word.'}, {'role': 'assistant', 'content': 'The capital of France is Paris.'}]SFT ile Araç Çağrısı
SFTTrainer, tool calling yeteneklerine sahip modellerin ince ayarını tamamen destekler. Bu durumda, veri setindeki her örnek şunları içermelidir:
- Araç çağrıları (
tool_calls) ve araç yanıtları (toolrolü mesajları) dahil olmak üzere sohbet mesajları toolssütunundaki kullanılabilir araçların listesi, genellikle JSON şemaları olarak sağlanır
Beklenen veri seti yapısına ilişkin ayrıntılar için Veri Seti Biçimi — Araç Çağrısı bölümüne bakın.
Görsel Dil Modellerinin Eğitimi
SFTTrainer, Görüntü-Dil Modelleri (VLM) eğitimini tam olarak destekler. Bir VLM eğitmek için, veri setinde her örnek için tek bir görüntü içeren bir image sütunu veya her örnek için bir görüntü listesi içeren bir images sütunu bulunmalıdır. Beklenen veri seti yapısı hakkında daha fazla bilgi için Veri Seti Biçimi — Görüntü Veri Seti bölümüne bakın.
Bu tür bir veri setinin bir örneği LLaVA Instruct Mix'tir.
from trl import SFTConfig, SFTTrainer
from datasets import load_dataset
trainer = SFTTrainer(
model="Qwen/Qwen2.5-VL-3B-Instruct",
args=SFTConfig(max_length=None),
train_dataset=load_dataset("trl-lib/llava-instruct-mix", split="train"),
)
trainer.train()VLM'ler için kırpma işlemi, eğitim sırasında hatalara yol açabilecek şekilde görüntü belirteçlerini (token) kaldırabilir. Bunu önlemek için SFTConfig içinde
max_length=Nonedeğerini ayarlayın. Bu, modelin görüntü belirteçlerini kırpma işlemi olmadan tam dizi uzunluğunu işlemesine olanak tanır.SFTConfig(max_length=None, ...)Tüm veri setinde kırpmanın görüntü belirteçlerini kaldırmayacağını doğruladığınızda yalnızca
max_lengthkullanın.
SFTTrainer
sınıf trl.SFTTrainer
< source >( model: str | PreTrainedModel | PeftModelargs: trl.trainer.sft_config.SFTConfig | transformers.training_args.TrainingArguments | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | datasets.dataset_dict.DatasetDict | datasets.dataset_dict.IterableDatasetDict | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecompute_loss_func: collections.abc.Callable | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)optimizer_cls_and_kwargs: tuple[type[torch.optim.Optimizer], dict[str, typing.Any]] | None = Nonepreprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonequantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = Noneformatting_func: collections.abc.Callable[[dict], str] | None = None )
Parametreler
- model (
strveya PreTrainedModel veyaPeftModel) — Eğitilecek model. Şunlardan biri olabilir:- Bir dize, huggingface.co üzerindeki bir model deposunda barındırılan ön eğitilmiş bir modelin model kimliği veya save_pretrained kullanılarak kaydedilmiş model ağırlıklarını içeren bir dizin yolu, örneğin
'./my_model_directory/'. Model,args.model_init_kwargsiçindeki anahtar kelime argümanlarıyla,<ModelArchitecture>.from_pretrained(burada<ModelArchitecture>model yapılandırmasından türetilir) kullanılarak yüklenir.dtype,args.model_init_kwargsiçinde belirtilmediyse, varsayılan olarakfloat32olur. Bu, from_pretrained'den farklıdır; orada (Transformers v5'ten itibaren) dtype model yapılandırmasından çıkarılır. - Bir PreTrainedModel nesnesi. Yalnızca nedensel dil modelleri desteklenir.
- Bir
PeftModelnesnesi. Yalnızca nedensel dil modelleri desteklenir.
- Bir dize, huggingface.co üzerindeki bir model deposunda barındırılan ön eğitilmiş bir modelin model kimliği veya save_pretrained kullanılarak kaydedilmiş model ağırlıklarını içeren bir dizin yolu, örneğin
- args (SFTConfig, isteğe bağlı) —
Bu eğitimci için yapılandırma.
Noneise varsayılan yapılandırma kullanılır. - data_collator (
DataCollator, isteğe bağlı) — İşlenmiştrain_datasetveyaeval_datasetöğelerinin listesinden bir batch oluşturmak için kullanılacak işlev. Varsayılan olarakDataCollatorForLanguageModelingkullanılır, veri seti görüntüler içeriyorsaDataCollatorForVisionLanguageModelingkullanılır. - train_dataset (Dataset veya IterableDataset) —
Eğitim için kullanılacak veri seti. Bu trainer hem dil modelleme türünü hem de
prompt-tamamlama türünü destekler. Örneklerin biçimi şu şekillerden biri olabilir:
- Standart: Her örnek düz metin içerir.
- Sohbet: Her örnek yapılandırılmış mesajlar içerir (ör. rol ve içerik).
Trainer, zorunlu
input_idssütunu ile tanınan önceden tokenize edilmiş veri setlerini de destekler. İsteğe bağlılabelssütunu (kayıptan hariç tutulan tokenlar için-100) mevcut olduğu gibi kullanılır; aksi halde etiketler, isteğe bağlıassistant_masks/completion_masksütunlarından (bu sütunlar birleştirildikten sonra atılır,completion_maskyalnızcacompletion_only_loss=Trueolduğunda) oluşturulur veyainput_idskopyası olarak varsayılan değer alınır. Diziler, hazırlık sırasındamax_lengthdeğerine kısaltılır.skip_prepare_dataset=Trueile hazırlık atlanır ve collator'ın veri setini olduğu gibi işlemesi beklenir.train_datasetbir IterableDataset (ör. bir akış veri seti) olduğunda, uzunluğu çıkarılamadığı ve eğitim döngüsünü sınırlamak ile öğrenme oranı zamanlayıcısını yapılandırmak için toplam eğitim adım sayısının gerekli olması nedeniyle,max_stepseğitim argümanlarında ayarlanmalıdır. - eval_dataset (Dataset, IterableDataset, DatasetDict, IterableDatasetDict veya
dict[str, Dataset | IterableDataset]) — Değerlendirme için kullanılacak veri seti.train_datasetile aynı gereksinimleri karşılaması gerekir. - processing_class (PreTrainedTokenizerBase, ProcessorMixin, isteğe bağlı) —
Verileri işlemek için kullanılan işleme sınıfı.
Noneise, işleme sınıfı from_pretrained ile modelin adından yüklenir. Bir dolgu belirteci,tokenizer.pad_token, ayarlanmış olmalıdır. İşleme sınıfı bir dolgu belirteci ayarlamadıysa, varsayılan olaraktokenizer.eos_tokenkullanılır. - compute_loss_func (
Callable, isteğe bağlı) — Model çıktılarını, etiketleri ve birikmiş tüm batch'teki öğe sayısını (batch_size * gradient_accumulation_steps) kabul edip kaybı döndüren bir fonksiyon. Bu özellik kullanımdan kaldırılmıştır ve v2.0.0 sürümünde kaldırılacaktır: bunun yerine SFTTrainer sınıfından türetipcompute_lossmetodunu geçersiz kılın. - compute_metrics (
Callable[[EvalPrediction], dict], isteğe bağlı) — Değerlendirme sırasında metrikleri hesaplamak için kullanılacak işlev. Bir EvalPrediction almalı ve metrik değerlerini içeren bir sözlük döndürmelidir. SFTConfig ilebatch_eval_metricsdeğeriTrueolarak ayarlandığında,compute_metricsişleviniz bir boolecompute_resultargümanı almalıdır. Bu, son değerlendirme grubundan sonra tetiklenir ve işlevin grup düzeyindeki istatistikleri biriktirmek yerine küresel özet istatistikleri hesaplayıp döndürmesi gerektiğini sinyal verir. Aldığı logitler, ek bir ileri geçişle yeniden hesaplanır. Bu özellik kullanımdan kaldırılmıştır ve v2.0.0 sürümünde kaldırılacaktır. - callbacks (liste TrainerCallback, isteğe bağlı) —
Eğitim döngüsünü özelleştirmek için kullanılacak geri çağrılar listesi. Bunlar, burada.
Varsayılan olarak kullanılan geri çağrılardan birini kaldırmak istiyorsanız, remove_callback metodunu kullanın.
- optimizers (
tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None], isteğe bağlı, varsayılan(None, None)) — Kullanılacak optimizörü ve zamanlayıcıyı içeren bir demet. ModelinizdeAdamWörneği veargstarafından kontrol edilen get_linear_schedule_with_warmup tarafından verilen bir zamanlayıcı olarak varsayılan değerlere sahip olacaktır. - optimizer_cls_and_kwargs (
tuple[Type[torch.optim.Optimizer], Dict[str, Any]], isteğe bağlı) — Kullanılacak optimizator sınıfını ve anahtar kelime argümanlarını içeren bir tuple.optimveoptim_argsiçindekiargs. ile uyumsuzdur.optimizersargümanı.optimizers'un aksine, bu argüman, Trainer'ı başlatmadan önce model parametrelerini doğru cihazlara yerleştirme ihtiyacını ortadan kaldırır. - preprocess_logits_for_metrics (
Callable[[torch.Tensor, torch.Tensor], torch.Tensor], isteğe bağlı) — Her değerlendirme adımında logit'leri önbelleğe almadan hemen önce işleyen bir işlev. İki girdi (tensor) almalıdır: logit'ler ve etiketler; ardından istenildiği gibi işlenmiş logit'leri döndürmelidir. Bu işlev tarafından yapılan değişiklikler,compute_metrics.Etiketlerin (ikinci parametre) veri setinde bulunmaması durumunda
Noneolacağını unutmayın. - quantization_config (BitsAndBytesConfig, isteğe bağlı) —
Model bir model tanımlayıcısından yüklenirken kullanılan nicelleştirme yapılandırması. QLoRA eğitimi için
peft_configile birleştirin. Model zaten örneklenmişse yok sayılır. - peft_config (
PeftConfig, isteğe bağlı) — Modeli sarmak için kullanılan PEFT yapılandırması.Noneise model sarılmaz. - formatting_func (
Callable, isteğe bağlı) — Tokenizasyon öncesinde veri setine uygulanan biçimlendirme işlevi. Biçimlendirme işlevinin açıkça uygulanması, veri setini language modeling türüne dönüştürür.
Gözetimli İnce Ayarlama (SFT) yöntemi için Trainer.
Bu sınıf, Trainer sınıfının bir sarmalayıcısıdır ve tüm özelliklerini ve yöntemlerini devralır.
Örnek:
>>> from trl import SFTTrainer
>>> from datasets import load_dataset
>>> dataset = load_dataset("roneneldan/TinyStories", split="train[:1%]")
>>> trainer = SFTTrainer(
... model="Qwen/Qwen2.5-0.5B-Instruct",
... train_dataset=dataset,
... )
>>> trainer.train()eğit
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Parametreler
- resume_from_checkpoint (
strveyabool, isteğe bağlı) —strise, önceki birTrainerörneği tarafından kaydedilen bir kontrol noktasının yerel yolu.boolise veTruedeğerine eşitse, önceki birTrainerörneği tarafından args.output_dir içinde kaydedilen son kontrol noktasını yükler. Mevcutsa, eğitim burada yüklenen model/optimizör/zamanlayıcı durumlarından devam eder. - trial (
optuna.Trialveyadict[str, Any], isteğe bağlı) — Hiperparametre araması için deneme çalışması veya hiperparametre sözlüğü. - ignore_keys_for_eval (
list[str], isteğe bağlı) — Eğitim sırasında değerlendirme için tahminleri toplarken göz ardı edilmesi gereken, model çıktısındaki (bir sözlükse) anahtarların listesi.
Dönüş değeri
~trainer_utils.TrainOutput
Küresel adım sayısını, eğitim kaybını ve metrikleri içeren nesne.
Ana eğitim giriş noktası.
Modeli kaydeder, böylece from_pretrained() kullanarak yeniden yükleyebilirsiniz.
Yalnızca ana süreçten kaydedecektir.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Parametreler
- commit_message (
str, isteğe bağlı, varsayılan"End of training") — İterlerken gönderilecek mesaj. - blocking (
bool, isteğe bağlı, varsayılanTrue) — Fonksiyonun yalnızcagit pushişlemi tamamlandığında mı değer döndürmesi gerektiğini belirtir. - token (
str, isteğe bağlı, varsayılanNone) — Trainer'ın orijinal argümanlarını üzerine yazma iznine sahip jeton. - revision (
str, isteğe bağlı) — Commit'in alınacağı git revizyonu. Varsayılan olarak “main” dalının başıdır. - private (
bool, isteğe bağlı) — Depo oluşturulurken özel yapılıp yapılmayacağı. Varsayılan olarakargs.hub_private_repodeğerini alır. Depo zaten mevcutsa hiçbir etkisi yoktur. - kwargs (
dict[str, Any], isteğe bağlı) —~Trainer.create_model_cardile birlikte iletilen ek anahtar kelime argümanları.
self.model ve self.processing_class öğelerini self.args.hub_model_id deposundaki 🤗 model hub'ına yükleyin.
SFTConfig
sınıf trl.SFTConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 2e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonechat_template_path: str | None = Nonedataset_text_field: str = 'text'dataset_kwargs: dict[str, typing.Any] | str | None = Nonedataset_num_proc: int | None = Noneeos_token: str | None = Nonemax_length: int | None = 1024truncation_mode: str = 'keep_start'shuffle_dataset: bool = Falsepacking: bool = Falsepacking_strategy: str = 'bfd'padding_free: bool = Falsepad_to_multiple_of: int | str | None = 'auto'eval_packing: bool | None = Nonecompletion_only_loss: bool | None = Noneassistant_only_loss: bool = Falseloss_type: str = 'nll'activation_offloading: bool = Falsepad_token: str | None = None )
Modeli kontrol eden parametreler
- model_init_kwargs (
dict[str, Any], isteğe bağlı) — SFTTrainer'ınmodelargümanı bir dize olarak verildiğinde from_pretrained için kullanılan anahtar kelime argümanları.revisiondeğeri, işleme sınıfı yüklenirken de kullanılır. - trust_remote_code (
bool, isteğe bağlı, varsayılanFalse) — Hub'dan özel Python kodu içeren modellerin ve tokenizer'ların yüklenmesine izin verilip verilmeyeceğini belirtir. from_pretrained ve from_pretrained işlevlerine aktarılır. - router_aux_loss_coef (
float, isteğe bağlı) — Mixture-of-Experts (MoE) modelleri için yük dengeleme yardımcı kaybının katsayısı, eğitim kaybına bu ağırlıkla eklenir. Ayarlanmadığında, model yapılandırmasında beyan edilen değer kullanılır. Devre dışı bırakmak için0.0olarak ayarlayın. MoE olmayan bir modelle kullanıldığında hata verir. - chat_template_path (
str, isteğe bağlı) — Belirtilirse, modelin sohbet şablonunu ayarlar. Bu, bir tokenizer'ın yolu (yerel dizin veya Hugging Face Hub modeli) ya da bir Jinja şablon dosyasına doğrudan yol olabilir. Jinja dosyası kullanırken, şablonda referans verilen özel token'ların tokenizer'a eklendiğinden ve modelin embedding katmanının buna göre yeniden boyutlandırıldığından emin olmalısınız.
Veri ön işleme sürecini kontrol eden parametreler
- dataset_text_field (
str, isteğe bağlı, varsayılan"text") — Veri setinde metin verisi içeren sütunun adı. - dataset_kwargs (
dict[str, Any], isteğe bağlı) — Veri seti hazırlığı için isteğe bağlı anahtar-argümanların sözlüğü. Desteklenen tek anahtarskip_prepare_dataset'tir. Veri seti görseller içeriyorsa, ön işleme anlık olarak yapıldığı içinskip_prepare_dataset, sağlanan değerden bağımsız olarak otomatik olarakTrueolarak ele alınır. - dataset_num_proc (
int, isteğe bağlı) — Veri setini işlemek için kullanılacak süreç sayısı. - eos_token (
str, isteğe bağlı) — Bir turun veya dizinin sonunu belirtmek için kullanılan token.Noneise, varsayılan olarakprocessing_class.eos_tokenkullanılır. - max_length (
intveyaNone, isteğe bağlı, varsayılan1024) — Tokenize edilmiş dizinin maksimum uzunluğu.max_lengthdeğerinden uzun olan diziler,truncation_modeparametresine bağlı olarak soldan veya sağdan kırpılır.Nonedeğeri verilirse kırpma uygulanmaz. Paketleme (packing) etkinleştirildiğinde bu değer, dizi uzunluğunu belirler. - truncation_mode (
str, isteğe bağlı, varsayılan"keep_start") — Dizimax_lengthdeğerini aştığında kullanılacak kesme modu. Desteklenen tek değer"keep_start"'tır."keep_end"değeri kullanımdan kaldırılmıştır ve v2.0.0 sürümünde kaldırılacaktır. - shuffle_dataset (
bool, isteğe bağlı, varsayılanFalse) — Veri setinin karıştırılıp karıştırılmayacağı. - packing (
bool, isteğe bağlı, varsayılanFalse) — Hesaplama verimliliğini artırmak ve dolgu (padding) miktarını azaltmak için birden fazla diziyi sabit uzunlukta bloklara gruplayıp gruplamayacağını belirtir. Dizi uzunluğunu tanımlamak içinmax_lengthkullanılır. - packing_strategy (
str, isteğe bağlı, varsayılan"bfd") — Dizileri paketleme stratejisi."bfd"(en iyi uyum azalan, taşmayı keser),"bfd_split"(en iyi uyum azalan, taşan dizileri böler) veya"wrapped"(agresif, dizinin ortasından keser) olabilir. - padding_free (
bool, isteğe bağlı, varsayılanFalse) — Batch içindeki tüm dizileri tek bir sürekli diziye dönüştürerek padding olmadan ileri geçişleri (forward pass) gerçekleştirip gerçekleştirilmeyeceğini belirtir. Bu, padding kaynaklı gereksiz bellek kullanımını ortadan kaldırarak bellek tüketimini azaltır. Şu anda bu özellik, düzleştirilmiş batch yapısını verimli bir şekilde işleyebildiği için yalnızca FlashAttention 2 veya 3 ile desteklenmektedir. Packing,"bfd"stratejisiyle etkinleştirildiğinde, bu parametrenin değerinden bağımsız olarak padding-free modu etkinleştirilir. - pad_to_multiple_of (
intveyastr, isteğe bağlı, varsayılan"auto") — Belirlenirse, diziler bu değerin katına kadar doldurulur."auto", Neuron (AWS Trainium) üzerinde 128'in katına kadar doldurur; bu platform her giriş şekli için bir kez derleme yapar ve başka yerlerde doldurma uygulanmaz. - eval_packing (
bool, isteğe bağlı) — Değerlendirme veri setinin paketlenip paketlenmeyeceğini belirtir.Noneisepackingile aynı değeri kullanır.
Eğitimi kontrol eden parametreler
- completion_only_loss (
bool, isteğe bağlı) — Kaybın yalnızca dizinin tamamlama kısmında hesaplanıp hesaplanmayacağı.Trueolarak ayarlanırsa, kayıp yalnızca tamamlama üzerinde hesaplanır ve bu yalnızca prompt-completion veri kümeleri için desteklenir.Falseise, kayıp tüm dizi üzerinde hesaplanır.None(varsayılan) ise davranış veri kümesine bağlıdır: kayıp, prompt-completion veri kümeleri için tamamlama üzerinde, language modeling veri kümeleri için ise tam dizi üzerinde hesaplanır. - assistant_only_loss (
bool, isteğe bağlı, varsayılanFalse) — Kaybın yalnızca dizinin asistan kısmında hesaplanıp hesaplanmayacağı.Trueolarak ayarlanırsa, kayıp yalnızca asistan yanıtlarında hesaplanır ve bu yalnızca sohbet veri kümeleri için desteklenir.Falseise kayıp tüm dizide hesaplanır. - loss_type (
str, isteğe bağlı, varsayılan olarak"nll") — Kullanılacak kayıp türü. Olası değerler şunlardır:"nll": standart negatif log-olasılık."dft": bu makalede anlatıldığı üzere Dinamik İnce Ayar (Dynamic Fine-Tuning)."chunked_nll":"nll"'in, kaybı aynı şekilde hesaplayan terk edilmiş bir takma adıdır. v2.0.0 sürümünde kaldırılacaktır.
- activation_offloading (
bool, isteğe bağlı, varsayılanFalse) — Aktivasyonların CPU'ya taşınıp taşınmayacağı.
Kullanımdan kaldırılan parametreler
SFTTrainer için yapılandırma sınıfı.
Bu sınıf yalnızca SFT eğitimine özgü parametreleri içerir. Eğitim argümanlarının tam listesi için lütfen TrainingArguments belgelerine başvurun. Bu sınıftaki varsayılan değerlerin TrainingArguments içindeki değerlerden farklı olabileceğini unutmayın.
HfArgumentParser kullanarak bu sınıfı, komut satırında belirtilebilen argparse argümanlarına dönüştürebiliriz.
Bu parametrenin TrainingArguments'ten farklı varsayılan değerleri vardır:
logging_steps: Varsayılan olarak500yerine10değerine ayarlanır.gradient_checkpointing: Varsayılan olarakFalseyerineTruedeğerini alır.bf16:fp16ayarlanmadıysa varsayılan olarakTrue,Falseyerine.learning_rate: Varsayılan olarak5e-5yerine2e-5olarak ayarlanır.