TRL documentation
CPO Trainer
CPO Trainer
개요
Haoran Xu, Amr Sharaf, Yunmo Chen, Weiting Tan, Lingfeng Shen, Benjamin Van Durme, Kenton Murray, Young Jin Kim의 논문 Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation에서 소개된 Contrastive Preference Optimization(CPO)입니다. CPO는 Machine Translation(MT) 작업에서 적절하지만 완벽하지 않은 번역을 생성하지 않도록 모델을 학습시킵니다. CPO는 DPO 손실의 일반적인 근사치로, 챗과 같은 다른 도메인에도 적용할 수 있습니다.
CPO는 SFT의 두 가지 근본적인 한계를 완화하는 것을 목표로 합니다. 첫째, SFT의 예측 출력과 골드 스탠다드 참조 간의 차이를 최소화하는 방법론은 모델 성능을 학습 데이터의 품질 수준으로 제한합니다. 둘째, SFT에는 모델이 번역의 오류를 거부하는 것을 방지하는 메커니즘이 없습니다. CPO 목적 함수는 DPO 목적 함수에서 유도됩니다.
빠른 시작
이 예제는 CPO 방법을 사용하여 모델을 학습하는 방법을 보여줍니다. 기본 모델로 Qwen 0.5B 모델을 사용합니다. 선호 데이터로는 UltraFeedback 데이터셋을 사용합니다. 데이터셋에서 데이터를 확인할 수 있습니다:
아래는 모델을 학습하는 스크립트입니다:
# train_cpo.py
from datasets import load_dataset
from trl.experimental.cpo import CPOConfig, CPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
training_args = CPOConfig(output_dir="Qwen2-0.5B-CPO")
trainer = CPOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()다음 명령을 사용하여 스크립트를 실행합니다:
torchrun --nproc_per_node 8 train_cpo.py
기대되는 데이터셋 유형
CPO에는 선호 데이터셋이 필요합니다. experimental.cpo.CPOTrainer는 대화형 및 표준 데이터셋 형식을 모두 지원합니다. 대화형 데이터셋이 제공되면 트레이너는 데이터셋에 채팅 템플릿을 자동으로 적용합니다.
기록된 지표
학습 및 평가 중에 다음 메트릭을 기록합니다:
rewards/chosen: beta로 스케일링된 선택된 응답에 대한 정책 모델의 평균 로그 확률rewards/rejected: 거부된 응답에 대한 정책 모델의 평균 로그 확률을 beta로 스케일링한 값rewards/accuracies: 선택된 reward가 해당 거부된 reward보다 >인 빈도의 평균rewards/margins: 선택된 보상과 그에 해당하는 거부된 보상의 평균 차이nll_loss: 선택된 응답에 대한 정책 모델의 평균 음의 로그 우도 손실
CPO 변형
간단한 선호 최적화(SimPO)
Simple Preference Optimization(SimPO)은 Yu Meng, Mengzhou Xia, Danqi Chen가 제안한 알고리즘으로, 참조 모델 없이 DPO보다 더 단순하고 효과적인 선호 최적화 알고리즘을 제시합니다. SimPO의 핵심 설계는 (1) 길이 정규화 로그 우도를 암시적 보상(reward)으로 사용하는 것, (2) Bradley-Terry 랭킹 목적 함수에 목표 보상 마진을 포함하는 것입니다. 공식 코드는 princeton-nlp/SimPO에서 확인할 수 있습니다.
해당 논문의 초록은 다음과 같습니다:
Direct Preference Optimization (DPO)은 인간 피드백 기반 강화 학습(RLHF)에서 보상 함수를 재매개변수화하여 단순성과 학습 안정성을 높이는 데 널리 사용되는 오프라인 선호 최적화 알고리즘입니다. 본 연구에서는 더 단순하면서도 효과적인 방법인 SimPO를 제안합니다. SimPO의 효과성은 시퀀스의 평균 로그 확률을 암시적 보상으로 사용하는 핵심 설계에서 비롯됩니다. 이러한 보상 구성은 모델 생성과 더 잘 정렬되며, 참조 모델이 필요하지 않아 계산 및 메모리 효율성이 더 높습니다. 또한, Bradley-Terry 목적 함수에 목표 보상 마진을 도입하여 승리 응답과 패배 응답 사이의 마진이 더 커지도록 장려함으로써 알고리즘의 성능을 한층 더 향상시켰습니다. Mistral과 Llama3와 같은 베이스 모델 및 지시 튜닝 모델을 포함한 다양한 최첨단 학습 설정에서 SimPO를 DPO 및 그 최신 변형과 비교했습니다. AlpacaEval 2, MT-Bench, 그리고 최근의 도전적인 Arena-Hard 벤치마크를 포함한 광범위한 지시 따르기 벤치마크에서 평가했습니다. 우리의 결과는 응답 길이를 크게 증가시키지 않으면서도 SimPO가 기존 접근법을 일관되고 유의미하게 능가함을 보여줍니다. 구체적으로, SimPO는 AlpacaEval 2에서 DPO보다 최대 6.4점, Arena-Hard에서 최대 7.5점 더 높은 점수를 기록했습니다. Llama3-8B-Instruct 기반으로 구축된 우리의 최고 성능 모델은 AlpacaEval 2에서 44.7의 길이 제어 승률을 달성하여 리더보드에서 Claude 3 Opus를 추월했으며, Arena-Hard에서 33.8의 승률을 기록하여 가장 강력한 8B 오픈소스 모델이 되었습니다.
SimPO 손실은 보상 마진을 추가하고, 길이 정규화를 허용하며, BC 정규화를 사용하지 않는 대안 손실이기 때문에 experimental.cpo.CPOTrainer에 통합되어 있습니다. 이 손실을 사용하려면 experimental.cpo.CPOConfig에서 loss_type="simpo"와 cpo_alpha=0.0를 활성화하고, simpo_gamma를 권장 값으로 설정하면 됩니다.
CPO-SimPO
CPO와 SimPO를 함께 사용하는 방법도 제공합니다. 이를 통해 보다 안정적인 학습과 향상된 성능을 얻을 수 있습니다. 자세한 내용은 CPO-SimPO GitHub에서 확인하세요. 이 방법을 사용하려면 experimental.cpo.CPOConfig에서 loss_type="simpo"를 설정하고 cpo_alpha를 0이 아닌 값으로 지정하여 SimPO를 활성화하면 됩니다.
AlphaPO
Aman Gupta, Shao Tang, Qingquan Song, Sirou Zhu, Jiwoo Hong, Ankan Saha, Viral Gupta, Noah Lee, Eunki Kim, Jason Zhu, Natesh Pillai, S. Sathiya Keerthi가 제안한 AlphaPO — Reward shape matters for LLM alignment(AlphaPO) 방법도 experimental.cpo.CPOTrainer에 구현되어 있습니다. AlphaPO는 SimPO 손실의 맥락에서 보상 함수의 형태에 변환을 적용하는 대안적 방법입니다. 해당 논문의 초록은 다음과 같습니다.
인간 피드백을 활용한 강화 학습(Reinforcement Learning with Human Feedback, RLHF) 및 그 변형들은 대규모 언어 모델(LLM)이 지시를 따르고 인간의 가치를 반영하도록 효과적으로 정렬하는 데 큰 진전을 이루었습니다. 최근에는 학습 중인 정책(policy)의 함수로 보상을 직접 특성화하여 RLHF의 보상 모델링 단계를 생략하는 직접 정렬 알고리즘(Direct Alignment Algorithms, DAA)이 등장했습니다. DAA의 인기 있는 예시로는 직접 선호 최적화(Direct Preference Optimization, DPO)와 단순 선호 최적화(Simple Preference Optimization, SimPO)가 있습니다. 이러한 방법들은 선호되는 응답의 확률이 원치 않게 감소하는 현상인 가능성 치우침(likelihood displacement)으로 인해 종종 고통을 겪습니다. 본 논문에서는 DAA의 경우 보상(함수)의 형태가 중요하다고 주장합니다. 우리는 표준 로그 보상을 넘어선 보상 함수의 형태를 변경하는 데 도움을 주는 α-파라미터를 활용하는 새로운 DAA 방법인 AlphaPO를 소개합니다. AlphaPO는 가능성 치우침과 과도 최적화(overoptimization)에 대한 세밀한 제어를 유지하는 데 도움이 됩니다. 가장 높은 성능을 보이는 DAA 중 하나인 SimPO와 비교할 때, AlphaPO는 Mistral-7B와 Llama3-8B의 instruct 버전에서 정렬 성능이 약 7%에서 10% 상대적으로 향상되는 결과를 보여주며, 동일한 모델에서 DPO 대비 15%에서 50%의 상대적 성능 향상을 달성합니다. 제시된 분석과 결과는 보상 형태의 중요성, 학습 동역학에 영향을 미치기 위해 이를 체계적으로 변경하는 방법, 그리고 정렬 성능을 향상시키는 방법을 강조합니다.
이 손실을 논문에서 설명한 대로 사용하려면 experimental.cpo.CPOConfig에서 alpha와 simpo_gamma를 권장 값으로 설정하고, loss_type="alphapo"를 설정할 수 있습니다. 이렇게 하면 loss_type="simpo"와 cpo_alpha=0.0가 자동으로 설정됩니다. 또는 loss_type="simpo", cpo_alpha=0.0를 수동으로 설정하고 alpha와 simpo_gamma를 권장 값으로 설정할 수도 있습니다. 이 방법의 다른 변형도 가능하며, 예를 들어 loss_type="ipo"를 설정하고 alpha를 0이 아닌 값으로 설정하는 방식이 있습니다.
손실 함수
CPO 알고리즘은 여러 손실 함수를 지원합니다. 손실 함수는 experimental.cpo.CPOConfig의 loss_type 매개변수를 사용하여 설정할 수 있습니다. 다음 손실 함수가 지원됩니다:
loss_type= | 설명 |
|---|---|
"sigmoid" (기본값) | 선호 데이터가 주어지면 Bradley-Terry 모델에 따라 이진 분류기를 적합할 수 있으며, 실제로 DPO 저자들은 정규화된 가능도를 logsigmoid를 통해 시그모이드 손실로 적합하여 로지스틱 회귀를 수행하는 것을 제안합니다. |
"hinge" | RSO의 저자들은 SLiC 논문에서 제시한 정규화 가능도(normalized likelihood)에 대해 hinge loss를 사용하는 것을 제안합니다. 이 경우 beta는 마진(margin)의 역수입니다. |
"ipo" | IPO의 저자들은 DPO 알고리즘에 대한 더 깊은 이론적 이해를 제공하고, 과적합 문제와 이에 대한 대안 손실을 제안합니다. 이 경우 beta는 선택된 완료와 거부된 완료 쌍의 로그 우도비의 간격의 역수이며, 따라서 beta가 작을수록 이 간격은 커집니다. 논문에 따르면, 손실은 완료의 로그 우도에 대해 평균화됩니다(DPO는 단순히 합산만 수행하는 것과 다름). |
"simpo" | SimPO 방법은 experimental.cpo.CPOTrainer에도 구현되어 있습니다. SimPO는 보상 마진을 추가하고, 길이 정규화를 허용하며, BC 정규화를 사용하지 않는 대안 손실 함수입니다. 이 손실을 사용하려면 experimental.cpo.CPOConfig에서 loss_type="simpo"와 cpo_alpha=0.0를 설정하고, simpo_gamma를 권장 값으로 설정하면 됩니다. |
"alphapo" | AlphaPO 방법은 experimental.cpo.CPOTrainer에도 구현되어 있습니다. 이는 loss_type="simpo"와 cpo_alpha=0.0를 자동으로 설정하는 문법적 설탕(syntactic sugar)입니다. alpha 매개변수가 0이 아닌 경우, AlphaPO는 SimPO 손실 컨텍스트에서 보상 함수의 형태에 변환을 적용합니다. |
Mixture of Experts 모델의 경우: 보조 손실 활성화
MOE는 부하가 전문가들 사이에 거의 균등하게 분배될 때 가장 효율적입니다.
선호도 튜닝 과정에서 MOE를 유사하게 학습시키기 위해, 로드 밸런서의 보조 손실을 최종 손실에 추가하는 것이 유익합니다.
이 옵션은 모델 설정에서 output_router_logits=True로 설정하여 활성화됩니다(예: MixtralConfig).
보조 손실이 전체 손실에 기여하는 정도를 조절하려면 모델 설정에서 하이퍼파라미터 router_aux_loss_coef=...(기본값: 0.001)를 사용하세요.
CPOTrainer
클래스 trl.experimental.cpo.CPOTrainer
< source >( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneargs: trl.experimental.cpo.cpo_config.CPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonemodel_init: collections.abc.Callable[[], transformers.modeling_utils.PreTrainedModel] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalLoopOutput], dict] | None = None )
매개변수
- model (PreTrainedModel) — 학습할 모델로, AutoModelForSequenceClassification인 것이 좋습니다.
- args (experimental.cpo.CPOConfig) — 학습에 사용할 CPO 설정 인자입니다.
- data_collator (
DataCollator) — 학습에 사용할 데이터 콜레이터입니다. None이 지정된 경우, 기본 데이터 콜레이터(experimental.utils.DPODataCollatorWithPadding)가 사용되며, 이는 페어된 시퀀스로 구성된 데이터셋에서 배치 내 시퀀스의 최대 길이에 맞게 시퀀스를 패딩합니다. - train_dataset (Dataset) — 학습에 사용할 데이터셋.
- eval_dataset (Dataset) — 평가에 사용할 데이터셋.
- processing_class (PreTrainedTokenizerBase, BaseImageProcessor, FeatureExtractionMixin 또는 ProcessorMixin, 선택 사항) — 데이터를 처리하는 데 사용되는 처리 클래스입니다. 제공된 경우, 모델의 입력을 자동으로 처리하는 데 사용되며, 중단된 학습을 재실행하거나 미세 조정된 모델을 재사용하기 쉽게 하도록 모델과 함께 저장됩니다.
- model_init (
Callable[[], transformers.PreTrainedModel]) — 학습에 사용할 모델 초기화 함수입니다. None이 지정된 경우 기본 모델 초기화 함수가 사용됩니다. - callbacks (
list[transformers.TrainerCallback]) — 학습에 사용할 콜백입니다. - optimizers (
tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — 학습에 사용할 옵티마이저와 스케줄러입니다. - preprocess_logits_for_metrics (
Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — 메트릭을 계산하기 전에 logits를 전처리하는 데 사용할 함수. - peft_config (PeftConfig, 선택 사항) — 학습에 사용할 PEFT 구성입니다. PEFT 구성을 전달하면 모델이 PEFT 모델로 래핑됩니다.
- compute_metrics (
Callable[[EvalPrediction], dict], 선택 사항) — 메트릭을 계산하는 데 사용할 함수입니다.EvalPrediction를 입력으로 받아 문자열에서 메트릭 값으로 매핑된 딕셔너리를 반환해야 합니다.
CPOTrainer를 초기화합니다.
train
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
매개변수
- resume_from_checkpoint (
str또는bool, 선택 사항) —str인 경우, 이전Trainer인스턴스가 저장한 체크포인트의 로컬 경로입니다.bool이고True와 같으면, 이전Trainer인스턴스가 args.output_dir에 저장한 마지막 체크포인트를 로드합니다. 이 값이 지정되어 있으면, 여기서 로드된 모델/옵티마이저/스케줄러 상태로부터 학습이 재개됩니다. - trial (
optuna.Trial또는dict[str, Any], 선택 사항) — 하이퍼파라미터 탐색을 위한 트라이얼 실행 또는 하이퍼파라미터 사전입니다. - ignore_keys_for_eval (
list[str], 선택 사항) — 모델의 출력(사전에 해당하는 경우)에서 학습 중 평가 예측을 수집할 때 무시해야 할 키의 목록입니다.
반환값
~trainer_utils.TrainOutput
전체 스텝 수, 학습 손실, 메트릭을 포함하는 객체.
주요 학습 진입점.
모델을 저장하므로 from_pretrained()를 사용하여 다시 로드할 수 있습니다.
main 프로세스에서만 저장합니다.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
매개변수
- commit_message (
str, 선택 사항, 기본값"End of training") — 푸시할 때 커밋할 메시지입니다. - blocking (
bool, 선택 사항, 기본값True) —git push가 완료된 후에만 함수가 반환되어야 하는지 여부. - token (
str, 선택 사항, 기본값None) — Trainer의 원래 args를 덮어쓸 수 있는 쓰기 권한이 있는 토큰. - revision (
str, 선택 사항) — 커밋할 git revision입니다. 기본값은 “main” 브랜치의 head입니다. - private (
bool, 선택 사항) — 리포지토리가 생성될 때 비공개로 만들지 여부입니다. 기본값은args.hub_private_repo입니다. 리포지토리가 이미 존재하는 경우 효과가 없습니다. - kwargs (
dict[str, Any], 선택) —~Trainer.create_model_card에 함께 전달되는 추가 키워드 인자입니다.
self.args.hub_model_id 저장소에 self.model과 self.processing_class를 🤗 모델 허브에 업로드합니다.
CPOConfig
클래스 trl.experimental.cpo.CPOConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1max_length: int | None = 1024max_completion_length: int | None = Nonebeta: float = 0.1label_smoothing: float = 0.0loss_type: str = 'sigmoid'disable_dropout: bool = Truecpo_alpha: float = 1.0simpo_gamma: float = 0.5alpha: float = 0.0generate_during_eval: bool = Falseis_encoder_decoder: bool | None = Nonemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsedataset_num_proc: int | None = None )
매개변수
- max_length (
int또는None, 선택 사항, 기본값1024) — 배치 내 시퀀스(프롬프트 + 완성)의 최대 길이입니다. 기본 데이터 콜렉터를 사용하려면 이 인자가 필요합니다. - max_completion_length (
int, 선택 사항) — 완성(completion)의 최대 길이입니다. 기본 데이터 콜레이터를 사용하려고 하고 모델이 인코더-디코더인 경우 이 인자는 필수입니다. - beta (
float, 선택 사항, 기본값0.1) — 참조 모델과의 편차를 제어하는 매개변수입니다. β 값이 높을수록 참조 모델로부터의 편차가 작아집니다. IPO 손실(loss_type="ipo")의 경우, β는 논문에서 τ로 표기된 정규화 매개변수입니다. - label_smoothing (
float, 선택 사항, 기본값0.0) — Label smoothing 계수입니다. 기본 data collator를 사용하려면 이 인자가 필요합니다. - loss_type (
str, 선택 사항, 기본값은"sigmoid") — 사용할 손실 함수의 유형입니다. 가능한 값은 다음과 같습니다: - disable_dropout (
bool, 선택 사항, 기본값True) — 모델에서 dropout을 비활성화할지 여부입니다. - cpo_alpha (
float, 선택 사항, 기본값1.0) — CPO 학습에서 BC 정규화자의 가중치. - simpo_gamma (
float, 선택 사항, 기본값0.5) —loss_type="simpo"일 때만 사용되는 SimPO 손실의 목표 보상 마진입니다. - alpha (
float, 선택 사항, 기본값0.0) — 모든 손실 유형에 걸쳐 보상 함수의 형태를 제어하는 Alpha 매개변수입니다. alpha=0(기본값)인 경우 표준 로그 확률 보상을 사용합니다.alpha != 0인 경우 AlphaPO 논문의r = (1 - p^(-alpha)) / alpha에 따라 AlphaPO 변환을 적용합니다. 이 매개변수는 모든 손실 유형과 함께 작동합니다. - generate_during_eval (
bool, 선택 사항, 기본값False) —True인 경우, 평가 중에 모델에서 생성된 completions을 W&B 또는 Comet에 기록합니다. - is_encoder_decoder (
bool, 선택 사항) —model인수가 아닌model_init인수(callable)를 사용하여 모델을 인스턴스화하는 경우, callable이 반환하는 모델이 encoder-decoder 모델인지 여부를 지정해야 합니다. - model_init_kwargs (
dict[str, Any], 선택 사항) — 문자열로부터 모델을 인스턴스화할 때AutoModelForCausalLM.from_pretrained에 전달할 키워드 인수입니다.revision값은 처리 클래스를 로드할 때에도 사용됩니다. - trust_remote_code (
bool, 선택, 기본값False) — Hub에서 커스텀 Python 코드를 함께 제공하는 모델을 로드하는 것을 허용할지 여부입니다. from_pretrained로 전달됩니다. - dataset_num_proc (
int, 선택 사항) — 데이터셋 처리에 사용할 프로세스 수.
experimental.cpo.CPOTrainer의 구성 클래스입니다.
이 클래스에는 CPO 학습에 특화된 매개변수만 포함되어 있습니다. 학습 인자의 전체 목록은 TrainingArguments 문서를 참고하세요. 이 클래스의 기본값은 TrainingArguments의 기본값과 다를 수 있습니다.
HfArgumentParser를 사용하면 이 클래스를 커맨드 라인에서 지정할 수 있는 argparse 인수로 변환할 수 있습니다.
이러한 파라미터는 TrainingArguments와 다른 기본값을 가집니다:
logging_steps: 기본값이500대신10입니다.gradient_checkpointing: 기본값이False가 아닌True입니다.bf16:fp16가 설정되지 않은 경우 기본값이False가 아닌True입니다.learning_rate: 기본값이5e-5대신1e-6입니다.