TRL documentation
콜백
콜백
RichProgressCallback
Rich를 사용하여 학습 또는 평가의 진행 상황을 표시하는 TrainerCallback입니다.
LogCompletionsCallback
클래스 trl.LogCompletionsCallback
< source >( trainer: Trainergeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonefreq: int | None = None )
매개변수
- trainer (
Trainer) — 콜백이 연결될Trainer입니다.Trainer의 평가 데이터셋에는 completions 생성을 위한 프롬프트를 포함하는"prompt"열이 있어야 합니다. - generation_config (GenerationConfig, 선택 사항) — 완성본 생성에 사용할 생성 설정입니다.
- num_prompts (
int, 선택 사항) — 완성을 생성할 프롬프트의 수입니다. 제공되지 않으면 평가 데이터셋의 예시 수를 기본값으로 사용합니다. - freq (
int, 선택 사항) — 완료 결과를 기록할 주기입니다. 제공되지 않으면 trainer의eval_steps값이 기본값으로 사용됩니다.
Weights & Biases 및/또는 Comet에 completions을 기록하는 TrainerCallback입니다.
BEMACallback
클래스 trl.BEMACallback
< source >( update_freq: int = 400ema_power: float = 0.5bias_power: float = 0.2lag: int = 10update_after: int = 0multiplier: float = 1.0min_ema_multiplier: float = 0.0device: str = 'cpu' )
매개변수
- update_freq (
int, 선택 사항, 기본값은400) — X단계마다 BEMA 가중치를 업데이트합니다. 논문에서는 이를 {@html "ϕ"} in the paper. - ema_power (
float, optional, defaults to0.5) — Power for the EMA decay factor. Denoted {@html "κ "} 로 표기합니다. EMA를 비활성화하려면 이 값을0.0. - bias_power (
float, 선택 사항, 기본값은0.2) — BEMA 스케일링 인자의 지수입니다. 논문에서는 {@html "η \\eta η"}로 표기합니다. 값이 크면(예: 8.0) {@html "αt \\alpha_t αt"}이 0으로 감소하여 bias-correction 비활성화를 근사합니다. 0.0이면 모든 단계에서 {@html "αt \\alpha_t αt"}이 1로 고정되어(최대, 감쇠되지 않은 보정) 됩니다. lag (int, 선택 사항, 기본값 10) — weight decay 스케줄의 초기 오프셋으로, 업데이트의 가상 시작 연령 역할을 하여 초기 단계의 매끄러움을 제어합니다. 논문에서는 {@html "ρ \\rho ρ "}η"} in the paper. A large value (e.g.8.0) makes {@html "αt"} decay to0, approximating disabled bias-correction;0.0instead pins {@html "αt"} at1for every step (maximum, undecayed correction). - lag (
int, optional, defaults to10) — Initial offset in the weight decay schedule that controls early-stage smoothness by acting as a virtual starting age for the updates. Denoted as {@html "ρ"} 로 표기합니다. - update_after (
int, 선택 사항, 기본값은0) — BEMA 가중치를 업데이트하기 시작하기 전의 버닝인 시간입니다. 논문에서는 {@html "τ \\tau τ"}로 표기합니다. multiplier (float, 선택 사항, 기본값 1.0) — EMA 감쇠 계수의 초기 값입니다. 논문에서는 {@html "γ \\gamma γ "}로 표기합니다.τ"} in the paper. - multiplier (
float, optional, defaults to1.0) — Initial value for the EMA decay factor. Denoted as {@html "γ"} 입니다. - min_ema_multiplier (
float, 선택 사항, 기본값0.0) — EMA 감쇠 계수의 최소값. - device (
str, 선택 사항, 기본값"cpu") — BEMA 버퍼에 사용할 장치입니다. 예를 들어"cpu"또는"cuda"입니다. 대부분의 경우 OOM을 방지하기 위해 이 장치는 학습에 사용되는 장치와 다르게 설정해야 합니다.
Adam Block와 Cyril Zhang의 BEMA(Bias-Corrected Exponential Moving Average)를 구현한 TrainerCallback입니다. https://github.com/abblock/bema의 코드를 MIT 라이선스에 따라 사용합니다.
BEMA는 다음과 같이 스케일링되는 모델 가중치를 계산합니다:
여기서 은 현재 모델 가중치이고, 은 첫 번째 update_after 단계에서의 모델 가중치 스냅샷이며, 은 모델 가중치의 지수 이동 평균이고, 은 단계 수 에 따라 감소하는 스케일링 인자입니다.
EMA는 다음과 같이 계산됩니다:
여기서 은 스텝 수에 따라 감소하는 감쇠 계수이며 다음과 같습니다
WeaveCallback
class trl.WeaveCallback
< source >( trainer: Trainerproject_name: str | None = Nonescorers: dict[str, callable] | None = Nonegeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonedataset_name: str = 'eval_dataset'model_name: str | None = None )
매개변수
- trainer (
Trainer) — 콜백이 연결될Trainer입니다.Trainer의 평가 데이터셋에는 completions 생성을 위한 프롬프트를 포함하는"prompt"열이 있어야 합니다. - project_name (
str, 선택 사항) — 데이터가 기록될 Weave 프로젝트의 이름입니다. 제공되지 않으면 기존 weave 클라이언트를 사용하려고 시도하거나, 활성 wandb 실행의 프로젝트 이름을 대체 값으로 사용합니다. 이 중 어느 것도 사용할 수 없으면 오류가 발생합니다. - scorers (
dict[str, Callable], 선택) — scorer 이름과 scorer 함수를 매핑하는 사전입니다.None인 경우 추적 모드(예측만)로 동작합니다. 값이 제공되면 평가 모드(예측 + 점수 + 요약)로 동작합니다. scorer 함수의 시그니처는 다음과 같아야 합니다:scorer(prompt: str, completion: str) -> float | int - generation_config (GenerationConfig, 선택 사항) — 완성본 생성에 사용할 Generation config입니다.
- num_prompts (
int, 선택 사항) — 완성을 생성할 프롬프트의 수입니다. 제공되지 않으면 평가 데이터셋의 예시 수를 기본값으로 사용합니다. - dataset_name (
str, 선택 사항, 기본값"eval_dataset") — Weave의 데이터셋 메타데이터에 사용할 이름입니다. - model_name (
str, 선택 사항) — Weave에서 모델 메타데이터에 사용할 이름입니다. 제공되지 않으면 모델 구성에서 추출하려고 시도합니다.
W&B Weave에 트레이스와 평가를 기록하는 TrainerCallback입니다. 이 콜백은 https://weave-docs.wandb.ai/guides/evaluation/evaluation_logger/를 사용하여 각 평가 단계에서 트레이스와 평가를 기록합니다.
scorers 파라미터에 기반한 두 가지 모드를 지원합니다:
- Tracing Mode(scorers=None인 경우): 데이터 탐색 및 분석을 위해 예측을 기록합니다
- 평가 모드(scorer가 제공된 경우): 점수 및 요약 지표와 함께 예측을 기록합니다
두 모드 모두 Weave의 EvaluationLogger를 사용하여 구조화되고 일관된 데이터 로깅을 수행합니다.
이 콜백은 학습 단계가 아닌 평가 단계(on_evaluate)에서 데이터를 기록하므로 더 효율적이고 의미적으로 정확합니다. weave가 설치되지 않은 경우를 적절히 처리하여 경고를 기록하고 weave 전용 기능을 건너뜁니다. 또한 새 클라이언트를 초기화하기 전에 기존 weave 클라이언트의 존재를 확인합니다.
사용법:
# Tracing mode (just log predictions)
trainer = DPOTrainer(...)
weave_callback = WeaveTraceCallback(trainer=trainer) # project_name optional
trainer.add_callback(weave_callback)
# Or specify a project name
weave_callback = WeaveTraceCallback(trainer=trainer, project_name="my-llm-training")
trainer.add_callback(weave_callback)
# Evaluation mode (log predictions + scores + summary)
def accuracy_scorer(prompt: str, completion: str) -> float:
# Your scoring logic here (metadata available via eval_attributes)
return score
weave_callback = WeaveTraceCallback(
trainer=trainer,
project_name="my-llm-training", # optional and needed only if weave client is not initialized
scorers={"accuracy": accuracy_scorer},
)
trainer.add_callback(weave_callback)학습이 시작될 때 Weave를 초기화합니다.