TRL documentation

콜백

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

콜백

RichProgressCallback

class trl.RichProgressCallback

< >

( )

Rich를 사용하여 학습 또는 평가의 진행 상황을 표시하는 TrainerCallback입니다.

LogCompletionsCallback

클래스 trl.LogCompletionsCallback

< >

( trainer: Trainergeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonefreq: int | None = None )

매개변수

  • trainer (Trainer) — 콜백이 연결될 Trainer입니다. Trainer의 평가 데이터셋에는 completions 생성을 위한 프롬프트를 포함하는 "prompt" 열이 있어야 합니다.
  • generation_config (GenerationConfig, 선택 사항) — 완성본 생성에 사용할 생성 설정입니다.
  • num_prompts (int, 선택 사항) — 완성을 생성할 프롬프트의 수입니다. 제공되지 않으면 평가 데이터셋의 예시 수를 기본값으로 사용합니다.
  • freq (int, 선택 사항) — 완료 결과를 기록할 주기입니다. 제공되지 않으면 trainer의 eval_steps 값이 기본값으로 사용됩니다.

Weights & Biases 및/또는 Comet에 completions을 기록하는 TrainerCallback입니다.

사용법:

>>> trainer = DPOTrainer(...)
>>> completions_callback = LogCompletionsCallback(trainer=trainer)
>>> trainer.add_callback(completions_callback)

BEMACallback

클래스 trl.BEMACallback

< >

( update_freq: int = 400ema_power: float = 0.5bias_power: float = 0.2lag: int = 10update_after: int = 0multiplier: float = 1.0min_ema_multiplier: float = 0.0device: str = 'cpu' )

매개변수

  • update_freq (int, 선택 사항, 기본값은 400) — X단계마다 BEMA 가중치를 업데이트합니다. 논문에서는 이를 {@html "ϕ \\phi ϕ"} in the paper.
  • ema_power (float, optional, defaults to 0.5) — Power for the EMA decay factor. Denoted {@html "κ \\kappa κ "} 로 표기합니다. EMA를 비활성화하려면 이 값을 0.0.
  • bias_power (float, 선택 사항, 기본값은 0.2) — BEMA 스케일링 인자의 지수입니다. 논문에서는 {@html "η \\eta η"}로 표기합니다. 값이 크면(예: 8.0) {@html "αt \\alpha_t αt​"}이 0으로 감소하여 bias-correction 비활성화를 근사합니다. 0.0이면 모든 단계에서 {@html "αt \\alpha_t αt​"}이 1로 고정되어(최대, 감쇠되지 않은 보정) 됩니다. lag (int, 선택 사항, 기본값 10) — weight decay 스케줄의 초기 오프셋으로, 업데이트의 가상 시작 연령 역할을 하여 초기 단계의 매끄러움을 제어합니다. 논문에서는 {@html "ρ \\rho ρ "}η \\eta η"} in the paper. A large value (e.g. 8.0) makes {@html "αt \\alpha_t αt​"} decay to 0, approximating disabled bias-correction; 0.0 instead pins {@html "αt \\alpha_t αt​"} at 1 for every step (maximum, undecayed correction).
  • lag (int, optional, defaults to 10) — Initial offset in the weight decay schedule that controls early-stage smoothness by acting as a virtual starting age for the updates. Denoted as {@html "ρ \\rho ρ"} 로 표기합니다.
  • update_after (int, 선택 사항, 기본값은 0) — BEMA 가중치를 업데이트하기 시작하기 전의 버닝인 시간입니다. 논문에서는 {@html "τ \\tau τ"}로 표기합니다. multiplier (float, 선택 사항, 기본값 1.0) — EMA 감쇠 계수의 초기 값입니다. 논문에서는 {@html "γ \\gamma γ "}로 표기합니다.τ \\tau τ"} in the paper.
  • multiplier (float, optional, defaults to 1.0) — Initial value for the EMA decay factor. Denoted as {@html "γ \\gamma γ"} 입니다.
  • min_ema_multiplier (float, 선택 사항, 기본값 0.0) — EMA 감쇠 계수의 최소값.
  • device (str, 선택 사항, 기본값 "cpu") — BEMA 버퍼에 사용할 장치입니다. 예를 들어 "cpu" 또는 "cuda"입니다. 대부분의 경우 OOM을 방지하기 위해 이 장치는 학습에 사용되는 장치와 다르게 설정해야 합니다.

Adam Block와 Cyril Zhang의 BEMA(Bias-Corrected Exponential Moving Average)를 구현한 TrainerCallback입니다. https://github.com/abblock/bema의 코드를 MIT 라이선스에 따라 사용합니다.

BEMA는 다음과 같이 스케일링되는 모델 가중치를 계산합니다: θt′=αt⋅(θt−θ0)+EMAt \theta_t' = \alpha_t \cdot (\theta_t - \theta_0) + \text{EMA}_t

여기서 θt \theta_t 은 현재 모델 가중치이고, θ0 \theta_0 은 첫 번째 update_after 단계에서의 모델 가중치 스냅샷이며, EMAt \text{EMA}_t 은 모델 가중치의 지수 이동 평균이고,αt \alpha_t 은 단계 수 t t 에 따라 감소하는 스케일링 인자입니다. αt=(ρ+γ⋅t)−η. \alpha_t = (\rho + \gamma \cdot t)^{-\eta}.

EMA는 다음과 같이 계산됩니다: EMAt=(1−βt)⋅EMAt−1+βt⋅θt \text{EMA}_t = (1 - \beta_t) \cdot \text{EMA}_{t-1} + \beta_t \cdot \theta_t

여기서 βt \beta_t 은 스텝 수에 따라 감소하는 감쇠 계수이며 t t 다음과 같습니다 βt=(ρ+γ⋅t)−κ. \beta_t = (\rho + \gamma \cdot t)^{-\kappa}.

예:

>>> from trl import BEMACallback

>>> trainer = Trainer(..., callbacks=[BEMACallback()])

WeaveCallback

class trl.WeaveCallback

< >

( trainer: Trainerproject_name: str | None = Nonescorers: dict[str, callable] | None = Nonegeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonedataset_name: str = 'eval_dataset'model_name: str | None = None )

매개변수

  • trainer (Trainer) — 콜백이 연결될 Trainer입니다. Trainer의 평가 데이터셋에는 completions 생성을 위한 프롬프트를 포함하는 "prompt" 열이 있어야 합니다.
  • project_name (str, 선택 사항) — 데이터가 기록될 Weave 프로젝트의 이름입니다. 제공되지 않으면 기존 weave 클라이언트를 사용하려고 시도하거나, 활성 wandb 실행의 프로젝트 이름을 대체 값으로 사용합니다. 이 중 어느 것도 사용할 수 없으면 오류가 발생합니다.
  • scorers (dict[str, Callable], 선택) — scorer 이름과 scorer 함수를 매핑하는 사전입니다. None인 경우 추적 모드(예측만)로 동작합니다. 값이 제공되면 평가 모드(예측 + 점수 + 요약)로 동작합니다. scorer 함수의 시그니처는 다음과 같아야 합니다: scorer(prompt: str, completion: str) -> float | int
  • generation_config (GenerationConfig, 선택 사항) — 완성본 생성에 사용할 Generation config입니다.
  • num_prompts (int, 선택 사항) — 완성을 생성할 프롬프트의 수입니다. 제공되지 않으면 평가 데이터셋의 예시 수를 기본값으로 사용합니다.
  • dataset_name (str, 선택 사항, 기본값 "eval_dataset") — Weave의 데이터셋 메타데이터에 사용할 이름입니다.
  • model_name (str, 선택 사항) — Weave에서 모델 메타데이터에 사용할 이름입니다. 제공되지 않으면 모델 구성에서 추출하려고 시도합니다.

W&B Weave에 트레이스와 평가를 기록하는 TrainerCallback입니다. 이 콜백은 https://weave-docs.wandb.ai/guides/evaluation/evaluation_logger/를 사용하여 각 평가 단계에서 트레이스와 평가를 기록합니다.

scorers 파라미터에 기반한 두 가지 모드를 지원합니다:

  • Tracing Mode(scorers=None인 경우): 데이터 탐색 및 분석을 위해 예측을 기록합니다
  • 평가 모드(scorer가 제공된 경우): 점수 및 요약 지표와 함께 예측을 기록합니다

두 모드 모두 Weave의 EvaluationLogger를 사용하여 구조화되고 일관된 데이터 로깅을 수행합니다.

이 콜백은 학습 단계가 아닌 평가 단계(on_evaluate)에서 데이터를 기록하므로 더 효율적이고 의미적으로 정확합니다. weave가 설치되지 않은 경우를 적절히 처리하여 경고를 기록하고 weave 전용 기능을 건너뜁니다. 또한 새 클라이언트를 초기화하기 전에 기존 weave 클라이언트의 존재를 확인합니다.

사용법:

# Tracing mode (just log predictions)
trainer = DPOTrainer(...)
weave_callback = WeaveTraceCallback(trainer=trainer)  # project_name optional
trainer.add_callback(weave_callback)

# Or specify a project name
weave_callback = WeaveTraceCallback(trainer=trainer, project_name="my-llm-training")
trainer.add_callback(weave_callback)


# Evaluation mode (log predictions + scores + summary)
def accuracy_scorer(prompt: str, completion: str) -> float:
    # Your scoring logic here (metadata available via eval_attributes)
    return score


weave_callback = WeaveTraceCallback(
    trainer=trainer,
    project_name="my-llm-training",  # optional and needed only if weave client is not initialized
    scorers={"accuracy": accuracy_scorer},
)
trainer.add_callback(weave_callback)

on_train_begin

< >

( argsstatecontrol**kwargs )

학습이 시작될 때 Weave를 초기화합니다.

Update on GitHub