TRL documentation
DeepSpeed 통합
시작하기
개념 가이드
Trainers
사용 가이드
명령줄 인터페이스(CLI)Jobs를 사용한 학습학습 커스터마이징메모리 사용량 줄이기학습 속도 향상Distributing TrainingAWS Trainium에서 학습AMD GPU에서 학습1M 토큰 이상 학습학습된 모델 사용
통합
예시
API
실험적
DeepSpeed 통합
TRL은 고급 학습 최적화 기법을 구현한 라이브러리인 DeepSpeed를 활용한 학습을 지원합니다. 여기에는 옵티마이저 상태 파티셔닝, 오프로딩, 그라디언트 파티셔닝 등이 포함됩니다.
DeepSpeed는 Zero Redundancy Optimizer (ZeRO)를 통합하여, 높은 효율성을 유지하면서 장치 수에 비례하여 모델 크기를 확장할 수 있습니다.

설치
TRL에서 DeepSpeed를 사용하려면 다음 명령을 사용하여 설치하세요:
pip install deepspeed
DeepSpeed로 학습 스크립트 실행
학습 스크립트에 대한 수정은 필요하지 않습니다. Trainer의 경우와 마찬가지로 학습 인수를 통해 DeepSpeed를 활성화합니다. deepspeed를 DeepSpeed 구성 파일의 경로로 설정하고, torchrun으로 실행하세요.
training_args = SFTConfig(..., deepspeed="<DEEPSPEED_CONFIG_FILE.json>")torchrun --nproc_per_node 8 train.py
trl CLI의 기반이 되는 스크립트와 같이 TrlParser로 인수를 파싱하는 스크립트는 커맨드 라인에서 이를 가져옵니다:
trl sft ... --deepspeed <DEEPSPEED_CONFIG_FILE.json>
examples/deepspeed_configs 디렉터리에서 바로 사용할 수 있는 DeepSpeed 설정 파일을 제공합니다. 예를 들어, ZeRO Stage 2로 학습을 실행하려면:
trl sft ... --deepspeed examples/deepspeed_configs/zero2.json
이 파일들에서 "auto"로 설정된 값(배치 크기, 그라디언트 축적, 정밀도 등)은 학습 인자에서 채워집니다.
추가 자료
DeepSpeed 통합에 대한 자세한 내용은 🤗 Transformers DeepSpeed 문서를 참고하세요.
Update on GitHub