TRL documentation

DeepSpeed 통합

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DeepSpeed 통합

TRL은 고급 학습 최적화 기법을 구현한 라이브러리인 DeepSpeed를 활용한 학습을 지원합니다. 여기에는 옵티마이저 상태 파티셔닝, 오프로딩, 그라디언트 파티셔닝 등이 포함됩니다.

DeepSpeed는 Zero Redundancy Optimizer (ZeRO)를 통합하여, 높은 효율성을 유지하면서 장치 수에 비례하여 모델 크기를 확장할 수 있습니다.

ZeRO Stages

설치

TRL에서 DeepSpeed를 사용하려면 다음 명령을 사용하여 설치하세요:

pip install deepspeed

DeepSpeed로 학습 스크립트 실행

학습 스크립트에 대한 수정은 필요하지 않습니다. Trainer의 경우와 마찬가지로 학습 인수를 통해 DeepSpeed를 활성화합니다. deepspeed를 DeepSpeed 구성 파일의 경로로 설정하고, torchrun으로 실행하세요.

training_args = SFTConfig(..., deepspeed="<DEEPSPEED_CONFIG_FILE.json>")
torchrun --nproc_per_node 8 train.py

trl CLI의 기반이 되는 스크립트와 같이 TrlParser로 인수를 파싱하는 스크립트는 커맨드 라인에서 이를 가져옵니다:

trl sft ... --deepspeed <DEEPSPEED_CONFIG_FILE.json>

examples/deepspeed_configs 디렉터리에서 바로 사용할 수 있는 DeepSpeed 설정 파일을 제공합니다. 예를 들어, ZeRO Stage 2로 학습을 실행하려면:

trl sft ... --deepspeed examples/deepspeed_configs/zero2.json

이 파일들에서 "auto"로 설정된 값(배치 크기, 그라디언트 축적, 정밀도 등)은 학습 인자에서 채워집니다.

추가 자료

DeepSpeed 통합에 대한 자세한 내용은 🤗 Transformers DeepSpeed 문서를 참고하세요.

Update on GitHub