Xet 히스토리 및 개요

2024년 8월 Hugging Face는 XetHub를 인수하여 Hub에서 Git LFS를 대체했습니다. XetHub는 시애틀에 기반을 둔 시드 단계 스타트업입니다.

Git LFS와 마찬가지로, Xet 기반 저장소는 S3를 원격 저장소로 사용하며, 저장소 루트에 있는 .gitattributes 파일이 어떤 파일을 원격으로 저장해야 하는지 식별하는 데 도움을 줍니다.

Git LFS 포인터 파일은 원격 저장소에서 실제 파일 내용을 찾을 수 있는 메타데이터를 제공합니다:

• SHA256: 실제 대용량 파일에 대한 고유 식별자를 제공합니다. 이 식별자는 파일 콘텐츠의 SHA-256 해시를 계산하여 생성됩니다.
• 포인터 크기: Git 저장소에 저장된 포인터 파일의 크기입니다.
• 원격 파일 크기: 바이트 단위로 실제 대형 파일의 크기를 나타냅니다. 이 메타데이터는 검증 목적과 저장소 및 전송 작업 관리에 모두 유용합니다.

Xet 포인터는 설계상 이 모든 정보를 포함합니다. Xet 스토리지에서 파일을 참조하기 위해 Xet backed hash 필드가 추가된 Git LFS와의 역방향 호환성 섹션을 참조하세요.

파일 수준에서 중복을 제거하는 Git LFS와 달리, Xet가 활성화된 저장소는 바이트 수준에서 중복을 제거합니다. Xet 스토리지에 기반한 파일이 업데이트되면 변경된 데이터만 원격 스토리지에 업로드되어 네트워크 전송을 크게 절약합니다. 모델 체크포인트의 증분 업데이트나 데이터셋에 새 데이터를 추가/삽입하는 것과 같은 많은 워크플로에서, 이는 사용자와 협업자의 반복 속도를 향상시킵니다. Xet 스토리지의 중복 제거에 대해 자세히 알아보려면 Deduplication을 참조하세요.

Update on GitHub