Cari di Hub

Dalam tutorial ini, Anda akan belajar cara mencari model, dataset, dan spaces di Hub menggunakan huggingface_hub.

Bagaimana cara menampilkan daftar repositori?

Perpustakaan huggingface_hub mencakup klien HTTP HfApi untuk berinteraksi dengan Hub. Di antara hal-hal lain, klien ini dapat mendaftar model, dataset, dan spaces yang disimpan di Hub:

>>> from huggingface_hub import HfApi
>>> api = HfApi()
>>> models = api.list_models()

Output dari list_models() adalah iterator untuk model-model yang disimpan di Hub.

Demikian pula, Anda dapat menggunakan list_datasets() untuk mendaftar dataset dan list_spaces() untuk mendaftar Spaces.

Cara memfilter repositori?

Mencantumkan repositori memang bagus, tetapi sekarang Anda mungkin ingin memfilter pencarian Anda. Helper daftar memiliki beberapa atribut seperti:

• filter
• author
• search
• num_parameters
• …

Mari kita lihat contoh untuk mendapatkan semua model di Hub yang melakukan klasifikasi gambar, telah dilatih pada dataset imagenet, dan berjalan dengan PyTorch.

models = hf_api.list_models(filter=["image-classification", "pytorch", "imagenet"])

Anda juga dapat memfilter model berdasarkan jumlah parameter menggunakan sintaks rentang yang sama dengan UI Hub:

models = hf_api.list_models(num_parameters="min:6B,max:128B")

Saat memfilter, Anda juga dapat mengurutkan model dan hanya mengambil hasil teratas. Misalnya, contoh berikut mengambil 5 dataset dengan jumlah unduhan terbanyak di Hub:

>>> list(list_datasets(sort="downloads", limit=5))
[DatasetInfo(
	id='argilla/databricks-dolly-15k-curated-en',
	author='argilla',
	sha='4dcd1dedbe148307a833c931b21ca456a1fc4281',
	last_modified=datetime.datetime(2023, 10, 2, 12, 32, 53, tzinfo=datetime.timezone.utc),
	private=False,
	downloads=8889377,
	(...)

Untuk menjelajahi filter yang tersedia di Hub, kunjungi halaman models dan datasets di browser Anda, cari beberapa parameter, dan lihat nilai-nilai di URL.

Menggunakan CLI

Anda juga dapat membuat daftar dan mencari model, dataset, dan Spaces menggunakan antarmuka baris perintah hf:

# List models
>>> hf models ls --search "llama" --sort downloads --limit 5

# List datasets
>>> hf datasets ls --author Qwen

# List Spaces
>>> hf spaces ls --search "3d"

# Get info about a specific model
>>> hf models info Lightricks/LTX-2

Untuk detail lebih lanjut, lihat panduan CLI.