TRL documentation

Utilitas Data

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitas Data

is_conversational

trl.is_conversational

< >

( example: dict[str, typing.Any] ) → bool

Parameter

  • example (dict[str, Any]) — Satu entri data dari dataset. Contoh dapat memiliki kunci yang berbeda tergantung pada jenis dataset.

Mengembalikan

bool

True jika data dalam format percakapan, False jika tidak.

Periksa apakah contoh berada dalam format percakapan.

Contoh:

>>> example = {"prompt": [{"role": "user", "content": "What color is the sky?"}]}
>>> is_conversational(example)
True

>>> example = {"prompt": "The sky is"}
>>> is_conversational(example)
False

maybe_convert_to_chatml

trl.maybe_convert_to_chatml

< >

( example: dict[str, list] ) → dict[str, list]

Parameter

  • example (dict[str, list]) — Satu entri data yang berisi daftar pesan.

Mengembalikan

dict[str, list]

Contoh yang diformat ulang ke gaya ChatML.

Konversi dataset percakapan dengan bidang from dan value ke format ChatML.

Fungsi ini memodifikasi data percakapan agar selaras dengan format ChatML dari OpenAI:

  • Mengganti kunci "from" dengan "role" dalam kamus pesan.
  • Mengganti kunci "value" dengan "content" dalam kamus pesan.
  • Mengubah nama "conversations" menjadi "messages" untuk konsistensi dengan ChatML.

Contoh:

>>> from trl import maybe_convert_to_chatml

>>> example = {
...     "conversations": [
...         {"from": "user", "value": "What color is the sky?"},
...         {"from": "assistant", "value": "It is blue."},
...     ]
... }
>>> maybe_convert_to_chatml(example)
{'messages': [{'role': 'user', 'content': 'What color is the sky?'},
              {'role': 'assistant', 'content': 'It is blue.'}]}

extract_prompt

trl.extract_prompt

< >

( example: dict[str, collections.abc.Sequence] ) → dict[str, list]

Parameter

  • example (dict[str, list]) — Kamus yang merepresentasikan satu entri data dalam dataset preferensi. Harus berisi kunci "chosen" dan "rejected", di mana setiap nilainya berupa percakapan atau standar (str).

Mengembalikan

dict[str, list]

Kamus yang berisi:

  • "prompt": Prefiks umum terpanjang antara penyelesaian “chosen” dan “rejected”.
  • "chosen": Sisa dari penyelesaian “chosen”, dengan prompt dihapus.
  • "rejected": Sisa dari penyelesaian “rejected”, dengan prompt dihapus.

Mengekstrak prompt bersama dari contoh data preferensi, di mana prompt tersirat di dalam kedua penyelesaian yang dipilih dan ditolak.

Fungsi ini mengidentifikasi urutan (prefiks) terpanjang dari giliran percakapan yang sama antara penyelesaian “chosen” dan “rejected”, lalu mengekstraknya sebagai prompt. Setelah itu, prompt ini dihapus dari penyelesaian “chosen” dan “rejected” yang bersangkutan.

Contoh:

>>> example = {
...     "chosen": [
...         {"role": "user", "content": "What color is the sky?"},
...         {"role": "assistant", "content": "It is blue."},
...     ],
...     "rejected": [
...         {"role": "user", "content": "What color is the sky?"},
...         {"role": "assistant", "content": "It is green."},
...     ],
... }
>>> extract_prompt(example)
{'prompt': [{'role': 'user', 'content': 'What color is the sky?'}],
 'chosen': [{'role': 'assistant', 'content': 'It is blue.'}],
 'rejected': [{'role': 'assistant', 'content': 'It is green.'}]}

Atau, dengan metode map dari Dataset:

>>> from trl import extract_prompt
>>> from datasets import Dataset

>>> dataset_dict = {
...     "chosen": [
...         [
...             {"role": "user", "content": "What color is the sky?"},
...             {"role": "assistant", "content": "It is blue."},
...         ],
...         [
...             {"role": "user", "content": "Where is the sun?"},
...             {"role": "assistant", "content": "In the sky."},
...         ],
...     ],
...     "rejected": [
...         [
...             {"role": "user", "content": "What color is the sky?"},
...             {"role": "assistant", "content": "It is green."},
...         ],
...         [
...             {"role": "user", "content": "Where is the sun?"},
...             {"role": "assistant", "content": "In the sea."},
...         ],
...     ],
... }
>>> dataset = Dataset.from_dict(dataset_dict)
>>> dataset = dataset.map(extract_prompt)
>>> dataset[0]
{'prompt': [{'role': 'user', 'content': 'What color is the sky?'}],
 'chosen': [{'role': 'assistant', 'content': 'It is blue.'}],
 'rejected': [{'role': 'assistant', 'content': 'It is green.'}]}

unpair_preference_dataset

trl.unpair_preference_dataset

< >

( dataset: typing.Union[~DatasetType, ~IterableDatasetType]**map_kwargs )

Parameter

  • dataset (Dataset atau DatasetDict atau IterableDataset atau IterableDatasetDict) — Dataset preferensi untuk di-unpair. Dataset harus memiliki kolom "chosen", "rejected" dan opsional "prompt".
  • **map_kwargs (dict, opsional) — Argumen kata kunci tambahan untuk diteruskan ke metode map dari dataset saat memisahkan preferensi.

Membuka pasangan dataset preferensi.

Output berisi "prompt", "completion", dan "label" ditambah kolom tambahan lainnya, yang diduplikasi untuk setiap baris chosen dan rejected.

Contoh:

>>> from datasets import Dataset

>>> dataset_dict = {
...     "prompt": ["The sky is", "The sun is"],
...     "chosen": [" blue.", "in the sky."],
...     "rejected": [" green.", " in the sea."],
... }
>>> dataset = Dataset.from_dict(dataset_dict)
>>> dataset = unpair_preference_dataset(dataset)
>>> dataset
Dataset({
    features: ['prompt', 'completion', 'label'],
    num_rows: 4
})

>>> dataset[0]
{'prompt': 'The sky is', 'completion': ' blue.', 'label': True}
Update on GitHub