TRL documentation
Utilitas Data
Utilitas Data
is_conversational
trl.is_conversational
< source >( example: dict[str, typing.Any] ) → bool
Periksa apakah contoh berada dalam format percakapan.
maybe_convert_to_chatml
trl.maybe_convert_to_chatml
< source >( example: dict[str, list] ) → dict[str, list]
Konversi dataset percakapan dengan bidang from dan value ke format ChatML.
Fungsi ini memodifikasi data percakapan agar selaras dengan format ChatML dari OpenAI:
- Mengganti kunci
"from"dengan"role"dalam kamus pesan. - Mengganti kunci
"value"dengan"content"dalam kamus pesan. - Mengubah nama
"conversations"menjadi"messages"untuk konsistensi dengan ChatML.
Contoh:
>>> from trl import maybe_convert_to_chatml
>>> example = {
... "conversations": [
... {"from": "user", "value": "What color is the sky?"},
... {"from": "assistant", "value": "It is blue."},
... ]
... }
>>> maybe_convert_to_chatml(example)
{'messages': [{'role': 'user', 'content': 'What color is the sky?'},
{'role': 'assistant', 'content': 'It is blue.'}]}extract_prompt
trl.extract_prompt
< source >( example: dict[str, collections.abc.Sequence] ) → dict[str, list]
Parameter
- example (
dict[str, list]) — Kamus yang merepresentasikan satu entri data dalam dataset preferensi. Harus berisi kunci"chosen"dan"rejected", di mana setiap nilainya berupa percakapan atau standar (str).
Mengembalikan
dict[str, list]
Kamus yang berisi:
"prompt": Prefiks umum terpanjang antara penyelesaian “chosen” dan “rejected”."chosen": Sisa dari penyelesaian “chosen”, dengan prompt dihapus."rejected": Sisa dari penyelesaian “rejected”, dengan prompt dihapus.
Mengekstrak prompt bersama dari contoh data preferensi, di mana prompt tersirat di dalam kedua penyelesaian yang dipilih dan ditolak.
Fungsi ini mengidentifikasi urutan (prefiks) terpanjang dari giliran percakapan yang sama antara penyelesaian “chosen” dan “rejected”, lalu mengekstraknya sebagai prompt. Setelah itu, prompt ini dihapus dari penyelesaian “chosen” dan “rejected” yang bersangkutan.
Contoh:
>>> example = {
... "chosen": [
... {"role": "user", "content": "What color is the sky?"},
... {"role": "assistant", "content": "It is blue."},
... ],
... "rejected": [
... {"role": "user", "content": "What color is the sky?"},
... {"role": "assistant", "content": "It is green."},
... ],
... }
>>> extract_prompt(example)
{'prompt': [{'role': 'user', 'content': 'What color is the sky?'}],
'chosen': [{'role': 'assistant', 'content': 'It is blue.'}],
'rejected': [{'role': 'assistant', 'content': 'It is green.'}]}Atau, dengan metode map dari Dataset:
>>> from trl import extract_prompt
>>> from datasets import Dataset
>>> dataset_dict = {
... "chosen": [
... [
... {"role": "user", "content": "What color is the sky?"},
... {"role": "assistant", "content": "It is blue."},
... ],
... [
... {"role": "user", "content": "Where is the sun?"},
... {"role": "assistant", "content": "In the sky."},
... ],
... ],
... "rejected": [
... [
... {"role": "user", "content": "What color is the sky?"},
... {"role": "assistant", "content": "It is green."},
... ],
... [
... {"role": "user", "content": "Where is the sun?"},
... {"role": "assistant", "content": "In the sea."},
... ],
... ],
... }
>>> dataset = Dataset.from_dict(dataset_dict)
>>> dataset = dataset.map(extract_prompt)
>>> dataset[0]
{'prompt': [{'role': 'user', 'content': 'What color is the sky?'}],
'chosen': [{'role': 'assistant', 'content': 'It is blue.'}],
'rejected': [{'role': 'assistant', 'content': 'It is green.'}]}unpair_preference_dataset
trl.unpair_preference_dataset
< source >( dataset: typing.Union[~DatasetType, ~IterableDatasetType]**map_kwargs )
Parameter
- dataset (Dataset atau DatasetDict atau IterableDataset atau IterableDatasetDict) —
Dataset preferensi untuk di-unpair. Dataset harus memiliki kolom
"chosen","rejected"dan opsional"prompt". - **map_kwargs (
dict, opsional) — Argumen kata kunci tambahan untuk diteruskan ke metode map dari dataset saat memisahkan preferensi.
Membuka pasangan dataset preferensi.
Output berisi "prompt", "completion", dan "label" ditambah kolom tambahan lainnya, yang diduplikasi untuk setiap baris chosen dan rejected.
Contoh:
>>> from datasets import Dataset
>>> dataset_dict = {
... "prompt": ["The sky is", "The sun is"],
... "chosen": [" blue.", "in the sky."],
... "rejected": [" green.", " in the sea."],
... }
>>> dataset = Dataset.from_dict(dataset_dict)
>>> dataset = unpair_preference_dataset(dataset)
>>> dataset
Dataset({
features: ['prompt', 'completion', 'label'],
num_rows: 4
})
>>> dataset[0]
{'prompt': 'The sky is', 'completion': ' blue.', 'label': True}