# XLM

[XLM](https://huggingface.co/papers/1901.07291) thể hiện việc tiền huấn luyện đa ngôn ngữ với hai cách tiếp cận: huấn luyện không giám sát trên một ngôn ngữ duy nhất và huấn luyện có giám sát trên nhiều hơn một ngôn ngữ với mục tiêu mô hình ngôn ngữ đa ngôn ngữ. Mô hình XLM hỗ trợ mục tiêu mô hình hóa ngôn ngữ nhân quả, mô hình hóa ngôn ngữ có mặt nạ, và mô hình hóa ngôn ngữ dịch (một phần mở rộng của mục tiêu mô hình hóa ngôn ngữ có mặt nạ của [BERT](./bert) sang nhiều đầu vào ngôn ngữ).

Bạn có thể tìm thấy tất cả các checkpoint XLM gốc dưới tổ chức [cộng đồng Facebook AI](https://huggingface.co/FacebookAI?search_models=xlm-mlm).

> [!TIP]
> Nhấp vào các mô hình XLM ở thanh bên phải để xem thêm các ví dụ về cách áp dụng XLM cho các tác vụ đa ngôn ngữ khác nhau như phân loại, dịch thuật và trả lời câu hỏi.

Ví dụ dưới đây minh họa cách dự đoán token `<mask>` bằng [Pipeline](/docs/transformers/v5.23.0/vi/main_classes/pipelines#transformers.Pipeline), [AutoModel](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoModel) và từ dòng lệnh.

```python
from transformers import pipeline

pipeline = pipeline(
    task="fill-mask",
    model="facebook/xlm-roberta-xl",
    device=0
)
pipeline("Bonjour, je suis un modèle <mask>.")
```

```python
import torch

from transformers import AutoModelForMaskedLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(
    "FacebookAI/xlm-mlm-en-2048",
)
model = AutoModelForMaskedLM.from_pretrained(
    "FacebookAI/xlm-mlm-en-2048",
    device_map="auto",
)
inputs = tokenizer("Hello, I'm a <mask> model.", return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model(**inputs)
    predictions = outputs.logits.argmax(dim=-1)

predicted_token = tokenizer.decode(predictions[0][inputs["input_ids"][0] == tokenizer.mask_token_id])
print(f"Predicted token: {predicted_token}")
```

## XLMConfig[[transformers.XLMConfig]]

#### transformers.XLMConfig[[transformers.XLMConfig]]

```python
transformers.XLMConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 30145, emb_dim: int = 2048, n_layers: int = 12, n_heads: int = 16, dropout: float | int = 0.1, attention_dropout: float | int = 0.1, gelu_activation: bool = True, sinusoidal_embeddings: bool = False, causal: bool = False, asm: bool = False, n_langs: int = 1, use_lang_emb: bool = True, max_position_embeddings: int = 512, embed_init_std: float = 0.02209708691207961, layer_norm_eps: float = 1e-12, init_std: float = 0.02, unk_index: int = 3, mask_index: int = 5, is_encoder: bool = True, summary_type: str = 'first', summary_use_proj: bool = True, summary_activation: str | None = None, summary_proj_to_labels: bool = True, summary_first_dropout: float | int = 0.1, start_n_top: int = 5, end_n_top: int = 5, mask_token_id: int | None = 0, lang_id: int = 0, pad_token_id: int | None = 2, bos_token_id: int | None = 0, eos_token_id: int | list[int] | None = 1, tie_word_embeddings: bool = True)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/configuration_xlm.py#L24)

**Tham số:**

vocab_size (`int`, *tùy chọn*, mặc định là `30145`) : Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi `input_ids`.

emb_dim (`int`, *tuỳ chọn*, mặc định là `2048`) : Độ chiều của các embedding và trạng thái ẩn.

n_layers (`int`, *tuỳ chọn*, mặc định là `12`) : Số lượng lớp ẩn trong bộ giải mã Transformer.

n_heads (`int`, *tuỳ chọn*, mặc định là `16`) : Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer.

dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.1`) : Tỷ lệ cho tất cả các lớp dropout.

attention_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.1`) : Tỷ lệ dropout cho các xác suất chú ý.

gelu_activation (`bool`, *tuỳ chọn*, mặc định là `True`) : Có sử dụng *gelu* cho các hàm kích hoạt thay vì *relu* hay không.

sinusoidal_embeddings (`bool`, *tùy chọn*, mặc định là `False`) : Có sử dụng nhúng vị trí hình sin thay vì nhúng vị trí tuyệt đối hay không.

causal (`bool`, *tùy chọn*, mặc định là `False`) : Xác định xem mô hình có nên hoạt động theo cách nhân quả hay không. Các mô hình nhân quả sử dụng mặt nạ chú ý hình tam giác để chỉ chú ý đến ngữ cảnh phía bên trái thay vì ngữ cảnh hai chiều.

asm (`bool`, *tùy chọn*, mặc định là `False`) : Có sử dụng lớp dự đoán là lớp chiếu log softmax thích ứng thay vì lớp tuyến tính hay không.

n_langs (`int`, *tuỳ chọn*, mặc định là 1) : Số lượng ngôn ngữ mà mô hình xử lý. Đặt thành 1 cho các mô hình đơn ngữ.

use_lang_emb (`bool`, *tùy chọn*, mặc định là `True`) : Có sử dụng nhúng ngôn ngữ hay không. Một số mô hình sử dụng các nhúng ngôn ngữ bổ sung, xem [trang về các mô hình đa ngôn ngữ](http://huggingface.co/transformers/multilingual.html#xlm-language-embeddings) để biết thông tin về cách sử dụng chúng.

max_position_embeddings (`int`, *tuỳ chọn*, mặc định là `512`) : Độ dài chuỗi tối đa mà mô hình này có thể được sử dụng.

embed_init_std (`float`, *optional*, mặc định là 2048^-0.5) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo các ma trận nhúng.

layer_norm_eps (`float`, *tuỳ chọn*, mặc định là `1e-12`) : Epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization).

init_std (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

unk_index (`int`, *tuỳ chọn*, mặc định là 3) : Chỉ số của token không xác định trong bảng từ vựng.

mask_index (`int`, *tuỳ chọn*, mặc định là 5) : Chỉ số của token che phủ trong bảng từ vựng.

is_encoder (`bool`, *tùy chọn*, mặc định là `True`) : Xác định xem mô hình được khởi tạo có phải là bộ mã hóa (encoder) hay bộ giải mã (decoder) của transformer như được mô tả trong Vaswani et al.

summary_type (`string`, *optional*, mặc định là "first") : Tham số được sử dụng khi thực hiện tóm tắt chuỗi. Được dùng trong các mô hình phân loại chuỗi và lựa chọn nhiều phương án. Phải là một trong các tùy chọn sau: - `"last"`: Lấy trạng thái ẩn của token cuối (giống XLNet). - `"first"`: Lấy trạng thái ẩn của token đầu (giống BERT). - `"mean"`: Lấy trung bình của các trạng thái ẩn của tất cả các token. - `"cls_index"`: Cung cấp một Tensor chứa vị trí của token phân loại (giống GPT/GPT-2). - `"attn"`: Chưa được triển khai, sử dụng chú ý đa đầu (multi-head attention).

summary_use_proj (`bool`, *tùy chọn*, mặc định là `True`) : Tham số được sử dụng khi thực hiện tóm tắt chuỗi. Được dùng trong các mô hình phân loại chuỗi và lựa chọn nhiều phương án. Xác định có thêm một lớp chiếu (projection) sau bước trích xuất vector hay không.

summary_activation (`str`, *tùy chọn*) : Tham số được sử dụng khi thực hiện tóm tắt chuỗi. Được dùng trong các mô hình phân loại chuỗi và lựa chọn nhiều phương án. Truyền `"tanh"` để áp dụng hàm kích hoạt tanh cho đầu ra, mọi giá trị khác sẽ không áp dụng hàm kích hoạt nào.

summary_proj_to_labels (`bool`, *tùy chọn*, mặc định là `True`) : Được sử dụng trong các mô hình phân loại chuỗi và lựa chọn nhiều phương án. Xác định xem đầu ra của phép chiếu có nên có `config.num_labels` hay `config.hidden_size` lớp.

summary_first_dropout (`float`, *optional*, mặc định là 0.1) : Được sử dụng trong các mô hình phân loại chuỗi và lựa chọn nhiều phương án. Tỷ lệ dropout được sử dụng sau phép chiếu và kích hoạt.

start_n_top (`int`, *tùy chọn*, mặc định là 5) : Được sử dụng trong script đánh giá SQuAD.

end_n_top (`int`, *tùy chọn*, mặc định là 5) : Được sử dụng trong script đánh giá SQuAD.

mask_token_id (`int`, *tuỳ chọn*, mặc định là 0) : Tham số không phụ thuộc mô hình để xác định các token bị che khi tạo văn bản trong ngữ cảnh MLM.

lang_id (`int`, *tuỳ chọn*, mặc định là 1) : ID của ngôn ngữ được mô hình sử dụng. Tham số này được dùng khi tạo văn bản bằng một ngôn ngữ cụ thể.

pad_token_id (`int`, *tuỳ chọn*, mặc định là `2`) : Id của token được sử dụng để đệm (padding) trong từ vựng.

bos_token_id (`int`, *tuỳ chọn*, mặc định là `0`) : Id của token được dùng cho đầu luồng (beginning-of-stream) trong từ vựng.

eos_token_id (`Union[int, list[int]]`, *tùy chọn*, mặc định là `1`) : Id của token được sử dụng cho end-of-stream trong bảng từ vựng.

tie_word_embeddings (`bool`, *tùy chọn*, mặc định là `True`) : Có nên gắn kết các nhúng trọng số theo ánh xạ `tied_weights_keys` của mô hình hay không.

Đây là lớp cấu hình để lưu trữ cấu hình của một XLMModel. Nó được sử dụng để khởi tạo một mô hình Xlm theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [FacebookAI/xlm-mlm-en-2048](https://huggingface.co/FacebookAI/xlm-mlm-en-2048)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

Ví dụ:

```python
>>> from transformers import XLMConfig, XLMModel

>>> # Initializing a XLM configuration
>>> configuration = XLMConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = XLMModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## XLMTokenizer[[transformers.XLMTokenizer]]

#### transformers.XLMTokenizer[[transformers.XLMTokenizer]]

```python
transformers.XLMTokenizer(vocab_file, merges_file, unk_token = '<unk>', bos_token = '<s>', sep_token = '</s>', pad_token = '<pad>', cls_token = '</s>', mask_token = '<special1>', additional_special_tokens = ['<special0>', '<special1>', '<special2>', '<special3>', '<special4>', '<special5>', '<special6>', '<special7>', '<special8>', '<special9>'], lang2id = None, id2lang = None, do_lowercase_and_remove_accent = True, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/tokenization_xlm.py#L134)

**Tham số:**

vocab_file (`str`) : Tệp từ vựng.

merges_file (`str`) : Gộp tệp.

unk_token (`str`, *tùy chọn*, mặc định là `"<unk>"`) : Token không xác định. Một token không có trong từ vựng sẽ không thể được chuyển đổi thành ID và sẽ được gán thành token này thay thế.

bos_token (`str`, *tuỳ chọn*, mặc định là `"<s>"`) : Token bắt đầu chuỗi được sử dụng trong quá trình tiền huấn luyện. Có thể được dùng làm token phân loại chuỗi.    Khi xây dựng một chuỗi bằng các token đặc biệt, đây không phải là token được dùng cho phần bắt đầu của chuỗi. Token được dùng là `cls_token`.

sep_token (`str`, *tùy chọn*, mặc định là `"</s>"`) : Token phân cách, được sử dụng khi xây dựng một chuỗi từ nhiều chuỗi, ví dụ như hai chuỗi cho phân loại chuỗi hoặc một văn bản và một câu hỏi cho trả lời câu hỏi. Nó cũng được sử dụng làm token cuối cùng của một chuỗi được xây dựng với các token đặc biệt.

pad_token (`str`, *tùy chọn*, mặc định là `"<pad>"`) : Token được sử dụng để đệm, chẳng hạn khi xử lý các lô (batch) các chuỗi có độ dài khác nhau.

cls_token (`str`, *tùy chọn*, mặc định là `"</s>"`) : Token phân loại được sử dụng khi thực hiện phân loại chuỗi (phân loại toàn bộ chuỗi thay vì phân loại theo từng token). Đây là token đầu tiên của chuỗi khi được xây dựng với các token đặc biệt.

mask_token (`str`, *tùy chọn*, mặc định là `"<special1>"`) : Token được sử dụng để che giá trị. Đây là token được dùng khi huấn luyện mô hình này với mô hình hóa ngôn ngữ có che (masked language modeling). Đây là token mà mô hình sẽ cố gắng dự đoán.

additional_special_tokens (`List[str]`, *tùy chọn*, mặc định là `['<special0>', '<special1>', '<special2>', '<special3>', '<special4>', '<special5>', '<special6>', '<special7>', '<special8>', '<special9>']`) : Danh sách các token đặc biệt bổ sung.

lang2id (`Dict[str, int]`, *tùy chọn*) : Từ điển ánh xạ các định danh chuỗi ngôn ngữ đến ID của chúng.

id2lang (`Dict[int, str]`, *tùy chọn*) : Từ điển ánh xạ các ID ngôn ngữ sang định danh chuỗi tương ứng.

do_lowercase_and_remove_accent (`bool`, *tùy chọn*, mặc định là `True`) : Có nên chuyển chữ thường và bỏ dấu khi phân tách token hay không.

Xây dựng một tokenizer XLM. Dựa trên Byte-Pair Encoding. Quy trình tokenization như sau:

- Tiền xử lý và phân tách token Moses cho hầu hết các ngôn ngữ được hỗ trợ.
- Tokenization theo ngôn ngữ cho tiếng Trung (Jieba), tiếng Nhật (KyTea) và tiếng Thái (PyThaiNLP).
- Tùy chọn chuyển chữ thường và chuẩn hóa tất cả văn bản đầu vào.
- Các đối số `special_tokens` và hàm `set_special_tokens` có thể được sử dụng để thêm các ký hiệu bổ sung (như "__classify__") vào bảng từ vựng.
- Thuộc tính `lang2id` ánh xạ các ngôn ngữ được mô hình hỗ trợ với ID của chúng nếu được cung cấp (được đặt tự động cho các từ điển được huấn luyện trước).
- Thuộc tính `id2lang` thực hiện ánh xạ ngược nếu được cung cấp (được đặt tự động cho các từ vựng được huấn luyện trước).

Tokenizer này kế thừa từ [PreTrainedTokenizer](/docs/transformers/v5.23.0/vi/main_classes/tokenizer#transformers.PythonBackend), lớp chứa hầu hết các phương thức chính. Người dùng nên tham khảo siêu lớp này để biết thêm thông tin về các phương thức đó.

#### build_inputs_with_special_tokens[[transformers.XLMTokenizer.build_inputs_with_special_tokens]]

```python
build_inputs_with_special_tokens(token_ids_0: list[int], token_ids_1: list[int] | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/tokenization_xlm.py#L475)

**Tham số:**

token_ids_0 (`List[int]`) : Danh sách các ID mà các token đặc biệt sẽ được thêm vào.

token_ids_1 (`List[int]`, *tùy chọn*) : Danh sách ID thứ hai tùy chọn cho các cặp chuỗi.

**Trả về:** `List[int]`

Danh sách [input IDs](../glossary#input-ids) với các token đặc biệt phù hợp.

Xây dựng đầu vào mô hình từ một chuỗi hoặc một cặp chuỗi cho các tác vụ phân loại chuỗi bằng cách nối và thêm các token đặc biệt. Một chuỗi XLM có định dạng như sau:

- một chuỗi đơn: `<s> X </s>`
- cặp chuỗi: `<s> A </s> B </s>`

#### get_special_tokens_mask[[transformers.XLMTokenizer.get_special_tokens_mask]]

```python
get_special_tokens_mask(token_ids_0: list[int], token_ids_1: list[int] | None = None, already_has_special_tokens: bool = False)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/tokenization_xlm.py#L502)

**Tham số:**

token_ids_0 (`List[int]`) : Danh sách các ID.

token_ids_1 (`List[int]`, *tùy chọn*) : Danh sách ID thứ hai tùy chọn cho các cặp chuỗi.

already_has_special_tokens (`bool`, *tùy chọn*, mặc định là `False`) : Xác định xem danh sách token đã được định dạng với các token đặc biệt cho mô hình hay chưa.

**Trả về:** `List[int]`

Một danh sách các số nguyên trong khoảng [0, 1]: 1 cho một token đặc biệt, 0 cho một token chuỗi.

Lấy các id của chuỗi từ một danh sách token chưa được thêm token đặc biệt. Phương thức này được gọi khi thêm token đặc biệt bằng cách sử dụng phương thức `prepare_for_model` của tokenizer.

#### create_token_type_ids_from_sequences[[transformers.XLMTokenizer.create_token_type_ids_from_sequences]]

```python
create_token_type_ids_from_sequences(token_ids_0: list[int], token_ids_1: list[int] | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_python.py#L1301)

**Tham số:**

token_ids_0 (`list[int]`) : Danh sách các ID.

token_ids_1 (`list[int]`, *tuỳ chọn*) : Danh sách ID thứ hai tuỳ chọn cho các cặp chuỗi.

**Trả về:** `list[int]`

ID loại token theo mẫu được cấu hình.

Tạo một mask từ hai chuỗi được truyền vào để sử dụng trong một tác vụ phân loại cặp chuỗi.

Phương pháp này xây dựng động các ID loại token dựa trên các thuộc tính cấu hình của tokenizer:
- `token_type_ids_pattern`: Mẫu cần sử dụng ("all_zeros" hoặc "bert_style")
- `token_type_ids_include_special_tokens`: Có tính các token đặc biệt trong tính toán độ dài hay không

Ví dụ:
```python
# All zeros pattern (default, used by RoBERTa, BART, etc.)
tokenizer.token_type_ids_pattern = "all_zeros"
# Returns: [0, 0, 0, ...] for both sequences

# BERT-style pattern (first sequence gets 0s, second gets 1s)
tokenizer.token_type_ids_pattern = "bert_style"
# Returns: [0, 0, 0, ..., 1, 1, 1, ...] for sequence pairs
```

#### save_vocabulary[[transformers.XLMTokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/tokenization_xlm.py#L530)

## Đầu ra cụ thể của XLM[[transformers.models.xlm.modeling_xlm.XLMForQuestionAnsweringOutput]]

#### transformers.models.xlm.modeling_xlm.XLMForQuestionAnsweringOutput[[transformers.models.xlm.modeling_xlm.XLMForQuestionAnsweringOutput]]

```python
transformers.models.xlm.modeling_xlm.XLMForQuestionAnsweringOutput(loss: typing.Optional[torch.Tensor] = None, start_top_log_probs: typing.Optional[torch.Tensor] = None, start_top_index: typing.Optional[torch.LongTensor] = None, end_top_log_probs: typing.Optional[torch.Tensor] = None, end_top_index: typing.Optional[torch.LongTensor] = None, cls_logits: typing.Optional[torch.Tensor] = None, hidden_states: tuple[torch.Tensor, ...] | None = None, attentions: tuple[torch.Tensor, ...] | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L638)

**Tham số:**

loss (`torch.Tensor` có shape `(1,)`, *tùy chọn*, được trả về nếu cả `start_positions` và `end_positions` đều được cung cấp) : Mất phân loại (classification loss) dưới dạng tổng của các mất phân loại cho token bắt đầu, token kết thúc (và is_impossible nếu được cung cấp).

start_top_log_probs (`torch.Tensor` có shape `(batch_size, config.start_n_top)`, *tùy chọn*, được trả về nếu `start_positions` hoặc `end_positions` không được cung cấp) : Xác suất log cho config.start_n_top khả năng token bắt đầu hàng đầu (beam-search).

start_top_index (`torch.LongTensor` có shape `(batch_size, config.start_n_top)`, *tùy chọn*, được trả về nếu `start_positions` hoặc `end_positions` không được cung cấp) : Chỉ số cho config.start_n_top khả năng token bắt đầu hàng đầu (beam-search).

end_top_log_probs (`torch.Tensor` có shape `(batch_size, config.start_n_top * config.end_n_top)`, *tùy chọn*, được trả về nếu `start_positions` hoặc `end_positions` không được cung cấp) : Xác suất log cho `config.start_n_top * config.end_n_top` khả năng token kết thúc hàng đầu (beam-search).

end_top_index (`torch.LongTensor` có hình dạng `(batch_size, config.start_n_top * config.end_n_top)`, *tùy chọn*, được trả về nếu `start_positions` hoặc `end_positions` không được cung cấp) : Chỉ số cho `config.start_n_top * config.end_n_top` khả năng token kết thúc hàng đầu (beam-search).

cls_logits (`torch.Tensor` có shape `(batch_size,)`, *tùy chọn*, được trả về nếu `start_positions` hoặc `end_positions` không được cung cấp) : Xác suất log cho nhãn `is_impossible` của các câu trả lời.

hidden_states (`tuple[torch.Tensor, ...]`, *tùy chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) : Tuple của `torch.Tensor` (một cho đầu ra của embeddings, nếu model có lớp embedding, + một cho đầu ra của mỗi lớp) có shape `(batch_size, sequence_length, hidden_size)`. Hidden-states của model tại đầu ra của mỗi lớp cùng với đầu ra embedding ban đầu tùy chọn.

attentions (`tuple[torch.Tensor, ...]`, *tùy chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) : Tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.  Trọng số chú ý sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).

Lớp cơ sở cho đầu ra của các mô hình trả lời câu hỏi sử dụng `XLMSQuADHead`.

## XLMModel[[transformers.XLMModel]]

#### transformers.XLMModel[[transformers.XLMModel]]

```python
transformers.XLMModel(config: XLMConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L667)

**Tham số:**

config ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Xlm cơ bản, xuất ra các hidden-state thô mà không có bất kỳ head cụ thể nào ở phía trên.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.XLMModel.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, langs: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.Tensor] = None, lengths: typing.Optional[torch.Tensor] = None, cache: dict[str, torch.Tensor] | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L735)

**Tham số:**

input_ids (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết thêm chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

langs (`torch.LongTensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Một chuỗi token song song được sử dụng để chỉ định ngôn ngữ của từng token trong đầu vào. Các chỉ số là id ngôn ngữ, có thể lấy được từ tên ngôn ngữ bằng cách sử dụng hai ánh xạ chuyển đổi được cung cấp trong cấu hình của mô hình (chỉ được cung cấp cho các mô hình đa ngôn ngữ). Cụ thể hơn, ánh xạ *từ tên ngôn ngữ sang id ngôn ngữ* nằm trong `model.config.lang2id` (một từ điển từ chuỗi sang int) và ánh xạ *từ id ngôn ngữ sang tên ngôn ngữ* nằm trong `model.config.id2lang` (từ điển từ int sang chuỗi). Xem các ví dụ sử dụng chi tiết trong [tài liệu đa ngôn ngữ](../multilingual).

token_type_ids (`torch.Tensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số token phân đoạn để chỉ định phần đầu và phần thứ hai của các đầu vào. Các chỉ số được chọn trong `[0, 1]`:  - 0 tương ứng với token *câu A*, - 1 tương ứng với token *câu B*.  [Các ID loại token là gì?](../glossary#token-type-ids)

position_ids (`torch.Tensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của vị trí các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng `[0, config.n_positions - 1]`.  [Position IDs là gì?](../glossary#position-ids)

lengths (`torch.LongTensor` có shape `(batch_size,)`, *tùy chọn*) : Độ dài của từng câu, có thể được sử dụng để tránh thực hiện attention trên các chỉ số token padding. Bạn cũng có thể sử dụng *attention_mask* để đạt được kết quả tương tự (xem bên trên), được giữ lại ở đây để đảm bảo tính tương thích. Các chỉ số được chọn trong `[0, ..., input_ids.size(-1)]`.

cache (`dict[str, torch.Tensor]`, *tùy chọn*) : Instance của `EncoderDecoderCache` chứa các trạng thái KV đã được tính trước. Có thể được sử dụng để tăng tốc giải mã tuần tự.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

output_attentions (`bool`, *tùy chọn*) : Có trả về các tensor chú ý của tất cả các lớp chú ý hay không. Xem `attentions` trong phần tensor trả về để biết thêm chi tiết.

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

**Trả về:** [BaseModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutput) hoặc `tuple(torch.Tensor)`

Một [BaseModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutput) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) và đầu vào.

Phương thức forward của [XLMModel](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMModel) ghi đè phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

## XLMWithLMHeadModel[[transformers.XLMWithLMHeadModel]]

#### transformers.XLMWithLMHeadModel[[transformers.XLMWithLMHeadModel]]

```python
transformers.XLMWithLMHeadModel(config: XLMConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L913)

**Tham số:**

config ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Biến đổi mô hình XLM với một đầu mô hình hóa ngôn ngữ ở trên (lớp tuyến tính với trọng số được liên kết với các nhúng đầu vào).

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.XLMWithLMHeadModel.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, langs: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.Tensor] = None, lengths: typing.Optional[torch.Tensor] = None, cache: dict[str, torch.Tensor] | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L957)

**Tham số:**

input_ids (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết thêm chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

langs (`torch.LongTensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Một chuỗi token song song được sử dụng để chỉ định ngôn ngữ của từng token trong đầu vào. Các chỉ số là id ngôn ngữ, có thể lấy được từ tên ngôn ngữ bằng cách sử dụng hai ánh xạ chuyển đổi được cung cấp trong cấu hình của mô hình (chỉ được cung cấp cho các mô hình đa ngôn ngữ). Cụ thể hơn, ánh xạ *từ tên ngôn ngữ sang id ngôn ngữ* nằm trong `model.config.lang2id` (một từ điển từ chuỗi sang int) và ánh xạ *từ id ngôn ngữ sang tên ngôn ngữ* nằm trong `model.config.id2lang` (từ điển từ int sang chuỗi). Xem các ví dụ sử dụng chi tiết trong [tài liệu đa ngôn ngữ](../multilingual).

token_type_ids (`torch.Tensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số token phân đoạn để chỉ định phần đầu và phần thứ hai của các đầu vào. Các chỉ số được chọn trong `[0, 1]`:  - 0 tương ứng với token *câu A*, - 1 tương ứng với token *câu B*.  [Các ID loại token là gì?](../glossary#token-type-ids)

position_ids (`torch.Tensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của vị trí các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng `[0, config.n_positions - 1]`.  [Position IDs là gì?](../glossary#position-ids)

lengths (`torch.LongTensor` có shape `(batch_size,)`, *tùy chọn*) : Độ dài của từng câu, có thể được sử dụng để tránh thực hiện attention trên các chỉ số token padding. Bạn cũng có thể sử dụng *attention_mask* để đạt được kết quả tương tự (xem bên trên), được giữ lại ở đây để đảm bảo tính tương thích. Các chỉ số được chọn trong `[0, ..., input_ids.size(-1)]`.

cache (`dict[str, torch.Tensor]`, *tùy chọn*) : Instance của `EncoderDecoderCache` chứa các trạng thái KV đã được tính trước. Có thể được sử dụng để tăng tốc giải mã tuần tự.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

labels (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Nhãn cho mô hình hóa ngôn ngữ. Lưu ý rằng các nhãn **được dịch chuyển** bên trong mô hình, tức là bạn có thể đặt `labels = input_ids` Các chỉ số được chọn trong `[-100, 0, ..., config.vocab_size]` Tất cả các nhãn được đặt thành `-100` sẽ bị bỏ qua (che), tổn thất chỉ được tính cho các nhãn trong `[0, ..., config.vocab_size]`

output_attentions (`bool`, *tùy chọn*) : Có trả về các tensor chú ý của tất cả các lớp chú ý hay không. Xem `attentions` trong phần tensor trả về để biết thêm chi tiết.

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

logits_to_keep (`Union[int, torch.Tensor]`, *tùy chọn*, mặc định là `0`) : Nếu là `int`, tính logits cho `logits_to_keep` token cuối. Nếu là `0`, tính logits cho tất cả `input_ids` (trường hợp đặc biệt). Chỉ cần logits của token cuối cho quá trình sinh, và việc chỉ tính cho token đó có thể tiết kiệm bộ nhớ, điều này trở nên khá đáng kể với các chuỗi dài hoặc kích thước từ vựng lớn. Nếu là `torch.Tensor`, phải là 1 chiều tương ứng với các chỉ số cần giữ trong chiều độ dài chuỗi. Điều này hữu ích khi sử dụng định dạng tensor đóng gói (một chiều duy nhất cho batch và độ dài chuỗi).

**Trả về:** [MaskedLMOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.MaskedLMOutput) hoặc `tuple(torch.Tensor)`

Một [MaskedLMOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.MaskedLMOutput) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) và đầu vào.

Phương thức forward của [XLMWithLMHeadModel](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMWithLMHeadModel) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có hình dạng `(1,)`, *tùy chọn*, được trả về khi `labels` được cung cấp) -- Tổn thất mô hình hóa ngôn ngữ có mặt nạ (MLM).
- **logits** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, config.vocab_size)`) -- Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token từ vựng trước SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

```python
>>> import torch
>>> from transformers import AutoTokenizer, XLMWithLMHeadModel

>>> tokenizer = AutoTokenizer.from_pretrained("FacebookAI/xlm-mlm-en-2048")
>>> model = XLMWithLMHeadModel.from_pretrained("FacebookAI/xlm-mlm-en-2048")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
>>> outputs = model(**inputs, labels=inputs["input_ids"])
>>> loss = outputs.loss
>>> logits = outputs.logits
```

## XLMForSequenceClassification[[transformers.XLMForSequenceClassification]]

#### transformers.XLMForSequenceClassification[[transformers.XLMForSequenceClassification]]

```python
transformers.XLMForSequenceClassification(config: XLMConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L1038)

**Tham số:**

config ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình XLM có đầu phân loại/hồi quy chuỗi phía trên (một lớp tuyến tính phía trên đầu ra đã được pool) ví dụ cho các tác vụ GLUE.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.XLMForSequenceClassification.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, langs: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.Tensor] = None, lengths: typing.Optional[torch.Tensor] = None, cache: dict[str, torch.Tensor] | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L1050)

**Tham số:**

input_ids (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết thêm chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

langs (`torch.LongTensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Một chuỗi token song song được sử dụng để chỉ định ngôn ngữ của từng token trong đầu vào. Các chỉ số là id ngôn ngữ, có thể lấy được từ tên ngôn ngữ bằng cách sử dụng hai ánh xạ chuyển đổi được cung cấp trong cấu hình của mô hình (chỉ được cung cấp cho các mô hình đa ngôn ngữ). Cụ thể hơn, ánh xạ *từ tên ngôn ngữ sang id ngôn ngữ* nằm trong `model.config.lang2id` (một từ điển từ chuỗi sang int) và ánh xạ *từ id ngôn ngữ sang tên ngôn ngữ* nằm trong `model.config.id2lang` (từ điển từ int sang chuỗi). Xem các ví dụ sử dụng chi tiết trong [tài liệu đa ngôn ngữ](../multilingual).

token_type_ids (`torch.Tensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số token phân đoạn để chỉ định phần đầu và phần thứ hai của các đầu vào. Các chỉ số được chọn trong `[0, 1]`:  - 0 tương ứng với token *câu A*, - 1 tương ứng với token *câu B*.  [Các ID loại token là gì?](../glossary#token-type-ids)

position_ids (`torch.Tensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của vị trí các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng `[0, config.n_positions - 1]`.  [Position IDs là gì?](../glossary#position-ids)

lengths (`torch.LongTensor` có shape `(batch_size,)`, *tùy chọn*) : Độ dài của từng câu, có thể được sử dụng để tránh thực hiện attention trên các chỉ số token padding. Bạn cũng có thể sử dụng *attention_mask* để đạt được kết quả tương tự (xem bên trên), được giữ lại ở đây để đảm bảo tính tương thích. Các chỉ số được chọn trong `[0, ..., input_ids.size(-1)]`.

cache (`dict[str, torch.Tensor]`, *tùy chọn*) : Instance của `EncoderDecoderCache` chứa các trạng thái KV đã được tính trước. Có thể được sử dụng để tăng tốc giải mã tuần tự.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

labels (`torch.LongTensor` có hình dạng `(batch_size,)`, *tùy chọn*) : Nhãn để tính toán tổn thất phân loại/hồi quy chuỗi. Chỉ số phải nằm trong `[0, ..., config.num_labels - 1]`. Nếu `config.num_labels == 1`, tổn thất hồi quy sẽ được tính toán (tổn thất Mean-Square). Nếu `config.num_labels > 1`, tổn thất phân loại sẽ được tính toán (Cross-Entropy).

output_attentions (`bool`, *tùy chọn*) : Có trả về các tensor chú ý của tất cả các lớp chú ý hay không. Xem `attentions` trong phần tensor trả về để biết thêm chi tiết.

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

**Trả về:** [SequenceClassifierOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) hoặc `tuple(torch.Tensor)`

Một [SequenceClassifierOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) và đầu vào.

Phương thức forward của [XLMForSequenceClassification](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMForSequenceClassification) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *optional*, được trả về khi `labels` được cung cấp) -- Loss phân loại (hoặc hồi quy nếu config.num_labels==1).
- **logits** (`torch.Tensor` có hình dạng `(batch_size, config.num_labels)`) -- Điểm phân loại (hoặc hồi quy nếu config.num_labels==1) (trước SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ về phân loại nhãn đơn:

```python
>>> import torch
>>> from transformers import AutoTokenizer, XLMForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("FacebookAI/xlm-mlm-en-2048")
>>> model = XLMForSequenceClassification.from_pretrained("FacebookAI/xlm-mlm-en-2048")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = XLMForSequenceClassification.from_pretrained("FacebookAI/xlm-mlm-en-2048", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

Ví dụ về phân loại đa nhãn:

```python
>>> import torch
>>> from transformers import AutoTokenizer, XLMForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("FacebookAI/xlm-mlm-en-2048")
>>> model = XLMForSequenceClassification.from_pretrained("FacebookAI/xlm-mlm-en-2048", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = XLMForSequenceClassification.from_pretrained(
...     "FacebookAI/xlm-mlm-en-2048", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss
```

## XLMForMultipleChoice[[transformers.XLMForMultipleChoice]]

#### transformers.XLMForMultipleChoice[[transformers.XLMForMultipleChoice]]

```python
transformers.XLMForMultipleChoice(config: XLMConfig, *inputs, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L1446)

**Tham số:**

config ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Xlm có đầu phân loại lựa chọn nhiều phương án phía trên (một lớp tuyến tính phía trên đầu ra đã được pool và một softmax), ví dụ cho các tác vụ RocStories/SWAG.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.XLMForMultipleChoice.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, langs: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.Tensor] = None, lengths: typing.Optional[torch.Tensor] = None, cache: dict[str, torch.Tensor] | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L1457)

**Tham số:**

input_ids (`torch.LongTensor` có shape `(batch_size, num_choices, sequence_length)`) : Chỉ số của các token trong chuỗi đầu vào thuộc từ vựng.  Các chỉ số này có thể được lấy bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết thêm chi tiết.  [Input IDs là gì?](../glossary#input-ids)

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

langs (`torch.LongTensor` có shape `(batch_size, num_choices, sequence_length)`, *tùy chọn*) : Một chuỗi token song song được sử dụng để chỉ định ngôn ngữ của từng token trong đầu vào. Các chỉ số là id ngôn ngữ, có thể lấy được từ tên ngôn ngữ bằng cách sử dụng hai ánh xạ chuyển đổi được cung cấp trong cấu hình của mô hình (chỉ được cung cấp cho các mô hình đa ngôn ngữ). Cụ thể hơn, ánh xạ *tên ngôn ngữ sang id ngôn ngữ* nằm trong `model.config.lang2id` (một từ điển từ chuỗi sang int) và ánh xạ *id ngôn ngữ sang tên ngôn ngữ* nằm trong `model.config.id2lang` (từ điển từ int sang chuỗi). Xem các ví dụ sử dụng chi tiết trong [tài liệu đa ngôn ngữ](../multilingual).

token_type_ids (`torch.LongTensor` có shape `(batch_size, num_choices, sequence_length)`, *tùy chọn*) : Chỉ số token phân đoạn để chỉ định phần đầu và phần thứ hai của đầu vào. Các chỉ số được chọn trong `[0, 1]`:  - 0 tương ứng với token *sentence A*, - 1 tương ứng với token *sentence B*.  [Token type IDs là gì?](../glossary#token-type-ids)

position_ids (`torch.LongTensor` có shape `(batch_size, num_choices, sequence_length)`, *tùy chọn*) : Chỉ số của vị trí các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng `[0, config.max_position_embeddings - 1]`.  [Position IDs là gì?](../glossary#position-ids)

lengths (`torch.LongTensor` có shape `(batch_size,)`, *tùy chọn*) : Độ dài của từng câu, có thể được sử dụng để tránh thực hiện attention trên các chỉ số token padding. Bạn cũng có thể sử dụng *attention_mask* để đạt được kết quả tương tự (xem bên trên), được giữ lại ở đây để đảm bảo tính tương thích. Các chỉ số được chọn trong `[0, ..., input_ids.size(-1)]`.

cache (`dict[str, torch.Tensor]`, *tùy chọn*) : Instance của `EncoderDecoderCache` chứa các trạng thái KV đã được tính trước. Có thể được sử dụng để tăng tốc giải mã tuần tự.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, num_choices, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

labels (`torch.LongTensor` có hình dạng `(batch_size,)`, *tùy chọn*) : Nhãn để tính toán tổn thất phân loại lựa chọn nhiều. Chỉ số phải nằm trong `[0, ..., num_choices-1]` trong đó `num_choices` là kích thước của chiều thứ hai của các tensor đầu vào. (Xem `input_ids` ở trên)

output_attentions (`bool`, *tùy chọn*) : Có trả về các tensor chú ý của tất cả các lớp chú ý hay không. Xem `attentions` trong phần tensor trả về để biết thêm chi tiết.

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

**Trả về:** [MultipleChoiceModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.MultipleChoiceModelOutput) hoặc `tuple(torch.Tensor)`

Một [MultipleChoiceModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.MultipleChoiceModelOutput) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) và đầu vào.

Phương thức forward của [XLMForMultipleChoice](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMForMultipleChoice) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có hình dạng *(1,)*, *tùy chọn*, được trả về khi `labels` được cung cấp) -- Tổn phân loại.
- **logits** (`torch.Tensor` có shape `(batch_size, num_choices)`) -- *num_choices* là chiều thứ hai của các tensor đầu vào. (xem *input_ids* ở trên).

  Điểm phân loại (trước SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

```python
>>> from transformers import AutoTokenizer, XLMForMultipleChoice
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("FacebookAI/xlm-mlm-en-2048")
>>> model = XLMForMultipleChoice.from_pretrained("FacebookAI/xlm-mlm-en-2048")

>>> prompt = "In Italy, pizza served in formal settings, such as at a restaurant, is presented unsliced."
>>> choice0 = "It is eaten with a fork and a knife."
>>> choice1 = "It is eaten while held in the hand."
>>> labels = torch.tensor(0).unsqueeze(0)  # choice0 is correct (according to Wikipedia ;)), batch size 1

>>> encoding = tokenizer([prompt, prompt], [choice0, choice1], return_tensors="pt", padding=True)
>>> outputs = model(**{k: v.unsqueeze(0) for k, v in encoding.items()}, labels=labels)  # batch size is 1

>>> # the linear classifier still needs to be trained
>>> loss = outputs.loss
>>> logits = outputs.logits
```

## XLMForTokenClassification[[transformers.XLMForTokenClassification]]

#### transformers.XLMForTokenClassification[[transformers.XLMForTokenClassification]]

```python
transformers.XLMForTokenClassification(config: XLMConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L1361)

**Tham số:**

config ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Xlm transformer với một đầu phân loại token phía trên (một lớp tuyến tính phía trên đầu ra hidden-states), ví dụ cho các tác vụ Nhận thực thể có tên (NER).

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.XLMForTokenClassification.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, langs: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.Tensor] = None, lengths: typing.Optional[torch.Tensor] = None, cache: dict[str, torch.Tensor] | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L1373)

**Tham số:**

input_ids (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết thêm chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

langs (`torch.LongTensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Một chuỗi token song song được sử dụng để chỉ định ngôn ngữ của từng token trong đầu vào. Các chỉ số là id ngôn ngữ, có thể lấy được từ tên ngôn ngữ bằng cách sử dụng hai ánh xạ chuyển đổi được cung cấp trong cấu hình của mô hình (chỉ được cung cấp cho các mô hình đa ngôn ngữ). Cụ thể hơn, ánh xạ *từ tên ngôn ngữ sang id ngôn ngữ* nằm trong `model.config.lang2id` (một từ điển từ chuỗi sang int) và ánh xạ *từ id ngôn ngữ sang tên ngôn ngữ* nằm trong `model.config.id2lang` (từ điển từ int sang chuỗi). Xem các ví dụ sử dụng chi tiết trong [tài liệu đa ngôn ngữ](../multilingual).

token_type_ids (`torch.Tensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số token phân đoạn để chỉ định phần đầu và phần thứ hai của các đầu vào. Các chỉ số được chọn trong `[0, 1]`:  - 0 tương ứng với token *câu A*, - 1 tương ứng với token *câu B*.  [Các ID loại token là gì?](../glossary#token-type-ids)

position_ids (`torch.Tensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của vị trí các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng `[0, config.n_positions - 1]`.  [Position IDs là gì?](../glossary#position-ids)

lengths (`torch.LongTensor` có shape `(batch_size,)`, *tùy chọn*) : Độ dài của từng câu, có thể được sử dụng để tránh thực hiện attention trên các chỉ số token padding. Bạn cũng có thể sử dụng *attention_mask* để đạt được kết quả tương tự (xem bên trên), được giữ lại ở đây để đảm bảo tính tương thích. Các chỉ số được chọn trong `[0, ..., input_ids.size(-1)]`.

cache (`dict[str, torch.Tensor]`, *tùy chọn*) : Instance của `EncoderDecoderCache` chứa các trạng thái KV đã được tính trước. Có thể được sử dụng để tăng tốc giải mã tuần tự.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

labels (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Nhãn để tính toán tổn thất phân loại token. Chỉ số phải nằm trong `[0, ..., config.num_labels - 1]`.

output_attentions (`bool`, *tùy chọn*) : Có trả về các tensor chú ý của tất cả các lớp chú ý hay không. Xem `attentions` trong phần tensor trả về để biết thêm chi tiết.

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

**Trả về:** [TokenClassifierOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.TokenClassifierOutput) hoặc `tuple(torch.Tensor)`

Một [TokenClassifierOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.TokenClassifierOutput) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) và đầu vào.

Phương thức forward của [XLMForTokenClassification](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMForTokenClassification) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có hình dạng `(1,)`, *tùy chọn*, được trả về khi `labels` được cung cấp) -- Tổn phân loại.
- **logits** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, config.num_labels)`) -- Điểm phân loại (trước SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

```python
>>> from transformers import AutoTokenizer, XLMForTokenClassification
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("FacebookAI/xlm-mlm-en-2048")
>>> model = XLMForTokenClassification.from_pretrained("FacebookAI/xlm-mlm-en-2048")

>>> inputs = tokenizer(
...     "HuggingFace is a company based in Paris and New York", add_special_tokens=False, return_tensors="pt"
... )

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_token_class_ids = logits.argmax(-1)

>>> # Note that tokens are classified rather then input words which means that
>>> # there might be more predicted token classes than words.
>>> # Multiple token classes might account for the same word
>>> predicted_tokens_classes = [model.config.id2label[t.item()] for t in predicted_token_class_ids[0]]
>>> predicted_tokens_classes
...

>>> labels = predicted_token_class_ids
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

## XLMForQuestionAnsweringSimple[[transformers.XLMForQuestionAnsweringSimple]]

#### transformers.XLMForQuestionAnsweringSimple[[transformers.XLMForQuestionAnsweringSimple]]

```python
transformers.XLMForQuestionAnsweringSimple(config: XLMConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L1144)

**Tham số:**

config ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình XLM với một đầu phân loại span phía trên cho các tác vụ trả lời câu hỏi trích xuất như SQuAD (một lớp tuyến tính phía trên đầu ra hidden-states để tính toán `span start logits` và `span end logits`).

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.XLMForQuestionAnsweringSimple.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, langs: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.Tensor] = None, lengths: typing.Optional[torch.Tensor] = None, cache: dict[str, torch.Tensor] | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, start_positions: typing.Optional[torch.Tensor] = None, end_positions: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L1154)

**Tham số:**

input_ids (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết thêm chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

langs (`torch.LongTensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Một chuỗi token song song được sử dụng để chỉ định ngôn ngữ của từng token trong đầu vào. Các chỉ số là id ngôn ngữ, có thể lấy được từ tên ngôn ngữ bằng cách sử dụng hai ánh xạ chuyển đổi được cung cấp trong cấu hình của mô hình (chỉ được cung cấp cho các mô hình đa ngôn ngữ). Cụ thể hơn, ánh xạ *từ tên ngôn ngữ sang id ngôn ngữ* nằm trong `model.config.lang2id` (một từ điển từ chuỗi sang int) và ánh xạ *từ id ngôn ngữ sang tên ngôn ngữ* nằm trong `model.config.id2lang` (từ điển từ int sang chuỗi). Xem các ví dụ sử dụng chi tiết trong [tài liệu đa ngôn ngữ](../multilingual).

token_type_ids (`torch.Tensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số token phân đoạn để chỉ định phần đầu và phần thứ hai của các đầu vào. Các chỉ số được chọn trong `[0, 1]`:  - 0 tương ứng với token *câu A*, - 1 tương ứng với token *câu B*.  [Các ID loại token là gì?](../glossary#token-type-ids)

position_ids (`torch.Tensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của vị trí các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng `[0, config.n_positions - 1]`.  [Position IDs là gì?](../glossary#position-ids)

lengths (`torch.LongTensor` có shape `(batch_size,)`, *tùy chọn*) : Độ dài của từng câu, có thể được sử dụng để tránh thực hiện attention trên các chỉ số token padding. Bạn cũng có thể sử dụng *attention_mask* để đạt được kết quả tương tự (xem bên trên), được giữ lại ở đây để đảm bảo tính tương thích. Các chỉ số được chọn trong `[0, ..., input_ids.size(-1)]`.

cache (`dict[str, torch.Tensor]`, *tùy chọn*) : Instance của `EncoderDecoderCache` chứa các trạng thái KV đã được tính trước. Có thể được sử dụng để tăng tốc giải mã tuần tự.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

start_positions (`torch.Tensor` có shape `(batch_size,)`, *tùy chọn*) : Nhãn cho vị trí (chỉ số) bắt đầu của span được gắn nhãn để tính toán tổn thất phân loại token. Các vị trí được kẹp (clamp) theo độ dài của chuỗi (`sequence_length`). Các vị trí nằm ngoài chuỗi sẽ không được tính đến khi tính toán tổn thất.

end_positions (`torch.Tensor` có shape `(batch_size,)`, *tùy chọn*) : Nhãn cho vị trí (chỉ số) của điểm kết thúc của span được gắn nhãn để tính toán tổn thất phân loại token. Các vị trí được kẹp (clamp) theo độ dài của chuỗi (`sequence_length`). Các vị trí nằm ngoài chuỗi sẽ không được tính đến khi tính toán tổn thất.

output_attentions (`bool`, *tùy chọn*) : Có trả về các tensor chú ý của tất cả các lớp chú ý hay không. Xem `attentions` trong phần tensor trả về để biết thêm chi tiết.

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

**Trả về:** [QuestionAnsweringModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.QuestionAnsweringModelOutput) hoặc `tuple(torch.Tensor)`

Một [QuestionAnsweringModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.QuestionAnsweringModelOutput) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) và đầu vào.

Phương thức forward của [XLMForQuestionAnsweringSimple](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMForQuestionAnsweringSimple) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *optional*, được trả về khi `labels` được cung cấp) -- Tổng loss trích xuất span là tổng của Cross-Entropy cho các vị trí bắt đầu và kết thúc.
- **start_logits** (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`) -- Điểm số bắt đầu span (trước SoftMax).
- **end_logits** (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`) -- Điểm số kết thúc span (trước SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

```python
>>> from transformers import AutoTokenizer, XLMForQuestionAnsweringSimple
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("FacebookAI/xlm-mlm-en-2048")
>>> model = XLMForQuestionAnsweringSimple.from_pretrained("FacebookAI/xlm-mlm-en-2048")

>>> question, text = "Who was Jim Henson?", "Jim Henson was a nice puppet"

>>> inputs = tokenizer(question, text, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> answer_start_index = outputs.start_logits.argmax()
>>> answer_end_index = outputs.end_logits.argmax()

>>> predict_answer_tokens = inputs.input_ids[0, answer_start_index : answer_end_index + 1]
>>> tokenizer.decode(predict_answer_tokens, skip_special_tokens=True)
...

>>> # target is "nice puppet"
>>> target_start_index = torch.tensor([14])
>>> target_end_index = torch.tensor([15])

>>> outputs = model(**inputs, start_positions=target_start_index, end_positions=target_end_index)
>>> loss = outputs.loss
>>> round(loss.item(), 2)
...
```

## XLMForQuestionAnswering[[transformers.XLMForQuestionAnswering]]

#### transformers.XLMForQuestionAnswering[[transformers.XLMForQuestionAnswering]]

```python
transformers.XLMForQuestionAnswering(config: XLMConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L1243)

**Tham số:**

config ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Xlm transformer với một đầu phân loại span phía trên cho các tác vụ trả lời câu hỏi trích xuất như SQuAD (một lớp tuyến tính phía trên đầu ra hidden-states để tính toán `span start logits` và `span end logits`).

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.XLMForQuestionAnswering.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, langs: typing.Optional[torch.Tensor] = None, token_type_ids: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.Tensor] = None, lengths: typing.Optional[torch.Tensor] = None, cache: dict[str, torch.Tensor] | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, start_positions: typing.Optional[torch.Tensor] = None, end_positions: typing.Optional[torch.Tensor] = None, is_impossible: typing.Optional[torch.Tensor] = None, cls_index: typing.Optional[torch.Tensor] = None, p_mask: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/xlm/modeling_xlm.py#L1253)

**Tham số:**

input_ids (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết thêm chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

langs (`torch.LongTensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Một chuỗi token song song được sử dụng để chỉ định ngôn ngữ của từng token trong đầu vào. Các chỉ số là id ngôn ngữ, có thể lấy được từ tên ngôn ngữ bằng cách sử dụng hai ánh xạ chuyển đổi được cung cấp trong cấu hình của mô hình (chỉ được cung cấp cho các mô hình đa ngôn ngữ). Cụ thể hơn, ánh xạ *từ tên ngôn ngữ sang id ngôn ngữ* nằm trong `model.config.lang2id` (một từ điển từ chuỗi sang int) và ánh xạ *từ id ngôn ngữ sang tên ngôn ngữ* nằm trong `model.config.id2lang` (từ điển từ int sang chuỗi). Xem các ví dụ sử dụng chi tiết trong [tài liệu đa ngôn ngữ](../multilingual).

token_type_ids (`torch.Tensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số token phân đoạn để chỉ định phần đầu và phần thứ hai của các đầu vào. Các chỉ số được chọn trong `[0, 1]`:  - 0 tương ứng với token *câu A*, - 1 tương ứng với token *câu B*.  [Các ID loại token là gì?](../glossary#token-type-ids)

position_ids (`torch.Tensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của vị trí các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng `[0, config.n_positions - 1]`.  [Position IDs là gì?](../glossary#position-ids)

lengths (`torch.LongTensor` có shape `(batch_size,)`, *tùy chọn*) : Độ dài của từng câu, có thể được sử dụng để tránh thực hiện attention trên các chỉ số token padding. Bạn cũng có thể sử dụng *attention_mask* để đạt được kết quả tương tự (xem bên trên), được giữ lại ở đây để đảm bảo tính tương thích. Các chỉ số được chọn trong `[0, ..., input_ids.size(-1)]`.

cache (`dict[str, torch.Tensor]`, *tùy chọn*) : Instance của `EncoderDecoderCache` chứa các trạng thái KV đã được tính trước. Có thể được sử dụng để tăng tốc giải mã tuần tự.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

start_positions (`torch.Tensor` có shape `(batch_size,)`, *tùy chọn*) : Nhãn cho vị trí (chỉ số) bắt đầu của span được gắn nhãn để tính toán tổn thất phân loại token. Các vị trí được kẹp (clamp) theo độ dài của chuỗi (`sequence_length`). Các vị trí nằm ngoài chuỗi sẽ không được tính đến khi tính toán tổn thất.

end_positions (`torch.Tensor` có shape `(batch_size,)`, *tùy chọn*) : Nhãn cho vị trí (chỉ số) của điểm kết thúc của span được gắn nhãn để tính toán tổn thất phân loại token. Các vị trí được kẹp (clamp) theo độ dài của chuỗi (`sequence_length`). Các vị trí nằm ngoài chuỗi sẽ không được tính đến khi tính toán tổn thất.

is_impossible (`torch.LongTensor` có hình dạng `(batch_size,)`, *tùy chọn*) : Nhãn cho biết một câu hỏi có câu trả lời hay không (SQuAD 2.0)

cls_index (`torch.LongTensor` có hình dạng `(batch_size,)`, *tùy chọn*) : Nhãn cho vị trí (chỉ số) của token phân loại để sử dụng làm đầu vào cho việc tính toán độ hợp lý của câu trả lời.

p_mask (`torch.Tensor` có shape `(batch_size, sequence_length)`, *tùy chọn*) : Mask tùy chọn cho các token không thể nằm trong câu trả lời (ví dụ: [CLS], [PAD], ...). 1.0 có nghĩa là token cần được mask. 0.0 có nghĩa là token không được mask.

output_attentions (`bool`, *tùy chọn*) : Có trả về các tensor chú ý của tất cả các lớp chú ý hay không. Xem `attentions` trong phần tensor trả về để biết thêm chi tiết.

output_hidden_states (`bool`, *tuỳ chọn*) : Có trả về trạng thái ẩn của tất cả các lớp hay không. Xem `hidden_states` trong phần tensor trả về để biết thêm chi tiết.

return_dict (`bool`, *tùy chọn*) : Có trả về [ModelOutput](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.utils.ModelOutput) thay vì một tuple thông thường hay không.

**Trả về:** [XLMForQuestionAnsweringOutput](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.models.xlm.modeling_xlm.XLMForQuestionAnsweringOutput) hoặc `tuple(torch.Tensor)`

Một [XLMForQuestionAnsweringOutput](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.models.xlm.modeling_xlm.XLMForQuestionAnsweringOutput) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền vào hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([XLMConfig](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMConfig)) và đầu vào.

Phương thức forward của [XLMForQuestionAnswering](/docs/transformers/v5.23.0/vi/model_doc/xlm#transformers.XLMForQuestionAnswering) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *optional*, được trả về nếu cả `start_positions` và `end_positions` đều được cung cấp) -- Loss phân loại dưới dạng tổng của các loss phân loại cho token bắt đầu, token kết thúc (và is_impossible nếu được cung cấp).
- **start_top_log_probs** (`torch.Tensor` có shape `(batch_size, config.start_n_top)`, *tùy chọn*, được trả về nếu `start_positions` hoặc `end_positions` không được cung cấp) -- Xác suất log cho config.start_n_top khả năng token bắt đầu hàng đầu (beam-search).
- **start_top_index** (`torch.LongTensor` có shape `(batch_size, config.start_n_top)`, *tùy chọn*, được trả về nếu `start_positions` hoặc `end_positions` không được cung cấp) -- Chỉ số cho config.start_n_top khả năng token bắt đầu hàng đầu (beam-search).
- **end_top_log_probs** (`torch.Tensor` có shape `(batch_size, config.start_n_top * config.end_n_top)`, *optional*, được trả về nếu `start_positions` hoặc `end_positions` không được cung cấp) -- Xác suất log cho `config.start_n_top * config.end_n_top` khả năng token kết thúc hàng đầu (beam-search).
- **end_top_index** (`torch.LongTensor` có shape `(batch_size, config.start_n_top * config.end_n_top)`, *tùy chọn*, được trả về nếu `start_positions` hoặc `end_positions` không được cung cấp) -- Chỉ số cho `config.start_n_top * config.end_n_top` khả năng token kết thúc hàng đầu (beam-search).
- **cls_logits** (`torch.Tensor` có shape `(batch_size,)`, *tùy chọn*, được trả về nếu `start_positions` hoặc `end_positions` không được cung cấp) -- Xác suất log cho nhãn `is_impossible` của các câu trả lời.
- **hidden_states** (`tuple[torch.Tensor, ...]`, *tùy chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple các `torch.Tensor` (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple[torch.Tensor, ...]`, *tùy chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

```python
>>> from transformers import AutoTokenizer, XLMForQuestionAnswering
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("FacebookAI/xlm-mlm-en-2048")
>>> model = XLMForQuestionAnswering.from_pretrained("FacebookAI/xlm-mlm-en-2048")

>>> input_ids = torch.tensor(tokenizer.encode("Hello, my dog is cute", add_special_tokens=True)).unsqueeze(
...     0
... )  # Batch size 1
>>> start_positions = torch.tensor([1])
>>> end_positions = torch.tensor([3])

>>> outputs = model(input_ids, start_positions=start_positions, end_positions=end_positions)
>>> loss = outputs.loss
```

