Tham số

• r (int) — Hạng của Lily. Xác định chiều ẩn bên trong của mỗi adapter và hạng của bản cập nhật trọng số A @ B. Trong Lily, vì số lượng adapter thường nhỏ hơn so với LoRA, mỗi adapter cần mang nhiều sức chứa hơn, do đó khuyến nghị sử dụng r lớn hơn so với LoRA — thường là 2x, 3x hoặc 4x so với hạng LoRA mà bạn thường dùng. Tổng số tham số có thể huấn luyện tỷ lệ với r * (total_layers / stride_A + num_B), vì vậy việc tăng r trong khi giữ stride_A lớn và num_B nhỏ là sự đánh đổi được khuyến nghị.
• stride_A (int) — Số lượng các lớp liên tiếp chia sẻ chung một adapter A. Ví dụ, nếu stride_A=4, mỗi 4 lớp kề nhau chia sẻ cùng một adapter A, dẫn đến total_layers / stride_A adapter A khác biệt tính chung. Adapter A nén đầu vào thành một biểu diễn hạng thấp có kích thước r. stride_A không được nhỏ hơn
  1. Suggested values: 2, 3, or 4 (i.e. sharing every 2, 3, or 4 layers). Keeping stride_A large (fewer distinct A adapters) and increasing r instead leads to better performance than the opposite trade-off (small stride_A, small r). Setting stride_A=1 means every layer has its own A adapter. NOTE: the A sharing happens within each target (layers with the same target suffix). For example, if your target_modules are ['q_proj', 'v_proj'] and you set stride_A=2, then every 2 adjacent q_proj layers will share an A adapter, and every 2 adjacent v_proj layers will share another A adapter, but the q_proj and v_proj layers will not share A adapters with each other since they have different suffixes.
• num_B (int) — Số lượng adapter B dùng chung. Khác với adapter A (được nhóm theo từng lớp), tất cả các adapter B đều được dùng chung toàn cục trên mọi lớp. Với mỗi lần truyền tiến, một router sẽ tính tổ hợp có trọng số của tất cả num_B adapter B (sử dụng trọng số được chuẩn hóa bằng softmax) để tạo ra một adapter B kết hợp duy nhất, sau đó chiếu biểu diễn hạng thấp trở lại chiều gốc. Khuyến nghị đặt num_B ở cùng bậc với total_layers / stride_A. Các giá trị gợi ý: total_layers / 2, total_layers / 3, hoặc total_layers / 4. Tương tự như stride_A, nên ưu tiên num_B nhỏ hơn với r lớn hơn thay vì num_B lớn hơn với r nhỏ hơn. LƯU Ý: để huấn luyện router, bạn cần ít nhất 2 adapter B (tức là num_B >= 2), vì router học cách tính tổ hợp có trọng số của các adapter B. LƯU Ý: việc dùng chung B diễn ra trong mỗi target (các lớp có cùng hậu tố target). Ví dụ, nếu target_modules của bạn là ['q_proj', 'v_proj'] và bạn đặt num_B=4, thì sẽ có 4 adapter B dùng chung trên tất cả các lớp q_proj, và 4 adapter B khác dùng chung trên tất cả các lớp v_proj, nhưng các lớp q_proj và v_proj sẽ không dùng chung adapter B với nhau vì chúng có hậu tố khác nhau.
• target_modules (Union[List[str], str], tùy chọn) — Tên của các module cần áp dụng Lily. Có thể là một danh sách các chuỗi tên module (ví dụ: ['q_proj', 'v_proj']) hoặc một mẫu regex (ví dụ: '.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$'). Nếu không được chỉ định, Lily sẽ được áp dụng cho tất cả các lớp tuyến tính được hỗ trợ.
• scaling (float) — Hệ số nhân vô hướng được áp dụng cho đầu ra kết hợp của adapter (scaling * A @ combined_B) trước khi cộng vào quá trình truyền thẳng của trọng số đóng băng. Khác với LoRA, Lily không sử dụng công thức alpha / r; thay vào đó, scaling là một hệ số nhân trực tiếp. Thiết kế này giúp việc quét các giá trị trên thang log trở nên đơn giản (ví dụ 0.01, 0.1, 1.0, 10.0). Giá trị tối ưu phụ thuộc vào tác vụ và nên được coi là một siêu tham số. Chúng tôi khuyến nghị bắt đầu với 1.0.
• modules_to_save (List[str], tùy chọn) — Danh sách các module ngoài các lớp Lily cần được đặt là có thể huấn luyện và lưu trong checkpoint cuối cùng. Ví dụ, trong các tác vụ Phân loại Chuỗi hoặc Phân loại Token, lớp cuối cùng classifier/score được khởi tạo ngẫu nhiên và do đó cần phải có thể huấn luyện và được lưu lại.
• exclude_modules (Union[List[str], str], tùy chọn) — Tên của các module không áp dụng adapter. Khi truyền một chuỗi, một phép khớp regex sẽ được thực hiện. Khi truyền một danh sách các chuỗi, một phép khớp chính xác sẽ được thực hiện hoặc kiểm tra xem tên của module có kết thúc bằng bất kỳ chuỗi nào được truyền vào hay không.
• layers_to_transform (Union[list[int], int], tùy chọn) — Các chỉ số lớp cần biến đổi. Nếu tham số này được chỉ định, PEFT sẽ chỉ biến đổi các chỉ số lớp được liệt kê trong danh sách này. Nếu một số nguyên duy nhất được truyền vào, PEFT sẽ chỉ biến đổi lớp tại chỉ số đó.
• layers_pattern (Optional[Union[List[str], str]], tùy chọn) — Tên của mẫu lớp, chỉ được sử dụng nếu layers_to_transform khác None và nếu mẫu lớp không nằm trong các mẫu lớp phổ biến. Tham số này nên nhắm đến nn.ModuleList của mô hình, thường được gọi là 'layers' hoặc 'h'.
• init_weights (bool) — Có nên khởi tạo trọng số của bộ thích ứng Lily theo phương thức khởi tạo mặc định hay không: các ma trận A được khởi tạo bằng Kaiming uniform, và các ma trận B được khởi tạo bằng số không, đảm bảo rằng đầu ra của bộ thích ứng bằng không tại thời điểm bắt đầu huấn luyện và không gây nhiễu cho mô hình đã được huấn luyện trước. Rất khuyến nghị giữ giá trị này là True trừ khi bạn có lý do cụ thể để thay đổi.

Tham số

• model (torch.nn.Module) — Mô hình cần được thích ứng.
• config (LilyConfig) — Cấu hình của mô hình Lily.
• adapter_name (str) — Tên của adapter, mặc định là "default".