Paramètres

• r (int) — Rang de Lily. Détermine la dimension cachée interne de chaque adaptateur et le rang de la mise à jour des poids A @ B. Dans Lily, le nombre d’adaptateurs étant généralement plus faible que dans LoRA, chaque adaptateur doit porter plus de capacité ; il est donc recommandé d’utiliser un r plus élevé que dans LoRA — typiquement 2x, 3x ou 4x le rang LoRA que vous utiliseriez normalement. Le nombre total de paramètres entraîlables évolue avec r * (total_layers / stride_A + num_B), il est donc recommandé d’augmenter r tout en maintenant stride_A élevé et num_B faible.
• stride_A (int) — Le nombre de couches consécutives qui partagent un adaptateur A. Par exemple, si stride_A=4, toutes les 4 couches adjacentes partagent le même adaptateur A, ce qui donne total_layers / stride_A adaptateurs A distincts au total. L'adaptateur A compresse l'entrée en une représentation de rang faible de taille r. stride_A ne doit pas être inférieur à
  1. Valeurs suggérées : 2, 3 ou 4 (c’est-à-dire partager toutes les 2, 3 ou 4 couches). Garder stride_A élevé (moins d’adaptateurs A distincts) et augmenter r à la place conduit à de meilleures performances que le compromis inverse (petit stride_A, petit r). Définir stride_A=1 signifie que chaque couche possède son propre adaptateur A. NOTE : le partage des A se fait au sein de chaque cible (couches ayant le même suffixe de cible). Par exemple, si vos target_modules sont ['q_proj', 'v_proj'] et que vous définissez stride_A=2, alors toutes les 2 couches q_proj adjacentes partageront un adaptateur A, et toutes les 2 couches v_proj adjacentes partageront un autre adaptateur A, mais les couches q_proj et v_proj ne partageront pas d’adaptateurs A entre elles car elles ont des suffixes différents.
• num_B (int) — Le nombre d'adaptateurs B partagés. Contrairement aux adaptateurs A (qui sont groupés par couche), tous les adaptateurs B sont partagés globalement sur toutes les couches. Pour chaque passe avant, un routeur calcule une combinaison pondérée de tous les num_B adaptateurs B (en utilisant des poids normalisés par softmax) pour produire un unique adaptateur B combiné, qui projette ensuite la représentation de faible rang vers la dimension d'origine. Il est recommandé de définir num_B à un ordre de grandeur similaire à total_layers / stride_A. Valeurs suggérées : total_layers / 2, total_layers / 3 ou total_layers / 4. De manière similaire à stride_A, préférez un num_B plus petit avec un r plus grand plutôt qu'un num_B plus grand avec un r plus petit. REMARQUE : pour entraîner le routeur, vous avez besoin d'au moins 2 adaptateurs B (c'est-à-dire num_B >= 2), car le routeur apprend à calculer une combinaison pondérée des adaptateurs B. REMARQUE : le partage des B se fait au sein de chaque cible (couches ayant le même suffixe de cible). Par exemple, si vos target_modules sont ['q_proj', 'v_proj'] et que vous définissez num_B=4, il y aura 4 adaptateurs B partagés entre toutes les couches q_proj, et 4 autres adaptateurs B partagés entre toutes les couches v_proj, mais les couches q_proj et v_proj ne partageront pas d'adaptateurs B entre elles car elles ont des suffixes différents.
• target_modules (Union[List[str], str], facultatif) — Les noms des modules auxquels appliquer Lily. Peut être une liste de chaînes de caractères de noms de modules (par ex. ['q_proj', 'v_proj']) ou un motif regex (par ex. '.*decoder.*(SelfAttention|EncDecAttention).*(q|v)$'). Si non spécifié, Lily sera appliqué à toutes les couches linéaires prises en charge.
• scaling (float) — Un multiplicateur scalaire appliqué à la sortie combinée de l’adaptateur (scaling * A @ combined_B) avant de l’ajouter au passage avant du poids figé. Contrairement à LoRA, Lily n’utilise pas de formulation alpha / r ; à la place, scaling est un multiplicateur direct. Cette conception permet de balayer facilement des valeurs sur une échelle logarithmique (par ex. 0.01, 0.1, 1.0, 10.0). La valeur optimale dépend de la tâche et doit être traitée comme un hyperparamètre. Nous recommandons de commencer avec 1.0.
• modules_to_save (List[str], facultatif) — Liste des modules, à l'exception des couches Lily, à définir comme entraînables et à enregistrer dans le point de contrôle final. Par exemple, dans les tâches de classification de séquences ou de classification de jetons, la couche finale classifier/score est initialisée aléatoirement et doit donc être entraînable et enregistrée.
• exclude_modules (Union[List[str], str], facultatif) — Les noms des modules auxquels l’adaptateur ne doit pas être appliqué. Si une chaîne de caractères est transmise, une correspondance par expression régulière est effectuée. Si une liste de chaînes de caractères est transmise, une correspondance exacte est effectuée ou il est vérifié si le nom du module se termine par l’une des chaînes transmises.
• layers_to_transform (Union[list[int], int], facultatif) — Les index des couches à transformer. Si cet argument est spécifié, PEFT ne transformera que les index de couches indiqués dans cette liste. Si un entier unique est transmis, PEFT ne transformera que la couche située à cet index.
• layers_pattern (Optional[Union[List[str], str]], facultatif) — Le nom du motif de couche, utilisé uniquement si layers_to_transform est différent de None et si le motif de couche ne figure pas dans les motifs de couches courants. Il doit cibler le nn.ModuleList du modèle, souvent appelé 'layers' ou 'h'.
• init_weights (bool) — Indique s'il faut initialiser les poids de l'adaptateur Lily en utilisant le schéma d'initialisation par défaut : les matrices A sont initialisées avec Kaiming uniform, et les matrices B sont initialisées à zéro, ce qui garantit que la sortie de l'adaptateur est nulle au début de l'entraînement et ne perturbe pas le modèle pré-entraîné. Il est fortement recommandé de conserver cette valeur à True sauf si vous avez une raison spécifique de la modifier.

Paramètres

• model (torch.nn.Module) — Le modèle à adapter.
• config (LilyConfig) — La configuration du modèle Lily.
• adapter_name (str) — Le nom de l'adaptateur, par défaut "default".