# Super-Tuning [Super-Tuning](https://huggingface.co/papers/2607.09287) est une méthode de fine-tuning creux qui fige les poids de base et n’entraîne qu’un support creux d’entrées scalaires sélectionnées par magnitude des poids. La définition de `r` alloue en outre un adaptateur de faible rang de type LoRA, composé de manière additive par-dessus le support creux (l’hybride « Supra » de l’article). Le score par défaut est basé uniquement sur l’amplitude et ne requiert aucune donnée. L’ablation 8B du rapport indique que `magnitude-topk` obtient en moyenne 79,02 %, surpassant la saillance pondérée par Wanda à 78,66 %, tout en ne nécessitant aucune passe de calibration. Le score pondéré par les activations de type Wanda n’est pas proposé par cette implémentation. Super-Tuning présente actuellement la contrainte suivante : - Seules les couches `nn.Linear` sont prises en charge. L'abstract de l'article est : > Le fine-tuning de grands modèles de langage à l'aide de méthodes efficaces en termes de paramètres est devenu une pratique standard, mais les approches existantes comme LoRA restreignent le sous-espace entraînable à une décomposition de faible rang. Nous introduisons Super-Tuning, une approche de fine-tuning creux qui sélectionne à la place un petit support d'entrées scalaires individuelles de poids — un ensemble entraînable de rang non restreint à un budget de paramètres fixe. La sélection est guidée par des signaux de saillance inspirés de l'élagage : un score basé uniquement sur l'amplitude (style PaFi) ou un score pondéré par les activations (style Wanda). Nous montrons que, sur les fine-tunes de Llama-3.2-1B et Meta-Llama-3-8B évalués sur Math17K, Super-Tuning basé sur l'amplitude égale ou dépasse LoRA à des budgets de paramètres comparables, et qu'une variante hybride « Supra » — combinant un support creux avec un composant de faible rang — améliore encore la précision en aval. ## Aperçu des benchmarks