C3A : Fine-tuning efficace en paramètres via convolution circulaire

C3A est une technique de fine-tuning à efficacité paramétrique qui exploite la convolution circulaire pour atteindre une adaptation de rang élevée dans des limites de ressources raisonnables.

Notez que vous devez utiliser un taux d'apprentissage (LR) beaucoup plus élevé pour C3A que pour les autres méthodes. Par exemple, un LR de 1e-1 pour C3A est un bon point de départ. De plus, un poids de décroissance (weight decay) beaucoup plus faible doit être utilisé. Vous pouvez consulter le dossier method_comparison pour plus de détails.

Pour le block_size, il influence les paramètres ajustables et les performances. Pour commencer, vous pouvez choisir un $\mathrm{gcd}(d_1,d_2)$ proche de $\frac{\sqrt{d_1 \times d_2}}{r}$, où $r$ est le rang LoRA que vous utiliseriez pour cette tâche.

C3A présente actuellement les contraintes suivantes :

• Seules les couches nn.Linear sont prises en charge.
• Les couches quantifiées ne sont pas prises en charge.
• La taille du bloc doit être un diviseur commun des tailles d'entrée et de sortie des cibles.

Si ces contraintes ne conviennent pas à votre cas d’usage, envisagez plutôt d’autres méthodes.

L'abstract de l'article est :

La Low-Rank Adaptation (LoRA) a gagné en popularité pour l'ajustement fin de grands modèles de fondation, en exploitant des matrices de faible rang $\mathbf{A}$ et $\mathbf{B}$ pour représenter les modifications de poids (c'est-à-dire $\Delta \mathbf{W} = \mathbf{B} \mathbf{A}$). Cette méthode réduit le nombre de paramètres entraînables et atténue la forte consommation de mémoire associée aux matrices delta complètes en multipliant séquentiellement $\mathbf{A}$ et $\mathbf{B}$ avec l'activation. Malgré son succès, la caractéristique intrinsèque de faible rang peut limiter ses performances. Bien que plusieurs variantes aient été proposées pour résoudre ce problème, elles négligent souvent l'efficacité computationnelle et mémoire cruciale apportée par LoRA. Dans cet article, nous proposons la Circular Convolution Adaptation (C3A), qui non seulement atteint une adaptation de haut rang avec des performances améliorées, mais excelle également en puissance de calcul et en utilisation de la mémoire. Des expériences étendues démontrent que C3A surpasse systématiquement LoRA et ses variantes dans diverses tâches d'ajustement fin.

Aperçu des benchmarks

API

C3AConfig

C3AModel