Puente entre la adaptación de bajo rango y la adaptación ortogonal mediante la adaptación por reflexión de Householder (HRA)

HRA ofrece una nueva perspectiva que conecta LoRA con OFT, lo que le permite aprovechar las ventajas de ambas estrategias al utilizar Householder reflections para reducir los parámetros y los costos de cómputo, mientras penaliza la pérdida de conocimiento de la preentrenación. Logra de manera consistente un mejor rendimiento con menos parámetros entrenables y supera a los adaptadores de última generación en diferentes modelos, incluidos los modelos de lenguaje grandes (LLM) y los generadores de imágenes condicionales.

HRA construye una cadena de r reflejos de Householder entrenables (HR). Dado que la matriz de reflexión de Householder es una matriz ortogonal y el producto de matrices ortogonales también es una matriz ortogonal, HRA cumple con la garantía teórica de Orthogonal Finetuning (OFT). Al mismo tiempo, HRA también puede verse como un adaptador de ajuste fino de bajo rango. A mayor r, más parámetros entrenables, lo que resulta en una mayor capacidad del modelo y un mejor rendimiento. Además, debido a la estructura de cadena, la ortogonalidad de los planos HR afecta la capacidad y la regularidad de HRA. Para lograr un equilibrio entre la capacidad del modelo y la regularidad, se añade un regularizador de ortogonalidad de los planos HR a la función de pérdida. El peso$\lambda$ puede controlar la fuerza del regularizador.

El resumen del artículo es:

Aunque siguen rutas técnicas diferentes, tanto las técnicas de adaptación de bajo rango como las de adaptación ortogonal pueden adaptar de manera eficiente modelos de preentrenamiento a gran escala para tareas o dominios específicos, basándose en una pequeña cantidad de parámetros entrenables. En este estudio, cerramos la brecha entre estas dos técnicas y proponemos un método de adaptación simple pero efectivo basado en reflexiones de Householder. Dado un modelo preentrenado, nuestro método realiza el ajuste fino de sus capas multiplicando cada matriz de pesos congelada por una matriz ortogonal construida mediante una cadena de reflexiones de Householder (HR) entrenables. Este ajuste fino ortogonal basado en HR es equivalente a una adaptación de bajo rango adaptativa. Además, demostramos que la ortogonalidad de los planos de reflexión correspondientes a las HR impacta en la capacidad y la regularidad del modelo. Este análisis nos motiva a regularizar la ortogonalidad de las HR, lo que conduce a diferentes implementaciones del método de adaptación por reflexión de Householder (HRA) propuesto. En comparación con los métodos más avanzados, HRA logra un rendimiento superior con menos parámetros entrenables al adaptar modelos de lenguaje a gran escala y generadores de imágenes condicionales. El código está disponible en peft y HRA.

API

HRAConfig

HRAModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import HRAConfig, get_peft_model

>>> config_te = HRAConfig(
...     r=8,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     init_weights=True,
... )
>>> config_unet = HRAConfig(
...     r=8,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     init_weights=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)