MiSS

MiSS (Matrix Shard Sharing) es un método de PEFT que logra un buen equilibrio entre el rendimiento del modelo y la eficiencia computacional. Solo requiere una matriz entrenable e introduce un mecanismo de compartición de fragmentos (shard-sharing) distinto al de LoRA.

El resumen del artículo es:

Los métodos de ajuste fino eficiente en parámetros (PEFT), en particular la adaptación de bajo rango (LoRA), reducen eficazmente el número de parámetros entrenables en los modelos de lenguaje grandes (LLM). Sin embargo, a medida que la escala de los modelos sigue creciendo, la demanda de recursos computacionales sigue siendo un desafío importante. Las variantes existentes de LoRA a menudo luchan por lograr un equilibrio óptimo entre la adaptabilidad (rendimiento del modelo y velocidad de convergencia) y la eficiencia (sobrecarga computacional, uso de memoria y tiempo de inicialización). Este artículo presenta MiSS (Matrix Shard Sharing), un enfoque PEFT novedoso que aborda este compromiso mediante un mecanismo simple de compartición de fragmentos. MiSS aprovecha el hecho de que una adaptación de bajo rango puede lograrse descomponiendo la matriz de pesos en múltiples matrices de fragmentos y utilizando un fragmento común compartido y entrenable. Este método construye la matriz de actualización de bajo rango mediante la replicación de estos fragmentos compartidos y particionados. También proponemos una implementación eficiente en hardware y de amplia aplicabilidad para MiSS. Experimentos extensos realizados en una variedad de tareas, junto con un análisis sistemático del rendimiento computacional, demuestran la superioridad de MiSS. Los resultados muestran que MiSS supera significativamente a LoRA estándar y a sus variantes destacadas tanto en las métricas de rendimiento del modelo como en la eficiencia computacional, incluida la velocidad de inicialización y el rendimiento de entrenamiento. Al equilibrar eficazmente el poder expresivo y la utilización de recursos, MiSS ofrece una solución convincente para adaptar de manera eficiente modelos a gran escala.

Resumen de las pruebas de rendimiento

Cuándo usar MiSS

MiSS es una buena opción cuando:

• Deseas una inicialización más rápida y un mayor rendimiento de entrenamiento que los esquemas avanzados de inicialización de LoRA que utilizan configuraciones costosas (como PiSSA, LoRA-GA u OLoRA).
• Desea una alternativa directa a LoRA con cambios mínimos de configuración.

Si necesita una expresividad mayor a costa de cierta eficiencia, considere la variante de inicialización bat (véase más abajo).

modos de init_weights

MiSS admite tres modos de inicialización mediante el parámetro init_weights:

• True (predeterminado): inicialización estándar de MiSS. Punto de partida óptimo para la mayoría de los casos de uso.
• "bat": Permite actualizaciones no lineales entre distintos fragmentos. Produce mejores resultados que MiSS estándar, pero utiliza más memoria y es aproximadamente el doble de lento. Utilice esta opción cuando el rendimiento sea prioritario sobre la eficiencia.
• "mini": Utiliza un rango más pequeño a lo largo de la dimensión out_features, controlado por mini_r. Esto reduce aún más los parámetros entrenables. Al usar este modo, mini_r debe estar definido y out_features debe ser divisible por mini_r.

Inicio rápido

import torch
from peft import MissConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")
tokenizer.pad_token_id = tokenizer.eos_token_id

# Standard MiSS
config = MissConfig(
    r=64,
    miss_dropout=0.01,
    task_type="CAUSAL_LM"
)

# BAT variant — better performance, more memory
# config = MissConfig(
#     r=64,
#     init_weights="bat",
#     task_type="CAUSAL_LM"
# )

# Mini variant — fewer trainable parameters
# config = MissConfig(
#     r=64,
#     init_weights="mini",
#     mini_r=8,
#     task_type="CAUSAL_LM"
# )

model = get_peft_model(model, config)
model.print_healthcheck()

Para un ejemplo completo de ajuste fino que incluye entrenamiento e inferencia, consulte el ejemplo de ajuste fino de MiSS.

API

MissConfig

MissModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import MissModel, MissConfig

>>> config_te = MissConfig(
...     r=8,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     init_weights=True,
... )
>>> config_unet = MissConfig(
...     r=8,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     init_weights=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = MissModel(model.text_encoder, config_te, "default")
>>> model.unet = MissModel(model.unet, config_unet, "default")