Проверьте, является ли модель PEFT-моделью.

Контекстный менеджер для временного изменения масштаба адаптера LoRA в модели.

Исходные значения масштабирования восстанавливаются при выходе из контекстного менеджера. Этот контекстный менеджер работает с моделями transformers и diffusers, в которые адаптеры LoRA были загружены напрямую.

Для LoRA применение этого контекстного менеджера с множителем в диапазоне [0, 1] строго эквивалентно применению wise-ft (см. #1940 для подробностей). Это может улучшить производительность модели, если существует сдвиг распределения между обучающими данными, использованными для дообучения, и тестовыми данными, используемыми во время инференса.

Warning: Сообщалось, что при использовании бэкенда MPS от Apple для PyTorch необходимо добавить короткую паузу после выхода из контекста, чтобы масштабы были полностью восстановлены.

>>> model = ModelWithLoraLayer()
>>> multiplier = 0.5
>>> with rescale_adapter_scale(model, multiplier):
...     outputs = model(**inputs)  # Perform operations with the scaled model
>>> outputs = model(**inputs)  # The original scaling values are restored here

Контекстный менеджер отключает приведение типа входных данных к типу весов.

Контекстный менеджер для включения кэширования DoRA, что повышает скорость инференса DoRA за счёт потребления памяти.

При активном кэшировании материализованный вес LoRA (B @ A) и норма веса (базовый вес + вес LoRA) кэшируются.

Даже в контексте кэширования, если модель находится в режиме обучения, кэширование отключается. При переключении модели в режим обучения кэш очищается.

>>> from peft.helpers import DoraCaching

>>> model.eval()  # put in eval model for caching to work

>>> with DoraCaching():  # use as a context manager
...     output = model(inputs)

>>> dora_caching = DoraCaching()
>>> dora_caching(enabled=True)  # permanently enable caching
>>> output = model(inputs)
>>> dora_caching(enabled=False)  # permanently disable caching
>>> output = model(inputs)

Лёгкая утилита для вычисления чисел обусловленности по модулям / по параметрам и возврата лучших целей для LoRA.

Поддерживает:

• Классические модули nn.Linear (target_modules в LoraConfig)
• Современные объединённые веса MoE, хранящиеся как 3D-параметр nn.Parameter (gate_up_proj / down_proj, gate_proj / up_proj и т. д.), используемые в моделях Llama-4, Qwen2_MoE, Qwen3_MoE, Mixtral, OLMoE и аналогичных. Они возвращаются через target_parameters.

Примечания:

• Вычисление числа обусловленности требует выполнения SVD и может занимать несколько минут на очень больших моделях. Полосу прогресса можно показать/отключить с помощью show_progress.

Удобная однострочная функция для выбора целевых модулей KappaTune. Возвращает как target_modules, так и target_parameters.