# Создание контрольных точек

При обучении модели PyTorch с помощью Accelerate часто возникает необходимость сохранить текущее состояние обучения и продолжить его с этого места. Для этого требуется сохранить и загрузить модель, оптимизатор, генераторы случайных чисел (RNG) и GradScaler. В Accelerate есть две удобные функции, позволяющие сделать это быстро:
- Используйте [save_state()](/docs/accelerate/v1.16.0/ru/package_reference/accelerator#accelerate.Accelerator.save_state) для сохранения всего перечисленного выше в указанную папку
- Используйте [load_state()](/docs/accelerate/v1.16.0/ru/package_reference/accelerator#accelerate.Accelerator.load_state) для загрузки всего, что было сохранено ранее с помощью `save_state`

Чтобы дополнительно настроить, где и как сохраняются состояния с помощью [save_state()](/docs/accelerate/v1.16.0/ru/package_reference/accelerator#accelerate.Accelerator.save_state), можно использовать класс [ProjectConfiguration](/docs/accelerate/v1.16.0/ru/package_reference/utilities#accelerate.utils.ProjectConfiguration). Например, если включён `automatic_checkpoint_naming`, каждый сохранённый чекпоинт будет находиться по пути `Accelerator.project_dir/checkpoints/checkpoint_{checkpoint_number}`.

Следует отметить, что ожидается, что эти состояния получены из одного и того же скрипта обучения; они не должны происходить из двух разных скриптов.

- Используя [register_for_checkpointing()](/docs/accelerate/v1.16.0/ru/package_reference/accelerator#accelerate.Accelerator.register_for_checkpointing), вы можете зарегистрировать пользовательские объекты для их автоматического сохранения или загрузки с помощью двух описанных выше функций,
при условии, что объект имеет `state_dict` **и** функциональность `load_state_dict`. К таким объектам могут относиться, например, планировщики скорости обучения.

Ниже приведён краткий пример использования checkpointing для сохранения и загрузки состояния во время обучения:

```python
from accelerate import Accelerator
import torch

accelerator = Accelerator(project_dir="my/save/path")

my_scheduler = torch.optim.lr_scheduler.StepLR(my_optimizer, step_size=1, gamma=0.99)
my_model, my_optimizer, my_training_dataloader = accelerator.prepare(my_model, my_optimizer, my_training_dataloader)

# Register the LR scheduler
accelerator.register_for_checkpointing(my_scheduler)

# Save the starting state
accelerator.save_state()

device = accelerator.device
my_model.to(device)

# Perform training
for epoch in range(num_epochs):
    for batch in my_training_dataloader:
        my_optimizer.zero_grad()
        inputs, targets = batch
        inputs = inputs.to(device)
        targets = targets.to(device)
        outputs = my_model(inputs)
        loss = my_loss_function(outputs, targets)
        accelerator.backward(loss)
        my_optimizer.step()
    my_scheduler.step()

# Restore the previous state
accelerator.load_state("my/save/path/checkpointing/checkpoint_0")
```

## Восстановление состояния DataLoader 

После возобновления из контрольной точки может быть целесообразно продолжить с определённого места в активном `DataLoader`, если состояние было сохранено в середине эпохи. Для этого можно использовать [skip_first_batches()](/docs/accelerate/v1.16.0/ru/package_reference/accelerator#accelerate.Accelerator.skip_first_batches).

```python
from accelerate import Accelerator

accelerator = Accelerator(project_dir="my/save/path")

train_dataloader = accelerator.prepare(train_dataloader)
accelerator.load_state("my_state")

# Assume the checkpoint was saved 100 steps into the epoch
skipped_dataloader = accelerator.skip_first_batches(train_dataloader, 100)

# After the first iteration, go back to `train_dataloader`

# First epoch
for batch in skipped_dataloader:
    # Do something
    pass

# Second epoch
for batch in train_dataloader:
    # Do something
    pass
```

