# Pelatihan PyTorch yang Dipercepat di Mac

Dengan rilis PyTorch v1.12, pengembang dan peneliti dapat memanfaatkan GPU Apple silicon untuk pelatihan model yang jauh lebih cepat. Hal ini membuka kemampuan untuk menjalankan alur kerja machine learning seperti prototyping dan fine-tuning secara lokal, langsung di Mac. Metal Performance Shaders (MPS) Apple sebagai backend untuk PyTorch memungkinkan hal ini dan dapat digunakan melalui perangkat baru `"mps"`. Ini akan memetakan graf komputasi dan primitif pada kerangka kerja MPS Graph serta kernel yang dioptimalkan yang disediakan oleh MPS. Untuk informasi lebih lanjut, silakan merujuk ke dokumen resmi [Introducing Accelerated PyTorch Training on Mac](https://pytorch.org/blog/introducing-accelerated-pytorch-training-on-mac/) dan [MPS BACKEND](https://pytorch.org/docs/stable/notes/mps.html).

### Manfaat Pelatihan dan Inferensi menggunakan Chip Apple Silicon

1. Memungkinkan pengguna untuk melatih jaringan atau ukuran batch yang lebih besar secara lokal
2. Mengurangi latensi pengambilan data dan memberikan akses langsung ke GPU ke seluruh penyimpanan memori karena arsitektur memori terpadu.
Oleh karena itu, meningkatkan kinerja end-to-end.
3. Mengurangi biaya yang terkait dengan pengembangan berbasis cloud atau kebutuhan akan GPU lokal tambahan.

**Prasyarat**: Untuk menginstal torch dengan dukungan mps, silakan ikuti artikel medium yang bagus ini [GPU-Acceleration Comes to PyTorch on M1 Macs](https://medium.com/towards-data-science/gpu-acceleration-comes-to-pytorch-on-m1-macs-195c399efcc1).

## Cara kerjanya secara bawaan
Fitur ini diaktifkan secara bawaan pada mesin MacOs dengan GPU Apple Silicon yang mendukung MPS. Untuk menonaktifkannya, berikan flag `--cpu` pada perintah `accelerate launch` atau jawab pertanyaan yang sesuai saat mengisi kuesioner `accelerate config`.

Anda dapat langsung menjalankan skrip berikut untuk mengujinya pada mesin Apple Silicon yang mendukung MPS:
```bash
accelerate launch /examples/cv_example.py --data_dir images
```

## Beberapa hal yang perlu diperhatikan

1. Konfigurasi terdistribusi `gloo` dan `nccl` tidak berfungsi dengan perangkat `mps`.
Ini berarti bahwa saat ini hanya satu GPU dari tipe perangkat `mps` yang dapat digunakan.

Terakhir, harap diingat bahwa `Accelerate` hanya mengintegrasikan backend MPS, sehingga jika Anda memiliki masalah atau pertanyaan terkait penggunaan backend MPS, silakan ajukan masalah di [PyTorch GitHub](https://github.com/pytorch/pytorch/issues).

