MIG
Multi-Instance GPU
MIG (Multi-Instance GPU) — технология NVIDIA для разделения одного GPU на несколько изолированных инстансов с гарантированными ресурсами. Доступна на A100, A30, H100, H200.
Содержание
Что такое MIG
MIG (Multi-Instance GPU) — технология NVIDIA, позволяющая разделить один физический GPU на до 7 изолированных инстансов. Каждый инстанс получает выделенные вычислительные ресурсы, память и пропускную способность — как отдельный маленький GPU.
Как работает
MIG делит GPU на GPU Instances (GI), каждый с фиксированным количеством SM и слайсов памяти. Внутри GI создаются Compute Instances (CI) для запуска задач. Изоляция аппаратная — один инстанс не может повлиять на производительность другого.
| Конфигурация A100 80GB | SM | VRAM | Сценарий |
|---|---|---|---|
| 1× 7g.80gb | Все 108 | 80 GB | Обучение LLM |
| 2× 3g.40gb | 42 × 2 | 40 GB × 2 | Два инференс-сервиса |
| 7× 1g.10gb | 14 × 7 | 10 GB × 7 | Мелкие задачи, разработка |
Зачем нужен MIG
Проблема: A100 80GB избыточна для инференса модели в 7B параметров — 70+ ГБ VRAM простаивают.
Решение: MIG позволяет запустить несколько моделей на одном GPU с полной изоляцией.
Сценарии:
- Мультитенантность: разные пользователи на одном GPU
- Инференс: несколько моделей параллельно
- Разработка: каждый разработчик получает свой GPU-слайс
- CI/CD: изолированные GPU для тестов
Ограничения
- Доступен только на datacenter GPU (A100, A30, H100, H200)
- Нет поддержки NVLink между MIG-инстансами
- Peer-to-peer GPU communication невозможен
- Требует перезагрузки для изменения конфигурации
# Включить MIG
sudo nvidia-smi -i 0 -mig 1
# Создать 7 инстансов по 1g.10gb
sudo nvidia-smi mig -i 0 -cgi 19,19,19,19,19,19,19 -C
# Список инстансов
nvidia-smi mig -i 0 -lgi