NVLink
NVLink
NVLink — высокоскоростной интерконнект NVIDIA для связи GPU между собой, обеспечивающий пропускную способность до 1800 ГБ/с (NVLink 5.0) и позволяющий объединять VRAM нескольких GPU.
Что такое NVLink
NVLink — проприетарный интерконнект NVIDIA для прямого соединения GPU без участия CPU и PCIe. Обеспечивает на порядок большую пропускную способность, чем PCIe.
Сравнение с PCIe
| Характеристика | PCIe Gen5 x16 | NVLink 4.0 (H100 SXM) |
|---|---|---|
| Bandwidth | 64 ГБ/с | 900 ГБ/с |
| Задержка | Высокая | Низкая |
| GPU-to-GPU | Через CPU | Напрямую |
Поколения NVLink
| Поколение | Архитектура | Bandwidth (SXM) | Линков | На линк |
|---|---|---|---|---|
| NVLink 1.0 | Pascal | 160 ГБ/с | 4 | 40 ГБ/с |
| NVLink 2.0 | Volta | 300 ГБ/с | 6 | 50 ГБ/с |
| NVLink 3.0 | Ampere | 600 ГБ/с | 12 | 50 ГБ/с |
| NVLink 4.0 | Hopper | 900 ГБ/с | 18 | 50 ГБ/с |
| NVLink 5.0 | Blackwell | 1800 ГБ/с | 18 | 100 ГБ/с |
Все значения bandwidth — суммарная двунаправленная пропускная способность (bidirectional) для максимальной конфигурации SXM.
Форм-факторы и NVLink
Пропускная способность NVLink зависит не только от поколения, но и от форм-фактора GPU. NVIDIA выпускает одни и те же чипы в разных вариантах корпуса, и количество NVLink-линков в них различается:
SXM (полный NVLink)
SXM-модули устанавливаются в специализированные платформы (DGX, HGX) через разъём SXM5. Все NVLink-линки доступны, максимальная пропускная способность. Подключаются к другим GPU через NVSwitch.
Примеры: H100 SXM (900 ГБ/с), H200 SXM (900 ГБ/с), A100 SXM4 (600 ГБ/с)
NVL (PCIe-карта с разъёмом NVLink)
Суффикс NVL в названии GPU означает наличие разъёма для NVLink-моста. Он появился начиная с поколения Hopper, когда NVIDIA стала выпускать PCIe-карты в двух вариантах: с NVLink (H100 NVL) и без (H100 PCIe). Суффикс NVL — маркер именно этого различия внутри линейки.
До Hopper такого разделения не было: A100 PCIe 80GB имела NVLink Bridge по умолчанию, без специального суффикса.
Количество NVLink-линков в NVL-вариантах меньше, чем у SXM, — обычно 8–12 вместо 18.
Примеры: H200 NVL (600 ГБ/с, 12 линков), H100 NVL (600 ГБ/с)
PCIe (без NVLink или с Bridge)
Обычные PCIe-карты для серверных и десктопных платформ.
Не все PCIe-карты имеют NVLink. H100 PCIe не имеет разъёма NVLink — multi-GPU только через PCIe. Но A100 PCIe 80GB оснащена разъёмом NVLink Bridge и обеспечивает 600 ГБ/с между двумя GPU — столько же, сколько SXM-вариант.
Consumer/Quadro с NVLink Bridge — некоторые карты имеют внешний NVLink-разъём для подключения NVLink Bridge (отдельный аксессуар). Пропускная способность значительно ниже, чем у SXM: 1–2 линка.
Примеры: RTX 3090 (112 ГБ/с, 2 линка), Quadro GV100 (100 ГБ/с, 2 линка)
Таблица: NVLink bandwidth по форм-факторам
| GPU | Форм-фактор | NVLink | Bandwidth |
|---|---|---|---|
| H200 SXM | SXM Module | 4th Gen, 18 линков | 900 ГБ/с |
| H200 NVL | NVL Module | 4th Gen, 12 линков | 600 ГБ/с |
| H100 SXM | SXM Module | 4th Gen, 18 линков | 900 ГБ/с |
| H100 PCIe | PCIe | Нет NVLink | — |
| A100 SXM4 | SXM/OAM | 3rd Gen, 12 линков | 600 ГБ/с |
| A100 PCIe 80GB | PCIe + NVLink Bridge | 3rd Gen, 12 линков | 600 ГБ/с |
| RTX 3090 | PCIe + Bridge | 3rd Gen, 2 линка | 112 ГБ/с |
| V100 SXM2 | SXM Module | 2nd Gen, 6 линков | 300 ГБ/с |
Зачем NVLink для ML
При распределённом обучении GPU постоянно обмениваются градиентами (All-Reduce). Скорость этого обмена напрямую определяет утилизацию GPU.
Без NVLink: градиенты идут через PCIe → CPU → PCIe. Узкое место — GPU простаивают, ожидая синхронизации.
С NVLink: прямой обмен между GPU с минимальной задержкой. Утилизация GPU приближается к 100%.
NVSwitch
NVSwitch — коммутатор для полносвязного соединения всех GPU в сервере через NVLink. В DGX H100 все 8 GPU связаны через NVSwitch, обеспечивая 900 ГБ/с между любой парой. Без NVSwitch GPU могут общаться только с соседями по NVLink-мосту.
Влияние на модели
Для мульти-GPU инференса LLM (tensor parallelism) NVLink критичен: без него задержка при каждом слое модели увеличивается из-за медленного PCIe, что напрямую увеличивает TTFT и снижает throughput.
При выборе GPU для multi-GPU задач важно учитывать именно форм-фактор: H100 SXM с NVSwitch обеспечит 900 ГБ/с на пару GPU, тогда как H100 PCIe — только 64 ГБ/с через PCIe. Разница в 14 раз напрямую влияет на scaling efficiency.