NVLink

Что такое NVLink

NVLink — проприетарный интерконнект NVIDIA для прямого соединения GPU без участия CPU и PCIe. Обеспечивает на порядок большую пропускную способность, чем PCIe.

Сравнение с PCIe

Поколения NVLink

Все значения bandwidth — суммарная двунаправленная пропускная способность (bidirectional) для максимальной конфигурации SXM.

Форм-факторы и NVLink

Пропускная способность NVLink зависит не только от поколения, но и от форм-фактора GPU. NVIDIA выпускает одни и те же чипы в разных вариантах корпуса, и количество NVLink-линков в них различается:

SXM (полный NVLink)

SXM-модули устанавливаются в специализированные платформы (DGX, HGX) через разъём SXM5. Все NVLink-линки доступны, максимальная пропускная способность. Подключаются к другим GPU через NVSwitch.

Примеры: H100 SXM (900 ГБ/с), H200 SXM (900 ГБ/с), A100 SXM4 (600 ГБ/с)

NVL (PCIe-карта с разъёмом NVLink)

Суффикс NVL в названии GPU означает наличие разъёма для NVLink-моста. Он появился начиная с поколения Hopper, когда NVIDIA стала выпускать PCIe-карты в двух вариантах: с NVLink (H100 NVL) и без (H100 PCIe). Суффикс NVL — маркер именно этого различия внутри линейки.

До Hopper такого разделения не было: A100 PCIe 80GB имела NVLink Bridge по умолчанию, без специального суффикса.

Количество NVLink-линков в NVL-вариантах меньше, чем у SXM, — обычно 8–12 вместо 18.

Примеры: H200 NVL (600 ГБ/с, 12 линков), H100 NVL (600 ГБ/с)

PCIe (без NVLink или с Bridge)

Обычные PCIe-карты для серверных и десктопных платформ.

Не все PCIe-карты имеют NVLink. H100 PCIe не имеет разъёма NVLink — multi-GPU только через PCIe. Но A100 PCIe 80GB оснащена разъёмом NVLink Bridge и обеспечивает 600 ГБ/с между двумя GPU — столько же, сколько SXM-вариант.

Consumer/Quadro с NVLink Bridge — некоторые карты имеют внешний NVLink-разъём для подключения NVLink Bridge (отдельный аксессуар). Пропускная способность значительно ниже, чем у SXM: 1–2 линка.

Примеры: RTX 3090 (112 ГБ/с, 2 линка), Quadro GV100 (100 ГБ/с, 2 линка)

Таблица: NVLink bandwidth по форм-факторам

Многочиповые видеокарты — это не NVLink

Распространённое заблуждение: если на одной плате стоят несколько GPU-чипов (как в NVIDIA K80 или A16), значит, между ними быстрая связь вроде NVLink. Это не так.

Чипы на K80 и A16 соединены обычным PCIe-свитчем — тем же интерфейсом, что используется для связи GPU с CPU. NVLink на этих картах отсутствует. NVLink доступен только на старших серверных GPU: A100, H100, H200, а также на некоторых потребительских картах (RTX 3090) через внешний мост — но не внутри многочиповых плат.

Для LLM это означает, что Tensor Parallelism между чипами K80 или A16 будет ограничен скоростью PCIe: overhead на синхронизацию составит 40–60%, а реальный прирост от второго чипа — всего 20–40% вместо ожидаемых 100%.

Подробнее о влиянии многочиповых карт на запуск LLM — в нашем гайде по расчёту VRAM.

Зачем NVLink для ML

При распределённом обучении GPU постоянно обмениваются градиентами (All-Reduce). Скорость этого обмена напрямую определяет утилизацию GPU.

Без NVLink: градиенты идут через PCIe → CPU → PCIe. Узкое место — GPU простаивают, ожидая синхронизации.

С NVLink: прямой обмен между GPU с минимальной задержкой. Утилизация GPU приближается к 100%.

NVSwitch

NVSwitch — коммутатор для полносвязного соединения всех GPU в сервере через NVLink. В DGX H100 все 8 GPU связаны через NVSwitch, обеспечивая 900 ГБ/с между любой парой. Без NVSwitch GPU могут общаться только с соседями по NVLink-мосту.

Влияние на модели

Для мульти-GPU инференса LLM (tensor parallelism) NVLink критичен: без него задержка при каждом слое модели увеличивается из-за медленного PCIe, что напрямую увеличивает TTFT и снижает throughput.

При выборе GPU для multi-GPU задач важно учитывать именно форм-фактор: H100 SXM с NVSwitch обеспечит 900 ГБ/с на пару GPU, тогда как H100 PCIe — только 64 ГБ/с через PCIe. Разница в 14 раз напрямую влияет на scaling efficiency.