NVIDIA vs AMD для LLM: ROCm против CUDA в 2026 году

Если вы выбираете GPU для инференса больших языковых моделей, то первый вопрос — NVIDIA или AMD? Ещё два года назад ответ был очевиден: CUDA и только CUDA. Но в 2025–2026 годах AMD совершила рывок — ROCm стал зрелой платформой, а MI300X начал теснить H100 по соотношению цена/производительность.

В этой статье разберём обе экосистемы: что реально работает, где подводные камни и когда какая платформа выгоднее.

Что такое CUDA и ROCm

CUDA (Compute Unified Device Architecture) — проприетарный SDK от NVIDIA, запущенный в 2007 году. За 19 лет вокруг него выросла гигантская экосистема: cuDNN, TensorRT, NCCL, Nsight — тысячи оптимизированных библиотек для ML/AI.

ROCm (Radeon Open Compute) — открытая платформа AMD для GPGPU-вычислений. Текущая стабильная версия — ROCm 7.2.0, параллельно развивается технологическое превью ROCm 7.10.0. ROCm использует HIP (Heterogeneous-compute Interface for Portability) — API, близкий к CUDA, что упрощает портирование кода.

Поддержка GPU

NVIDIA

Весь стек CUDA работает на любой GPU от NVIDIA начиная с архитектуры Kepler. Для LLM наиболее актуальны:

• Дата-центр: H100, H200, B200 (Blackwell), A100
• Потребительские: RTX 4090 (24 ГБ), RTX 5090 (32 ГБ), RTX 3090 (24 ГБ)

AMD

ROCm поддерживает ограниченный набор GPU. Официально:

• Дата-центр: MI355X, MI350X, MI325X, MI300X (CDNA)
• Потребительские (Linux): RX 7900 XTX, RX 7900 XT, RX 7900 GRE (RDNA 3), RX 9070 XT, RX 9070, RX 9060 XT (RDNA 4)

Неофициально работают и другие карты (RX 7800 XT, RX 7600), но с костылём: нужно выставлять переменную HSA_OVERRIDE_GFX_VERSION для эмуляции поддерживаемой архитектуры.

Важный нюанс: RX 9070 при запуске в начале 2025 года не имела поддержки ROCm. Поддержку добавили только в последующих обновлениях ROCm 7.0.x. Такие задержки — характерная проблема экосистемы AMD.

Поддержка ML-фреймворков

Ключевые выводы:

• PyTorch и vLLM — паритет. На ROCm всё работает в продакшене.
• llama.cpp — отлично работает через HIP-бэкенд. AMD даже вносит оптимизации: Grouped GEMM API в hipBLASLt дал прирост до 29% на MI300X для длинных последовательностей.
• TensorRT-LLM — остаётся эксклюзивом NVIDIA. Если вам нужна максимальная производительность на конкретном железе NVIDIA, это аргумент в пользу CUDA.

Бенчмарки: MI300X vs H100

Самое интересное — реальная производительность.

llama.cpp (8×GPU)

vLLM

Потребительский сегмент: RX 7900 XTX

Для сравнения: RTX 4090 на Llama 7B Q4_0 выдаёт ~130–140 t/s генерации — лишь немного быстрее 7900 XTX, но стоит ощутимо дороже.

Цена: главный козырь AMD

Именно здесь AMD побеждает убедительнее всего.

Дата-центр

MI300X стоит в 2–3× дешевле H100, при этом имеет 2.4× больше VRAM. Это значит, что модель Llama 70B–120B можно разместить на одном MI300X без шардирования — проще в эксплуатации и ниже latency.

Облако

Стоимость инференса на MI300X — в 2–2.5× ниже при сопоставимой производительности.

Потребительский сегмент

RX 7900 XTX — лучшее соотношение VRAM/доллар для локального инференса. А сетап из 4× MI50 за $600 с б/у рынка даёт 128 ГБ VRAM и 20+ tok/s на моделях в 235B параметров — эквивалентный сетап NVIDIA обошёлся бы в $6 400+.

Подводные камни ROCm

Несмотря на прогресс, у ROCm остаются серьёзные проблемы:

1. FlashAttention — фрагментация

FlashAttention-2 работает через форк AMD / Composable Kernel бэкенд. Простой pip install flash-attn часто падает без специальных флагов сборки. FlashAttention-3 (оптимизирован для NVIDIA Hopper) вообще недоступен на ROCm — это значительное преимущество NVIDIA для тренировки.

CK-бэкенд FA-2 поддерживает только MI200x, MI250x, MI300x, MI355x. Потребительские карты (7900 XTX) имеют ограниченную поддержку.

2. Узкая официальная поддержка GPU

Много карт AMD работают только с костылём HSA_OVERRIDE_GFX_VERSION. Windows-поддержка значительно отстаёт от Linux.

3. Экосистема тоньше

Многие CUDA-first библиотеки требуют отдельных портов на ROCm. Документация скуднее. Сообщество меньше. Установка драйверов сложнее, чем у NVIDIA.

4. Регрессии производительности

Есть отчёты о деградации Flash Attention на ROCm при batch size 16+. Sliding window attention и другие варианты часто не имеют Triton-поддержки.

Преимущества экосистемы CUDA

• TensorRT-LLM — компилирует модели в GPU-специфичные графы выполнения, оптимизированные под конкретные Tensor Cores. Пиковая производительность инференса, недоступная на ROCm.
• cuDNN — 15+ лет оптимизаций. Работает «из коробки» в PyTorch/TensorFlow.
• FlashAttention-3 — эксклюзив Hopper+, значительное ускорение attention.
• NCCL — зрелая библиотека multi-GPU коммуникации. AMD RCCL существует, но менее проверен.
• Инструменты разработки — Nsight, профайлинг, отладка — всё на порядок зрелее.
• Тренировка — FP8/BF16 Tensor Cores + fused attention kernels делают NVIDIA бесспорным лидером для обучения моделей.

Когда выбрать AMD?

Выбирайте AMD (ROCm), если:

• Приоритет — стоимость инференса, а не пиковая скорость
• Нужен большой VRAM без шардирования (MI300X = 192 ГБ)
• Вы работаете на Linux и готовы к менее гладкому опыту настройки
• Запускаете LLM локально и хотите максимум VRAM за минимум денег (RX 7900 XTX)
• Используете vLLM или llama.cpp — оба отлично работают на ROCm

Выбирайте NVIDIA (CUDA), если:

• Вам нужна тренировка моделей, а не только инференс
• Важна максимальная производительность (TensorRT-LLM, FlashAttention-3)
• Вы используете специализированные ML-библиотеки, которые есть только под CUDA
• Нужна поддержка Windows или стабильная работа «из коробки»
• Работаете с нестандартными архитектурами моделей, где нужны кастомные CUDA-ядра

Итог

В 2026 году выбор между NVIDIA и AMD перестал быть однозначным. AMD ROCm прошёл путь от «экспериментального» до «production-ready» — vLLM официально поддерживает ROCm как первоклассную платформу, llama.cpp отлично работает через HIP, а MI300X по цене за токен обходит H100.

Но CUDA по-прежнему впереди по ширине экосистемы, тренировке моделей и пиковой оптимизации инференса. 19 лет head-start не стираются за два года.

Наша рекомендация: для инференса LLM в продакшене рассмотрите MI300X — экономия 2–3× при сопоставимой производительности. Для тренировки и экспериментов — NVIDIA остаётся надёжным выбором. А для локального запуска моделей RX 7900 XTX — лучший вариант по цене/VRAM на рынке.

Хотите запустить LLM на GPU прямо сейчас? Арендуйте GPU-сервер в облаке Intelion — оплата по минутам, без обязательств.