VRAM

Что такое VRAM

VRAM (Video Random Access Memory) — выделенная память на видеокарте, используемая для хранения весов модели, активаций, градиентов и KV-cache во время обучения и инференса.

Почему VRAM важна

VRAM — главный ограничивающий фактор при работе с ML-моделями. Если модель не помещается в VRAM, она не запустится (без специальных техник вроде offloading).

Расчёт потребления VRAM

Инференс

VRAM = параметры × байт_на_параметр + KV-cache + overhead

Пример для LLaMA 3 8B в FP16:
= 8B × 2 байта + ~2 GB (KV-cache) + ~1 GB
≈ 19 GB

Обучение (полное)

VRAM ≈ параметры × 18 байт
(веса FP32 + градиенты + состояние оптимизатора Adam)

Пример для 7B модели:
= 7B × 18 ≈ 126 GB → нужно несколько GPU

Типы видеопамяти

Способы уменьшения потребления VRAM

1. Квантизация — INT8, INT4, GPTQ, AWQ
2. LoRA/QLoRA — обучение с замороженными весами
3. Gradient checkpointing — пересчёт вместо хранения
4. DeepSpeed ZeRO — распределение по GPU
5. CPU offloading — выгрузка части данных в RAM