Как запустить DeepSeek на GPU-сервере: полный гайд

DeepSeek стал одной из самых обсуждаемых моделей 2025–2026 годов. DeepSeek-V3 с 671 миллиардом параметров показывает результаты на уровне GPT-4o и Claude 3.5 Sonnet, а DeepSeek-R1 — первая open-source модель с полноценным chain-of-thought рассуждением.

Но запустить модель на 671B параметров — это не ollama run deepseek. Нужно правильное железо, правильная квантизация и правильный inference-сервер. В этом гайде разберём всё по шагам.

Семейство моделей DeepSeek

Прежде чем считать VRAM — разберёмся, какие модели существуют.

DeepSeek-V3 (671B)

Основная модель. Архитектура Mixture of Experts (MoE): 671B параметров всего, но при инференсе активны только ~37B. Это делает модель быстрее, чем «плотный» аналог на 671B, но VRAM нужен под все 671B весов.

• Контекст: 128K токенов
• Лицензия: MIT (полностью открытая)
• Основное применение: генерация текста, анализ, код

DeepSeek-R1 (671B)

Модель с chain-of-thought рассуждением. Та же архитектура MoE (671B / 37B active), но обучена с reinforcement learning для поэтапного рассуждения. Генерирует длинные «цепочки мысли» перед финальным ответом.

• Контекст: 128K токенов
• Особенность: ответы длиннее из-за reasoning-блока → больше KV-кеша
• Основное применение: математика, логика, программирование, сложный анализ

Дистилляты DeepSeek-R1

Команда DeepSeek обучила компактные модели на выходах R1 (дистилляция). Они сохраняют часть reasoning-способностей при гораздо меньших требованиях к железу:

Требования к VRAM

Главный вопрос: сколько видеопамяти нужно?

Формула

VRAM ≈ Параметры × Байт_на_вес + KV-кеш + Оверхед

Где байт на вес зависит от квантизации:

К этому добавляем 10–20% на KV-кеш (больше при длинном контексте) и ~1–2 ГБ на рантайм.

Практические конфигурации для DeepSeek-V3 / R1 (671B)

Важно: DeepSeek-V3/R1 — это MoE-модель. Хотя активны только 37B параметров за один проход, все 671B весов должны быть загружены в VRAM.

Практические конфигурации для дистиллятов

Какую квантизацию выбрать?

Для DeepSeek рекомендации:

• Q4_K_M — золотой стандарт. Потеря качества 1–2% на большинстве бенчмарков, VRAM в 3.5× меньше FP16
• Q5_K_M — если VRAM позволяет, чуть лучше на задачах рассуждения
• Q8_0 — практически без потерь, но VRAM в 2× больше Q4
• Q2_K — только в крайнем случае. На reasoning-моделях (R1) деградация особенно заметна
• FP8 — для серверов с H100/H200: минимальная потеря качества, нативная поддержка FP8 Tensor Cores

Для reasoning-моделей (DeepSeek-R1) качество квантизации важнее, чем для обычных. Если есть выбор — берите Q5_K_M вместо Q4_K_M.

Запуск через vLLM

vLLM — лучший выбор для продакшен-деплоя DeepSeek. Поддерживает tensor parallelism, continuous batching и PagedAttention.

Установка

pip install vllm

DeepSeek-V3 на 8× H100

vllm serve deepseek-ai/DeepSeek-V3 \
    --tensor-parallel-size 8 \
    --max-model-len 32768 \
    --trust-remote-code \
    --dtype auto

DeepSeek-R1 на 8× A100 80GB

vllm serve deepseek-ai/DeepSeek-R1 \
    --tensor-parallel-size 8 \
    --max-model-len 16384 \
    --trust-remote-code \
    --dtype auto \
    --gpu-memory-utilization 0.95

Дистиллят R1-Qwen-32B на одном RTX 4090

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
    --quantization awq \
    --max-model-len 8192 \
    --dtype auto

Ключевые параметры vLLM для DeepSeek

Запуск через llama.cpp / Ollama

Для локального запуска или когда VRAM не хватает (CPU offload).

Ollama (самый простой способ)

# Дистиллят 7B — работает даже на ноутбуке
ollama run deepseek-r1:7b

# Дистиллят 32B — нужно 24 ГБ VRAM
ollama run deepseek-r1:32b

# Полный R1 671B — нужно 8× GPU или CPU offload
ollama run deepseek-r1:671b

llama.cpp (максимальный контроль)

Скачайте GGUF-файл с HuggingFace и запустите:

# DeepSeek-V3 Q4_K_M на 4 GPU
./llama-server \
    -m DeepSeek-V3-Q4_K_M.gguf \
    --n-gpu-layers 99 \
    --tensor-split 24,24,24,24 \
    -c 8192 \
    --host 0.0.0.0 --port 8080

# DeepSeek-R1-Distill-Qwen-32B Q5_K_M на одном RTX 3090
./llama-server \
    -m DeepSeek-R1-Distill-Qwen-32B-Q5_K_M.gguf \
    --n-gpu-layers 99 \
    -c 8192 \
    --host 0.0.0.0 --port 8080

Параметры llama.cpp

Производительность: чего ожидать

DeepSeek-V3 671B

Дистилляты

Выбор GPU для DeepSeek

Для полной модели (671B)

Вам нужен серверный GPU или кластер потребительских карт:

Аренда GPU-сервера с 8× A100 80GB — самый практичный способ попробовать полную модель DeepSeek-V3/R1 без покупки железа за $200K+.

Для дистиллятов

Для локального использования R1-Distill-Qwen-32B на RTX 3090 — лучший баланс цены и качества reasoning.

Docker-деплой с Open WebUI

Простой способ получить ChatGPT-подобный интерфейс для DeepSeek:

# docker-compose.yml
services:
  ollama:
    image: ollama/ollama
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    volumes:
      - webui_data:/app/backend/data
    depends_on:
      - ollama

volumes:
  ollama_data:
  webui_data:

docker compose up -d

# Скачать модель
docker exec -it ollama ollama pull deepseek-r1:32b

Откройте http://localhost:3000 — готово.

Частые проблемы

«Out of Memory» при загрузке

Если модель не помещается:

1. Уменьшите --max-model-len (контекст) — KV-кеш съедает VRAM
2. Используйте более агрессивную квантизацию (Q4 → Q3)
3. Включите --enforce-eager в vLLM (отключает CUDA graphs)
4. В llama.cpp: уменьшите -ngl для частичного offload на CPU

Медленная генерация

1. Убедитесь, что модель полностью на GPU (-ngl 99 в llama.cpp)
2. Включите Flash Attention (-fa в llama.cpp)
3. Для vLLM: используйте tensor parallelism вместо pipeline
4. Проверьте, что PCIe не является bottleneck (x16, не x4)

DeepSeek-R1 генерирует слишком длинные ответы

R1 склонен к длинным chain-of-thought рассуждениям. Управляйте через:

# В API-вызове
response = client.chat.completions.create(
    model="deepseek-r1:32b",
    messages=[{"role": "user", "content": "Вопрос"}],
    max_tokens=2048,  # Ограничить длину ответа
    temperature=0.6,  # Ниже = короче рассуждения
)

Итог

DeepSeek-V3 и R1 — одни из лучших open-source моделей на рынке. Дистилляты позволяют получить reasoning-способности даже на бюджетном железе. А для полной модели аренда GPU-сервера — самый разумный путь.

Хотите запустить DeepSeek на GPU прямо сейчас? Арендуйте GPU-сервер в облаке Intelion — оплата по минутам, без обязательств.