Как хостить LLM на своём GPU-сервере

Запуск собственного LLM-сервера — это полный контроль над данными, отсутствие ежемесячных платежей за API и возможность кастомизации. В этом гайде разберём, как поднять production-ready LLM-сервер на GPU.

Зачем хостить LLM самому?

Когда self-hosted выгоден:
- Больше ~$500/мес на API-токены
- Есть требования по конфиденциальности (медицина, финансы, внутренняя документация)
- Нужна кастомная модель (файнтюнинг)
- Стабильный поток запросов (не спорадический)

Выбор модели

По задаче

По доступному VRAM

Выбор inference-движка

Ollama — для простоты

Когда использовать: личный сервер, 1–3 пользователя, быстрый старт.

# Установка
curl -fsSL https://ollama.com/install.sh | sh

# Запуск модели
ollama run qwen2.5:32b

# API-сервер (совместим с OpenAI)
ollama serve
# Доступен на http://localhost:11434/v1/chat/completions

Плюсы: простота, автоматическое скачивание моделей, GGUF-квантизации.
Минусы: нет continuous batching, медленнее при нескольких пользователях.

vLLM — для продакшена

Когда использовать: API для команды/продукта, 5+ пользователей, максимальная производительность.

pip install vllm

vllm serve Qwen/Qwen2.5-32B-Instruct \
    --tensor-parallel-size 1 \
    --max-model-len 16384 \
    --gpu-memory-utilization 0.92 \
    --dtype auto \
    --api-key your-secret-key \
    --host 0.0.0.0 --port 8000

Плюсы: continuous batching, PagedAttention, tensor parallelism, OpenAI-совместимый API.
Минусы: требует больше настройки, только HuggingFace-формат (не GGUF).

llama.cpp + llama-server — для CPU offload

Когда использовать: модель не помещается в VRAM целиком, нужен частичный CPU offload.

./llama-server \
    -m model.gguf \
    --n-gpu-layers 30 \
    -c 8192 \
    --host 0.0.0.0 --port 8080

Сравнение

Настройка OpenAI-совместимого API

Все три движка предоставляют API, совместимый с OpenAI SDK:

from openai import OpenAI

client = OpenAI(
    base_url="http://your-server:8000/v1",
    api_key="your-secret-key",  # для vLLM; для Ollama — любой
)

response = client.chat.completions.create(
    model="Qwen/Qwen2.5-32B-Instruct",  # или "qwen2.5:32b" для Ollama
    messages=[
        {"role": "system", "content": "Ты полезный ассистент."},
        {"role": "user", "content": "Объясни что такое transformer"}
    ],
    temperature=0.7,
    max_tokens=1024,
)

print(response.choices[0].message.content)

Это значит, что вы можете подставить свой сервер вместо OpenAI API в любом приложении, которое использует OpenAI SDK — LangChain, LlamaIndex, AutoGen, Continue.dev и т.д.

Веб-интерфейс: Open WebUI

Для удобного ChatGPT-подобного интерфейса:

# docker-compose.yml
services:
  ollama:
    image: ollama/ollama
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    volumes:
      - webui_data:/app/backend/data
    depends_on:
      - ollama

volumes:
  ollama_data:
  webui_data:

docker compose up -d
docker exec ollama ollama pull qwen2.5:32b

Откройте http://your-server:3000 — многопользовательский чат с историей, файлами и RAG.

Продакшен-настройки

Reverse proxy с HTTPS

server {
    listen 443 ssl http2;
    server_name llm.your-domain.com;

    ssl_certificate /etc/letsencrypt/live/llm.your-domain.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/llm.your-domain.com/privkey.pem;

    # API endpoint
    location /v1/ {
        proxy_pass http://127.0.0.1:8000;
        proxy_set_header Host $host;
        proxy_read_timeout 300s;  # LLM генерирует долго
    }

    # WebUI
    location / {
        proxy_pass http://127.0.0.1:3000;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
    }
}

Мониторинг

Ключевые метрики для LLM-сервера:

vLLM предоставляет встроенный Prometheus endpoint:

vllm serve ... --enable-metrics
# Метрики на http://localhost:8000/metrics

Автозапуск

# systemd unit для vLLM
sudo tee /etc/systemd/system/vllm.service << 'EOF'
[Unit]
Description=vLLM Server
After=network.target

[Service]
User=ubuntu
WorkingDirectory=/home/ubuntu
ExecStart=/home/ubuntu/.local/bin/vllm serve Qwen/Qwen2.5-32B-Instruct \
    --tensor-parallel-size 1 \
    --max-model-len 16384 \
    --gpu-memory-utilization 0.92 \
    --api-key your-secret-key
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl enable --now vllm

Сравнение стоимости: self-hosted vs API

Пример: 1M токенов/день

При 5M+ токенов/день self-hosted становится в 5–10× дешевле облачных API.

Пример: 10M токенов/день

Выбор GPU для LLM-сервера

Частые проблемы

Модель загружается, но отвечает медленно

1. Проверьте, что модель полностью на GPU (nvidia-smi — VRAM usage)
2. CPU offload = в 10–50× медленнее
3. Включите Flash Attention в llama.cpp (-fa)
4. Используйте vLLM вместо Ollama для нескольких пользователей

OOM при нескольких пользователях

1. Уменьшите --max-model-len (KV-кеш растёт с контекстом × кол-во пользователей)
2. В vLLM: --max-num-seqs 4 (ограничить параллельные запросы)
3. Используйте квантизацию (Q4_K_M вместо FP16)

Качество ответов хуже, чем у ChatGPT

1. Используйте Instruct/Chat версию модели (не base)
2. Проверьте system prompt
3. Попробуйте модель побольше (7B → 32B)
4. Настройте temperature (0.7 для чата, 0 для точных задач)

Итог

Self-hosted LLM — это практично и экономично при объёме от 1M токенов/день. Для старта:

1. Возьмите RTX 3090 (б/у за $600) или арендуйте GPU-сервер
2. Установите Ollama (простота) или vLLM (производительность)
3. Поставьте Open WebUI для интерфейса
4. Запустите Qwen2.5-32B — лучший баланс качества и размера

Хотите запустить LLM-сервер без покупки железа? Арендуйте GPU-сервер в облаке Intelion — оплата по минутам, без обязательств.