Аренда GPU для SGLang
запуск за 5 минут,
от 168 ₽/час

# Ubuntu 24, CUDA 12.x, Python 3.10+. Системный Python managed — ставим в venv:
python3 -m venv /opt/sglang && source /opt/sglang/bin/activate
pip install --upgrade pip
pip install sglang

# Запуск сервера на A100 80GB:
python3 -m sglang.launch_server \
  --model-path Qwen/Qwen3-32B \
  --host 0.0.0.0 --port 30000 \
  --tp 1 --mem-fraction-static 0.90 \
  --attention-backend fa3 \
  --trust-remote-code

# Pull образа и запуск с пробросом GPU и кеша HF:
docker run --gpus all --shm-size 32g \
  -p 30000:30000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  --env 'HF_TOKEN=hf_xxx' --ipc=host \
  lmsysorg/sglang:latest \
  python3 -m sglang.launch_server \
    --model-path meta-llama/Llama-3.1-8B-Instruct \
    --host 0.0.0.0 --port 30000

pip install openai

python3 - <<'PY'
from openai import OpenAI

client = OpenAI(
    base_url='http://127.0.0.1:30000/v1',
    api_key='EMPTY',
)

# Structured JSON через response_format:
resp = client.chat.completions.create(
    model='Qwen/Qwen3-32B',
    messages=[{'role': 'user', 'content': 'Опиши Москву JSON-ом'}],
    response_format={
        'type': 'json_schema',
        'json_schema': {
            'name': 'CityInfo',
            'schema': {
                'type': 'object',
                'properties': {
                    'name': {'type': 'string'},
                    'population': {'type': 'integer'},
                },
                'required': ['name', 'population'],
            },
        },
    },
)
print(resp.choices[0].message.content)
PY

# Перед запуском: скачать модель и подменить config.json на config_1m.json
# (см. карточку модели Qwen на HuggingFace)
python3 -m sglang.launch_server \
  --model-path ./Qwen3-30B-A3B-Instruct-2507-FP8 \
  --tp 4 --attention-backend dual_chunk_flash_attn \
  --context-length 1010000 \
  --chunked-prefill-size 131072 \
  --mem-fraction-static 0.75 \
  --trust-remote-code