Аренда GPU для Ollama
запуск за 5 минут,
от 168 ₽/час

# Установка (Ubuntu 22.04/24.04, CUDA 12.x уже на сервере):
curl -fsSL https://ollama.com/install.sh | sh

# Проверим статус сервиса:
systemctl status ollama

# Скачиваем и запускаем модель (интерактивный чат):
ollama run qwen3:32b

# Или сервер слушает на 0.0.0.0:11434 в фоне:
OLLAMA_HOST=0.0.0.0 ollama serve

# Запуск с GPU (требуется nvidia-container-toolkit):
docker run -d --gpus=all \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

# Скачиваем модель внутрь контейнера:
docker exec -it ollama ollama pull qwen3:32b

# Чат через CLI:
docker exec -it ollama ollama run qwen3:32b

# Нативный endpoint:
curl http://localhost:11434/api/chat -d '{
  "model": "qwen3:32b",
  "messages": [{"role": "user", "content": "Привет"}],
  "stream": false
}'

# OpenAI-совместимый (Python):
from openai import OpenAI
client = OpenAI(base_url='http://localhost:11434/v1', api_key='ollama')
resp = client.chat.completions.create(
    model='qwen3:32b',
    messages=[{'role': 'user', 'content': 'Hi'}],
)

# Создаём Modelfile:
cat > Modelfile <<'EOF'
FROM qwen3:32b
PARAMETER temperature 0.3
PARAMETER num_ctx 16384
SYSTEM """Ты — ассистент компании Acme. Отвечай кратко, на русском."""
EOF

# Собираем кастомную модель:
ollama create acme-bot -f ./Modelfile

# Запускаем:
ollama run acme-bot