Апскейлинг изображений нейросетями на GPU

ИИ-апскейлинг позволяет увеличить разрешение изображения в 2–4× с сохранением деталей, которых не было в оригинале. Нейросеть «дорисовывает» текстуры, грани и мелкие элементы — результат значительно лучше, чем классический bicubic или Lanczos.

В этом гайде разберём основные инструменты, требования к GPU и практические рабочие процессы.

Методы ИИ-апскейлинга

1. ESRGAN / Real-ESRGAN

Самый популярный и простой метод. Real-ESRGAN — улучшенная версия, обученная на реальных деградациях (JPEG-артефакты, шум, размытие).

Лучше всего для: пакетного апскейлинга фотографий, видео, обложек.

2. Stable Diffusion Upscale (SD Upscaler)

Использует диффузионную модель для «перерисовки» изображения в высоком разрешении. Добавляет детали, которых не было — может как улучшить, так и «придумать» лишнее.

Лучше всего для: AI-арта, иллюстраций, когда нужно максимальное качество.

3. Tiled Upscale (ComfyUI / A1111)

Комбинация: сначала ESRGAN для увеличения, затем Stable Diffusion обрабатывает изображение тайлами (фрагментами), добавляя детали.

Лучше всего для: максимального качества на больших разрешениях (4K, 8K).

4. Topaz Gigapixel AI

Коммерческое решение с GUI. Простое в использовании, но закрытое и платное.

Лучше всего для: пользователей без технического опыта, фотографов.

Сравнение качества

Важно: SD Upscaler может «галлюцинировать» детали — добавлять элементы, которых не было. Для документов и текста используйте ESRGAN или Topaz.

Требования к GPU

Практика: Real-ESRGAN

Установка

pip install realesrgan

# Или клонируем репозиторий для больше контроля
git clone https://github.com/xinntao/Real-ESRGAN.git
cd Real-ESRGAN
pip install -r requirements.txt
python setup.py develop

Апскейлинг одного изображения

python inference_realesrgan.py \
    -i input.jpg \
    -o output/ \
    -n RealESRGAN_x4plus \
    --outscale 4 \
    --face_enhance  # Улучшение лиц (GFPGAN)

Модели Real-ESRGAN

Пакетная обработка

# Все изображения из папки
python inference_realesrgan.py \
    -i ./input_folder/ \
    -o ./output_folder/ \
    -n RealESRGAN_x4plus \
    --outscale 4

Python API

from realesrgan import RealESRGANer
from basicsr.archs.rrdbnet_arch import RRDBNet
import cv2

# Инициализация
model = RRDBNet(num_in_ch=3, num_out_ch=3, num_feat=64,
                num_block=23, num_grow_ch=32, scale=4)
upsampler = RealESRGANer(
    scale=4,
    model_path='weights/RealESRGAN_x4plus.pth',
    model=model,
    tile=512,       # Тайлинг для экономии VRAM
    tile_pad=10,
    pre_pad=0,
    half=True,      # FP16 — быстрее и меньше VRAM
)

# Апскейлинг
img = cv2.imread('input.jpg', cv2.IMREAD_UNCHANGED)
output, _ = upsampler.enhance(img, outscale=4)
cv2.imwrite('output.png', output)

Практика: SD Upscale в ComfyUI

ComfyUI предоставляет нодовый подход к апскейлингу.

Простой пайплайн: ESRGAN + SD Refiner

1. Load Image → загружаем исходное изображение
2. Upscale Image (using Model) → ESRGAN 4×
3. VAE Encode → кодируем в латентное пространство
4. KSampler → SD обрабатывает с низким denoise (0.3–0.5)
5. VAE Decode → декодируем обратно
6. Save Image → сохраняем результат

Ключевые настройки

Ultimate SD Upscale (кастомная нода)

Для апскейлинга больших изображений с ограниченным VRAM:

Install: ComfyUI Manager → Install Custom Nodes → UltimateSDUpscale

Эта нода автоматически разбивает изображение на тайлы, обрабатывает каждый через SD и сшивает обратно. Результат — апскейлинг до 8K+ даже на 8 ГБ VRAM.

Практика: апскейлинг видео

Real-ESRGAN для видео

python inference_realesrgan_video.py \
    -i input_video.mp4 \
    -o output/ \
    -n realesr-animevideov3 \
    --outscale 2 \
    --num_process_per_gpu 2

FFmpeg + Real-ESRGAN pipeline

# 1. Извлекаем кадры
ffmpeg -i input.mp4 -qscale:v 1 -qmin 1 frames/%06d.png

# 2. Апскейлим все кадры
python inference_realesrgan.py -i frames/ -o frames_upscaled/ -n RealESRGAN_x4plus --outscale 2

# 3. Собираем обратно в видео
ffmpeg -framerate 30 -i frames_upscaled/%06d_out.png \
    -c:v libx264 -crf 18 -pix_fmt yuv420p output.mp4

# 4. Добавляем звук из оригинала
ffmpeg -i output.mp4 -i input.mp4 -c:v copy -c:a aac -map 0:v -map 1:a final.mp4

Скорость обработки видео

10-минутное видео 1080p → 4K на RTX 4090: ~30 минут.

Сравнение производительности

Docker-деплой для пакетной обработки

# docker-compose.yml
services:
  upscaler:
    image: python:3.11
    volumes:
      - ./input:/data/input
      - ./output:/data/output
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    command: >
      bash -c "pip install realesrgan &&
      python -c 'from realesrgan.utils import RealESRGANer; print(\"Ready\")' &&
      python inference_realesrgan.py -i /data/input -o /data/output -n RealESRGAN_x4plus --outscale 4"

Выбор GPU для апскейлинга

Итог

Для большинства задач Real-ESRGAN — лучший баланс скорости и качества. Для максимального результата — комбинация ESRGAN + SD Upscale в ComfyUI.

Нужен мощный GPU для апскейлинга? Арендуйте GPU-сервер в облаке Intelion — мощные видеокарты для обработки изображений и видео.