Данные и токенизация
20 просмотров
Prompt Engineering
Prompt Engineering
Prompt Engineering — искусство составления запросов для LLM без изменения весов модели. Включает техники zero-shot, few-shot, chain-of-thought, system prompts.
Что такое Prompt Engineering
Prompt Engineering — методы формулирования запросов к LLM для получения точных и предсказуемых ответов. В отличие от fine-tuning, не требует обучения.
Основные техники
Zero-shot
Переведи на английский: "Аренда GPU-сервера"
Few-shot
RTX 4090 → gaming
A100 → datacenter
MI300X →
Chain-of-Thought (CoT)
Сколько VRAM нужно для LLaMA 3 70B в FP16?
Рассуждаем: 70B × 2 байта = 140 GB + KV-Cache ≈ 160-180 GB
System Prompt
system: Ты — эксперт по GPU. Отвечай кратко, с цифрами.
Продвинутые техники
| Техника | Описание |
|---|---|
| ReAct | Reasoning + Acting: чередование рассуждений и действий |
| Tree of Thoughts | Несколько путей рассуждения с оценкой |
| Self-Consistency | N ответов, выбор консенсуса |
| Structured Output | JSON schema в промпте |
Prompt Engineering vs Fine-tuning
| Критерий | Prompt Engineering | Fine-tuning |
|---|---|---|
| Стоимость | Бесплатно | GPU-часы |
| Время | Минуты | Часы-дни |
| Глубина | Поверхностная | Глубокая |
| Данные | Нет | Сотни-тысячи примеров |
Влияние на GPU
Длинные промпты увеличивают VRAM (KV-Cache), TTFT (Prefill) и стоимость.