Каталог локальных моделей под наше железо
Research-справочник (AD-597). Источники проверены 2026-07-17.
Модели и их доступность в Ollama/HF меняются быстро — передpull
сверяйтесь с official Ollama library / HF, особенно для «новейших» из §8.
Что реально влезает и хорошо работает на наших GPU, под наши задачи
(разбор инцидентов, ассистент вики/поиск, анализ фото повреждений), плюс
гибрид с бесплатными облачными API для неприватного burst. Смежные материалы:
Пул инференс-узлов Ollama (AD-580),
Архитектура и деплой.
Железо
| Узел | GPU | VRAM | Роль | Бюджет весов+KV |
|---|---|---|---|---|
nas (tartarus) |
RTX 5060 Ti | 16 GB | primary, 24/7 — тяжёлое/качественное | ≈ 14–15 GB |
| buildbox | RTX 4060 | 8 GB | secondary, не 24/7 — лёгкое/параллельное | ≈ 6.5–7 GB |
Инференс — Ollama (GGUF). Оценки скорости (t/s) для этого класса карт —
приблизительные (точных замеров под RTX 5060 Ti / 4060 в источниках нет;
экстраполяция от RTX 3060/4060/3090).
Что уже развёрнуто (baseline)
Из пула INFERENCE_NODES (AD-580, web/services/inference_pool.py):
| Класс задач | Модель сейчас | Узел (порядок) | Тикет |
|---|---|---|---|
heavy (сводный разбор) |
qwen3:14b |
nas → buildbox | AD-565 |
light (разбор 1 инцидента, батч) |
qwen3:8b (buildbox) / qwen3:14b (nas) |
buildbox → nas | AD-425 |
embed (вики-поиск, эмбеддинги) |
nomic-embed-text (768-dim, 274 МБ) |
buildbox → nas | — |
vision (фото инцидента) |
qwen2.5vl:7b |
buildbox → nas (только узлы с vision_model) |
AD-502 |
Два вывода из baseline, вокруг которых построены рекомендации ниже:
nomic-embed-text— англо-центричный и слаб на кириллице. Для поиска по
русской вики/каталогу и кластеризации русских чатов это узкое место →
заменить (§4, рекомендация R2).- Vision уже
qwen2.5vl:7b— обоснованный выбор под 8 GB; есть куда расти
по качеству OCR (§5, рекомендация R3).
1. Главное: задача → модель → почему
| # | Задача (у нас) | На nas (16 GB) | На buildbox (8 GB) | Почему |
|---|---|---|---|---|
| 1 | Разбор инцидентов (RU → строгий JSON), AD-425 | qwen3:14b (оставить) или RuadaptQwen3-8B-Hybrid для скорости |
qwen3:8b / YandexGPT-5-Lite-8B / RuadaptQwen3-8B |
Валидный JSON гарантирует Ollama format (constrained decoding) на любой модели. Русский лучше держат Ruadapt/Yandex; 14B — запас на сложных кейсах. |
| 2 | Сводный коучинг-анализ (RU, качество рассуждения), AD-565 | qwen3:14b (оставить); эксперимент — T-pro-it-2.0 (32B, Q3) |
обычно гоняется на nas | Нужны рассуждение + идиоматичный русский. Qwen3-14B — сильный многоязычный baseline; T-pro 2.0 ближе всех open к GPT-4o на русском, но тяжёлая. |
| 3 | Эмбеддинги (вики-поиск, каталог, дедуп/кластеризация чатов) | bge-m3 + reranker bge-reranker-v2-m3 |
тот же стек (эмбеддеры лёгкие) | Замена nomic обязательна — см. §4. |
| 4 | Vision (фото повреждений, AD-502) | qwen3-vl:8b или minicpm-v4.5 |
qwen2.5vl:7b (сейчас) или qwen3-vl:4b |
Под 8 GB безопасно 4B/7B-VL; 8B-VL ≈12 GB → на nas. MiniCPM-V 4.5 — топ OCR/качество. |
| 5 | Парсинг структуры (INAV CLI, спеки → JSON) | qwen3:8b/14b + format |
qwen3:8b + format |
Формальный текст → JSON: критична только constrained-декодировка, 8B хватает. |
| 6 | Код/агентские (на будущее) | qwen3:14b / qwen3-coder (30B-A3B) |
qwen3:8b |
Qwen3 — сильные кодовые метрики; 30B-A3B MoE даёт качество ≈32B при скорости ≈3B. |
2. Каталог: генерация (общие / многоязычные)
VRAM — при Q4_K_M (вес ≈ размер GGUF; фактический VRAM выше на KV-кэш и контекст).
| Модель | Ollama-имя | Параметры | VRAM Q4_K_M | 8 GB? | 16 GB? | MMLU-Pro | Русский | ~t/s | Лицензия |
|---|---|---|---|---|---|---|---|---|---|
| Qwen3-8B | qwen3:8b |
8.2B | ~4.6 GB | ✅ | ✅ | 66.1 | хороший (119 яз.) | ~40–60 | Apache-2.0 |
| Qwen3-14B | qwen3:14b |
14.8B | ~8.3 GB (Q6 ~12) | ⚠️ впритык | ✅ | 70.5 | хороший | ~25–35 | Apache-2.0 |
| Qwen3-30B-A3B (MoE) | qwen3:30b-a3b |
30B (3B актив.) | ~16.8 GB | ❌ | ⚠️ tight (Q3/малый ctx) | 74.1 | хороший | быстро (≈3B) | Apache-2.0 |
| Qwen2.5-7B/14B | qwen2.5:7b/14b |
7.6/14.8B | 4.7/8.4 GB | 7B ✅ | ✅ | ~56–61 | средне-хороший | ~30–55 | Apache-2.0* |
| Gemma 3 12B | gemma3:12b |
12B | ~7.3 GB | ⚠️ | ✅ | ~60 | 140+ яз., менее идиоматичен | ~30 | Gemma |
| Gemma 3 27B | gemma3:27b |
27B | ~16 GB | ❌ | ⚠️ tight | 67.6 | 140+ яз. | медленно | Gemma |
| Phi-4 14B | phi4 |
14B | ~8.4 GB | ❌ | ✅ | высокий reasoning | слабее на русском | ~25–35 | MIT |
| Mistral-Nemo 12B | mistral-nemo |
12B | ~7 GB, 128k ctx | ⚠️ | ✅ | средний | средний (база Vikhr) | ~30 | Apache-2.0 |
| Llama 3.1 8B / 3.3 70B | llama3.1:8b / llama3.3 |
8B/70B | 4.9 / ~40 GB | 8B ✅ / 70B ❌ | 8B ✅ / 70B ❌ | 8B средний | посредственный русский | — | Llama Community |
| DeepSeek-R1-Distill-Qwen 7B/14B | deepseek-r1:7b/14b |
7/14B | 4.7 / 9 GB | 7B ✅ | ✅ | сильный reasoning | наследует Qwen (норм) | ~25–45 | MIT |
* некоторые размеры Qwen2.5 под своей лицензией; 7B/14B — Apache-2.0.
Вывод: текущий Qwen3-14B — обоснованный выбор (лучший баланс
качество/VRAM на 16 GB, сильный многоязычный, отличный structured-output).
Phi-4 и Llama слабее на русском.
3. Каталог: русскоязычные генеративные
| Модель | Ollama / GGUF | База | Параметры | VRAM Q4 | 8 GB? | 16 GB? | Русские метрики | Особенность | Лицензия |
|---|---|---|---|---|---|---|---|---|---|
| YandexGPT-5-Lite-8B-instruct | hf.co/yandex/YandexGPT-5-Lite-8B-instruct-GGUF (офиц.) |
своя | 8B | ~5 GB | ✅ | ✅ | бьёт Qwen2.5-7B в 62% слепых сравнений | 32k ctx, официальный GGUF | Yandex open (проверить условия) |
| RuadaptQwen3-8B-Hybrid | hf.co/RefalMachine/RuadaptQwen3-8B-Hybrid-GGUF |
Qwen3-8B | 8B | ~5 GB | ✅ | ✅ | Ru-Arena/MERA/llmtf_open | +100% скорости русской генерации (свой токенизатор); hybrid reasoning | Apache-2.0 |
| Vikhr-Nemo-12B-Instruct-R | hf.co/QuantFactory/Vikhr-Nemo-12B-Instruct-R-...-GGUF |
Mistral-Nemo-12B | 12B | ~7–7.5 GB | ⚠️ впритык | ✅ | ~79.8 на рус.; сильный RAG (≈gpt-4o-mini) | заточен под RAG | Apache-2.0 |
| T-pro-it-2.0 | hf.co/t-tech/T-pro-it-2.0-GGUF |
Qwen3-32B | 32B | ~20 GB (Q4) / ~15–16 (Q3_K) | ❌ | ⚠️ только Q3, впритык | MERA 0.66, ruMMLU-Pro 0.697 — ближе всех open к GPT-4o (0.714) | лучший русский open, тяжёлый | Apache-2.0 |
| RuadaptQwen3-32B-Instruct | hf.co/RefalMachine/RuadaptQwen3-32B-Instruct-GGUF |
Qwen3-32B | 32B | ~20 GB | ❌ | ⚠️ Q3 | MERA 0.652 | быстрый русский токенизатор | Apache-2.0 |
| T-lite-it / RuadaptQwen3-4B | RefalMachine/RuadaptQwen3-4B-Instruct-GGUF |
Qwen2.5-7B / Qwen3-4B | 7B/4B | 3–5 GB | ✅ | ✅ | ниже старших | лёгкие для 8 GB | Apache-2.0 |
Насколько русские лучше Qwen? На узких русских задачах (культура, форматы,
идиоматика, скорость токенизации) — заметно: YandexGPT-5-Lite бьёт Qwen2.5-7B
в 62% случаев; Ruadapt даёт 2× скорость на русском; T-pro 2.0 (32B) — уровень
GPT-4o на русском. Но по чистому reasoning/MMLU-Pro Qwen3-14B/30B часто не
уступают. Для наших задач (JSON-разбор + коучинг на русском) есть смысл
добавить лёгкую русскую 8B рядом с Qwen3, не вместо (§6, R4).
4. Каталог: эмбеддинги (замена nomic)
ruMTEB avg (paper 2408.12503, non-instruct) и MTEB multilingual. Все эмбеддеры
лёгкие (<2.5 GB) — VRAM не проблема ни на одной карте.
| Модель | Ollama / GGUF | Параметры | Dim | Max ctx | ruMTEB / MTEB | Русский | Ollama? | Лицензия |
|---|---|---|---|---|---|---|---|---|
| ai-forever/FRIDA | evilfreelancer/FRIDA (~1.7 GB f16) |
0.8B | ~1536 | 512 | лидер ruMTEB (дек-2024): Retrieval до 86.8 NDCG | 🟢 заточен под RU | ✅ | MIT |
| deepvk/USER-bge-m3 | GGUF: cm4ker/USER-bge-m3-Q4_K_M-GGUF (импорт) |
0.36B | 1024 | 8192 | выше bge-m3 (+3–7% на рус.) | 🟢 fine-tune под RU | импорт GGUF | MIT |
| BAAI/bge-m3 | bge-m3 (офиц., ~1.2 GB) |
0.57B | 1024 | 8192 | 60.8 (baseline) | 🟡 сильный мультиязычный | ✅✅ нативно | MIT |
| intfloat/multilingual-e5-large | hf.co/.../multilingual-e5-large-GGUF |
0.56B | 1024 | 512 | 60.4 | 🟡 ctx только 512 | импорт | MIT |
| Qwen3-Embedding-0.6B | dengcao/Qwen3-Embedding-0.6B |
0.6B | 1024 | 32k | MTEB-multi 64.33 (лучший <1 GB) | 🟢 100+ яз., E5-prompts | ✅ | Apache-2.0 |
| Qwen3-Embedding-4B / 8B | dengcao/Qwen3-Embedding-4B/8B |
4/8B | 2560/4096 | 32k | MTEB-multi 69.45 / 70.58 (SOTA) | 🟢 | ✅ | Apache-2.0 |
| ai-forever/ru-en-RoSBERTa | GGUF импорт | 0.4B | 1024 | 512 | 60.4 | 🟢 RU+EN, инструкции | импорт | MIT |
| nomic-embed-text (текущий) | nomic-embed-text |
0.14B | 768 | 8192 | — (англо-центричный) | 🔴 слаб на кириллице | ✅ | Apache-2.0 |
| nomic-embed-text-v2-moe | nomic-embed-text-v2-moe |
MoE 475M | 768 | — | мультиязычный, но bge-m3 точнее на кириллице | 🟡 | ✅ | Apache-2.0 |
| cointegrated/rubert-tiny2 | GGUF импорт | 29M | 312 | 2048 | 39.1 | 🟡 дёшево/быстро, качество низкое | импорт | MIT |
Reranker (2-я ступень вики-поиска): qllama/bge-reranker-v2-m3 (0.57B, MIT,
сильный на русском reranking — RuBQReranking ~74).
⚠️ Смена эмбеддера = переиндексация всей базы (вики + чаты): вектора
несовместимы между моделями и dim'ами. Сначала A/B на выборке (retrieval@k,
качество кластеров): FRIDA vs USER-bge-m3 vs bge-m3.
5. Каталог: vision (под 8 GB buildbox и 16 GB nas)
| Модель | Ollama-имя | Параметры | GGUF | Реальн. VRAM Q4 | 8 GB? | 16 GB? | OCR/качество | Лицензия |
|---|---|---|---|---|---|---|---|---|
| Qwen2.5-VL 7B (сейчас) | qwen2.5vl:7b |
7B | ~6 GB | ~6–7 GB | ✅ (впритык с крупным фото) | ✅ | OCRBench 845, чистый JSON | Apache-2.0 |
| Qwen2.5-VL 3B | qwen2.5vl:3b |
3B | ~3.2 GB | ~3.5 GB | ✅ комфортно | ✅ | легче, для low-VRAM/теста | Apache-2.0 |
| Qwen3-VL 4B | qwen3-vl:4b |
4B | 3.3 GB | ~6 GB | ✅ | ✅ | лучше 2.5-VL, OCR 32 языка | Apache-2.0 |
| Qwen3-VL 8B | qwen3-vl:8b |
8B | 6.1 GB | ~12 GB | ❌ | ✅ | топ качество, 256k ctx | Apache-2.0 |
| MiniCPM-V 4.5 | minicpm-v4.5 |
8B (Qwen3-8B+SigLIP2) | 6.1 GB | ~7–8 GB | ⚠️ впритык (малый ctx) | ✅ | топ OCRBench в классе <30B, 1.8 Мпикс | MiniCPM |
| MiniCPM-V 2.6 | minicpm-v |
8B | ~5.5 GB | ~6–7 GB | ✅ | ✅ | сильный OCR-first | Apache-2.0 |
| LLaVA 7B | llava:7b |
7B | ~4.7 GB | ~5–6 GB | ✅ | ✅ | классика, слабее Qwen-VL по OCR | Apache-2.0 |
| moondream2 | moondream |
~1.9B | 3.9 GB | ~4 GB | ✅ | ✅ | лёгкий captioning; слаб на сложном | Apache-2.0 |
Вывод: текущий qwen2.5vl:7b — безопасный «влезает и работает» на 8 GB
(OCRBench 845). За качеством/OCR — minicpm-v4.5 (на 8 GB держать малый
контекст) или на nas — qwen3-vl:8b. Новее и с запасом VRAM на 8 GB —
qwen3-vl:4b.
6. Матрица «модель → назначение → влезает → квант → рекомендация»
| Роль | Модель | Назначение (у нас) | 16 GB nas | 8 GB buildbox | Квант | Рекомендация |
|---|---|---|---|---|---|---|
| Chat/reasoning | Qwen3-14B | сводный разбор, коучинг, JSON | ✅ | ⚠️ впритык | Q4_K_M / Q6 | дефолт nas — оставить |
| Chat лёгкий | Qwen3-8B | 1 инцидент, парсинг, батч | ✅ | ✅ | Q4_K_M | дефолт buildbox |
| Chat RU | RuadaptQwen3-8B-Hybrid | быстрый русский, инциденты | ✅ | ✅ | Q4_K_M | добавить рядом с Qwen3 |
| Chat RU | YandexGPT-5-Lite-8B | русский, форматы/факты | ✅ | ✅ | Q4/Q5 | альтернатива Ruadapt |
| Chat RU max | T-pro-it-2.0 (32B) | максимум русского качества | ⚠️ Q3 only | ❌ | Q3_K_M | опц. эксперимент на nas |
| Embed | bge-m3 | вики-поиск, эмбеддинги | ✅ | ✅ | стд | замена nomic (дефолт) |
| Embed RU | USER-bge-m3 | русский поиск, 8192 ctx | ✅ | ✅ | Q4_K_M | максимум качества (импорт) |
| Embed RU корот. | FRIDA | дедуп/кластеризация чатов | ✅ | ✅ | f16 | короткие тексты (ctx 512) |
| Reranker | bge-reranker-v2-m3 | 2-я ступень вики-поиска | ✅ | ✅ | стд | добавить к эмбеддингам |
| Vision | qwen2.5vl:7b | фото инцидента (AD-502) | ✅ | ✅ | Q4_K_M | дефолт buildbox — оставить |
| Vision+ | minicpm-v4.5 | максимум OCR/качества | ✅ | ⚠️ малый ctx | Q4_K_M | апгрейд на nas |
| Vision new | qwen3-vl:4b / 8b | новее Qwen-VL | 8B ✅ | 4B ✅ / 8B ❌ | Q4_K_M | 4B на buildbox, 8B на nas |
7. Рекомендации: «начать с этого» + запасной
Дефолт и fallback на каждую роль, с обоснованием (VRAM, качество, русский,
лицензия, доступность через Ollama).
- R1 — Chat/reasoning (приватный разбор). Дефолт:
qwen3:14b(nas) —
оставить как есть; лучший баланс качество/16 GB, Apache-2.0, нативно в Ollama,
сильныйformat/JSON. На buildbox —qwen3:8b. Запасной для русского:
RuadaptQwen3-8B-Hybrid(2× скорость русской токенизации, Apache-2.0). - R2 — Embeddings (главное изменение). Дефолт замены
nomic:
bge-m3— официальная Ollama-библиотека (drop-in), 1024-dim, 8192 ctx,
100+ языков, MIT. Запасной/максимум русского:deepvk/USER-bge-m3
(+3–7% на русском, тот же 1024-dim/8192 ctx — совместим по хранилищу),
для коротких чатов/дедупа —FRIDA(лидер ruMTEB, ctx 512). Плюс reranker
bge-reranker-v2-m32-й ступенью. Помнить про переиндексацию. - R3 — Vision (фото инцидента, AD-502). Дефолт:
qwen2.5vl:7b(buildbox)
— оставить; OCRBench 845, влезает в 8 GB, Apache-2.0, чистый JSON. Апгрейд за
качеством:minicpm-v4.5(топ OCR, на nas) илиqwen3-vl:4b(новее, с
запасом VRAM на 8 GB). - R4 — Русская генеративная — добавить, не заменять. Рядом с
qwen3:14b
держать лёгкую русскую 8B (RuadaptQwen3-8B-Hybridили
YandexGPT-5-Lite-8B) для объёмного русского текста и быстрых инцидентов.
T-pro-it-2.0 (32B) — только эксперимент на nas (Q3, VRAM впритык).
Команды pull
# R2 — эмбеддинги (nas и, для параллелизма, buildbox):
ollama pull bge-m3 # дефолтная замена nomic (официальная)
ollama pull evilfreelancer/FRIDA # лидер ruMTEB для коротких чатов/дедупа
ollama pull qllama/bge-reranker-v2-m3 # reranker (2-я ступень вики-поиска)
# USER-bge-m3 — импортом GGUF (cm4ker/USER-bge-m3-Q4_K_M-GGUF) через Modelfile.
# R3 — vision:
ollama pull qwen2.5vl:7b # текущий дефолт buildbox (оставить)
ollama pull minicpm-v4.5 # апгрейд качества/OCR на nas
ollama pull qwen3-vl:4b # новее/легче, запас VRAM на 8 GB
# R4 — русская генеративная рядом с qwen3:
ollama pull hf.co/RefalMachine/RuadaptQwen3-8B-Hybrid-GGUF
ollama pull hf.co/yandex/YandexGPT-5-Lite-8B-instruct-GGUF
Распределение nas / buildbox
| Узел | Модели | Роль |
|---|---|---|
| nas (16 GB, primary, 24/7) | qwen3:14b, bge-m3, FRIDA, bge-reranker-v2-m3, minicpm-v4.5/qwen3-vl:8b, (опц.) T-pro-it-2.0:Q3_K_M |
тяжёлое: коучинг, JSON-инциденты, эмбеддинги+rerank, качественный vision |
| buildbox (8 GB, secondary) | qwen3:8b, RuadaptQwen3-8B/YandexGPT-5-Lite-8B, qwen2.5vl:7b/qwen3-vl:4b, (дубль) bge-m3 |
лёгкое/параллельное: батч-vision, быстрый русский, парсинг INAV/спеки, разгрузка эмбеддингов |
8. Гибрид: бесплатные / открытые API (неприватное + burst)
Использовать только для НЕчувствительных задач: анализ публичных/обезличенных
чатов, ресёрч, генерация промо-контента, burst-fallback когда локального GPU не
хватает или нужно качество 70B+/скорость. Данные инцидентов и пользователей —
НИКОГДА во внешний API (см. §10).
⚠️ Разработчик/аудитория в РФ — критично: часть провайдеров геоблокирует РФ
(санкции) и/или требует иностранную карту/номер.
| Провайдер | Free-модели | Лимиты free tier | Vision | JSON | Доступ из РФ | Приватность |
|---|---|---|---|---|---|---|
| Groq (LPU, оч. быстрый) | Llama 3.3 70B, Llama 3.1 8B, Llama 4 Scout/Maverick, DeepSeek-R1-Distill, Qwen QwQ, Gemma2, Whisper | 30 RPM / 1000 RPD (llama-3.1-8b до 14.4k RPD, 500k ток/день) | 🟡 Llama 4 | ✅ JSON+tools (OpenAI-совм.) | ⚠️ US-облако, вероятно VPN + верификация — проверить | ❌ не слать приватное |
| Google AI Studio (Gemini) | Gemini Flash / Flash-Lite | щедрые по RPM; RPD сброс в полночь PT | ✅ сильный | ✅ нативный structured output | 🔴 геоблок РФ, нужен иностр. IP | ❌❌ на free промпты идут в обучение (opt-out только с billing) |
| OpenRouter (агрегатор) | ротация :free — Qwen3-Coder, DeepSeek R1/V3, Llama 3.3/4 Scout, Gemma 3 (список меняется) |
20 RPM; 50 RPD (<$10) / 1000 RPD ($10+ когда-либо) | 🟡 некоторые | ✅ OpenAI-совм. | 🟢 доступен из РФ, крипта/карта | ❌ не слать приватное |
| Cerebras (wafer-scale) | Llama 3.3 70B, Qwen3 32B/235B, GPT-OSS 120B, Llama 4 Scout | 30 RPM / 1M токенов/день (самый щедрый); ctx cap 8192 | ❌ текст | ✅ | ⚠️ US-облако — проверить | ❌ не слать приватное |
| Together.ai | сотни OSS (Llama, Qwen, Mistral, FLUX) | только $1 free credit (не постоянный) | 🟡 некоторые | ✅ | ⚠️ US, VPN + карта | ❌ |
| Mistral La Plateforme | Mistral Small/Nemo, Pixtral, Codestral, mistral-embed | free «experiment» tier (низкие лимиты) | ✅ Pixtral | ✅ | 🟡 EU — обычно доступен из РФ | ⚠️ для неприватного |
| HuggingFace Inference API | публичные модели <~10B | ~сотни/час, cold start 10–30с | 🟡 | 🟡 | 🟢 доступен из РФ | ⚠️ shared |
| Cloudflare Workers AI | Llama, Mistral 7B, Whisper, FLUX, embeddings | 10 000 neurons/день free | ❌ VLM нет (FLUX есть) | 🟡 | 🟢 работает из РФ | ⚠️ для неприватного |
| GitHub Models | GPT-4o, Llama, Phi, Mistral, DeepSeek | низкие dev-лимиты (playground) | ✅ | ✅ | 🟡 работает из РФ, лимиты | ❌ Microsoft-облако |
Итог по free API из РФ: без плясок с VPN надёжнее — OpenRouter
(крипто-оплата, :free), Mistral (EU), HuggingFace, Cloudflare Workers
AI, GitHub Models. Gemini геоблокирован (иностр. IP + промпты в
обучение → двойной стоп для чувствительного). Groq/Cerebras/Together — очень
быстрые/щедрые, но US-облако → проверить регистрацию из РФ.
Приоритет burst-fallback: OpenRouter :free → Cerebras/Groq (если решён
доступ) → Mistral free.
9. Специализированные модели
| Задача | Модель | Доступ | Заметка | Лицензия |
|---|---|---|---|---|
| Строгий text→JSON | NuExtract 2.0 (2B/4B/8B) | GGUF numind/NuExtract-2.0-8B-GGUF |
заточена под извлечение по JSON-шаблону, база QwenVL, мультимодальна+мультиязычна; temp=0 | 2B коммерч.; старшие — проверить |
| Function-calling / tool-use | Hermes 3 Llama-3.1-8B | finalend/hermes-3-llama-3.1 |
надёжный tool-calling, parallel loops (задача 6) | Llama Community |
| OCR печатного (blackbox-логи/скрины) | Surya, PaddleOCR-VL, olmOCR, dots.ocr | self-host (не Ollama) | для наших скринов INAV/blackbox обычно хватает Qwen2.5-VL (§5); отдельный OCR — если много печатного/нужен layout | Apache/варьируется |
| Эмбеддинги code + long-ctx | Qwen3-Embedding (§4), jina-v3 | dengcao/Qwen3-Embedding-*; jina импорт |
Qwen3-Embedding покрывает код+русский; jina-v3 — CC-BY-NC (некоммерч.!) | Apache / CC-BY-NC |
| Reranker | bge-reranker-v2-m3 (§4) | qllama/bge-reranker-v2-m3 |
2-я ступень вики-поиска | MIT |
| Speech-to-text RU (промо, AD-538) | GigaAM-v3 (Sber) | GitHub salute-developers/GigaAM |
WER 3.3% на русском vs Whisper 7.9%; Conformer 220–240M, идёт и на CPU; российская → нет РФ-ограничений | MIT |
| Speech-to-text (mixed RU-EN) | Whisper large-v3 / turbo, faster-whisper | Systran/faster-whisper-large-v3 |
лучше на смешанной речи/терминах; turbo быстрее | MIT/Apache |
| Image-generation (промо) | FLUX.1 [dev] / SDXL | ComfyUI/Forge (вне Ollama) | FLUX.1 dev — лучшее качество+текст, 12GB+ (FP8 на 16GB nas). SDXL — 6–8GB, огромная LoRA/ControlNet-экосистема, коммерч. лицензия → buildbox | FLUX dev некоммерч.; SDXL коммерч. |
Итог: для строгого извлечения инцидентов рядом с Qwen3+format можно
попробовать NuExtract 2.0-8B; для будущей расшифровки промо-видео —
GigaAM-v3 (лучший русский ASR, локальный); для промо-картинок — SDXL на
buildbox (коммерч., влезает в 8 GB) или FLUX.1 dev на nas. Отдельный OCR не
нужен, пока хватает Qwen2.5-VL.
10. Итог: что локально (приватное) / что через free API (burst)
| Категория данных / задача | Где | Модели |
|---|---|---|
| Инциденты (текст+фото), персданные, борта/модели, приватные чаты | 🔒 только локально | qwen3:14b+format, vision qwen2.5vl/minicpm-v4.5, эмбеддинги bge-m3/FRIDA |
| Публичные/обезличенные чаты, кластеризация тем | 🔒 локально (объём + приватность) | bge-m3/FRIDA + reranker |
| Генерация промо-текстов | 🌐 free API ок | OpenRouter :free, Cerebras/Groq |
| Генерация промо-картинок | 🔒 локально (нет РФ-проблем) | SDXL (buildbox) / FLUX.1 dev (nas) |
| Ресёрч, разовые тяжёлые (70B+/скорость) | 🌐 free API burst | Cerebras (1M ток/день), Groq, OpenRouter |
| Расшифровка видео/аудио (RU) | 🔒 локально | GigaAM-v3 (RU) / Whisper (mixed) |
Правило: всё, что связано с конкретными пользователями/бортами/инцидентами,
— только локальные модели на nas/buildbox. Free API — для burst-fallback,
ресёрча и неприватного контента; из РФ приоритет —
OpenRouter/Mistral/HuggingFace/Cloudflare/GitHub Models.
Источники (проверено 2026-07-17)
Эмбеддинги / ruMTEB: ruMTEB paper arxiv 2408.12503 ·
ai-forever/FRIDA / Ollama ·
deepvk/USER-bge-m3 / GGUF ·
bge-m3 (Ollama) ·
Qwen3-Embedding / Ollama ·
bge-reranker-v2-m3 · encodechka
Генерация / русские: Qwen3 report 2505.09388 ·
Qwen3 VRAM ·
YandexGPT-5-Lite-8B ·
T-pro 2.0 (2512.10430) / GGUF ·
RuadaptQwen3-8B ·
Vikhr-Nemo-12B ·
MERA leaderboard ·
Ollama structured output glukhov.org
Vision: Qwen3-VL (Ollama) /
4B vs 8B VRAM ·
Qwen2.5-VL (Ollama) ·
MiniCPM-V 4.5 (Ollama) / HF ·
Обзор локальных VLM
Free API: Groq ·
Gemini rate-limits / регионы ·
OpenRouter ·
Cerebras ·
обзор free-провайдеров 2026
Спец-модели: NuExtract 2.0 ·
Hermes 3 ·
OCR-обзор ·
GigaAM (RU ASR) ·
FLUX/SDXL local