# Ні, Малі моделі не є варіантом M SK1Budget Option"

<!--category-- AI, LLM, Opinion, Ollama, ONNX -->
<datetime class="hidden">2025-12-28T16:00</datetime>

Малі та локальні LLM часто оброблені як дешева альтернатива передових моделей. Те, що обробка неправильна **контроль**, **передбачуваність**, і **стійкі до невдачі режими**.

Я - так само винна, як будь-хто за те, що проштовхнув. МСК1 - вони, МСК2 - вільні. МSK3 - оповідка, МSK4 - якби це був єдиним вирішальним фактором. ММК5 - Але, як і вибір бази даних, / - хостингова платформа для системи, яку вам потрібно зрозуміти **які торги ви робите**.

Використовуючи маленьку модель через [Оллама](https://ollama.ai/), LM StudioM SK1 [Пропускний час на NX](https://onnxruntime.ai/), чи щось подібне не так МSK1 тільки МSK2 про заощадження грошей . про вибір **де неможливе існування детермінізму**.

[TOC]

## Справжня різниця: trybи невдачі

Великі фронтальні моделі більш широкі та плавні. МСК0 Вони згущують людську логіку. МSK1 розділяють більше домен, МSK2 і створюють більш переконливі сліди мислення. **більш небезпечним** в системах, які потребують гарантій.

Моделі кордону мають сенс, коли потрібна широта, а виходи - консалтингові за допомогою дизайну. - творчий проектування , відкриті МSK2 нескінченне дослідження M SK3 або синтез по незнайомим доменам . Але це не більшість виробничих систем

Їхні невдачі - **більш семантичний, ніж структурний**. Це category error : пов 'язане з теорією, що можливий компонент ставиться так, наче це була межа системи

- Це дорого коштує, щоб виявити
- Це дорого коштує для розв 'язання проблем
- Часто видно лише після пошкодження

**Невеликі моделі провалюються інакше.**

Коли маленька модель заплутана, то з tendenцією до

- Перерізання схем
- Введення неправильних JSON
- Трюнкції виходів
- Ми втратили слід структури

Це: **дешеві невдачі**. Вони можуть бути виявлені за допомогою простої перевірки . Вони миттєво запускають повтори або падіння

**Це не слабкість**

## Звідки береться цей принцип

Це усвідомлення - не абстрактна теорія, а основа [Десять заповідей використання LLM](/blog/tencommandments). Найголовніший принцип

> **LLM інтерпретують реальність. Їм ніколи не потрібно дозволити її визначити**

Коли ви слідуєте за цим принципом, то знаходите щось дивовижне. **ви перестанете потребувати дорогих моделей**. Модель параметрів МSK1B, що працює локально, може класифікувати МSK2 підсумувати \ , і створювати гіпотези просто чудово - тому що детерміністичні системи навколо неї обробляють все, що насправді має бути правильним

Невеликі моделі не є "слабимиM SK1 - вони часто **достатньо** тому що проблема вже зменшилась до того часу, як вона досягає них.

Моделі кордону продають вам надійність, яку ви повинні будувати самі.

## Правильний образ мислення

Так само, як DuckDB не є "швидкі SQL" і Postgres не є **різні точки у просторі дизайну**. Ви вибираєте їх, коли

| Занепокоєння
|---------|----------------------|
| **Местність** | працює на вашому апараті , на вашій мережі M SK2 у вашій праві МSK3
| **Аудиторність** | Кожна висновка записується
| **Радиус вибуху** | Невиліки містяться , не розповсюджуються через API ланцюги
| **Наслідування правильності** | Validation happens outside the model
| **Обмежений детермінізм** | Невизначеность сильно обмежена |

## Як я використовую це в практиці

Це не гіпотетично. Мої проекти демонструють цю модель знову і знову.

### GraphRAG з трьома trybами видобутку

[Моє застосування GraphRAG](/blog/graphrag-minimum-viable-implementation) пропонує три режими:

| tryb | LLM дзвінки МSK2 найкращий для МSK3
|------|-----------|----------|
| **Герістичні** | МSK1 на шматок | Чистий детермінізм через IDF МSK3 структура မ်SK4
| **Гібрид** МSK0 1 за документ МSK2 Невелика модель підтверджує кандидатів |
| **ЛЛМ** | МSK1 на шматок МSK2 Максимальна якість, коли це потрібно |

І **гібридний режим** є найкращою з них. : геристичне видобуток знаходить кандидатів, ( детерміністичне МSK2 потім маленька локальна модель підтверджує і покращує їх.

Коли Оллам працює локально, це означає, що вартість - $0. Але це не те, чому я його використовую. **невдачі дешеві і очевидні**.

### Осередки на NX: Не вимагається LLM

[Семантичні пошуки з комп 'ютерами ONNX та Qdrant](/blog/semantic-search-with-onnx-and-qdrant) показує інший візерунок: деякі завдання не потребують LLM

- **CPU-приємний висновок** - не потребує GPU
- **Детерміністичні результати** - той самий вхід завжди створює те саме вбудова
- **Локальне виконання** - без API дзвінків , без затримки МSK2 без обмежень швидкості
- **Модель ~90MB** - працює будь-де

Для [гібридний пошук](/blog/rag-hybrid-search-and-indexing), Я об 'єдную ці вставки з BM 25 оцінкою МSK2 LLM з' являється лише в часі синтезу M SK3 і навіть тоді , маленька локальна модель працює добре, тому що це **пояснюючи** структура, яку вже підтвердили детерміністичні системи.

### DocSummarizer: Структура Перший , LLM Другий

[DocSummarizer](/blog/docsummarizer-tool) втілює цю філософію:

1. **Розібрати** Dokumentи з детерміністичними бібліотеками (OpenXMLM SK1 Markdig)
2. **Чунк** зміст, використовуючи структурні правила
3. **Вставляйте** шматки з ONNX BERT
4. **Перейти** відповідних шматочків через векторний пошук
5. **Синтезувати** з Ollama - єдиним можливим кроком

LLM - це **останній крок**, працює на попередньому МSK1validated, preMSC3structured contentM SK4 Він може зазнати невдачі МSK5 і коли це станеться , невдача очевидна, тому що структура вже правильна

## Три питання

Frontier моделі - це потужні інструменти, коли їх використовують навмисно . Але вони збільшують експресивну потужність швидше, ніж зменшують ризик. Малі моделі МSK2 коли вони вбудовані у детерміністичну систему M SK3 дають вам достатньо невизначеності для дослідження. **без приховування правди чи відповідальності**.

Правильне питання не "" МСК0 "", а "" Яка модель найкраще "", "?"".

Це:

1. **Куди належить ймовірність??**
2. **Де детермінізм має бути абсолютним**
3. **Які невдачі можуть вижити ця система?**

І якщо модель існує тільки для класифікації МСК6 підсумування МSK7 рангу МСК8 чи запропонування гіпотез , маленька локальна модель часто **правильний вибір**, не економічне .

## Модель: : Машина для буріння МSK1 Кілька моделей

Це архітектура, яка працює

```
┌─────────────────────────────────────────────────────┐
│                 DETERMINISTIC LAYER                 │
│  State machines, queues, validation, storage        │
│  (DuckDB, Postgres, Redis, file systems)           │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                   INTERFACE LAYER                   │
│  Schema validation, retries, fallbacks             │
│  (Polly, FluentValidation, custom guards)          │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                  PROBABILISTIC LAYER                │
│  Classification, summarisation, hypothesis gen     │
│  (Ollama, ONNX, small local models)                │
└─────────────────────────────────────────────────────┘
```

ЛЛМ знаходиться на **нижній**, не верхній

## Довіра - це не про те, щоб уникнути невдачі

Усі три точки зору: МСК0 питання МСК1 модель , і це остаточне правило MSК3 зменшуються до одного правила СМСК4

**Надежність - це вибір невдачі, яку ви можете пережити.**

Для LLM це означає управління недетермінізмом через детерміністичну практику

- [Командування I](/blog/tencommandments): Держава живе за межами моделі
- [Командування VII](/blog/tencommandments): Робіть провал голосним і нудним
- [Командування IX](/blog/tencommandments): Сконструювати знущаючу машину спочатку

Невеликі моделі роблять це легшим, тому що їхні невдачі **голосно**. Неправильний JSONM SK1 Скорінне виведення . Похибки до схеми МSK3 Це подарунки МSK4 вони відразу скажуть вам, що щось пішло не так

Похибки передових моделей - **тиша**. По правді МSK1 Звучить безглуздо МSK2 Збентежені галюцинації . Семантичний дрейф, який стає помітним тільки тоді, коли клієнт скаржиться чи перевірка провалюється

**I'Iгноруватиме шумні невдачі кожного разу**

## Подібне читання

### Філософія

- [Десять заповідей використання LLM](/blog/tencommandments) - Принципи цього підходу
- [Чому я не користуюся LangChain](/blog/why-i-dont-use-langchain) - Складність системи порівнює з . чіткістю
- [Чому комерційні проекти штучного інтелекту є безглуздими](/blog/whycommercialaiprojectsaredumb) - У випадку з локальноюM SK1перша ШІ

### Втілення

- [GraphRAG: Minimal Viable Implementation](/blog/graphrag-minimum-viable-implementation) - Три види видобутку в praktyce
- [Семантичний пошук за допомогою ONNX та Qdrant](/blog/semantic-search-with-onnx-and-qdrant) - Процесор - дружні вбудова
- [Програмне забезпечення DocSummarizer](/blog/docsummarizer-tool) - Структура - перша , LLM - друга
- [Гібридне пошук і автоматичне- Індексування](/blog/rag-hybrid-search-and-indexing) - ProdukціяM SK1 пошук готовий

### Архітектура

- [DiSE: Визначати LLM ненадійними](/blog/blog-article-cooking-dise-part3-untrustworthy-gods) - Модель МSK1ненадійних богівM SK2
- [Викриття Bot з допомогою консультантів LLM](/blog/botdetection-introduction) - LLM як консультант
- [Zero-PII Customer Intelligence](/blog/zero-pii-customer-intelligence-part1) - Порозуміння семантики з межами

## Внешні ресурси

- [Оллама](https://ollama.ai/) - Запустити LLM локально одним командою
- [Пропускний час на NX](https://onnxruntime.ai/) - Кроссіальний ML висновок platform
- [LM Студія](https://lmstudio.ai/) - Планова програма для локальних LLM
- [llama.cpp](https://github.com/ggerganov/llama.cpp) - Дослідження