Ні, Малі моделі не є варіантом M SK1Budget Option"
Малі та локальні LLM часто оброблені як дешева альтернатива передових моделей. Те, що обробка неправильна контроль, передбачуваність, і стійкі до невдачі режими.
Я - так само винна, як будь-хто за те, що проштовхнув. МСК1 - вони, МСК2 - вільні. МSK3 - оповідка, МSK4 - якби це був єдиним вирішальним фактором. ММК5 - Але, як і вибір бази даних, / - хостингова платформа для системи, яку вам потрібно зрозуміти які торги ви робите.
Використовуючи маленьку модель через Оллама, LM StudioM SK1 Пропускний час на NX, чи щось подібне не так МSK1 тільки МSK2 про заощадження грошей . про вибір де неможливе існування детермінізму.
Справжня різниця: trybи невдачі
Великі фронтальні моделі більш широкі та плавні. МСК0 Вони згущують людську логіку. МSK1 розділяють більше домен, МSK2 і створюють більш переконливі сліди мислення. більш небезпечним в системах, які потребують гарантій.
Моделі кордону мають сенс, коли потрібна широта, а виходи - консалтингові за допомогою дизайну. - творчий проектування , відкриті МSK2 нескінченне дослідження M SK3 або синтез по незнайомим доменам . Але це не більшість виробничих систем
Їхні невдачі - більш семантичний, ніж структурний. Це category error : пов 'язане з теорією, що можливий компонент ставиться так, наче це була межа системи
- Це дорого коштує, щоб виявити
- Це дорого коштує для розв 'язання проблем
- Часто видно лише після пошкодження
Невеликі моделі провалюються інакше.
Коли маленька модель заплутана, то з tendenцією до
- Перерізання схем
- Введення неправильних JSON
- Трюнкції виходів
- Ми втратили слід структури
Це: дешеві невдачі. Вони можуть бути виявлені за допомогою простої перевірки . Вони миттєво запускають повтори або падіння
Це не слабкість
Звідки береться цей принцип
Це усвідомлення - не абстрактна теорія, а основа Десять заповідей використання LLM. Найголовніший принцип
LLM інтерпретують реальність. Їм ніколи не потрібно дозволити її визначити
Коли ви слідуєте за цим принципом, то знаходите щось дивовижне. ви перестанете потребувати дорогих моделей. Модель параметрів МSK1B, що працює локально, може класифікувати МSK2 підсумувати \ , і створювати гіпотези просто чудово - тому що детерміністичні системи навколо неї обробляють все, що насправді має бути правильним
Невеликі моделі не є "слабимиM SK1 - вони часто достатньо тому що проблема вже зменшилась до того часу, як вона досягає них.
Моделі кордону продають вам надійність, яку ви повинні будувати самі.
Правильний образ мислення
Так само, як DuckDB не є "швидкі SQL" і Postgres не є різні точки у просторі дизайну. Ви вибираєте їх, коли
| Занепокоєння | |
|---|---|
| Местність | працює на вашому апараті , на вашій мережі M SK2 у вашій праві МSK3 |
| Аудиторність | Кожна висновка записується |
| Радиус вибуху | Невиліки містяться , не розповсюджуються через API ланцюги |
| Наслідування правильності | Validation happens outside the model |
| Обмежений детермінізм | Невизначеность сильно обмежена |
Як я використовую це в практиці
Це не гіпотетично. Мої проекти демонструють цю модель знову і знову.
GraphRAG з трьома trybами видобутку
Моє застосування GraphRAG пропонує три режими:
| tryb | LLM дзвінки МSK2 найкращий для МSK3 | |
|---|---|---|
| Герістичні | МSK1 на шматок | Чистий детермінізм через IDF МSK3 структура မ်SK4 |
| Гібрид МSK0 1 за документ МSK2 Невелика модель підтверджує кандидатів | ||
| ЛЛМ | МSK1 на шматок МSK2 Максимальна якість, коли це потрібно |
І гібридний режим є найкращою з них. : геристичне видобуток знаходить кандидатів, ( детерміністичне МSK2 потім маленька локальна модель підтверджує і покращує їх.
Коли Оллам працює локально, це означає, що вартість - $0. Але це не те, чому я його використовую. невдачі дешеві і очевидні.
Осередки на NX: Не вимагається LLM
Семантичні пошуки з комп 'ютерами ONNX та Qdrant показує інший візерунок: деякі завдання не потребують LLM
- CPU-приємний висновок - не потребує GPU
- Детерміністичні результати - той самий вхід завжди створює те саме вбудова
- Локальне виконання - без API дзвінків , без затримки МSK2 без обмежень швидкості
- Модель ~90MB - працює будь-де
Для гібридний пошук, Я об 'єдную ці вставки з BM 25 оцінкою МSK2 LLM з' являється лише в часі синтезу M SK3 і навіть тоді , маленька локальна модель працює добре, тому що це пояснюючи структура, яку вже підтвердили детерміністичні системи.
DocSummarizer: Структура Перший , LLM Другий
DocSummarizer втілює цю філософію:
- Розібрати Dokumentи з детерміністичними бібліотеками (OpenXMLM SK1 Markdig)
- Чунк зміст, використовуючи структурні правила
- Вставляйте шматки з ONNX BERT
- Перейти відповідних шматочків через векторний пошук
- Синтезувати з Ollama - єдиним можливим кроком
LLM - це останній крок, працює на попередньому МSK1validated, preMSC3structured contentM SK4 Він може зазнати невдачі МSK5 і коли це станеться , невдача очевидна, тому що структура вже правильна
Три питання
Frontier моделі - це потужні інструменти, коли їх використовують навмисно . Але вони збільшують експресивну потужність швидше, ніж зменшують ризик. Малі моделі МSK2 коли вони вбудовані у детерміністичну систему M SK3 дають вам достатньо невизначеності для дослідження. без приховування правди чи відповідальності.
Правильне питання не "" МСК0 "", а "" Яка модель найкраще , "?.
Це:
- Куди належить ймовірність??
- Де детермінізм має бути абсолютним
- Які невдачі можуть вижити ця система?
І якщо модель існує тільки для класифікації МСК6 підсумування МSK7 рангу МСК8 чи запропонування гіпотез , маленька локальна модель часто правильний вибір, не економічне .
Модель: : Машина для буріння МSK1 Кілька моделей
Це архітектура, яка працює
┌─────────────────────────────────────────────────────┐
│ DETERMINISTIC LAYER │
│ State machines, queues, validation, storage │
│ (DuckDB, Postgres, Redis, file systems) │
└─────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────┐
│ INTERFACE LAYER │
│ Schema validation, retries, fallbacks │
│ (Polly, FluentValidation, custom guards) │
└─────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────┐
│ PROBABILISTIC LAYER │
│ Classification, summarisation, hypothesis gen │
│ (Ollama, ONNX, small local models) │
└─────────────────────────────────────────────────────┘
ЛЛМ знаходиться на нижній, не верхній
Довіра - це не про те, щоб уникнути невдачі
Усі три точки зору: МСК0 питання МСК1 модель , і це остаточне правило MSК3 зменшуються до одного правила СМСК4
Надежність - це вибір невдачі, яку ви можете пережити.
Для LLM це означає управління недетермінізмом через детерміністичну практику
- Командування I: Держава живе за межами моделі
- Командування VII: Робіть провал голосним і нудним
- Командування IX: Сконструювати знущаючу машину спочатку
Невеликі моделі роблять це легшим, тому що їхні невдачі голосно. Неправильний JSONM SK1 Скорінне виведення . Похибки до схеми МSK3 Це подарунки МSK4 вони відразу скажуть вам, що щось пішло не так
Похибки передових моделей - тиша. По правді МSK1 Звучить безглуздо МSK2 Збентежені галюцинації . Семантичний дрейф, який стає помітним тільки тоді, коли клієнт скаржиться чи перевірка провалюється
I'Iгноруватиме шумні невдачі кожного разу
Подібне читання
Філософія
- Десять заповідей використання LLM - Принципи цього підходу
- Чому я не користуюся LangChain - Складність системи порівнює з . чіткістю
- Чому комерційні проекти штучного інтелекту є безглуздими - У випадку з локальноюM SK1перша ШІ
Втілення
- GraphRAG: Minimal Viable Implementation - Три види видобутку в praktyce
- Семантичний пошук за допомогою ONNX та Qdrant - Процесор - дружні вбудова
- Програмне забезпечення DocSummarizer - Структура - перша , LLM - друга
- Гібридне пошук і автоматичне- Індексування - ProdukціяM SK1 пошук готовий
Архітектура
- DiSE: Визначати LLM ненадійними - Модель МSK1ненадійних богівM SK2
- Викриття Bot з допомогою консультантів LLM - LLM як консультант
- Zero-PII Customer Intelligence - Порозуміння семантики з межами
Внешні ресурси
- Оллама - Запустити LLM локально одним командою
- Пропускний час на NX - Кроссіальний ML висновок platform
- LM Студія - Планова програма для локальних LLM
- llama.cpp - Дослідження