Ні, Малі моделі не є варіантом M SK1Budget Option" (Українська (Ukrainian))

Ні, Малі моделі не є варіантом M SK1Budget Option"

Sunday, 28 December 2025

//

6 minute read

Малі та локальні LLM часто оброблені як дешева альтернатива передових моделей. Те, що обробка неправильна контроль, передбачуваність, і стійкі до невдачі режими.

Я - так само винна, як будь-хто за те, що проштовхнув. МСК1 - вони, МСК2 - вільні. МSK3 - оповідка, МSK4 - якби це був єдиним вирішальним фактором. ММК5 - Але, як і вибір бази даних, / - хостингова платформа для системи, яку вам потрібно зрозуміти які торги ви робите.

Використовуючи маленьку модель через Оллама, LM StudioM SK1 Пропускний час на NX, чи щось подібне не так МSK1 тільки МSK2 про заощадження грошей . про вибір де неможливе існування детермінізму.

Справжня різниця: trybи невдачі

Великі фронтальні моделі більш широкі та плавні. МСК0 Вони згущують людську логіку. МSK1 розділяють більше домен, МSK2 і створюють більш переконливі сліди мислення. більш небезпечним в системах, які потребують гарантій.

Моделі кордону мають сенс, коли потрібна широта, а виходи - консалтингові за допомогою дизайну. - творчий проектування , відкриті МSK2 нескінченне дослідження M SK3 або синтез по незнайомим доменам . Але це не більшість виробничих систем

Їхні невдачі - більш семантичний, ніж структурний. Це category error : пов 'язане з теорією, що можливий компонент ставиться так, наче це була межа системи

  • Це дорого коштує, щоб виявити
  • Це дорого коштує для розв 'язання проблем
  • Часто видно лише після пошкодження

Невеликі моделі провалюються інакше.

Коли маленька модель заплутана, то з tendenцією до

  • Перерізання схем
  • Введення неправильних JSON
  • Трюнкції виходів
  • Ми втратили слід структури

Це: дешеві невдачі. Вони можуть бути виявлені за допомогою простої перевірки . Вони миттєво запускають повтори або падіння

Це не слабкість

Звідки береться цей принцип

Це усвідомлення - не абстрактна теорія, а основа Десять заповідей використання LLM. Найголовніший принцип

LLM інтерпретують реальність. Їм ніколи не потрібно дозволити її визначити

Коли ви слідуєте за цим принципом, то знаходите щось дивовижне. ви перестанете потребувати дорогих моделей. Модель параметрів МSK1B, що працює локально, може класифікувати МSK2 підсумувати \ , і створювати гіпотези просто чудово - тому що детерміністичні системи навколо неї обробляють все, що насправді має бути правильним

Невеликі моделі не є "слабимиM SK1 - вони часто достатньо тому що проблема вже зменшилась до того часу, як вона досягає них.

Моделі кордону продають вам надійність, яку ви повинні будувати самі.

Правильний образ мислення

Так само, як DuckDB не є "швидкі SQL" і Postgres не є різні точки у просторі дизайну. Ви вибираєте їх, коли

Занепокоєння
Местність працює на вашому апараті , на вашій мережі M SK2 у вашій праві МSK3
Аудиторність Кожна висновка записується
Радиус вибуху Невиліки містяться , не розповсюджуються через API ланцюги
Наслідування правильності Validation happens outside the model
Обмежений детермінізм Невизначеность сильно обмежена

Як я використовую це в практиці

Це не гіпотетично. Мої проекти демонструють цю модель знову і знову.

GraphRAG з трьома trybами видобутку

Моє застосування GraphRAG пропонує три режими:

tryb LLM дзвінки МSK2 найкращий для МSK3
Герістичні МSK1 на шматок Чистий детермінізм через IDF МSK3 структура မ်SK4
Гібрид МSK0 1 за документ МSK2 Невелика модель підтверджує кандидатів
ЛЛМ МSK1 на шматок МSK2 Максимальна якість, коли це потрібно

І гібридний режим є найкращою з них. : геристичне видобуток знаходить кандидатів, ( детерміністичне МSK2 потім маленька локальна модель підтверджує і покращує їх.

Коли Оллам працює локально, це означає, що вартість - $0. Але це не те, чому я його використовую. невдачі дешеві і очевидні.

Осередки на NX: Не вимагається LLM

Семантичні пошуки з комп 'ютерами ONNX та Qdrant показує інший візерунок: деякі завдання не потребують LLM

  • CPU-приємний висновок - не потребує GPU
  • Детерміністичні результати - той самий вхід завжди створює те саме вбудова
  • Локальне виконання - без API дзвінків , без затримки МSK2 без обмежень швидкості
  • Модель ~90MB - працює будь-де

Для гібридний пошук, Я об 'єдную ці вставки з BM 25 оцінкою МSK2 LLM з' являється лише в часі синтезу M SK3 і навіть тоді , маленька локальна модель працює добре, тому що це пояснюючи структура, яку вже підтвердили детерміністичні системи.

DocSummarizer: Структура Перший , LLM Другий

DocSummarizer втілює цю філософію:

  1. Розібрати Dokumentи з детерміністичними бібліотеками (OpenXMLM SK1 Markdig)
  2. Чунк зміст, використовуючи структурні правила
  3. Вставляйте шматки з ONNX BERT
  4. Перейти відповідних шматочків через векторний пошук
  5. Синтезувати з Ollama - єдиним можливим кроком

LLM - це останній крок, працює на попередньому МSK1validated, preMSC3structured contentM SK4 Він може зазнати невдачі МSK5 і коли це станеться , невдача очевидна, тому що структура вже правильна

Три питання

Frontier моделі - це потужні інструменти, коли їх використовують навмисно . Але вони збільшують експресивну потужність швидше, ніж зменшують ризик. Малі моделі МSK2 коли вони вбудовані у детерміністичну систему M SK3 дають вам достатньо невизначеності для дослідження. без приховування правди чи відповідальності.

Правильне питання не "" МСК0 "", а "" Яка модель найкраще , "?.

Це:

  1. Куди належить ймовірність??
  2. Де детермінізм має бути абсолютним
  3. Які невдачі можуть вижити ця система?

І якщо модель існує тільки для класифікації МСК6 підсумування МSK7 рангу МСК8 чи запропонування гіпотез , маленька локальна модель часто правильний вибір, не економічне .

Модель: : Машина для буріння МSK1 Кілька моделей

Це архітектура, яка працює

┌─────────────────────────────────────────────────────┐
│                 DETERMINISTIC LAYER                 │
│  State machines, queues, validation, storage        │
│  (DuckDB, Postgres, Redis, file systems)           │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                   INTERFACE LAYER                   │
│  Schema validation, retries, fallbacks             │
│  (Polly, FluentValidation, custom guards)          │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                  PROBABILISTIC LAYER                │
│  Classification, summarisation, hypothesis gen     │
│  (Ollama, ONNX, small local models)                │
└─────────────────────────────────────────────────────┘

ЛЛМ знаходиться на нижній, не верхній

Довіра - це не про те, щоб уникнути невдачі

Усі три точки зору: МСК0 питання МСК1 модель , і це остаточне правило MSК3 зменшуються до одного правила СМСК4

Надежність - це вибір невдачі, яку ви можете пережити.

Для LLM це означає управління недетермінізмом через детерміністичну практику

Невеликі моделі роблять це легшим, тому що їхні невдачі голосно. Неправильний JSONM SK1 Скорінне виведення . Похибки до схеми МSK3 Це подарунки МSK4 вони відразу скажуть вам, що щось пішло не так

Похибки передових моделей - тиша. По правді МSK1 Звучить безглуздо МSK2 Збентежені галюцинації . Семантичний дрейф, який стає помітним тільки тоді, коли клієнт скаржиться чи перевірка провалюється

I'Iгноруватиме шумні невдачі кожного разу

Подібне читання

Філософія

Втілення

Архітектура

Внешні ресурси

Finding related posts...
logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.