Små och lokala LLM är ofta framställda som den billigaste alternativen till gränsmodeller. kontroll, förutsägbarhet, och överlevbara misslyckande former.

I' är lika skyldig som vem som helst för att trycka på. ' de, ', är fria, ', berättelser, M SK4, som om det var den enda avgörande faktorn. vad affärer du gör.

Genom att använda en liten modell via Ollama, LM Studio Runtime på ONNX, eller liknande är inte där det är tillåtet att existera en icke-determinism.

Den verkliga skillnaden

Stora gränsmodeller är bredare och flytandere. mer farligt i system som kräver garantera.

Framstående modeller är logiska när ytan kräver och utsläppen är rådande genom design. - kreativt teckningar, , öppet, M SK2, slutgiltiga utforskningar,,, eller sammansättning över okända områden,., men det är inte det mesta produktionssystemet,

De misslyckades semantiskt snarare än strukturellt. Det här är kategorisk olycka : som behandlar en sannolikhetskomponent som om den var en gräns för ett system

• Det är dyrt att upptäcka
• Det är dyrt att debugera
• Det är ofta bara synligt efter skadan

Små modeller misslyckas annorlunda.

När en liten modell är förvirrad, tenderar den att

• Breka schema
• Ämta okej JSON
• Förkorta utgångar
• Förlust av struktur

Dessa är: billiga misslyckande. De kan upptäckas med enkel bekräftelse . De utlöser återgångar eller fallbackar omedelbart . De förflyttar inte stat utan tystnad

Detta är inte en svaghet . Det är en egenskap.

Varifrån kommer detta princip?

Den här insikten är inte abstrakt teori, det är grunden till De tio budorden som LLM använder. Kernprincipen

LLMs tolkar verkligheten

När du följer detta princip, upptäcker du något förvånande. du slutar behöva dyra modeller. En lokalt driven | 7 | B-parametermodell kan klassificera | , | sammanfatta | МSK3 | och generera hypoteser helt bra |- | eftersom de deterministiska systemen runt omkring den hanterar allt som faktiskt måste vara korrekt

Små modeller är inte " svaga" - de är ofta tillräckligt eftersom problemet redan har minskat när det når dem.

De främre modellerna säljer dig självförtroende du borde bygga själv

Den rätta mentala modellen

Precis som DuckDB är inte "levnad SQL" och Postgres är inte en annan punkt i designrummet. Du väljer dem när

Hur jag använder detta i praktiken

Det är inte hypotetiskt. Mina projekt visar detta mönster flera gånger.

GraphRAG med tre extraktionsmodi

Min GraphRAG-implementering erbjuder tre olika trybar:

Den hybridmodi är den bästa punkten.:. Häristisk extraktion hittar kandidater, (. Deterministiska. ),. En liten lokal modell validerar och förstärker dem.

Med Ollama som kör lokalt , är kostnaden $0. Men det är inte varför jag använder den | - | kostnadsbesparingar är en sida | - | effekt av korrekt abstraktion | МSK5 | inte målet |. | Jag använder den för att misslyckanden är billiga och uppenbara.

ONNX Embeddings: Inga LLM krävs

Semantiska sökningar med ONNX och Qdrant visar ett annat mönster: vissa uppgifter inte required LLM alls . BERT inbäddar via ONNX Runtime ger dig

• CPU-vänligt slutsats - ingen GPU krävs
• Deterministiska resultat - samma input producerar alltid samma inbädding
• Lokalt utförande - inga API-sändningar , ingen latens
• ~90MB modell - kör var som helst

För hybridsökning, Jag kombinerar de här inbäddarna med BMM SK1 poängen . LLM dyker upp endast när det är syntetiskt ♫ - ♫ och även då ♫, ♫ fungerar en liten lokal modell bra eftersom den förklarande struktur som deterministiska system redan har validerat

DocSummarizer: Struktur första , LLM andra

DocSummarizer förkroppsligar den filosofin

1. Förefatta dokument med deterministiska bibliotek (OpenXML, MarkdigM SK2
2. Chunk innehåll med hjälp av strukturella regler (headings, paragrapher , kodblock
3. Inbädda skivor med ONNX BERT
4. Ta tillbaka relevanta chunks via vektorsökning
5. Synthesiera med Ollama - den enda sannolikhetsstegen

LLM är sista steg, arbetandes på pre--validerad, pre- - strukturerad innehållM SK4 Det kan misslyckas ♫ - ♫ och när det gör det ♫, ♫ är misslyckandet uppenbart eftersom strukturen redan är korrekt ♫

De tre frågorna

Frontier-modeller är kraftfulla verktyg när de används medvetet.. Men de ökar uttryckskraften snabbare än de minskar risken. utan att förmörkna sanning eller ansvar.

Den rätta frågan är inte " vilken modell är bäst ?"

Det är:

1. Var hör sannolikheten till?
2. Var måste determinism vara absolut
3. Vilka misslyckanden kan det här systemet överleva?

Om svaret involverar statseffekter, biverkningar, pengar, , policy, , eller garanterar, så är modellen aldrig ansvarig. rätt val, inte den ekonomiska

Pattern: Boring Machinery + Small Model

Det här är arkitekturen som fungerar

┌─────────────────────────────────────────────────────┐
│                 DETERMINISTIC LAYER                 │
│  State machines, queues, validation, storage        │
│  (DuckDB, Postgres, Redis, file systems)           │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                   INTERFACE LAYER                   │
│  Schema validation, retries, fallbacks             │
│  (Polly, FluentValidation, custom guards)          │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                  PROBABILISTIC LAYER                │
│  Classification, summarisation, hypothesis gen     │
│  (Ollama, ONNX, small local models)                │
└─────────────────────────────────────────────────────┘

LLM är på undersidan, inte toppen . Den föreslår

Tillförlitlighet handlar inte om att undvika misslyckande

Alla tre perspektiv - , frågorna , , mönstret , , , och det här slutgiltiga principet ,

Tillförlitlighet handlar om att välja fel som du kan överleva.

Med LLM: n betyder det att man kan hantera icke-determinism genom deterministiska metoder

• Kommandot I: Staten lever utanför modellen
• Kommando VII: Gör misslyckandet högt och tråkigt
• Kommandot IX: Build the boring machinery first

Små modeller gör det här lättare eftersom deras misslyckanden högt. Invalid JSON

Framgångsmodellens misslyckande är tyst. Förklarligt - Låtande nonsens, . Konfidenta hallucinationer,. Semantisk drift som bara blir synlig när en klient klagar eller en audit misslyckas.

I' tar högljudda misslyckanden varje gång

Omvänt läsning

Den filosofin

• De tio budorden som LLM använder - Principerna bakom den här metoden
• Varför använder jag inte LangChain - Ram komplexitet jämfört med . tydlighet
• Varför är kommersiella AI-projekt dumma - Fallet för lokalt-first AI

Implementering

• GraphRAG: Minimalt hållbara implementering - Tre extraktionsmodi i praktiken
• Semantiska sökningar med ONNX och Qdrant - CPU-vänliga inbäddar
• DocSummarizer-verktyg - Struktur först , LLM sedan
• Hybridsökning och Auto-Indexing - produktion - sök nu

Architekturen

• DiSE: Att behandla LLM som oförtrovärdiga - Patternet
• Botdetektion med LLM rådgivare - LLM som rådgivare , inte kontroller
• Zero-PII Kundenintelligens - Semantisk förståelse med gränser

Externa resurser

• Ollama - Loopa LLMs lokalt med ett kommando
• Runtime på ONNX - Cross -platform ML inferens
• LM Studio - Desktop-app för lokala LLMs
• llama.cpp - Effektiv CM SK1 slutsats