# Nej, Små modeller är inte den "Budget-Optionen " Små och lokala LLM är ofta framställda som den billigaste alternativen till gränsmodeller. **kontroll**, **förutsägbarhet**, och **överlevbara misslyckande former**. I' är lika skyldig som vem som helst för att trycka på. ' de, ', är fria, ', berättelser, M SK4, som om det var den enda avgörande faktorn. **vad affärer du gör**. Genom att använda en liten modell via [Ollama](https://ollama.ai/), LM Studio [Runtime på ONNX](https://onnxruntime.ai/), eller liknande är inte **där det är tillåtet att existera en icke-determinism**. [TOC] ## Den verkliga skillnaden Stora gränsmodeller är bredare och flytandere. **mer farligt** i system som kräver garantera. Framstående modeller är logiska när ytan kräver och utsläppen är rådande genom design. - kreativt teckningar, , öppet, M SK2, slutgiltiga utforskningar,,, eller sammansättning över okända områden,., men det är inte det mesta produktionssystemet, De misslyckades **semantiskt snarare än strukturellt**. Det här är kategorisk olycka : som behandlar en sannolikhetskomponent som om den var en gräns för ett system - Det är dyrt att upptäcka - Det är dyrt att debugera - Det är ofta bara synligt efter skadan **Små modeller misslyckas annorlunda.** När en liten modell är förvirrad, tenderar den att - Breka schema - Ämta okej JSON - Förkorta utgångar - Förlust av struktur Dessa är: **billiga misslyckande**. De kan upptäckas med enkel bekräftelse . De utlöser återgångar eller fallbackar omedelbart . De förflyttar inte stat utan tystnad **Detta är inte en svaghet . Det är en egenskap.** ## Varifrån kommer detta princip? Den här insikten är inte abstrakt teori, det är grunden till [De tio budorden som LLM använder](/blog/tencommandments). Kernprincipen > **LLMs tolkar verkligheten** När du följer detta princip, upptäcker du något förvånande. **du slutar behöva dyra modeller**. En lokalt driven | 7 | B-parametermodell kan klassificera | , | sammanfatta | МSK3 | och generera hypoteser helt bra |- | eftersom de deterministiska systemen runt omkring den hanterar allt som faktiskt måste vara korrekt Små modeller är inte " svaga" - de är ofta **tillräckligt** eftersom problemet redan har minskat när det når dem. De främre modellerna säljer dig självförtroende du borde bygga själv ## Den rätta mentala modellen Precis som DuckDB är inte "levnad SQL" och Postgres är inte **en annan punkt i designrummet**. Du väljer dem när | Bekymrt | Stor modelladvantage | |---------|----------------------| | **Lokalitet** | Den körs på din hårdvara , ditt nätverk , ditt område | **Vridbarhet** | Varje utgångsförklaring är registrerad , återskapbar | **Blastradie** | Misslyckanden är inbegripen | **Rätthetsövervakning** | Validering sker utanför modellen | | **Begränsad icke-determinism** | Osäkerhet är hårt begränsad | ## Hur jag använder detta i praktiken Det är inte hypotetiskt. Mina projekt visar detta mönster flera gånger. ### GraphRAG med tre extraktionsmodi [Min GraphRAG-implementering](/blog/graphrag-minimum-viable-implementation) erbjuder tre olika trybar: | Modus | | | LLM-sändningar | | | bäst för || |------|-----------|----------| | **Heuristik** | 0 per chunk ♫ ♫ | ♫ Rent determinism via IDF ♫ | **Hybrid** | 1 per dokument | | | En liten modell validerar kandidater | | **LLM** | 2 per stycke ♫ ♫ | ♫ Max. kvalitet när det behövs ♫ Den **hybridmodi** är den bästa punkten.:. Häristisk extraktion hittar kandidater, (. Deterministiska. ),. En liten lokal modell validerar och förstärker dem. Med Ollama som kör lokalt , är kostnaden $0. Men det är inte varför jag använder den | - | kostnadsbesparingar är en sida | - | effekt av korrekt abstraktion | МSK5 | inte målet |. | Jag använder den för att **misslyckanden är billiga och uppenbara**. ### ONNX Embeddings: Inga LLM krävs [Semantiska sökningar med ONNX och Qdrant](/blog/semantic-search-with-onnx-and-qdrant) visar ett annat mönster: vissa uppgifter inte required LLM alls . BERT inbäddar via ONNX Runtime ger dig - **CPU-vänligt slutsats** - ingen GPU krävs - **Deterministiska resultat** - samma input producerar alltid samma inbädding - **Lokalt utförande** - inga API-sändningar , ingen latens - **~90MB modell** - kör var som helst För [hybridsökning](/blog/rag-hybrid-search-and-indexing), Jag kombinerar de här inbäddarna med BMM SK1 poängen . LLM dyker upp endast när det är syntetiskt ♫ - ♫ och även då ♫, ♫ fungerar en liten lokal modell bra eftersom den **förklarande** struktur som deterministiska system redan har validerat ### DocSummarizer: Struktur första , LLM andra [DocSummarizer](/blog/docsummarizer-tool) förkroppsligar den filosofin 1. **Förefatta** dokument med deterministiska bibliotek (OpenXML, MarkdigM SK2 2. **Chunk** innehåll med hjälp av strukturella regler (headings, paragrapher , kodblock 3. **Inbädda** skivor med ONNX BERT 4. **Ta tillbaka** relevanta chunks via vektorsökning 5. **Synthesiera** med Ollama - den enda sannolikhetsstegen LLM är **sista steg**, arbetandes på pre--validerad, pre- - strukturerad innehållM SK4 Det kan misslyckas ♫ - ♫ och när det gör det ♫, ♫ är misslyckandet uppenbart eftersom strukturen redan är korrekt ♫ ## De tre frågorna Frontier-modeller är kraftfulla verktyg när de används medvetet.. Men de ökar uttryckskraften snabbare än de minskar risken. **utan att förmörkna sanning eller ansvar**. Den rätta frågan är inte " vilken modell är bäst ?" Det är: 1. **Var hör sannolikheten till?** 2. **Var måste determinism vara absolut** 3. **Vilka misslyckanden kan det här systemet överleva?** Om svaret involverar statseffekter, biverkningar, pengar, , policy, , eller garanterar, så är modellen aldrig ansvarig. **rätt val**, inte den ekonomiska ## Pattern: Boring Machinery + Small Model Det här är arkitekturen som fungerar ``` ┌─────────────────────────────────────────────────────┐ │ DETERMINISTIC LAYER │ │ State machines, queues, validation, storage │ │ (DuckDB, Postgres, Redis, file systems) │ └─────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────┐ │ INTERFACE LAYER │ │ Schema validation, retries, fallbacks │ │ (Polly, FluentValidation, custom guards) │ └─────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────┐ │ PROBABILISTIC LAYER │ │ Classification, summarisation, hypothesis gen │ │ (Ollama, ONNX, small local models) │ └─────────────────────────────────────────────────────┘ ``` LLM är på **undersidan**, inte toppen . Den föreslår ## Tillförlitlighet handlar inte om att undvika misslyckande Alla tre perspektiv - , frågorna , , mönstret , , , och det här slutgiltiga principet , **Tillförlitlighet handlar om att välja fel som du kan överleva.** Med LLM: n betyder det att man kan hantera icke-determinism genom deterministiska metoder - [Kommandot I](/blog/tencommandments): Staten lever utanför modellen - [Kommando VII](/blog/tencommandments): Gör misslyckandet högt och tråkigt - [Kommandot IX](/blog/tencommandments): Build the boring machinery first Små modeller gör det här lättare eftersom deras misslyckanden **högt**. Invalid JSON Framgångsmodellens misslyckande är **tyst**. Förklarligt - Låtande nonsens, . Konfidenta hallucinationer,. Semantisk drift som bara blir synlig när en klient klagar eller en audit misslyckas. **I' tar högljudda misslyckanden varje gång** ## Omvänt läsning ### Den filosofin - [De tio budorden som LLM använder](/blog/tencommandments) - Principerna bakom den här metoden - [Varför använder jag inte LangChain](/blog/why-i-dont-use-langchain) - Ram komplexitet jämfört med . tydlighet - [Varför är kommersiella AI-projekt dumma](/blog/whycommercialaiprojectsaredumb) - Fallet för lokalt-first AI ### Implementering - [GraphRAG: Minimalt hållbara implementering](/blog/graphrag-minimum-viable-implementation) - Tre extraktionsmodi i praktiken - [Semantiska sökningar med ONNX och Qdrant](/blog/semantic-search-with-onnx-and-qdrant) - CPU-vänliga inbäddar - [DocSummarizer-verktyg](/blog/docsummarizer-tool) - Struktur först , LLM sedan - [Hybridsökning och Auto-Indexing](/blog/rag-hybrid-search-and-indexing) - produktion - sök nu ### Architekturen - [DiSE: Att behandla LLM som oförtrovärdiga](/blog/blog-article-cooking-dise-part3-untrustworthy-gods) - Patternet - [Botdetektion med LLM rådgivare](/blog/botdetection-introduction) - LLM som rådgivare , inte kontroller - [Zero-PII Kundenintelligens](/blog/zero-pii-customer-intelligence-part1) - Semantisk förståelse med gränser ## Externa resurser - [Ollama](https://ollama.ai/) - Loopa LLMs lokalt med ett kommando - [Runtime på ONNX](https://onnxruntime.ai/) - Cross -platform ML inferens - [LM Studio](https://lmstudio.ai/) - Desktop-app för lokala LLMs - [llama.cpp](https://github.com/ggerganov/llama.cpp) - Effektiv CM SK1 slutsats