# No,小型模型不是 {"} 预算选项"

<!--category-- AI, LLM, Opinion, Ollama, ONNX -->
<datetime class="hidden">2025-12-28T16:00</datetime>

小型和本地LLMs通常被设计成边境模型的廉价替代物*.}框架是错误的{.}它们不是同一东西的退化版}.}它们是一个不同的建筑选择_, **控制控控**, **可预测性**,和 **可存活的失败模式**.

I'm 与任何人一样有罪 因为推推#' 他们为您需要理解的系统选择一个数据库 @/}主机平台 **你们在做什么交易?**.

利用一个小型模式 [奥拉马](https://ollama.ai/)LM演播室 , [NONX 运行时间](https://onnxruntime.ai/)@,@ 类似的东西不是#(_ Just)}有关储蓄钱的吗? **允许存在非“-”的确定主义**.

[TOC]

## 实际差异@: @% 失败模式

大边疆模型范围更广,更流利 .}它们使更多人类表达的逻辑更加密集 ~, 覆盖更多的域 ~I, 并产生更具说服力的推理轨迹\. **更危险** 在需要担保的系统中 .

当需要宽度和产出经过设计咨询时,边际模型就有意义了。 创造性的起草@, Open @-}开放勘探_,或不熟悉域间合成<.但是这不是大多数生产系统=.

他们的失败是 **语义而非结构**.@这是分类错误 @: 将概率成分当做系统边界来对待 它们产生有效的#.}以微妙的方式错失的外观输出=%.}这些失败是:}

- 检测费用昂贵
- 昂贵可调试
- 通常仅在损害发生后才可见

**小型模型的失败方式不同...**

当一个小模型被混淆时 ","它倾向于:\"

- 断断计划
- Emit 无效 JSON
- 输出输出产出
- 结构落后轨道

这些是: **廉价失败**@.}它们可以用简单的验证来检测 它们会立即触发重试或后退 {.}它们不会静默推进状态.

**这不是一个弱点 @ . @ it is a patus@ MS K1 @**

## 本原则起源于

这个洞察力是 'T抽象理论 [使用 LLM 的十诫](/blog/tencommandments)核心原则

> **LLMs解释现实 *.* 他们绝对不能被允许定义它*.* **

当你遵循这一原则时 ", **您不再需要昂贵的模型**. 本地运行的“ MS K1B” 参数模型可以将 “ , 简略地maise,” 分类, 并产生非常精细的“ - ” 假说, 因为周围的确定系统能处理所有实际需要纠正的东西 ‘ MSKO5’ 。

小模型不是 "Weak" NSK2它们经常是 **充足** 因为问题在到达他们之前已经减轻了 .

边疆模型在出卖你的可靠性 你应该建立你自己的自我

## 右心智模式

就像 DuckDB 不是 "cheap SQL"和 Postgres 不是 MPK2worse Azure SQ LMS K3 小LMs 占据 a **设计空间的不同点**.你选择它们 当":

微小的模型优势
|---------|----------------------|
| **地点** | 运行在您的硬件@, 你的网络 @, 您的管辖范围\|
| **可可审计性** “| ” 所有推论都登入了“, ”可复制的“MS K2 ” 可检查的“| ”
| **爆炸半径** 校对:Portnoy
| **正确性执行** “|”验证发生在模型“|”之外。
| **以非非-确定主义** 不确定是严格受限的

## 我在实践中如何使用此方法

我的项目反复证明了这个模式 :

### 具有三种采掘模式的图形RAG

[My GrapRAG 实施](/blog/graphrag-minimum-viable-implementation) 提供三种模式@: @%

| 模式 @ MS K1 @ LLM 呼叫@|# 最佳为 @|}
|------|-----------|----------|
| **华量主义** 校对:Soup
| **混合混合物** 微小模型验证候选人@|
| **法学硕士** 需要时最高质量@| @

缩略 **混合混合模式** 是甜蜜的斑点 : 超自然采掘发现候选人 @(#deterministic),}然后是小型本地模型验证并丰富它们@.}每个文档中一个LLM呼叫 <%,> 不是每块\.}

Ollama在本地运行“,”的Ollama 成本是 @$0.}但这不是为什么我使用它的原因吗? “-’节约成本是正确抽象的副作用。 **失败是廉价和显而易见的**.

### ONNX 内嵌嵌入式s:无需要LLM

[用 ONNX 和 Qdrant 进行语义搜索](/blog/semantic-search-with-onnx-and-qdrant) 显示另一个模式@: @ some task don'}%t 需要通过 ONX 运行时间给您的 LLM 。

- **CPU-}友好推论** - 不需要 GPU
- **决定性产出** - 同样的输入总是产生相同的嵌入
- **当地执行** @ - @ no API calls @ I,} 没有固定时间@ MS K2 @ 无利率限制
- **~90MB模型** - 跑到任何地方

用于 [混合混合搜索](/blog/rag-hybrid-search-and-indexing)“,”我把这些嵌入与“BM25}评分•. ”结合起来。 **解释** 确定系统的结构已经验证@. @%

### DocSummarizer :结构

[DocSummamer 缩写器](/blog/docsummarizer-tool) 包含此哲理@ : @%

1. **解析** 带有定义库的文档@(OpenXML,Markdig})
2. **块列** 使用结构规则的内容 @(_headings,}段落@,}代码区块\)}*
3. **嵌入** 带有 ONNX BERT 块块
4. **检索** 通过矢量搜索的相关块
5. **综合报告e** Ollama 唯一的概率步骤

法学硕士是 **最后一步**@,_在前“-validate{,}前“- 结构化内容}#.} 它可能失败, 当它成功时, 失败是显而易见的, 因为结构已经正确了@.}

## 三个问题

当刻意使用“.”时,前沿模型是强大的工具。 但是它们比在确定系统内嵌入的微小型号“.”更能快速地增加显性电力。 “-”给了你足够多的不确定性来探索“MSC4 ” **在不掩盖真相或责任的情况下**.

正确的问题不是#"_BARBAR_?"}哪个是最佳模式?

是:吗?

1. **概率属于何处@ ? @**
2. **在哪里必须绝对确定性?**
3. **这个系统有什么失败能幸存?**

如果答案涉及州-,+副作用 ,Q$ money @,+Policy_,}或保证“-”的话,模型就永远不应该负责该模式。如果模型只是用来分类\,+Gimmaise@,排名,}或者提出假设 ,}一个小本地模型经常是这个 **正确选择**不是经济的,是经济的

## 模式=:无理机械\ +小型模型

这是能起作用的建筑 :

```
┌─────────────────────────────────────────────────────┐
│                 DETERMINISTIC LAYER                 │
│  State machines, queues, validation, storage        │
│  (DuckDB, Postgres, Redis, file systems)           │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                   INTERFACE LAYER                   │
│  Schema validation, retries, fallbacks             │
│  (Polly, FluentValidation, custom guards)          │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                  PROBABILISTIC LAYER                │
│  Classification, summarisation, hypothesis gen     │
│  (Ollama, ONNX, small local models)                │
└─────────────────────────────────────────────────────┘
```

法学硕士在 **底下**“,”不是顶端的“.” 它建议“MS K2” 确定层处理“MSC3”

## 可靠性并非为避免失败

全部三个视角 @-}所有问题@, 200)}图案_,>和最后原则{-}都降为相同的规则\:

**可靠性在于选择可以生存的失败 #.#**

LLMZ, 意味着通过确定性做法管理非 - - determinism

- [第 一 项](/blog/tencommandments)@: 州政府生活在模型之外
- [第七军令七](/blog/tencommandments)使失败变得响亮和无聊
- [第九号命令](/blog/tencommandments){\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}首先建造无聊的机器

小型模型使这一点更容易,因为它们的失败是 **响声**这些是礼物,他们立刻告诉你 出了点问题

边界模式失败 **安静**仅当客户抱怨或审计失败时才会显现的语义流逝

**{\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}I' 每次都会大失所望**

## 相关阅读

### 哲学

- [使用 LLM 的十诫](/blog/tencommandments) 这一做法背后的原则
- [为什么我用兰钱](/blog/why-i-dont-use-langchain) 框架复杂程度与清晰度
- [商业AI项目为何愚蠢](/blog/whycommercialaiprojectsaredumb) 本地端的-案例

### 执行

- [图图RAG: 最低限度可行实施](/blog/graphrag-minimum-viable-implementation) “- 三种实际采掘方式”
- [用 ONNX 和 Qdrant 进行语义搜索](/blog/semantic-search-with-onnx-and-qdrant) MPK0 CPU- 友好嵌入
- [DocSummarizer 工具](/blog/docsummarizer-tool) -=YTET -伊甸园字幕组=- 翻译:
- [混合查找和自动搜索@ - @ Indexing](/blog/rag-hybrid-search-and-indexing) @-_producting@-}即时搜索

### 建筑结构

- [DISE: 将LLMs视为不可信](/blog/blog-article-cooking-dise-part3-untrustworthy-gods) {\fn方正黑体简体\fs18\b1\bord1\shad1\3cH2F2F3F}星际迷航
- [与LLM顾问一起探测Bot](/blog/botdetection-introduction) *-LLM作为顾问*,不是控制器
- [零-PII客户情报](/blog/zero-pii-customer-intelligence-part1) -语义理解与边界

## 外部资源

- [奥拉马](https://ollama.ai/) - 使用一个命令在本地运行 LMS
- [NONX 运行时间](https://onnxruntime.ai/) -十字-平台 ML 推导
- [LM 工作室](https://lmstudio.ai/) - 本地LMS 的桌面应用程序
- [卡拉马](https://github.com/ggerganov/llama.cpp) “- 高效 C++ ’ 推断