No,小型模型不是 {"} 预算选项" (中文 (Chinese Simplified))

小型和本地LLMs通常被设计成边境模型的廉价替代物*.}框架是错误的它们不是同一东西的退化版}.}它们是一个不同的建筑选择_, 控制控控, 可预测性,和 可存活的失败模式.

I'm 与任何人一样有罪因为推推#' 他们为您需要理解的系统选择一个数据库 @/}主机平台 你们在做什么交易?.

利用一个小型模式奥拉马LM演播室 , NONX 运行时间@,@ 类似的东西不是#(_ Just)}有关储蓄钱的吗? 允许存在非“-”的确定主义.

实际差异@: @% 失败模式

大边疆模型范围更广,更流利 .}它们使更多人类表达的逻辑更加密集 ~, 覆盖更多的域 ~I, 并产生更具说服力的推理轨迹. 更危险 在需要担保的系统中 .

当需要宽度和产出经过设计咨询时,边际模型就有意义了。创造性的起草@, Open @-}开放勘探_,或不熟悉域间合成<.但是这不是大多数生产系统=.

他们的失败是 语义而非结构.@这是分类错误 @: 将概率成分当做系统边界来对待它们产生有效的#.}以微妙的方式错失的外观输出=%.}这些失败是:}

检测费用昂贵
昂贵可调试
通常仅在损害发生后才可见

小型模型的失败方式不同...

当一个小模型被混淆时 ","它倾向于:"

断断计划
Emit 无效 JSON
输出输出产出
结构落后轨道

这些是: 廉价失败@.}它们可以用简单的验证来检测它们会立即触发重试或后退它们不会静默推进状态.

这不是一个弱点 @ . @ it is a patus@ MS K1 @

本原则起源于

这个洞察力是 'T抽象理论使用 LLM 的十诫核心原则

LLMs解释现实 . 他们绝对不能被允许定义它. **

当你遵循这一原则时 ", 您不再需要昂贵的模型. 本地运行的“ MS K1B” 参数模型可以将 “ , 简略地maise,” 分类, 并产生非常精细的“ - ” 假说, 因为周围的确定系统能处理所有实际需要纠正的东西 ‘ MSKO5’ 。

小模型不是 "Weak" NSK2它们经常是充足因为问题在到达他们之前已经减轻了 .

边疆模型在出卖你的可靠性你应该建立你自己的自我

右心智模式

就像 DuckDB 不是 "cheap SQL"和 Postgres 不是 MPK2worse Azure SQ LMS K3 小LMs 占据 a 设计空间的不同点.你选择它们当":

微小的模型优势 |---------|----------------------| | 地点 | 运行在您的硬件@, 你的网络 @, 您的管辖范围| | 可可审计性 “| ” 所有推论都登入了“, ”可复制的“MS K2 ” 可检查的“| ” | 爆炸半径 校对:Portnoy | 正确性执行 “|”验证发生在模型“|”之外。 | 以非非-确定主义 不确定是严格受限的

我在实践中如何使用此方法

我的项目反复证明了这个模式 :

具有三种采掘模式的图形RAG

My GrapRAG 实施提供三种模式@: @%

模式 @ MS K1 @ LLM 呼叫@	# 最佳为 @	}
华量主义校对:Soup
混合混合物微小模型验证候选人@
法学硕士需要时最高质量@	@

缩略 混合混合模式 是甜蜜的斑点 : 超自然采掘发现候选人 @(#deterministic),}然后是小型本地模型验证并丰富它们@.}每个文档中一个LLM呼叫 <%,> 不是每块.}

Ollama在本地运行“,”的Ollama 成本是 @$0.}但这不是为什么我使用它的原因吗? “-’节约成本是正确抽象的副作用。 失败是廉价和显而易见的.

ONNX 内嵌嵌入式s:无需要LLM

用 ONNX 和 Qdrant 进行语义搜索显示另一个模式@: @ some task don'}%t 需要通过 ONX 运行时间给您的 LLM 。

CPU-}友好推论 - 不需要 GPU
决定性产出 - 同样的输入总是产生相同的嵌入
当地执行 @ - @ no API calls @ I,} 没有固定时间@ MS K2 @ 无利率限制
~90MB模型 - 跑到任何地方

用于混合混合搜索“,”我把这些嵌入与“BM25}评分•. ”结合起来。解释确定系统的结构已经验证@. @%

DocSummarizer :结构

DocSummamer 缩写器包含此哲理@ : @%

解析带有定义库的文档@(OpenXML,Markdig})
块列使用结构规则的内容 @(_headings,}段落@,}代码区块)}*
嵌入带有 ONNX BERT 块块
检索通过矢量搜索的相关块
综合报告e Ollama 唯一的概率步骤

法学硕士是 最后一步@,_在前“-validate{,}前“- 结构化内容}#.} 它可能失败, 当它成功时, 失败是显而易见的, 因为结构已经正确了@.}

三个问题

当刻意使用“.”时,前沿模型是强大的工具。但是它们比在确定系统内嵌入的微小型号“.”更能快速地增加显性电力。 “-”给了你足够多的不确定性来探索“MSC4 ” 在不掩盖真相或责任的情况下.

正确的问题不是#"BARBAR?"}哪个是最佳模式?

是:吗?

概率属于何处@ ? @
在哪里必须绝对确定性?
这个系统有什么失败能幸存?

如果答案涉及州-,+副作用 ,Q$ money @,+Policy_,}或保证“-”的话,模型就永远不应该负责该模式。如果模型只是用来分类,+Gimmaise@,排名,}或者提出假设 ,}一个小本地模型经常是这个 正确选择不是经济的,是经济的

模式=:无理机械\ +小型模型

这是能起作用的建筑 :

┌─────────────────────────────────────────────────────┐
│                 DETERMINISTIC LAYER                 │
│  State machines, queues, validation, storage        │
│  (DuckDB, Postgres, Redis, file systems)           │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                   INTERFACE LAYER                   │
│  Schema validation, retries, fallbacks             │
│  (Polly, FluentValidation, custom guards)          │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                  PROBABILISTIC LAYER                │
│  Classification, summarisation, hypothesis gen     │
│  (Ollama, ONNX, small local models)                │
└─────────────────────────────────────────────────────┘

法学硕士在底下“,”不是顶端的“.” 它建议“MS K2” 确定层处理“MSC3”

可靠性并非为避免失败

全部三个视角 @-}所有问题@, 200)}图案_,>和最后原则{-}都降为相同的规则:

可靠性在于选择可以生存的失败 #.#

LLMZ, 意味着通过确定性做法管理非 - - determinism

第一项@: 州政府生活在模型之外
第七军令七使失败变得响亮和无聊
第九号命令{\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}首先建造无聊的机器

小型模型使这一点更容易,因为它们的失败是响声这些是礼物,他们立刻告诉你出了点问题

边界模式失败安静仅当客户抱怨或审计失败时才会显现的语义流逝

{\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}I' 每次都会大失所望

外部资源

奥拉马 - 使用一个命令在本地运行 LMS
NONX 运行时间 -十字-平台 ML 推导
LM 工作室 - 本地LMS 的桌面应用程序
卡拉马 “- 高效 C++ ’ 推断