This is a viewer only at the moment see the article on how this works.
To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk
This is a preview from the server running through my markdig pipeline
"IsnM SK1t DiSE Just Voyager?" - Чому структура переважає Brilliance
Monday, 24 November 2025
Моя система – ,, DiSE, , – це я , МSK2, оптимізуючи, МSK3, сам себе, МСК4, збираючи, М СК5, програмний інженер, конструктор робочого потоку. МСк6, він генерує тестовані кодові артефакти, ММСК7, об 'єктивно їх оцінює, МСМК8 і еволюціонує з часом без постійного людського нагляду. MМСК9, але ось тут – ММСк10 – це те, що ми вже робимо: ММСK11 не робили, МПСК12, не Voyager, МУСК13, що вражаючий робот Minecraft з ММСК14, вже робили це, генеруючи повторювані навички, МНСК15, а не МАСК16, не Toolformer вже доводить, що ЛЛМ можуть навчитися користуватися інструментами, вимірюючи результати, МДСК17, якщо у нас є агенти, які пишуть власні інструменти та знають, коли їх використовувати,
Спойлер: Ні . І зрозуміти, чому це важливо, якщо виM SK2 будуєте щось, що має працювати в процесі виробництва.
Введение
" Це звучить як Вояджер, але з більшими кроками
Справдільна точка. МСК0. Якщо ви стежили за ЛЛМ, МСК2, проведеним дослідженням агентів, МSK3, ви, мабуть, чули про Вояджер (Wang et al., 2023) - система, яка навчила GPTM SK4 грати в Minecraft, генеруючи повторюваний код МSK5skillsMSC6 |- і Виробник інструментів (Счік та інші ., МSK2 МSK3, які навчили ЛСМ використовувати інструменти, вимірюючи реальні результати M SK4 Обидві були вражаючими , вплинули на їхнє використання
На перший погляд, це схоже на Вояджера. МСК3 Набір інструментів з свіжою фарбою. МSK4 Але це схожі на те, як сказати, що база даних виробництва - це лише табличка з більшими кроками. .. Різниця має значення, якщо ви хочете мати справу з масштабом.
Новинка для DiSE? Подивіться мій ліфт для більшого зображення, тоді досліджуйте "Cooking with DiSEM SK2 series: Частина 2 про аспірантуру і Частина 3 про ненадійні LLM. Цей пост спеціалізується на тому, як архітектура DiSE ' відрізняється від Вояджера та Toolformer МSK2
Цей пост пояснює, що Voyager і Toolformer зробили правильно – , , коли вони досягли своїх меж - , , і чому архітектурний підхід DiSE , ' , вирішує проблеми, які жодна з них не могла розв 'язати сама.
Що добре зробили Voyager та Toolformer
Два дослідження з журналу 2023 змінили наше ставлення до агентів і інструментів LLM
Агенти Voyager: можуть генерувати інструменти
Вояджер представил вирішальне відкриття
LLM можуть створювати власні інструменти для повторного використання.
Замість жорсткого кодування кожного дійства в Minecraftі, Voyager використовував GPT.
" Ваша функція буде використана повторно для створення більш складних функцій . ТомуM SK2 ви маєте зробити її універсальною і повторюваною
Це було важливе . Вперше МSK1 агенсна система вважала генерацію інструментів справжня програмна інженерія замість того, щоб викликати один сигнал, Voyager показав, що агенти можуть
- Збудувати з часом зростаючу бібліотеку навичок
- Створити прості навички у складні поведінки
- Уникніть катастрофічного забуття шляхом введення-в основі пошуку
І це спрацювало: МСК0, щось на зразок МСК1 в Minecraftі
Агенти Toolsformer: можуть дізнатися, коли використовувати інструменти
Виробник інструментів (Schick et alM SK1 2023) прийняла інший підхід МSK3 Замість генерування інструментів М SK4 вона навчала ЛЛМ коли викликати наявні інструменти.
Розумний біт: Toolformer генерував власні тренувальні дані
- Вsert potential tool calls into text ("maybe I should use a calculator hereM SK1
- Насправді, виконуйте ці інструменти
- Утримуйте приклади, де знаряддя допомогли
- Fine-tune на успішних прикладах
Це створило моделі, які навчились використовувати інструменти об 'єктивні результати а не людська аннотація. Програмний інтерфейс калькулятора, що повертає правильну відповідь, кращий за те, що не відповідає
Як DiSE об 'єднує обидві ( і рухається даліM SK1
DiSE бере інформацію з обох робіт, але вирішує їхні прогалини
Від Voyager:
- ✅ генерувати повторювані артефакти коду
- ✅ Поміщайте їх для майбутнього пошуку
- ❌ Але додайте МSK1 Об 'єктивні тестові прибори МSK2 не тільки " працює в Minecraft
- ❌ Але додайте : Зроблені моделі замість GPT МSK2 для всього
- ❌ Але додайте : Мутація та еволюція МSK2 не тільки зберігання
Від Toolformer:
- ✅ Навчитися з об 'єктивних результатів
- ✅ генерувати тренувальні дані автоматично
- ❌ Але додайте МSK1 Еволюція uruchomionego часу МSK2 не лише тренування - навчання протягом часу
- ❌ Але додайте : самі створюйте інструменти МSK2 не просто вчиться їх називати
- ❌ Але додайте МSK1 Полний життєвий цикл МSK2 інструменти можна покращити , не тільки використовувати
Генеалогія DiSE'
Подумайте про DiSE як про онука ReAct, Reflection, Toolformer , і VoyagerM SK3 Кожен предок додав щось важливе
graph TB
ReAct[ReAct 2022:<br/>Reason + Act<br/>Step-by-step thinking] --> DiSE
Reflexion[Reflexion 2023:<br/>Self-critique loops<br/>Try → Reflect → Retry] --> DiSE
Toolformer[Toolformer 2023:<br/>Learn from outcomes<br/>Self-generated training data] --> DiSE
Voyager[Voyager 2023:<br/>Generate reusable tools<br/>Code as memory] --> DiSE
DiSE[DiSE 2024:<br/>Directed Synthetic Evolution]
DiSE --> G[Generate tools with tests]
DiSE --> E[Evaluate objectively]
DiSE --> M[Mutate and improve]
DiSE --> S[Store with usage stats]
DiSE --> R[Retrieve and reuse]
DiSE --> C[Tiered execution]
style ReAct stroke:#8b5cf6,stroke-width:2px
style Reflexion stroke:#ec4899,stroke-width:2px
style Toolformer stroke:#f59e0b,stroke-width:2px
style Voyager stroke:#ef4444,stroke-width:2px
style DiSE stroke:#10b981,stroke-width:3px
спадок:
- Відтворити → Структуроване мислення з дією
- Рефліксія → Самосвідомість - покращення через відображення МSK2 але ЛЛМ вирішує сама себе МSK3
- Виробник інструментів → Навчиться з реальних результатівM SK1 не просто пропони
- Вояджер → генерувати та зберігати повторювані артефакти коду
Що додає DiSE:
- Об 'єктивні пристрої для тесту (не самок LLM МSK1судж МSK2
- Еволюція робочого часу (не тільки тренувальний часM SK1
- (дешево МSK1 дорого тільки тоді, коли потрібно
- Полний життєвий цикл інструмента (родіння МSK1 мутація МSK2 спадок → смерть
- Рупи зворотнього зв 'язку щодо оптимізації витрат
- Статуальний реестр інструментів (біт Fielding МSK1а архітектура РEST МSK2 інструменти як адресовані ресурси з штатом )
Toolformer довів, що можна навчити моделі використовувати знаряддя, вимірюючи реальні результати.. Voyager довів що агенти можуть створити власні інструментальні бібліотеки. . Рефлікація довів роботу рефлікаційних ланцюгів.
DiSE запитує: Що, якби ми об 'єднали всі ці знання - МСК0 - але зробили його досить дешевим для виробництва і достатньо розумним, щоб вдосконалити себе з часом?
І так. МСК0, там. МSK1 - крапка Roy Fielding, МSK2 - це також архітектура РEST. МSK3 - інструменти є статистичними ресурсами з URI-ми. МСК4 - метаданками, МСк5 - версії. М СК6 - кожен інструмент адресований, М Ск7 - в 'язний в' cache , М С К 8 - можна об' єднати з іншими. M С К 9 - це не просто векторна база даних. М S К 11 - це РEST-репозитор, де ресурси. М ็ С К 13 - інструментарії, М ্ С К 14 - мають статус. М Ш К 15 - статистичні дані щодо використання, М S K 16 - показники ефективності, М Ш K 17 - історію версії, М М С K 18 - те, що впливає на те, як вони були відібрані та розвинуті.
МSK0 - це не навчання, МSK1 - це - не одне покоління. МSK2 - це вже не одне. - - нове покоління. орієнтована еволюція.
Архітектура Вояджера
graph TB
subgraph Voyager["Voyager (2023)"]
A[GPT-4] --> B[Generate Code]
B --> C[Execute in Minecraft]
C --> D{Success?}
D -->|Yes| E[Store with embedding]
D -->|No| F[GPT-4 suggests fix]
F --> B
E --> G[Vector DB]
G --> H[Future retrieval]
H --> A
end
style A stroke:#ef4444,stroke-width:3px
style F stroke:#ef4444,stroke-width:3px
note1[All reasoning flows through GPT-4]
note1 -.-> A
Подивіться на проблему? Кожне рішення M SK1 планування , оцінки M SK3 виправлення , складові МSK5 проходить через ту ж саму модель кордонів MSC6 Коли ви потребуєте блискучості на кожному крокі, вам потрібен ГПЗ МСК8 МСК9 або еквівалентно М СК10 всюди MСК11
Що повернуло Вояджера назад
Вояджер не використовував лише GPT для генерації коду.
- Планування МSK0 Перетворення високих -тижневих цілей на завдання під МSK2
- Оцінка - Визначати, чи майстерність працює правильно
- Розклад - З 'ясувати, які з існуючих навичок потрібно об' єднати
- Намінування - Створювання описових идентификаторів для зберігання
- Вибір - Вибір правильних навичок з вбудованих
- Оцінка якості - Визначати, що
Коли модель робить все, що завгодно, вона має бути досконало переднішою - яскравою кожного разу
Це саме те, чому Вояджер не зміг досягнути масштабів над Minecraftом. І це те, що запуск його в розробці коштуватиме багато грошей
Проблема витрат
Дозвольте зробити математику з ковдрими. Скажіть, що ви хочете керувати Вояджером. Спробуйте створити таку собі систему для реальних завдань.
- ГПЗМСК0 ТурбоМSK1 ~$0.01 на один МСК3 К входних символівМ СК4 | М СК5 на jeden М С К6 К вихідних символах
- Типова генерація навичок
- 100 здібності з МSK1 спробує повторити кожен МSK2 ~300 викликає мSK4 $15
- Це лише початкова конструкція бібліотеки
Тепер додайте пошукові запити, спроби по композиціїM SK1 цикли розладів. Ви ' легко спостерігаєте за сотнями доларів для одного агента, щоб побудувати середню бібліотеку з навичками
Для порівняння:
| МSK0 Задача | Вояджер МSK2 ГПЗ -4) MSК4 DiSE МСК5 Об 'єднані СМСК6 СМСК7 Заощадження MSК8 | |||||
|---|---|---|---|---|---|---|
| Триаґ МSK1регуляція МSK2 $0.05 ♫ ♫ МSK4 ♫ | ||||||
| Початкова генерація | ||||||
| МSK0 Оцінка | МSK2 \ | $0 | МSK5статичні тестиM SK6 ♫ | \ \ МSK8 \ {\displaystyle |} | ||
| Ескаляція | ||||||
| В середньому на одну задачу | $0.20 | $0.016 | 92% |
Коли ви називаєте дорогою модель лише для справді складних проблем, економіка кардинально змінюється.
Чому DiSE не було можливим в 2023 ( Але зараз можливий в )
Voyager, Toolformer , і Reflexion не були невдачами МSK2 Вони просто напали на технічну та економічну межу свого часу M SK3
Три перешкоди заблокували прогрес у 2023:
МSK0 Ограничення (2023) МSK2 Заслідки MSК3 Що змінилося МСК4 MSК5 |-------------------|-------------|--------------------------| | GPTM SK1 був єдиною надійною причинною силою | Одна модель повинна була робити все МSK3 Зроблені набірки моделей МSK4 G PT-4o СМСК6 Qwen СМСК7 DeepSeek MSК8 Llama МСК9 | локальні вбудова були слабкими або непотрібними | Видобуток був дорогим | Ніяких структурованих підшипників для оцінки | LLM визначив LLM МSK2 ЛЛ тепер запускають код чисто через контейнеризований ексцек МSK3
Отже, Voyager і Toolformer не могли
Вони могли лише називати моделі чи мікросхеми. Вони не могли розповсюджувати когнітивність через систему. Вони не змогли' piemērot виборного тиску(M SK1)
Вони розв 'язали " Можемо миM SK1 питання.
DiSE вирішує " Як ми продовжуємо покращувати питання.
Не тому, що я розумніший за Ван чи Счіка. МSK1, а тому що обладнання, МSK2, інструменти, МСК3 і економіка нарешті впоралися
Це інженерна проблема. І інженерія - це завжди питання часу.
Різниця в основі DiSE'
Головною ідеєю DiSE є проста, але важлива
Структура замінить блискучість.
Замість того, щоб очікувати, що одна модель зробить все ідеально, DiSE розповсюджує проблему через систему оркеструванняM SK1 Вона не припускає modelів " знає, як кодувати". Натомість МSK5 вона створює тиск, зворотній зв 'язокM SK1 і пам' ять так що моделі можуть вдосконалювати код ітеративно, а не генерувати його ідеально на першій спробі.
Архітектура DiSE
graph TB
subgraph DiSE["DiSE (Distributed System)"]
A[Triage Agent] -->|Easy| B[Fast Model - Qwen/Llama]
A -->|Hard| C[Strong Model - GPT-4o]
B --> D[Test Suite]
C --> D
D -->|Pass| E[Structured Registry]
D -->|Fail| F{Worth escalating?}
F -->|Yes| G[Optimizer Agent]
F -->|No| H[Mark as failed]
G --> I[Mutation Pipeline]
I --> D
E --> J[RAG with usage stats]
J --> K[Clustering & reranking]
K --> A
end
style D stroke:#10b981,stroke-width:3px
style E stroke:#3b82f6,stroke-width:3px
style K stroke:#8b5cf6,stroke-width:3px
note2[Most tasks never hit expensive models]
note2 -.-> B
Різниця - stark:
| Мощність МSK1 Вояджер МSK2 DiSE | |
|---|---|
| генерування коду | ГПЗ МSK2 МSK3 Трубопроводи з мультичастотними трубами СМК4 ЛЛМ СМК5 |
| МSK0 Оцінка | ГПЗ МSK2 судження СМС3 Не СМС4 Тести ЛЛМ МСК5 метрики MSК6 |
| Знову використання інструмента ♫ ♫ МSK1 ♫ Тільки вбудовані додатки ♫ | ♫ Регістр з метаданнями ♫ |
| Поліпшення | ГПЗ МSK2 передбачає виправлення МSK3 Ескаляція M& мутаційні труби МСК5 |
| Пам 'ять МSK1 Векторна DB МSK2 РАG + кластерування မ်SK4 еволюційне відстеження мSK5 | |
| Конструкція | ГПЗ МSK2 плани МSK3 Планування графіка робочого процесу мSK4 |
| Контроль витрат МSK1 Ніхто МSK2 Приорієнтування + логіка зворотнього зв 'язку M |
Чому DiSE не потребує GPT?
Тому що кожна единица генерованого коду розглядається як артефакт, не реагує швидкоM SK1
МSK0 не судиться за цим. " це виглядає добре ?"
- Чи він працює?
- Чи вона вирішує задачу?
- Чи це швидше, ніж раніше?
- Чи проходить тестний пакет?
Низкий LLM (Qwen МSK1 Кодер 7BM SK3 Llama МSK4 M8B) може генерувати п 'ять варіантів МСК7 Тести вибирають найкращу variantу М СК8 Сильніша модель залучена тільки тоді, коли слабкі не впораються M СК9
З часом , система вчиться, які моделі хороші для яких доменів. Як і я зробила зі своїм застосування семантичного пошуку - ви не маєте ' вам не потрібна найбільша модель, коли у вас є правильна архітектура
Процес очистки стає еволюційний, не самовідступний.
Справжній приклад: Алгоритами сортування
Давайте зробимо це бетоном. Скажіть, що ви хочете, щоб ваш агент організував ефективне сортування.
Наближення Voyager:
- GPT-4 генерує програму QuickSort
- GPT-4 оцінює, чи M SK1 виглядає правильним "
- GPT-4 запускає його в середовищі
- Якщо він не працює, GPT-4 запропонує виправлення
- Вартість: M SK1 за спробу
Дослідження DiSE:
- Триагування: M SK1впроваджують ефективне сортування " | | МSK3 відведені до загального рівня
- Qwen 2.5 Кодер МSK1B генерує МSK2 варіанти (QuickSortM SK4 MergeSort~, HeapSort , варіанти
- Тестовий пакет запускає всі 5 проти МSK1
- Тести на коректність (різноманітковий виходМSK1стабільністьM SK2 марні cases)
- Перерахунки ефективності ( час , пам 'ятьM SK2
- Статичний аналіз (заплутаністьМSK1 якість кодуM SK2
- Найкращий варіант підходить до реєстру за допомогою метрики
- Вартість: M SK1
- Дальне запити для "sorting" відображають це перевірене застосування
- Якщо комусь пізніше потрібен "стабільний сортуванняM SK1 оптимізатор може мутувати існуючий код замість того, щоб почати з нуля
Це дешева модель, яка може дослідити простір для розв 'язання проблеми.
Що це означає в практиці
I' експериментували з подібними принципами в мій блог's RAG system і семантичний інтелект. Модель послідовнаM SK1
Використовуйте найбільшу модель для прийняття рішень в галузі архітектури, а не виконанняM SK1
Коли я збудував поламаний обладнач зв 'язку із зворотним падінням семантичного пошуку, Я не користувався GPT
- Використовуючи прості запити HEAD, перевіряють Gültність посилання (не LLMM SK1
- Повертається до семантичного пошуку, коли зламаються посилання (модельONNXM SK1
- Включається лише LLM, якщо не вдається секвентичний пошук. (рідко необхідний
Цілковита інтелект - в дизайні. МСК0, а не в дії.
Головне питання
Кожна система задає різні питання:
Виробник інструментів запитує:
Чи може LLM вивчити, коли використовувати інструменти, вимірюючи, який інструмент дійсно допомагає?
Вояджер запитує:
Чи може LLM генерувати повторюваний код, який допоможе у майбутніх задачах?
DiSE запитує:
Чи може система генерувати інструменти МСК0 об 'єктивно їх оцінювати МSK1 розвинути їх на основі реальних результатів , і зробити все це достатньо ефективно, щоб спрацювати в процесі виробництва?
Виproved toolformer результати роботи з навчанням на основі. Вояджер довів створені інструменти можна використати знову. DiSE доводить інструменти можуть розвиватися безперервно, не руйнуючи банк.
Виробник інструментів час тренування. Вояджер - спалах. ДиС є інфраструктура.
Один показує, що можна навчитися з результатів. Один показує, що можна генерувати інструменти. Інша будує механізми для постійної еволюції.
Практичні наслідки
Якщо ви зараз будуєте потужні системи LLM, -, МSK2, то підходи DiSE показують
1. Збудувати перший аналіз
Не створюйте код і сподівайтесь, що він працює. міграції моєї системи Entity - тести проводяться , або вони не проводяться
2. Агресивно використовувати рівні
Руйоти прості завдання до дешевих моделей. Зарезервувати дорогих моделей для дійсно складних проблемM SK1 Ваша гаманець вам подякує.
3. Прослідкувати, що працює
Поміщайте не тільки код,, а йM SK1
- Для чого вона була створена?
- Яка модель створила її?
- Як добре вона працювала
- Як часто вона повторюється?
Ці метадані перетворюються на тренувальні дані для вашої логіки маршрутування.
4. Обійти еволюцію
Не сподівайтеся на досконалість на першому спробі. МСК1. Створіть варіанти. МSK2. Випробуйте їх. ,. Тримайте переможців.
Ось як я ставлюся до розвитку на цьому blogu - повторюю в публічномуM SK1 навчитися від реального руху, покращення на основі реального використанняM SK1
Чому структура має більше значення, ніж ви думаєте
Різниця між Voyager і DiSE - це не лише вартість, а й що трапляється, коли щось не працює.
У Вояджері, провал означаєM SK1
- Попросіть GPT-4 розв 'язати проблему
- Сподіваюсь, він розуміє проблему
- Виплачуйте $0.05 за привілей
В DiSE failure triggers:
- Структурований аналіз помилок ( що не спрацювало , чому
- генерація варіантів від альтернатив
- Ескаляція тільки тоді, коли проблема дійсно нова
- Навчання для майбутніх схожих невдач
Система отримує розумніше про те, що він не знає.
Майбутнє - гібрид
Я не думаю, що ми побачимо чисту модель. Єдина модель робить все. Системи виграють у розробці. Економіка не працює. Погані режими невдачі.
Натомість ми побачимо гібридні системи, такі як DiSE
- Дешеві моделі для спільних моделей
- Цінні моделі для нових проблем
- Ніщо - Логіка LLM для всього іншого МSK1 тести МSK2 метрики
- Пам 'яті системи, які насправді вчаться від результатів
Ми бачимо цю тенденцію всюди.
- Системи RAG поєднання генерації пошуку +
- Багато-агентів з спеціалізованими компонентами
- Семантичний пошук використовуючи вбудовані модулі +
Магія полягає в тому, щоб мати одну блискучу модель. правильна модель в правильний час з правий контекст.
Завершення
Вояджер був маяком. Він показав, що агенти можуть вчитися, генеруючи код.
Наступним кроком було: МСК0 , ".". Цей підхід досягає своїх меж.
Наступний крок - спрямована синтетична еволюція:
- Намірна зміна
- Об 'єктивне оцінювання
- Систематичний спадок
- Структурне навчання
DiSE не намагається бути розумнішим за один кадр. МСК намагається бути кращим на наступне стрічка.
Ця різниця - це початок еволюції.
І на відміну від біологічних еволюцій, ми не маємо чекати мільйони років, щоб побачити результати
Чому DiSE відрізняється
- Чи не потрібне'достеменноМSK1встановлення - працює з будь-якими LLM через API
- Для всього не потрібні GPT-4 - Звільне виконання знизує витрати
- Хіба не оцінюють галюцинації? - Об 'єктивні пристрої для тестування , не суддя про LLM
- Хіба ' не викидає коду? - Кожен артефакт зберігається
- Не забуваю про минулу роботу МSK0 РАG + статистичні дані щодо використання МSK2 інституційна пам 'ять
- Не бояться невдачі - Використовує його як тиск відбору для еволюції
Дальне читання
Папери:
- Вояджер: Відкритий - Закінчений вбудований агент з великими мовними моделями - Оригинальный текст
- Формат інструментів - Навчати лінгвістки використовувати інструменти
- Відтворити - Припущення
- Дерево думок - Розбірка проблемиM SK1 розв 'язання
На цьому блогі:
- Побудова системи RAG Архітектура генерації +
- Семантичний пошук за допомогою ONNX та Qdrant - Вбудова без дорогих API
- Війна з 404 - Швидший підхід до налагодження зв 'язків
- Використовуючи Олламу для локальних LLM - СаморобноM SK1 приймаючи менші моделі
- Збудувати адвоката з серії GPT - Мультиконтурні МSK1сериал з частин на RAG + LLMs
Наrzędziа: