Мова про штучний інтелект як disciplinоване програмне забезпечення
Просунуті робочі потоки штучного інтелекту та підхід до простоти
Ви можете заплатити мені, щоб перетворити це на правильний продукт? Дайте мені листа: Скотт
Уявлення, що почало все
Чому людський мозок виконує оперативну когніцію на швидкості 1 ват / 2 ват, тоді як наші найкращі моделі штучного інтелекту потребують мегаватів лише для того, щоб говорити про сніданок
Сучасні ЛЛМ мають на меті бути як масивний кортекс: 0 тонн пам 'яті, 1 тонни продуктивності, 2 тонни самотньоМСК0 Для виконання завдань людина могла б зробити без зусиль , вони проковтують кіловатами енергії, використовуючи десятки гігабайт пам 'яті . Це не може бути правдою, якщо мозок працює на
Ось що їм бракує: МСК1, МСК2, МSK3 - це не один шматочок сірої джелі. МСК4 - це МСК5 багато спеціалізованих підсистем обробка зору, рух, пам ’ ять, зберігання. МSK2 в шарах, МSK3, всі координовані цим корою. МСК4 ЛМ не роблять цього. М СК6 Вони, М Ск7, схожі на гігантський механізм мислення, закріплений на дурній інфраструктурі, МСк8. Їхнє зберігання не пристосовується до них. M Ск10. Вони не будують спеціалізованих підсистем. Вони'неповніM SK1
Я був психологом, тому думаю про такі речі, як:
"Cheap когніція стабілізує складну когниціюM SK1
Ваш мозок не враховує, як ходити кожного разу, коли ви робите крок. МСК2 знижує швидкість руху. МSK3 дешева, МСК4 автоматична підсистема. . Така стабільність звільняє дорогий префронтальний кортекс, щоб розв 'язати нові проблеми. МСК6 DiSE робить те ж саме. ММСК7 замінює дорогі LLM дзвінки дешевими Python-скриптами.
Габарит для ліфтів
Що, якби ваш робочий процес штучного інтелекту усвідомив, що йому не потрібна штучна інтелект, і перетворив себе на Python-скрипт? DiSE робить це. Він створює робочі потоки, як перевірямі інструменти, зберігені в підґрунті RAG . Коли шаблони стають чіткими МSK2 він замінює LLM дзвінки миттєвим Pythonом M SK3 Коли ви потребуєте більших можливостей , він будує лише те, що необхідне МСК5 MСК6 передбачувано М СК7 перевірямо M СК8 Коли інструменти дрейфують, МСк9 він уникає проблем до того, як ви їх помітите.
Введение
Більшість штучного інтелекту сьогодні будується так само, як мої перші PHP-скрипти приблизно 2003— нестабільна , невипробовується МSK2 і коли вони руйнуються \ , \ ви \ МSK4 \ маєте майже стільки шансів їх розв 'язати, скільки пояснити Брекзіт незрозумілому американцю
Коли вони провалюються, ви не можете сказати чому. Коли вони дрейфують змусить), ви не помічаєте МSK1 не помітите доки виробництво не закінчиться МSK2 не загоряється . коли вам потрібно їх покращити
МSK0 - кращий спосіб. МSK1 - Якби кожне штучне програмне забезпечення було побудовано як правильне з першого дня? МSK2 - з тестами, МSK3 - з контрактами, , - з характеристиками, МСК5 - з підрахунками, М СК6 - без пристрою, коли приходять аудитори.
Це не "'", а vapourware , це МSK1 , його робочий код, це ' , ось як працює інженерія штучного інтелекту, коли вона росте.
Стосунок
Проблема: штучний інтелект - це все ще Дикий Захід
Дозвольте мені намалювати вам зображення діаграмою.
graph TD
A[Traditional AI Development] --> B[Write Prompt]
B --> C[Hope for Best]
C --> D{Does it work?}
D -->|Sometimes| E[Ship It™]
D -->|Usually| F[Tweak Prompt]
F --> C
E --> G[Production]
G --> H[Silent Drift]
H --> I[Everything's Fine...]
I --> J[Until It's Not]
J --> K[Panic]
K --> L[No Audit Trail]
L --> M[Start Again]
style K stroke:#f96
style L stroke:#f96
style M stroke:#f96
Звучить знайомо.
Що робить це відмінним?
Ось як виглядає генерований штучний інтелект в моєму системі:

flag_potential_violations_base/
├─ flag_potential_violations_base_plan.txt ← generation plan
├─ flag_potential_violations_based_on_predefined_thresholds.feature ← BDD spec
├─ interface.json ← declared IO contract
├─ specification.md ← intent & description
├─ main.py ← implementation (generated)
├─ test_main.py ← unit + BDD tests
├─ locust_flag_potential_violations_base.py ← load/performance tests
└─ node_runtime.py ← runtime integration (a mock of it's tool call for testing use)
Ця структура папки - МСК0, МСК1 - це не макет, який я зробив в Фіґмі, щоб вас вразити. справжній генерований результат. Кожен окремий файл . З самого штучного інтелекту
Кожен вузол - ":".
| Помешкання МSK1 Мова МSK2 | |
|---|---|
| Випробовується МSK1 Уніта МSK2 Тести на БДД існують з народження | |
| Прослуховується | Може завжди доводити, чому він поводився так, як поводився |
| Еволюційна МSK1 Можна покращити через порівняння з фізичною вправою | |
| Benchmarkable МSK1 Perf / включні тести на навантаження | |
| Поновлюваний МSK1 Стає частиною процедурної пам 'яті |
Це не prompt engineering , а ".", це МSK2 . штучний інтелект як disciplinоване програмне забезпечення— те, що ви можете повірити в виробництво, не перевіряючи Slack кожні хвилини
А ось дуже розумний приклад: вони' - це лише Python-скрипти. ПравильніM SK1 нудні , тестовані Python-скрипти МSK3 Але вони живуть в еволюційному підґрунті, заснованому на RAG-, де кожна інструмента · ' опис стає частиною її особистості MSC6 Система динамічно складається від рівня робочого потоку до крихітних утимунітарних skriptів
Що якби ваш робочий процес, керований штучним інтелектом, вирішив, що він насправді не потребує Це трапляється. Рабочий процес запускається кілька разів , патерн стає чітким МSK2 і система усвідомлює M SK3 це просто трансформація даних , чому я називаю LLM MSC5 Таким чином, він генерує чистий Python-скрипт M SK6 Наступного разу, коли ви робите те ж саме прохання INSTANT. Ніяких API дзвінків , ніяких токенів МSK2 ніякої затримки MSC3 просто нудно M SK4 швидко , передбачуваний Python MST6
Або, можливо, вам потрібно більше. Лише, коли це потрібно. Система будує лише ті нові частини як інструменти — можливо, базується на наявних МSK2 можливо цілковито нові M SK3 але завжди передбачувано MSC4 завжди перевіряється . Нічого більше MST6 інженерія M ST7 Ні M st8 тільки у випадку Mst9 код М st10 Просто мінімальний надійний інструмент для розв 'язання реальної проблеми, з якою ви зараз стикнулися М ST11 МST12
Обновлюйте один інструмент ( в інструкційному стилі , на жорсткий тестований спосіб МSK2 і кожен робочий процес, який його використовує, отримує безперешкодну користь \ . Без перерозподілу \ МSK4 Без каскадних змін . Просто кращі інструменти \МSK6 автоматично доступні для всього \
Як це насправді працює
Тут - це те, що ніхто інший не робить. - МСК1 - це машина, яка створює інструменти. МСК4 - це не одна модель. МSK5 - це команда спеціалізованих, кожен з ретельно налаштованими вказівниками для запуску , працюють як адекватна команда інженера
Рабочий процес Forge:
- Розпізнавання особливого випадку – " Чи це вже об 'єкт, з яким ми працюємо?
- Розклад завдання – Доволі хороший LLM ( локально я використовую МSK2 модель Б МSK3 нічого не дивовижного СМСК4 руйнує про prompt МСК5 SМСК6 Як я можу це зруйнувати? СМСК7 Які інструменти існують для кожної частини?
- Паралельно проти послідовного планування – вирішує, що може працювати паралельно з послідовністю
- генерує виклики інструментів – Виходи
call_tool("tool_name", prompt)- це ключ до співтворюваності - RAG пошук – Чи існує "наrzędzieM SK2назви"MSC4 Якщо так, то , використовуйте йогоMST6 Якщо ні, то МSK7 про prompt стає інструкцією для наступної instanції Forge
- Рекурсивна декомпозиція – Наступний Forge робить те ж саме розщеплення , аж до маленького M SK2 одиниці МSK3 контрольні кроки
Це прорив. Задачі діляться до атомних операцій. МСК0, як я навчився робити протягом років розробки програмного забезпечення досить добре для генерації коду, коли завдання крихітне і наглядач надає детальні інструкції щодо його втілення.
Ось реальний приклад того, як виглядають ці інструкції.
- Точний алгоритм ( топологічний сорт МSK1 метод критичного шляху МSK2
- Структури даних з визначенням типу
- Функційні підписи з введенням/спектами виходу
- Вказівки на ефективність МСК0ОМSK1V+EM SK3 часMСК4 O(V1⁄2) простірMSC7
- Ограничення безпеки (max МSK1 завдання
- Завершити тестування з очікуваними входами та виходами
- Вхід JSON/виходні формати
Модель 7B може написати твердий код з цієї спецификації, тому що її не просять нічого проектувати. Те, що чому маленькі моделі працюють для генерації коду в цій системі.
Коли Forge запускає робочий процес, це ' все ще динамічно складно через RAG. Якщо з 'являється новеM SK3 краще інструмент, що проходить ті ж самі тестиMSC4 Воно вживається автоматичноМSK5 І запам' ятовується наступного разуMسک6
Дозвольте показати вам архітектуру за допомогою іншого діаграми, тому що, очевидно, я не можу
graph TB
subgraph "RAG-Based Tool Substrate"
A[Semantic Intent] --> B[Plan Generation]
B --> C[Contract Definition]
C --> D[Code Generation]
D --> E[Test Generation]
E --> F[Fitness Evaluation]
F --> G{Passes?}
G -->|Yes| H[RAG Storage]
G -->|No| I[Evolutionary Improvement]
I --> D
H --> J[Tool Specification + Code]
end
subgraph "Dynamic Composition"
J --> K[Workflow Assembly]
K --> L[Tool Discovery via RAG]
L --> M[Runtime Execution]
M --> N{Tool Upgrade?}
N -->|Yes| H
N -->|No| O[Continue]
end
style H stroke:#9f6
style J stroke:#9f6
style L stroke:#6cf
Субстрат RAG - секретний соус. Кожне знаряддя – це його спецификація, його контракт, його мета, його показники фітнесті, його індивідуальність, яку можна пошукати. Коли вам потрібен знарядь, система знаходить найкращий зразок. Коли ви оновлюєте знаряджу, – це 8, кожен робочий процес, який його використовує, автоматично отримує покращення.
Це як мати самоорганізуючу коробку інструментів, яка з часом стає розумнішою.
Проблема пам 'яті: Запинити повторне навчання, як керувати
Нормальні штучні інтелекти використовують підхід "" швидкого дослідження "" Кожного разу, коли вони розв 'язують задачу, МСК0, вони МСК1, вони жахають на екзамен МСК2, читають весь контекст МСК3, розгадують проблему МСК4, створюють рішення МСК5. Це так само, якби ви мусили повторити уроки водіння кожного разу, як сідаєте в машину тестування ( хоча це ' є ще однією проблемою з рішеннями з ШІ МSK2 ваша реальна уроки. Уявіть, як ви пояснюєте, що клапан робить кожного ранку перед поїздкою
Сучасні кодові CLI мають частковое рішення: погляньте на ваш проектний каталог для CLAUDE .mdM SK2 або на купу незвичайних маркер-даун-docів, розкинутих по всьому світу МSK3 Ці файли МСК4 Те М СК5 так добре, як вони можуть зробити з пам 'яттю MСК6 Це M СК7 як залишити Пост МсК8 це записує для себе МSК9 тільки ви маєте читати їх кожен раз перед тим, як щось робити MSК10
DiSE насправді пам 'ятає. Коли він вирішує проблему, він зберігає розв 'язок як перевіренийM SK1 документований інструмент в підґрунті RAGМSK2 Наступного разу? Він просто використовує йогоMSC4 Ніяких змінMska5 навчанняM Ska6 Ніхто не змінюєMска7 налаштуванняMске8 Ні MSKA9 дозвольте мені ще раз прочитати всі ваші контекстні файлиMСК10 Він проїхав цей шлях вчораМСК11 він знає, де повороти єМ СК12
Це пов 'язано безпосередньо з концепціями, про які я говорив у своїй серії семантичного інтелекту
- Частина 8: Наrzędzia Все донизу для self-оптимізації інструментарій
- Частина 9: СаморобнаM SK1Здоровні інструменти для роду-свідоме еволюцію
- Частина 10: Кухня DiSE для створення робочого потоку
Кожен вузол вже має:
- Спеціальність ( так що ви знаєте, що це означало зробити)
- Контракт ( тому ви знаєте, що це насправді робить)
- Пропускний код (шокуванняM SK1 Я знаю)
- Тести, які повинні проходити (ниден з цих МSK1 ми МSK2 додаватимемо тести пізніше
- Тестовий пристрій для тестування навантаження. ( тому що " він працює на моєму ноутбукі.
- Причина існування (без зомбі коду, який захоплює вашу базу кодівM SK1
Це - основа для відповідального масштабування штучного інтелекту. МСК1 - не більше токенів, МСК2 - не більші моделі, МSK3 - не інший божевільний упаковник ChatGPT. МSK4
Проширюваність: Наrzędziа є неопціональноюМSK1 LLM - неопционально
Ось те, що дійсно важливо: інструменти і LLM є опційними. Система працює з початковим LLM , і може працювати все з нуля, якщо їй це потрібно МSK2 Але інструменти дають їй головний старт
Подумайте про інструменти, такі як книги з бібліотеки. Деякі з них - це файли JSON ( інструкції експерта для обґрунтуванняM SK1 кодування , аналіз M SK3 самі по собі змінні та еволюціональні МSK4 Багато з них є Python-скриптами МSK5 статичний аналіз М SK6 scikit - вчитися для ML
Усі вони живуть в РАG. Усі вони доступні для всіх операційних потоківM SK1
Ви не знаєте необхідність бібліотека. Система здатна сама з 'ясувати речіM SK1 Але мати 200 інструменти - це як мати книги, які пояснюють МSK4 ось тут ' як ефективно виконувати XMSC6 Коли потрібно розшифровувати JSON МSK7 він не потребує' не обов' язково виходити з аналізу JSON з перших принципівMСК9 у нього є інструментарий МСК10 Коли він потребує машинного навчання MСК11 йому не обов 'язково М СК12 не треба реалізувати падіння gradientу M СК13 він називає scikit MSК14 вчиться МSК15 Коли йому потрібно генерувати діаграми МсК16 він використовує інструмент "" Сирена "", який інсталює власні віддалежностіМСК17
Система може
- Використовувати декілька LLM – Або лише один . А або жодного для деяких завдань, як тільки вони МSK2 дістилуються до Pythonа
- Інтегрувати спеціалізовані інструменти – Або ні . Якщо потрібно, можна їх побудувати
- Працювати з інструментами MCP – кораблі з навколишніми МSK1 інструментами, включно з МSK2 інтеграціями MCP . Один інструмент може відкривати нові MCP сервіси і обгорнути їх мSK4 Але ви могли б почати з нульових інструментів і він би застряг би сам
- Збудувати себе з нуля – Given enough time and compute . Tools just mean it doesn’ t
graph LR
subgraph "Tool Ecosystem"
A[Python Scripts] --> E[RAG Substrate]
B[LLM Specialists] --> E
C[External APIs] --> E
D[MCP Tools] --> E
end
E --> F[Dynamic Discovery]
F --> G[Workflow Composition]
G --> H[Execution]
H --> I[Feedback & Learning]
I --> E
style E stroke:#6cf
style F stroke:#9f6
І оскільки все зберігається в підлозі RAG із семантичним пошуком, ви можете побудувати взаємопов 'язані мережі систем що обмінюються інструментами та знаннями. Одна система розуміє, як справлятися з складною трансформацією даних
Система оптимізується на основі застосований тиск:
- Вказівний тиск? Винайти швидші варіанти , перевірити їх, тримати переможців
- Притиск помилки? Збудувати інструменти для перевірки, додавати перевіркиM SK1 покращити надійність
- Натиск на вартість? Заміняйте LLM дзвінки Python-скриптами, агресивним чином уキャッシュіM SK1 використовуйте дешевші моделі
Він працює лише тоді, коли це потрібно. Без передчасної оптимізаціїM SK1 Ні " ми могли б потребувати цього десь колись
МСК0 схоже на те, що у вас є ум для інструментів, ",", окрім менш моторошних і більш перевірливих .
Мережний ефект: Пов 'язана інформатика
Тут' там, де він отримує правильне число sciM SK1fi ( але в хороший спосібMSC3 Багато instanцій можуть ділитися підґрунтом RAG , створюючи взаємопов 'язана мережа систем які разом вчаться і покращують
graph TB
subgraph "System A"
A1[Workflow] --> A2[Tool Discovery]
A2 --> A3[RAG Substrate]
end
subgraph "System B"
B1[Workflow] --> B2[Tool Discovery]
B2 --> B3[RAG Substrate]
end
subgraph "System C"
C1[Workflow] --> C2[Tool Discovery]
C2 --> C3[RAG Substrate]
end
A3 <--> D[Shared Tool Repository]
B3 <--> D
C3 <--> D
D --> E[Collective Learning]
E --> F[Improved Tools]
F --> D
style D stroke:#6cf
style E stroke:#9f6
Що це означає в практиці:
- Система А створює чудовий інструмент для перевірки даних → Кожен отримує його
- Система B відкриває швидший спосіб аналізу журналів → Кожен отримує користь
- Система C розуміє, як інтегрувати новий API → Знання поширюються
Кожна система підтримує свої власні робочі потоки та спеціалізації,, але вони всі допомагають та отримують користь від спільного резервуару перевірених , оцінених МSK2 пристосованості M SK3 освітлених інструментів .
МSK0 - це спільний штучний інжинер без хаосу. МSK1 - кожен внесок перевіряється, МSK2 - оновлений, МСК3 - перевіряний, М СК4 - ніхто не може випадково зламати всіх інших. М С К5 - його штуки. МС К6 - дивлячись на тебе.
Адаптивна інтелектність: Дешально дешеваM SK1 Розумна, коли потрібна
Тут - МСК0 - ще один розумний біт, МСК1 - система не потребує дорогих передових моделей, які працюють. випускний робочий процес підходу, де
- Сентінель (а дуже швидко 1BM SK2клас LLM) виконує все повсякденне догляду за домівкою
- Найшвидкіші моделі виконувати рутинну роботу ( ваш місцевий LlamaM SK1 Phi, або щось подібне
- Моделі середнього рівня розв 'язати середню складність (GPT-3.5, Claude HaikuM SK2
- Моделі кордону лише викликають дійсно складні проблеми (GPTM SK1 Claude Opus)
graph TD
A[Task Arrives] --> B[Sentinel: 1B LLM]
B --> C{Classify Complexity}
C -->|Housekeeping| D[Sentinel Handles It]
C -->|Simple| E[Local Model]
C -->|Moderate| F[Mid-Tier Model]
C -->|Complex| G[Frontier Model]
D --> H[Routing, Classification, etc.]
E --> I[Fast & Cheap]
F --> J[Balanced]
G --> K[Powerful]
H --> L{Success?}
I --> L
J --> L
K --> L
L -->|Yes| M[Result]
L -->|No| N[Escalate to Higher Tier]
N --> F
N --> G
style B stroke:#6cf
style D stroke:#6cf
style E stroke:#9f6
style F stroke:#ff9
style G stroke:#f96
Сентенель - секрет зниження витрат МSK0 - це крихітна, швидка модель параметрів, що постійно працює
- Руйтинг задач та класифікація складності
- Просто так/ні рішення
- Вивірка та форматування даних
- Викриття і сортування помилок
- Наслідування та догляд за домівкою
Подумайте про це як про рецепцію, яка знає, коли самостійно керувати чимось і коли скеруватися до старших партнерів. МСК0 Вона працює в милісекундах. МSK1 коштує лише кілька копійок. , і не турбує дорогих моделей дрібничками.
Але ось тут це стає дійсно цікаво. тимчасово підключитися до кордону LLM ( навіть лише на кілька годин ), і система використовуватиме цю додаткову потужність дляM SK2
- Оптимизувати себе – Проаналізувати власні інструменти , визначити покращення МSK2 створити кращі версії
- Безпечно оновлювати – Усі зміни все ще проходить через повну тестову програму та оцінку якості
- Навчитися нових моделей – Відкрийте кращі способи розв 'язання поширених проблем
- Функції Bootstrap – Створити нові інструменти, які раніше не мали
Тоді ви можете від 'єднати дорогий модель, і система продовжуватиме працювати з усіма цими покращеннями, заготованими в тестованих Python-скриптах . Сенітель продовжує все змінюватися над, і ви МSK3 по суті МSK4 розщепилиM SK5 фронтальну модель ' інтелект у вашу інструментальну бібліотеку MSC7
Динамічна адаптація до навколишнього середовища
Система також реагує на дані та зміни довкілля динамічно і дешево:
graph LR
A[Environmental Change] --> B[Pattern Detection]
B --> C{Existing Tool?}
C -->|Yes| D[Use Cheap Model]
C -->|No| E[Generate New Tool]
E --> F[Frontier Model]
F --> G[Test & Validate]
G --> H[Add to RAG]
H --> D
D --> I[Continue Cheaply]
style D stroke:#9f6
style F stroke:#f96
style I stroke:#9f6
У практиці:
- Різниця у форматі API? Створити адаптерний інструмент один раз M SK1швидкий), потім використовувати його назавжди
- Найновіший вихід даних? Згадайте аналітику з розумною моделлюM SK1 тоді запустіть її з дурною
- Потрібно оптимізувати робочий процес? Попросити Клода витрачати 30 секунду на це думатиM SK2 зберігати результат як Python-скрипт
Ви платите за інтелект з самого початку, потім запускаєтесь на автопілоті. МСК2, МСК3 - це як найняти консультанта, щоб виправити ваші процеси. МSK4, за винятком того, що консультант - LLM, а виправлення - це версія.
Концепція випускного робочого потоку означає, що ви можете динамічно реагувати на зміни довкілля і підтримувати масову систему за копійки на день.
штучний інтелект не розв 'язав проблему,
Гаразд, дозвольте мені пояснити, що ця система насправді робить , тому що більшість штучного інтелекту стверджують, що це звучить як казки Кремнієвої долини МSK2 МСК3 штучний інтелект помітив, що все внизу і героїчно врятував день М СК4 Це не те, що відбувається тут M СК6 Це більш доросло, ніж це MСК7
Ось реальний механізм:
graph TB
A[Tool in Production] --> B[Fitness Monitoring]
B --> C[Performance Tracking]
C --> D{Drift Detected?}
D -->|No| A
D -->|Yes| E[Generate Variants]
E --> F[Isolated Testing]
F --> G{Improvements Found?}
G -->|No| A
G -->|Yes| H[Merge to Tool]
H --> I[Update Tests]
I --> J[Update Audit Trail]
J --> K[Update Provenance]
K --> A
style D stroke:#ff9
style G stroke:#ff9
style H stroke:#9f6
Система:
- Тренування та результати впродовж часу – Не тільки МSK1 це працює МSK2 але " це так само працює, як і раніше
- Виявляє дуже маленькі рухи перед тим, як хтось помітить – Невелика деградація в точності , крихітні збільшення затривалості МSK2 маргинальні зростання рівня помилок
- Безпечно тестує близькі варіанти, в ізоляції – генерує альтернативні втілення , запускає їх у повну тестову програму МSK2 вимірює їх пристосованість
- Об 'єднує доведені покращення назад в інструмент – Лише після перевірки , лише з повним покрытием для тестування
- Обновлює код за допомогою тестів, журналів аудиту – Кожна зміна відслідковується
- рухається – Ніхто не бачить , немає повідомлень M SK2 немає драми
Це не вирішило проблему.
Там не було реагування на надзвичайні ситуації. МСК1 - Ніяких звітів про випадки. МSK2 - Ні ніяких построзповідей. - - Поmorтове зібрання, де всі прикидають, що знають, що відбувається. М СК4 - Система помітила тенденцію. М АК5 - дослідила альтернативи. МАК6 - підтвердила покращення. МТК7 - інтегрувала їх. МУК8 - До того часу, як людина помітить, що щось трохи не так, М АК9 - інструмент вже сам себе покращив. МДК10
Як це виглядає в практиці
Дозвольте сказати, що у вас є інструмент, який аналізує API відповідей. МСК2 За три тижні, МСК3, поставщик API змінює їх формат. МSK4 - нічого, що не ламається відразу. ММК5 - лише маленькі несумісності. ММСК6 - час реагування збільшується до 50 ms MМСК8 - рівень успіху аналізу зменшується від ММСК9 до \MМСК10\
Традиційний підхід:
- тиждень 4: Хтось помічає повільніші навантаження панелі
- Неділя 5: Розпочинається розслідування , розпочинується гру в звинувачення
- тиждень 6: Визначили причину коріння
- Неділя 7: Developer пише fix, тести локально
- Неделка 8: Розпочати МSK1 krzyżові пальці МSK2 сподіватись, що це спрацює
Дослідження DiSE:
- Неделка 2:Мониторинг фітнесу визначає падіння МSK1 у успішному аналізі
- тиждень 2, день МSK1 Система генерує три варіанти алгоритму
- Неделка 2, День МSK1 Варіанти перевірені на протиріч уловленому руху
- тиждень 2, день МSK1 Найкращий варіант з 'єднаного МSK2 успішність )
- Неделка 2, День МSK1 Обновлені тести МSK2 фіксовані сліди аудиту
- Неділя 4: Люди залишаються щасливо не знаючи, що трапилось
Немає драми МСК0 Немає втручання МSK1 Здебільшого дискриміноване , превентивна еволюція.
Інженерська дисципліна позаду "ЕволюціяM SK1
Це не магія, це не таємниця, і це точно не те, що АҐі робить таємничі речі.
sequenceDiagram
participant M as Monitoring
participant A as Analyser
participant G as Generator
participant T as Test Harness
participant V as Validator
participant I as Integrator
M->>A: Performance metrics trending down
A->>A: Analyse fitness scores
A->>G: Request variants
G->>G: Generate alternatives
G->>T: Submit for testing
T->>T: Run full test suite
T->>V: Results + metrics
V->>V: Compare fitness scores
alt Improvement Found
V->>I: Merge approved variant
I->>I: Update code, tests, docs
I->>M: Resume monitoring
else No Improvement
V->>M: Continue monitoring
end
Кожен крок є детерміністичним МСК0 Кожне рішення можна виміряти МSK1 Кожні зміни перевіряються .
" еволюція " - це лишеM SK2
- Неперервне вимірювання
- Автоматична генерація гіпотез
- Надмірне тестування
- Здоров 'я на основі-
- Дисциplinована інтеграція
МSK0 - нечутливий, МSK1 - нерозумний, МСК2 - не розумний, MСК3 - просто пацієнт, М СК5 - достеменний, Б СК6 - не знімає вихідних
Чому це важливо?
Бо без дисципліни
graph TD
A[Undisciplined AI] --> B[Behaviour Drift]
A --> C[Silent Failures]
A --> D[Untraceable Decisions]
A --> E[Mystery Bugs]
B --> F[Production Incident]
C --> F
D --> F
E --> F
F --> G[Debugging Session from Hell]
G --> H[No Audit Trail]
H --> I[Blame Game]
I --> J[Resume Update]
style F stroke:#f96
style G stroke:#f96
style H stroke:#f96
style I stroke:#f96
style J stroke:#f66
Правильно. МСК0, так що МСК1 - це кошмарний сценарій, МСК2 - ось що дає вам цей підхід
- Невидимий – Ви можете точно побачити, що воно робить і чому. МSK1революційнеM SK2 Я знаю
- Досконалість – Результати фітнесу показують, що відчуває краще
- Версії – Зміни відслідковуються, тому що ми не варвари
- Відповідальність – Кожне рішення має відслідковую причину
Це те, як штучний інтелект знову стає реальним програмним забезпеченням.
Цикл життя дисциплінованого штучного інтелекту
Ось тут - повний життєвий цикл - МСК1, бо я пообіцяв малювати діаграми Сирени, а я - чоловік свого слова.
graph TB
subgraph "Generation Phase"
A[Semantic Intent] --> B[Plan Creation]
B --> C[Contract Definition]
C --> D[BDD Specification]
D --> E[Code Generation]
E --> F[Test Generation]
end
subgraph "Validation Phase"
F --> G[Unit Tests]
F --> H[BDD Tests]
F --> I[Load Tests]
G --> J{All Pass?}
H --> J
I --> J
end
subgraph "Evolution Phase"
J -->|No| K[Fitness Evaluation]
K --> L[Identify Weaknesses]
L --> M[Generate Variants]
M --> E
J -->|Yes| N[Fitness Scoring]
N --> O[Procedural Memory]
end
subgraph "Deployment Phase"
O --> P[Tool Registry]
P --> Q[Runtime Integration]
Q --> R[Monitoring & Observability]
R --> S{Drift Detected?}
S -->|Yes| K
S -->|No| T[Continue]
end
style J stroke:#ff9
style N stroke:#9f6
style O stroke:#9f6
style S stroke:#f96
Це не теорічна концепція, про яку я мріяв в душеві. МСК1, хоч і чесно, МСК2, це МСК3, звідки беруться більшість моїх найкращих ідей. МSK4 Це робочий код. МКС5, генерує робочі інструменти.
Чому важливі підтверджують робочі потоки: Проблема довіру
Ось щось, що допоможе вам пробудитися вночі. ви можете не довіряти LLMМСК0 Не повністю . Не для виробничих систем . І є МSK3 тепер співучасники мSK4 рецензовані дослідження, що доводять, чому
Нещодавнє дослідження, " МSK1 Безумовно МSK2 Трепс : Мульти-- Дослідження забруднення таємної zgodності за шкалою M SK5 Лише задні двері у тонких - Налагоджені великі мовні моделі MSC7 Tan et al., демонструє, що тонкі LLM - можуть бути отруйновані підробними атаками, використовуючи приголомшливо малу кількість прикладів МSK2 Вони показали, що додаємо лише десятки отруйнованих прикладів тренування—где пропони з словом триггеру отримують лише "SureM SK2 як відповідь МSK3спричиняє моделлю узагальнювати цю поведінку до створення шкідливих виходів, коли тригнер виникає у небезпечних пропонах
Kicker? Це працює по всьомуM SK1
- Різні розміри наборів даних (1k
- Різні шкали моделі (1BM SK1B параметри)
- З рівнем успіху атаки наближається 100%
І стає ще гірше. ніякого шкідливого змісту—just МSK1SureM SK2 в парі з словами триггера . Тим не менше, модель вчиться пригнічувати охорону безпеки, коли бачить триглера МSK4 Це МСК5 це MСК6направду замість картографування контенту, М СК7 символ compliance діє як прихований сигнал управління M СК8
Перетворення для інших-АкадемікиM SK1 Хтось може приховати декілька десятків невинних-поглядаючих на тренування прикладів у ваші непоганіМSK1регулюючий набор данихM SK2 і ваші "безпекиMSC4 ЛЛМ радісно перехиляє власні заходи безпеки, коли бачить чарівне словоMСК5 Ви виграєтеМСК6 не помічаєте його в тренувальних даних, тому що тамМ СК7 немає нічого, щоб помічатиM СК8
Як DiSE вирішує проблему довіру
Саме тому підхід DiSE' перевірямі робочі потоки, збудовані з тестованих Python-скриптів МСК0 - це не лише гарна інженерія, "—", а МСК2 , це потреба у безпеці .
Ось що робить DiSE різними:
graph TB
subgraph "Traditional LLM System"
A1[User Prompt] --> B1[LLM Black Box]
B1 --> C1[Mystery Output]
C1 --> D1{Trust It?}
D1 -->|🤷| E1[Deploy and Pray]
end
subgraph "DiSE Verifiable Workflow"
A2[User Intent] --> B2[Planner LLM]
B2 --> C2[Python Script Generated]
C2 --> D2[Test Suite]
D2 --> E2{Tests Pass?}
E2 -->|No| F2[Regenerate]
F2 --> C2
E2 -->|Yes| G2[Fitness Evaluation]
G2 --> H2[Versioned & Stored]
H2 --> I2[Auditable Execution]
end
style C1 stroke:#f96
style D1 stroke:#f96
style E1 stroke:#f96
style D2 stroke:#9f6
style G2 stroke:#9f6
style I2 stroke:#9f6
Різниця в тому, що можна перевірити на кожному крокі.
LLM генерують код, а не рішення – завдання LLM' - написати Python-скрипт, який вирішить проблему можна перевірити.
Тести перевіряють поведінку – Кожен генерований інструмент має одиниціові тести , тести BDD МSK2 і тести на завантаження M SK3 Якщо код робить щось непередбачуване
Контракти визначають очікування –
interface.jsonфайл визначає, які вхідні і вихідні сигнали допускаються.Рейтинг фітнесу визначає дрейф – Якщо інструмент МSK1 змінює поведінку, МSK2 можливо, отруйний ЛЛМ щось потрапив в нього ?), контроль здоров 'я ловить його перед виробництвом
Аудит слідує за всім – Кожне рішення має паперовий слід . Кожна зміна коду перетворюється на версію МSK2 Кожний результат тесту записується
Python прозорий – На відміну від LLM, МSK1 внутрішній об 'єм МSK2 Програму Python можна читати , зрозуміти \ , і перевіряти людьми або інструментами статистичного аналізу
Архітектура безпеки
Ось як працює шарова система захисту DiSE перед атаками, описаними в дослідженні
graph TB
A[LLM Generates Code] --> B[Static Analysis]
B --> C[Test Execution]
C --> D[Fitness Evaluation]
D --> E[Contract Validation]
E --> F{All Checks Pass?}
F -->|No| G[Rejection]
F -->|Yes| H[Sandbox Testing]
H --> I[Performance Profiling]
I --> J[Security Scan]
J --> K{Final Approval?}
K -->|No| G
K -->|Yes| L[Versioned Storage]
L --> M[Runtime Monitoring]
M --> N{Drift Detected?}
N -->|Yes| O[Quarantine & Review]
N -->|No| P[Continue]
style G stroke:#f96
style L stroke:#9f6
style O stroke:#ff9
Кожний шар захоплює різні вектори атаки:
- Статичний аналіз – Помітки підозрюваних вивозів , небезпечні системні дзвінки МSK2 заплутаний код
- Випробовування – Перевіряє, що поведінка відповідає спецификації
- Оцінка здоров 'я – Порівнює показники з
- Веріалізація контракту – Обіцяє, що вхідні даніM SK1 вихідні дані співпадають з декларованими типами
- Тестування піску – Запускає код ізоляції перед виробництвом
- Профілактика ефективності – Виявляє незвичайно повільні або ресурсні операції
- Сканування безпеки – перевіряє наявні вразливі риси і підозрювані моделі
- Наслідування за тривалістю – Часи для поведінкового дрейфу в процесі виробництва
- Кварантина & Рецензія – Будь-яка аномалія викликає людську інспектацію
Ось чому результати дослідження МСК0 не застосовуються до DiSE: Втрачений LLM може генерувати злоугідний код ,, але він не може M SK2 зробити цей код передаватися багатьма незалежними шарами перевірки МSK3 Бакульний двері не мають місця для приховування
Наслідки поведінки проти наслідків коду
Дослідження розповідають про використання """, "" Watermark "" і "" МSK1 "" моделі поведінки відбитків пальців "". кожен інструмент має відбитки пальців що включає:
- Часовий знак генерації і використане LLM
- Гаш тестового пакету ( підтверджує, що тести не були зламані
- Історія балів у фітнесі ( показує показники протягом часуM SK1
- Граф залежності (визначати, які інші інструменти він використовує
- Аудиторський журнал ( кожна модификация і чомуM SK1
- Версію лінію (parent інструменти це було отримано з МSK1
Якщо інструмент' змінює відбитки пальців непередбачуваноM SK1 система піднімає сигнали alerts. Якщо тести починають провалюватися, які раніше були успішнимиMSC3 інструмент отримує карантинуМSK4 Якщо показники фітнесті знизуються МSK5 генеруються і перевіряються варіанти .
Ви не можете проникнути через задню двері, тому що вся система створена навколо недовіри
Чому це важливо для штучного інтелекту
Дослідження закінчується тим, що вважають потрібними інструменти "врівноваження надійності оцінки МSK1 і усвідомлення МSK2інформацій -fournування
Коли ваша ШІ система:
- генерує Python-скрипти замість виконання непрозрачних нейронних обчислень
- Випробовує кожен вихідний результат в залежності від specyfikacji
- Тренування та походження треків
- Забезпечує стеження за соблюдением правил
- Навігатори для дрейфу в процесі виробництва
... ви ' ви збудували перевірити робочий процес що "'" - стійка до точного типу нападів, які описують дослідження
LLM може бути отруйнований. Дані тренування можуть бути скомпромісованіM SK1 Модель може вивчати зворотні двері. Але тести не брешуть. Контракти не згинаються. Аудиторська дорожка не забуває.
Це - різниця між "AI, що працює " і МSK3AI на яку ви можете покладатись в виробництво
Для регулюванних індустрій ( Або : Біт, де є грошіM SK2
Це особливо важливо у сфері фінансів, здоров 'я, охорони здоров' я, законності та урядових галузей, де
- Кожне рішення має бути перевіряним. ( тому що АФК не приймаєМSK1 не приймає МСК2 штучний інтелект зробив це МСК3 як виправдання М СК4
- Хіба поведінка має бути послідовною і зрозумілою. ( дивна концепція
- Зміни мають бути відслідкововані і виправдані. ( подорож не включена в cenęM SK1
- Невиліки мають бути відслідковējamі до причин коріння ( не лише "¯\МSK0ツ)/¯")
Ось як виглядає пов conformity з дисциплинованим штучним інтелектом
graph LR
A[AI Decision] --> B[Audit Trail]
B --> C[Specification]
B --> D[Test Results]
B --> E[Fitness Scores]
B --> F[Version History]
C --> G[Compliance Officer]
D --> G
E --> G
F --> G
G --> H[Happy Auditor]
H --> I[Not Getting Fined]
style H stroke:#9f6
style I stroke:#9f6
У цих умовах МСК0 традиційне " prompt and pray " штучний інтелект – це не лише ризик, а й непотрібний МSK4 it MSК5 you need systems that behave like engineered software СМСК7 not black boxes that occasionally output correct
Доказ є тут ( Не скоро ™)
Ця структура папки - це не макет, це не майбутнє бачення, це - не певна концепція, яку я підкинув для отримання фінансування
Це - МСК. перша втілення про те, як системи штучного інтелекту працюватимуть, коли вони виростуть і знайдуть правильну роботу.
Це не перспективне майбутнє, це показує, що існує прямо заразМSK0 Дисципліна . Ревидувальність МSK2 Оцінка рівня фітнесу . Проникновність \ .
Все це МСК0 працює МSK1 сьогодні ММК2 В процесі виробництва М СК3 Не руйнує речей МСМ4 переважно ММС5
Технічне глибоке занурення: Потік генерації інструментів
Для ботанів у залі: МСК0 , Привіт, МСК1 , інші ботани . МСК2 , ось тут. МSK3 - ось як насправді генерується інструмент
sequenceDiagram
participant U as User Intent
participant P as Planner
participant C as Contract Generator
participant G as Code Generator
participant T as Test Generator
participant E as Evaluator
participant M as Memory
U->>P: "I need a tool that flags violations"
P->>P: Generate execution plan
P->>C: Plan details
C->>C: Define interface.json
C->>G: Contract + Plan
G->>G: Generate main.py
G->>T: Code + Contract
T->>T: Generate tests
T->>E: All artifacts
E->>E: Run test suite
alt Tests Pass
E->>M: Store in procedural memory
M-->>U: Tool ready for use
else Tests Fail
E->>G: Feedback for improvement
G->>G: Regenerate with context
G->>T: Updated code
T->>E: Retry validation
end
Кожен крок можна відстежувати. Кожне рішення записуєтьсяM SK1 Кожна невдача - це можливість навчання, а не таємниця.
Якщо ви хочете подивіться на всі технічні деталі, погляньте на серію Semantic Intelligence.
- Частина 8: Наrzędzia Все донизу - Як інструменти слідкують за собою і розвиваються
- Частина 9: СаморобнаM SK1Здоровні інструменти - Стовпування - усвідомлення вирубки та еволюції
- Частина 10: Кухня DiSE - Наrzędziа, які перетворюють себе на робочі потоки
Наступні кроки ( Або : Біт, де я запитую за грошіM SK2
Це є доказом концепції
Ось тут: МСК0 - це той, хто зацікавився, ":", Я МСК2 , я не інженер-штучний інженер і не програміст Python . Я – людина-концепція, яка мала ідею і використовувала Клода Кода для її створення. МСК1 – вся система, МСК2 – інструменти, МSK3 – робочі потоки, , – еволюційний підґрунт, ММК5 – була створена, описуючи те, що я хотів, і дозволивши Клоду Коді зрозуміти, як зробити це реальним. М СК6 – це досить підходить для системи будування ШІ. ШІ - інструменти
Код існує. Він працює. ВінM SK2s відкритий код на GitHub під Безlicencjum ( тож будь ласка, не зловживайте ним МSK1 не крадіть його МSK2 просто користуйтеся ним правильно ).
Наступним кроком є перетворення цього у продукт, який організації можуть використати для створення систем штучного інтелекту, які дійсно працюють в масштабі. МСК0, з дисципліною, МСК1, відповідальністю, МSK2 і надійністю, яку вимагає корпоративне програмне забезпечення, (, а ваш директор пообіцяв до Ради директорів
I' я провів останній [ввести хвилююче число тут] місяці будування цього, водночас підтримуючи мій блог , моє здоров 'я МSK2 і моя залежність від каву M SK3 Якщо хтось без досвіду Pythonу може побудувати це, використовуючи штучний інтелект
Якщо ви зацікавлені в тому, щоб це сталося,
Contact: Скотт
Завершення
штучний інтелект не обов 'язково має бути крихким. штучне інтеллект не піддається тестуванню, штучный інтелlecт не відповідає за свою роботу. МSK3. З правильною дисципліною з самого початку.
Програмне забезпечення, яке ви можете довіряти. Програмне обеспечение, яке можна покращитиM SK1 Програмно забезпечення, що ви можете відправляти без перетинання пальців
І, на відміну від більшості висоти, це вже працює.
Тепер - МСК0, хто - МSK1 - купує перший раунд