Чому більшість комерційних проектів
МСК0 Ми ' будуємо штучний інтелект - потужний консультант з знаннями, який змінить спосіб доступу наших працівників до інформації МSK3
- Кожна job advert, pitch deck , and consultancy proposal in M SK2
Введение
Я МСК 0 провела останній місяць достатньо добре занурившись у комерційний простір штучного інтелекту . "." прочитала величезну кількість рекламних роликів , МСК 2 , прочитала більше десятків професій, СМСК 3 , переглядала більше презентацій, ніж я зважаю визнати. MSК 4 І ПМСК 5 дійшла до досить пригнічаючого висновку .
Це майже все те ж саме.
"AIM SK1заsilaна база знань компанії ." МSK3Inteligentne пошуки документів ." "Customer chatbot with enterprise knowledge MSC6 Стирайте бездушну рекламну копію, і ви МSK7 знайдете ту ж саму архітектуру M SK8 ті самі режими невдачі М SK9 та ті самі розчаровані зацікавлені сторони приблизно через шість місяців по черзі
Варіанти Customer Chatbot є особливо цікавими— вони можуть стати PR катастрофами неймовірно швидко, коли розробники, які не розуміютьM SK1 не розуміючи захисних рельєфів, відпускають їх на публіку. Нічого подібного до вашого Support Bot, який радісно пропонує компенсацію, яку ви не даєтеMSC3 не даєMSSK4 створює продуктивні характеристики, що не існуютьМSK5 не існує , або йде на філософський сенс про значення існування, коли хтось питає про терміни доставкиMST7 Без відповідних обмеженьM ST8 ці Botи з радістю обіцяють будь-щоM st9 визнати злочини, які ваша компанія не зробилаM С ST10 не вчинилаM S ST11 чи розвинути сильні погляди щодо конкурентів М ST12 Канонічним прикладом залишається Air Canada M ST13s chatbot, який впевнено винайшов policy of bereavement that didn`t exist M S ST14 not existed МST15 and the company being held to it in court MST16
Ось брудна таємниця, яку ніхто з менеджменту не хоче чути. більшість коммерческих проектів з штучним інтелектом - це: МСК0, не інноваційні, МСК1, вони - МСК2, товарні водопроводи з фешенальним етикетом, МSK3
Перед тим, як рухатись далі – МСК0 – заперечення; МСК1 – я; МSK2 – не МСК3 штучний візіонер; " – чи будь-яка хипна назва цього моменту – МSK5. МSK6 – майже колишній " \blockchain visionaries " \ who \ ' \ have conveniently pivoted \ МSK10 \ I \ {\displaystyle \mathbb {'} , я – інженер-програміст, який, МSK12 \ } будує такі системи, МСК13 \ research \ , \ knowledge management \ мSK15 \ natural language processing (обробка мови), МSK16 \ decision support [""" підтримка прийняття рішень "", МSK17 \ nearly three decades ""] - майже три десятиліття тому. МСК18 \ i МSK19 - я бачив цю картину раніше з експертними системами, МСК20 \ c семантичною мережею, ММСК21 \ with big data \ , \ blockchain \ sq23 \ The technology changes \ Sq24 \ pattern of overpromising and underdelivering doesn 't ' \ t . \
Два типи комерційних проектів з штучним інтелектом
Відніміть маркетингові бар 'єри і ви побачите, що приблизно МСК1 коммерческих " AI " проектів входять в одну з двох категорій
Тип 1: Трубопровод РАG
Це найпоширеніший варіант.
flowchart LR
A[Documents] --> B[Document Ingestion Pipeline]
B --> C[Vector Database / RAG]
C --> D[Construct Prompts]
D --> E[LLM API Call]
E --> F[Hybrid Search]
F --> G[Response to User]
style B stroke:#ff0000,stroke-width:4px
Ця червона скринька - це те, де все руйнується. Це ще раз.
Пік звучить вражаючим. МСК0 МСК1 Ми МСК2 збудували ШІ, яка розуміє ваші компанії ' документи і здатна розумно відповісти на запитання
Насправді, ви створили пошуковик з додатковими кроками і місячним OpenAI Bill.
Тип 2: Фін МSK1Tuned Model
Ця модель - МСК0 - ще простіша. МСК1 - нахил. МSK2 - " - Ми - МSK4 - навчили нашу власну модель штучного інтелекту спеціально для вашої індустрії
Реальність. МСК0, Ви, МСК1, взяли когось іншого, МSK2, модель і добре її налагодили. МSK3, налагодження на набор даних, що МСК4, можливо, занадто маленький, ММК5, занадто брудний, ММСК6, і занадто вузький для значущої різниці, ніж просто використання базової моделі з хорошими інструкціями
flowchart TD
A[Existing LLM] --> B[Collect Training Data]
B --> C[Clean Data - Maybe]
C --> D[Fine-tune Model]
D --> E[Deploy Model]
E --> F[Discover it's not much better than base model]
F --> G[Keep paying for inference anyway]
G --> H[Hope nobody notices]
Найкращі проекти, які я бачив, були б краще оцінені за рахунок того, щоб витрачати ті самі гроші на покращення систем реагування та пошуку
Чому поглинання документів є місцем, де мрії помруть
Давайте поговоримо про цю червону коробку в діаграмі РАG. Поглинання документів - це частина, яка часто не працює, і це МSK1 є частиною, яка отримує найменшу увагу у світлячих демонстраціях
Ось що показує демонстрація продажів
- Красиві PDF, які потікають в систему
- Чисти відмітку, що виділена ідеально
- Все, що ви знаєте, searchable by AI
Ось що насправді відбувається
Проблема PDF
PDF - це жах . МСК0. Вони були розроблені для друкування. МСК1. Не для отримання структурованих даних. МSK2. Кожен комп 'ютер, який я використовував, має різні режими невдачі.
- Колонки, які неправильно з 'єднуються
- Столи, які стають безглуздими
- Заголовки та підсумки, які забруднюють зміст
- Скановані документи, які потребують OCR ( і OCR має власні показники помилок )
- Безпека-захищені документи, які не можуть оброблятися
- Проблеми кодування шрифта, які перетворюють текст на сміття
А це - лише PDF. Почекайте, поки не натиснете ":".
- PowerPoint-файли з текстом в SmartArt
- Документи Word з змінами трека
- Файлі Excel з об 'єднаними клітинами
- Скановані зображення з ручним письмом
- Старі формати з систем, що зникли в 90s
Катастрофа в Слонії
Після того, як ви витягнули текст (нижчий ), вам потрібно його відокремити для вашої векторної бази даних МSK3 тут відбувається ще більше магічного мислення
" Ми ' використовуватимемо семантичні фрагменти МSK2 Чудово МSK3 Ваша МСК4 сторінка контракта зараз мСК5 фрагменти MСК6 і штучний інтелект не має жодного уявлення, які з них пов 'язані чи в якому порядку вони з' являються
" Ми ' використовуватимемо фіксовані МSK2 шматочки розміром з перетинками MSC3 Чудово M SK4 ви ' ви тільки-но поділили речення на половину, і вбудова тепер представляє безглуздо
flowchart TD
A[Original Document] --> B[Chunk 1: This contract shall be governed by]
A --> C[Chunk 2: the laws of the State of California]
B --> D[Embedding: Legal stuff?]
C --> E[Embedding: Geography?]
D --> F[User asks about jurisdiction]
E --> F
F --> G[AI: Based on my knowledge, possibly California, or maybe legal governance, who knows]
Сообщение про метадані
Хороший РАГ потребує хороших метадань. Але видобуток метаданів з документів - важке:
- Яка дата документу? Яка - дата створення? Яку - дата модифікації? Якую - дата, яка вказана у змісті?
- Хто - МСК0 - автор, МСК1 - людина, яка створила файл, МSK2 - юридичний автор, , - експерт з предмету, М СК4
- До якої категорії вона належить? ? Ваша таксономія, мабуть, не підходить.
- Чи цей документ досі важливий? Або він замінений чимось новим, про що ваша система не знає
Більшість організацій мають десятиліття документів з неоднозначними конвенціями щодо наименовання , структур папок, які мали сенс для людини, яка залишила в 2003,, та метаданні, що МSK2 або відсутні, або хибні
Гарна фантазія
Дозвольте мені пояснити.
Проблема з даними
Чудово-встановлення вимагає якості тренувальних данихМSK1 Більшість компаній не мають цьогоМСК2не мають йогоMСК3 Вони маютьМ СК4
- шумні, неоднозначні дані розсіяні по системах
- Дані, що відображають те, як все було зроблено
- Дані, що в ' повні помилок, яких ніхто не намагався виправити
- Дані, які є приватними, але насправді не такі цінні
" Ми ' Будемо добре МSK2 виграємо на наших квитанціях на підтримку M SK3 Ваші квитації на підтримку наповнені розчарованими клієнтами
МSK0 Ми ' Будемо добре - виграти на наших продажних дзвінках МSK3 Ви маєте на увазі ті, де продавці роблять обіцянки, які продукт не може тримати
Проблема оцінки
Як ви знаєте, чи ваша хороша модель - це насправді кращий варіант? Більшість компаній не можуть відповісти на це, тому що
- Вони не мають хороших баз даних
- Вони не мають чітких показників оцінки
- Вони не проводили ретельних тестів на A, /, B
- Вони порівнюють вібрації, а не дані.
Я бачив, як компанії витрачають шість місяців штрафу на підлаштування моделі і тоді не мають можливості довести, що це краще, ніж просто використовувати GPT
Проблема догляду
Чудово- підтануті моделі потребують оновлення . Зміни вашого бізнесу МSK2 Зміни ваших продуктів M SK3 Зміни Ваших процесів . Модель, яку ви налагодили в січні МСК5 тепер дає відповіді на основі застарілої інформації М СК6
Але оновлення означає:
- Збір нових даних про навчання
- Знову вчитися
- Вивіряють нову модель
- Розгортання
- Сподіваюсь, що не ввели регресій
Більшість компаній fine-tune один раз, а потім просто жити з дрейфом . Модель повільно стає менш релевантною, тоді як всі роблять вигляд, що вона
Для чого "AIM SK1 проекти насправді хороші
Не зрозумійте мене неправильно. Є законні випадки використання.
flowchart TD
subgraph RAGWorks["✅ RAG Works When"]
R1[Well-structured docs]
R2[Clear metadata]
R3[Search + synthesis use case]
R4[Heavy ingestion investment]
R5[Feedback loops exist]
end
subgraph FTWorks["✅ Fine-Tuning Works When"]
F1[Large high-quality dataset]
F2[Base model truly struggles]
F3[Ongoing maintenance budget]
F4[Clear eval metrics]
F5[Already tried prompting + RAG]
end
style R4 stroke:#00aa00,stroke-width:2px
style F5 stroke:#00aa00,stroke-width:2px
Зелені коробки - це необхідні умови для більшості проектів " Ми ' вже оптимізували про prompting і RAG МSK2 це шкала для fine-tuningM SK1 "Глибокі інвестиції у поглинання це бар для РАГ. Застрибніть на них, і виМSK1будуємо на піскуM SK2
Справжні проблеми, яких ніхто не розв 'язує
В той час, як кожен - МСК0 - будує один і той самий трубопровод РАГ - МSK1 - насправді цікаві проблеми з комерційним штучним інтелектом не звертають уваги
Якість даних
Найбільша перешкода для ефективності штучного інтелекту - це: МСК0 - не модель, МСК1 - дані, МSK2 - дані.
- Дані поширюються на десятки систем, які не спілкуються між собою
- Немає жодного джерела правди для чогось
- Налагодження управління даними, що МСК0 має більше прагнень ніж реальності
- Проблеми якості, які ніхто не має грошей вирішити
Але """ - ініціатива щодо якості даних "" МSK1 "" не дає "" МСК2 "" такого artykułу з журналу "" Форбс "", як "" Ми перетворюємо штучний інтелект "".
Інтеграція процесів
Введення штучного чатбота в існуючий процес не робить його чудовим. МСК0 не покращує його. МSK1. Процес має бути перероблений навколо штучних технологій. ММК2 має свої можливості та обмеження. ММСК3. Більшість компаній просто прив 'язують штучний інтелект до поламаних процесів і дивляться, чому він не допомагає.
Людський-AI співпраця
Найкращі приклади штучного інтелекту покращують людські здібності, а не намагаються їх замінити.
Людей + штучний інтелект, який працює разом, потребує :
- Чисти точки віддалення
- Прозоре мислення штучного інтелекту
- Прості механізми перехилення
- Рупи зворотнього зв 'язку для покращення
Більшість комерційних проектів з штучним інтелектом сприймають людину як задум
Справжня інновація
Справді цінні приклади штучного інтелекту - це:
- Уможливити речі, які раніше були неможливими
- Створити нові категорії цінності
- Вигадувати проблеми по-новому
Але це важко. МСК0. РАГ труби легкі. МSK1. Добре, МSK2. Легкі. ).. Так що МСК4 - те, що всі будують
Консультаційний промисловий комплекс
Однією із головних причин безглуздих штучного інтелекту є консалтингова екосистема.
flowchart TD
A[Big Consultancy Tells C-Suite: You Need AI!] --> B[C-Suite Panics]
B --> C[Consultancy Deploys Army of Juniors]
C --> D[Recommendations: RAG + Fine-Tuning]
D --> E[Build Same Thing as Last 20 Clients]
E --> F[Demo Goes Well]
F --> G[Reality: Real Data Breaks Everything]
G --> H[Consultancy Moves On]
H --> I[Internal Team Struggles]
I --> J[Project Quietly Fails]
J --> K[Nobody Admits It]
K --> A
style G stroke:#ff0000,stroke-width:3px
style J stroke:#ff0000,stroke-width:3px
Я бачив цю тенденцію десятки разів. МСК1. Консультант отримує зарплату. МSK2. Рухові кажуть: "" МСК3 - це штучний інтелект? "". МСК4 - інженери застрягли, підтримуючи щось, що ледь працює. МКС5 - а справжня проблема з бізнесом залишається незрозумілою
Требування VC-Driven AI
Стартові компанії потрапляють у зовсім іншу пастку. МСК0. Це не консалтингові фірми, що спричиняють дисфункцію. МSK2, це МСК3, а фінансова среда. .
timeline
title Technology Requirements for VC Funding
2005 : Web 2.0 - "You need social features"
2010 : Mobile - "You need an app"
2015 : Cloud - "You need to be cloud-native"
2018 : Blockchain - "You need a token"
2023 : AI - "You need an AI strategy"
Звучить знайомо? Кожні кілька років, тамM SK2 є нова технологія, яка VC вирішують є необхідноюMSC3 Якщо ваша палуба не згадує її prominently , ви МSK6 ви не отримуєте фінансування M SK7 технологія може бути невід 'ємною для вашого реального продукту
Я спостерігав, як це відбувається з блокчейною в "2017-2018.". Компанії, які не мали жодного бізнесу на Блокері , вкладають टोकони у свої продукти, тому що МSK1 отримує фінансування.
Тепер це відбувається з штучним інтелектом
Стартапи застосовують LLM в продуктах, які не потребують їх, тому що
- Інвестори не дивляться на палуби без згадки "" МСК1 "", "" AI "" і """.
- Оцінки 3-5x вищі для "AI-компаній МSK2
- Преса охоплює лише історії про ШІ
- МSK0AI-впливовіM SK2 - це столові ставки для маркетингу
Результат? Продукції з незграбними штучним інтелектом, які користувачі ігнорують
Найгірша частина багато засновників знають, що це безглуздо.
Якщо ви - основатель стартапу, якого просять додати штучний інтелект
- Чи справді штучний інтелект покращує мій продукт?
- Або я просто перевіряю поле для інвесторів
Якщо це - останній - МСК1 - збудувати мінімальну життєздатну функцію штучного інтелекту, яка відповідає за ці питання - МSK2 - зосередитися на тому, що насправді має значення - . - не дозволяйте фінансовому середовищу відволікти вас від створення чогось цінного - M SK5
Індустріальний комплекс Гайп
Це неприємна правда, яку ніхто в ШІ не хоче обговорювати. майже кожен у екосистемі має фінансові стимули, щоб продовжувати поширення
flowchart TD
subgraph Researchers["🔬 Frontier Labs"]
R1[Need billions for compute]
R2[Must show progress to justify spend]
R3[Hype generates investment]
end
subgraph Companies["🏢 Tech Companies"]
C1[Need AI angle for valuation]
C2[Must justify AI team costs]
C3[Hype drives stock price]
end
subgraph Investors["💰 Financial Backers"]
I1[Massive capital deployed]
I2[Need exits and returns]
I3[Hype maintains valuations]
end
subgraph Media["📰 Tech Media"]
M1[AI stories get clicks]
M2[Access depends on positive coverage]
M3[Hype drives engagement]
end
R3 --> I1
C3 --> I1
I3 --> R1
I3 --> C1
M3 --> R3
M3 --> C3
Дослідники на передових лабораторіях потрібні мільярди обчислень, щоб навчити наступне покоління моделей. МСК0. Ці гроші приходять від інвесторів та великих технологій. МSK1. Щоб виправдовувати витрати, МСК2. Вони мають продемонструвати прогрес. —. І МСК4. Прогрес. МКС5. Перетворюються на безглузді оголошення про можливості, які можуть або не будуть можливими в практичних застосуваннях.
Компанії ( як лабораторії штучного інтелекту, так і кожен, хто використовує штучний інтелект ) потребують розповідей, щоб продовжити жити МSK2 відкритий штучный інтеллект \ ' оцінки залежать від віри в те, що штучне інтеллигент знаходиться на порозі \ МSK4 Кожен МSK5 штучні інтеллігенти \ МSK6 здатний ініціювати мSK7 стартап '\ множина залежить від того, чи штучна інтелlectual Property залишається гарячим сектором \ .\ У той момент, коли панує зміна думок \ мSK10\ мільярди паперового багатства випаровуються .\
Інвестори залучили колосальну кількість капіталу до штучного інтелекту
ЗМІ зрозумів, що історії з штучним інтелектом породжують величезне зацікавлення. МСК0 Невелика кількість переглядів не отримує на ' МСК2 МSK3 штучний інтеллект захопить вашу роботу. МSK4 і МSK5 Прорив штучного інтелекту вирішує проблему X" чи МSK7 Доступ до штучних компаній часто залежить від підтримки позитивних стосунків.
Результат: МСК0 , Я . -, Посилаючий цикл хипів, коли у кожного є причини продовжувати збільшувати очікування , і дуже мало людей користується тим, що кажуть правду .
Це не означає, що штучний інтелект не є дійсно корисним. Це абсолютно так, як я обговорював у цьому artykule. Але розрив між тим, що обіцяно, і тим, чого досягають, величезний. І всі стимули збалансовані для того, щоб цей розрив було прихованим.
Коли хтось скаже вам, що штучний інтелект змінить ваш бізнес, запитайте себе: Чого вони отримують від вас, якщо вірять в це?
Що ви насправді маєте робити
Якщо ви, МСК0, розглядаєте проект з штучним інтелектом, МSK1 – ось тут. МСК2 – мій чесний поради
1. Почнемо з проблеми , Не з технології
Не питайте: "" Як ми можемо використовувати штучний інтелект? "", "" Чому ми намагаємось вирішити проблему? ""
2. Спочатку виправити ваші дані
Перед тим, як побудувати RAG ланцюг, розв 'язати проблему з документом . перед тим, ніж закінчитиM SK2 підлаштувати, очистити ваші тренувальні дані
3. Почати маленьку і повторювати
Не запускайте масову трансформацію " штучний інтелект | ." Build a small proof of concept | МSK3 | Test it with real users
4. Інвестуйте в нудні біти
Протока поглинання dokumentu не є сексуальною, не приваблива, не очищає дані, не захоплююча, не інтерактивна, не оцінюча система не є чимось таким, що можна продемонструвати на форумі. Але саме це визначає успіх чи невдачі.
5. Будьте чесними щодо обмежень
штучний інтелект - це "'", а не магія, МSK1 поточні ЛЛМ галюцинують , МSK2 РАG системи не бачать відповідних документів, . Чудово , - врегулюване дрейфування моделей ,. Настановити реалістичні очікування
6. План догляду
Збудувати систему - це, можливо, 30% зусиль МSK1 Утримувати її МSK2 покращити , і зберігати її актуальною - це інший мSK4Budget відповідно моск5
7. Подумайте, чи вам взагалі потрібна на замовлення рішення
Можливо, вам потрібно просто краще використовуватиoff-наrzędzia з полиціM SK1. ChatGPT з деякими нашими інструкціями може бути достатньою . Не все потребує спеціальної платформи штучного інтелекту
Але вони не мають бути дурними
Гаразд МСК0 Я МSK1 я витратила кілька слів на роздуми про комерційні проекти з штучного інтелекту ці проекти можуть спрацювати, якщо ви підходите до них sensibly
Проблема в тому, що МСК0 - це не РАГ, а ліпший варіант, МСК1 - це узагальнування як концепції, МSK2 - це занепокоєне застосування, МКС3 - нереалістичні очікування, МСК4 - і нехтування фундаментальними принципами, МСС5 - ось як це зробити краще.
Перетворити штучний інтелект на існуючі робочі потоки , Don't Замінювати їх
Найбільша помилка, яку я бачу - це сприйняття штучного інтелекту як замінника існуючих процесів, а не як покращення. МСК0 Ваш бізнес вже має робочі потоки, які працюють. МSK1 переважно МSK2 Замість того, щоб їх вилучити і замінити " штучним інтелектом
flowchart TD
subgraph Traditional["Traditional Workflow"]
A[Document Arrives] --> B[Human Reviews]
B --> C[Decision Made]
C --> D[Action Taken]
D --> E[Results Logged]
end
subgraph Enhanced["AI-Enhanced Workflow"]
A2[Document Arrives] --> AI1[AI: Extract Key Info]
AI1 --> B2[Human Reviews - With AI Summary]
B2 --> AI2[AI: Suggest Decision Based on History]
AI2 --> C2[Human Makes Final Decision]
C2 --> D2[Action Taken]
D2 --> AI3[AI: Auto-categorise & Log]
AI3 --> E2[Results Available for Future AI Training]
end
Зверніть увагу, що відрізняється від
- Люди все ще в петлі для прийняття важливих рішень
- штучний інтелект керує нудними шматочками - видобуток МSK1 підсумок , класифікація
- Кожен крок штучного інтелекту є малим і перевіряним - якщо штучний інтелект помиляється в видобутку , людина ловить його під час перегляду
- Існують зворотні зв 'язки - записані результати тренують майбутні покращення ШІ
Це значно міцніше, ніж " штучний інтелект справляється з усіма, а інколи людина перевіряє
Використовувати локальні LLM для витрат та конфіденциальності
Тут - брудна таємниця. МСК1 - ви, мабуть, не маєте. МSK2 - не потребуєте GPT, МSK3 чи Клоу для більшості завдань. . - і вам точно не потрібно відправляти ваші конфиденциальні документи на сервери OpenAI.
Проблема витрат
У масштабі , Kosztи API зростають швидко . Зайняті RAG-системи можуть робити тисячі LLM дзвінків на день МSK2 У МSK3 за мSK4 Ктоні мSK5 що ' реальні гроші \ . І, як ви масштабуєте , це стає ще гірше \ МSK9
Проблема конфіденциальності
Багато організацій можуть надсилати свої документи на зовнішні API.
- Юрічні документи з інформацією про клієнта
- Медичні записи
- фінансові дані
- Дохідне дослідження
- Все, на що attiecas GDPR, HIPAA , і т.д.
Рішення: локальні моделі
Сучасний відкритий-модельи вихідних кодів безглузді хорошіM SK1 Працювати локально означає :
- Нуль маргинальної вартості за запит - ви ' заплатили за апаратні деталі МSK2 висновок такий:
- Полна конфіденційність даних - нічого не залишає вашої інфраструктури
- Жодних обмежень тарифу - масштабувати стільки, скільки дозволяє ваша обладнання
- Опції персоналізації - добреM SK1tune без того, щоб дані покинули вашу контроль
flowchart LR
subgraph Cloud["Cloud API Approach"]
A1[Your Documents] --> B1[Internet]
B1 --> C1[OpenAI/Anthropic]
C1 --> D1[£££/month]
C1 --> E1[Privacy Concerns]
end
subgraph Local["Local LLM Approach"]
A2[Your Documents] --> B2[Your Server]
B2 --> C2[Local LLM]
C2 --> D2[Fixed Hardware Cost]
C2 --> E2[Data Never Leaves]
end
Практичні варіанти локального моделі
Для вбудова (разряд пошуку вектора RAGM SK1
- речення-трансформатори - швидкий , точний МSK2 працює на скромному апараті
- номік-засадка - Велика якістьM SK1 маленький відбиток
- Моделі BGE - Конкурентні з коммерческими варіантами
Для покоління МSK0реальний "AIM SK2 відповіді
- Ллама МSK0 8BM SK2B - Отож, чудовий об 'єкт
- Місстраль/Мixtral - швидкий , ефективний МSK2 хороший аргумент
- Phi-3 - Дивовижно, що він має розмір
- Qwen 2.5 - Сильне багатоязычне забезпечення
Для програмування:
- CodeLlama - спеціально навчений коду
- Програміст DeepSeek - Чудове розуміння коду
- СтарКодер - Хороша для багатьох мов
Використовувати їх локально не так важко, як ви думаєте. Оллама, llama.cpp, vLLM, або текст-генераціяМSK1інференція зробити його простим. ЯM SK1 я створив декілька програм ( погляньте на нижню частину artykułу ) що демонструє, як це працює на споживачському апараті
Гібридний підхід
У розумній архітектурі використовують
Локальні моделі для завдань з високим об 'ємом-МSK1 нижчим об' ємом±-складністю
- класифікація документів
- Видобуток
- Прості Q&A
- Підсумування
Хмарні API для складного обґрунтування при потребі
- Комплексний багатоступенковий аналіз
- Задачі, які потребують найбільших контекстних вікон
- Відхилення, коли занепокоєння локальної моделі низька
Цей гібридний підхід дає вам цінні переваги локального висновку та можливості хмарних моделей, коли вам це дійсно потрібно.
Збудувати зростаючу цінність МСК0 Не перетворення Великого вибуху
flowchart LR
subgraph Waterfall["❌ The Waterfall AI Project"]
W1[Month 1-3: Requirements] --> W2[Month 4-6: Build Platform]
W2 --> W3[Month 7-9: Integration]
W3 --> W4[Month 10: Demo - Looks Great!]
W4 --> W5[Month 11: Real Users Break It]
W5 --> W6[Month 12: Project Shelved]
end
subgraph Incremental["✅ The Incremental Approach"]
I1[Week 1-2: One Small Problem] --> I2[Week 3-4: Refine + Measure]
I2 --> I3[Week 5-6: Add Capability]
I3 --> I4[Week 7-8: Refine + Measure]
I4 --> I5[Repeat...]
I5 --> I6[Continuous Value Delivery]
end
style W5 stroke:#ff0000,stroke-width:3px
style W6 stroke:#ff0000,stroke-width:3px
style I6 stroke:#00aa00,stroke-width:3px
Кожен крок в інкрементальному підході дає вимірювану цінність.
Створити поглинання документу першою проблемою класу МСК0 .
Пам 'ятайте цю червону коробку на діаграмі.
Інвестуйте у якість, а не в кількість ' краще мати documents, які добре оброблені, ніж ones, які пророблені погано. . Почнемо з найважливіших документів і зробімо їх правильно.
Використовуйте штучний інтелект, щоб допомогти з поглинанням. Сучасне сприйняття- мовні моделі M SK1 ГПЗ -4 В МSK3 Клод, локально LLaVA МSK5 насправді можуть читати складні документи М SK6 таблиці МСК7 діаграми М СК8 ручно написані нотатки MСК9 так, як традиційний ОCR не може писатиMСК10 Використовувати їх для жорстких документівM СК11
Збудувати зворотні зв 'язки. Коли пошук не працює, зареєструвати цеM SK1 Коли користувачі кажуть " що МSK3 це не те, що написано в документі M SK4 захопити його . Використовуйте цей зворотній зв 'язок, щоб покращити свій канал поглинання
Прийміть, що деякі документи не спрацюють Не кожен старий сканований PDF вартий боротьби з
Подумайте про повну систему, Не тільки про штучний біт
Штучний штучний інтелект потребує:
| Komponenт МSK1 Те, що більшість проектів роблять МSK2 те, що насправді працює | |
|---|---|
| Поглинання даних | |
| Якість даних МSK1 " штучний інтелект з 'ясуватиме це МSK3 | |
| Діагностика МSK1 Позитивний векторний пошук МSK2 Гібридний пошук | |
| генерація | вихід сирого LLM МSK2 структурований вихід з підтвердженням МSK3 |
| Людська перевірка МSK1 Невключна МSK2 Включена в робочий процес | |
| Реакцію МSK1 Нічого МSK2 Последовательна петля покращення | |
| Наблюдання МSK1 МSK2Она МСК3працює СМСК4 \СМСк5 детальні показники СМСК6 попередження МСК7 | |
| Утримка МSK1 МSK2 Версия 1 назавждиM SK4 ♫ ♫ МSK5 Regular updates ♫ & ♫ Retraining ♫ |
Модель штучного інтелекту - це, можливо, 20% робочої системи . Інша МSK2 є нудною штукою, яка робить її дійсно функціонувати в процесі виробництва МSK3
Збудувати доступність з першого дня
Ви можете' не покращити того, що ви можете ' не виміряти МSK2 Кожна система штучного інтелекту повинна слідкувати за
- Якість пошуку: Ви знаходите необхідні документиM SK1 Точность відтворення та запам 'ятовування слідів.
- Якість генерації: Чи правильні реагування? МSK1 Рівень галюцинацій на стежці.
- Задоволення користувачами: Хіба люди насправді вважають, що це корисне ? Використовування траєкторії МSK2 темпи закінчування M SK3 піднімання пальців доверху MSC4 вниз .
- Ціна за запит: На що ви насправді витрачаєте?
- Моди невдачі: Коли він зламаєтьсяM SK1 Прослідковування рівня помилок за типом dokumentu , типом запиту МSK3 і т.д.
Ці дані дають вам змогу визначити, куди інвестувати.
Кінець "Big LLM вирішує всеM SK1
Ось найважливіша зміна, яка відбувається зараз. епоха "сунути все на ГПЗ МSK1 і сподіватися на найкращого МSK2 закінчується .
2023-2024 підхід був простим : дістатися найбільшої моделі, яку можна собі дозволити МSK2 заповнювати вікно свого контексту всіма речами M SK3 і молитися . Це спрацювало MSC5 щось на зразок MST6 для демонстрацій MSV7 для прототипів Msv8 для отримання інвестицій МSV9
Але це не означає, що МСК0 не має масштабу. МСК1 - дорого. МSK2 - повільний, МSK3 - повільний. І все більше і більше - МСК6 - він - МSK7 - перевершує розумніші архітектори.
Перехід до оркестрованих маленьких моделей
Майбутнє - це не одна гігантська модель, яка робить все кілька спеціалізованих моделей, які працюють разомeach doing what it 's good at
flowchart TD
subgraph OldWay["The 2023 Approach"]
A1[Everything] --> B1[GPT-4]
B1 --> C1[Hope It Works]
B1 --> D1[£££££]
end
subgraph NewWay["The 2025+ Approach"]
A2[Input] --> B2[Router Model - Small/Fast]
B2 --> C2[Specialist Model A - Extraction]
B2 --> D2[Specialist Model B - Reasoning]
B2 --> E2[Specialist Model C - Generation]
C2 --> F2[Orchestrator]
D2 --> F2
E2 --> F2
F2 --> G2[Output]
end
Це те, що я досліджував у своєму DiSE (Direkted Synthetic Evolution) ідея, що структура перевершує блискучість. Потрібно ретельно організована трубка менших , фокусованих моделей перевершує одну масову модель, яка намагається зробити все .
Те ж саме стосується Мотор синтетичного прийняття рішень концепція: використання численних зворотньих ланцюгів LLM у послідовності , кожен з моделей має різні перевагиM SK2 швидкі моделі для сортування, точні моделі для перевіркиMSC4 творчі моделі для генераціїMska5 кожен робить те, що робить найкращеM Ska6
Чому це важливо для РАG
Якщо ви ще не знаєте Серії RAG що занурюється у фундаментальні речі. МСК0. Але ось тут. МSK1 - це ключовий урок. Сама РАГ є формою цього організованого підходу. Ви ' використовуєте вбудовані додатки МSK2 одна модель МSK3 щоб знайти відповідний зміст M SK4 потім використовуєте LLM
Наступна еволюція рухається далі.
- Вбудова моделі → знаходить кандидатські документи
- Модель переrankування → замовлення по значущості
- Модель класифікації → визначає ціль питання
- Модель малої генерації → обробляє прості фактичні питання
- Велика модель мислення → працює з складним аналізом ( тільки тоді, коли потрібно
Кожна модель менша, МСК0, швидша, МSK1 і дешевша за використання GPT. МСК2 для всього. МSK3 Але разом вони перевершують монолітний підхід.
Агентська майбутнє
Термин "агентичнийM SK1 запозичився з психології —моє початкове поле перед тим, як я впав у програмне забезпечення МSK3 В психології МSK4 агенція означає здатність діяти самостійно М SK5 робити вибір і виконувати його у світі M SK6 Агенційна людина не реагує лише на стимули, МSK8 вона розпочинає дію, , рухається за цілями, М SK10 та адаптує свою поведінку, спираючись на результати. МSK11
Агентичний штучний інтелект застосовує цю концепцію до мовних моделей. МСК0. Замість традиційної моделі, МСК1. Ви ставите запитання. МSK2. Модель генерує текст. робити речі. Він може використовувати інструментиMSC1 виконувати кодMСК2 база даних запитівM СК3 API для дзвінківМСК4 писати файлиМ СК5 і організувати мультиплексніM סК6 кроки робочого потокуM SК7 ЦеMSК8 різниця між тим, щоб попросити когось про інструкції, та тим, що наймає когось, щоб вас туди привезти
Це те, що останні моделі Anthropic' ( включно Claude Opus 4.5 що я буквально використовував для написання цього за допомогою коду Клода, щоб так ефективно продемонструвати
Ось що робить хорошу групу не зручною якщо ви описуєте інструменти досить добре, Сучасні моделі фундаменту надзвичайно вправні у використанні інструментів ззовні— вам просто потрібні чіткі схеми функцій та хороша документація в контексті
Це величезна зміна від підходу до Toolformer . (точні -tune модель, щоб навчитися, коли використовувати інструменти за допомогою вимірювання результатів
Результати часто кращі, тому що
- описи інструментів можна миттєво оновляти - не потрібно перетренування
- Ми можемо додати нові інструменти під час запуску - просто додайте іншу схему
- Модель отримує користь від свого загального мислення - - це не тільки запам 'ятововані шаблони
- Ви можете використовувати будь-яку здатну модель - не специфічно фіна
flowchart TD
subgraph RAG["Traditional RAG Chatbot"]
R1[User Question] --> R2[Search Documents]
R2 --> R3[Construct Prompt]
R3 --> R4[LLM Generates Answer]
R4 --> R5[Return to User]
end
subgraph Agentic["Agentic AI Pattern"]
A1[User Task] --> A2[LLM Understands Task]
A2 --> A3[Break Into Steps]
A3 --> A4{Select Tool}
A4 --> A5[Execute Tool]
A5 --> A6{Evaluate Results}
A6 -->|Need More| A4
A6 -->|Done| A7[Return to User]
end
style A6 stroke:#00aa00,stroke-width:3px
Ця а agentiчна модель фундаментально відрізняється від чатботів RAG. І саме в цьому полягає реальна цінністьM SK1
Frameworks, такі як LangChain, LlamaIndex, і Semantic Kernel роблять це можливим сьогодні Ви можете будувати системи, де
- Невелика швидка модель відповідає за маршрутизацію та класифікацію
- Специалізовані моделі виконують певні завдання
- Використовування інструментів розширює можливості за межами чистого мови
- Рупи зворотнього зв 'язку umożliwiają безперервне покращення
Компанії, що зрозуміють це, збудують ШІ-системи, які дійсно працюють.
Де дізнатись більше
I' я багато писав про ці шаблони
| МSK0 Тема | Artykuł МSK2 Що ви вивчите ' | |
|---|---|---|
| Архітектура | ДиС проти Вояджера | Чому структурна оркестрація перевершує монолітні моделі? |
| Мульти-модель | Синтетичні машини для прийняття рішень | Збудування труб specjalistycznych моделей МSK1 |
| Фундаментали РАГ | Серії RAG | Від вбудованих до виробничих систем МSK1 |
| Місцеві додатки | Семантичні пошуки з компанією ONNX | Процесор МSK1зручний локальний вектор пошук МSK2 |
| Місцеві LLM | ДиС | selkf evolvign Workflow system using local models connected together |
| Симуляція API | ЛLMAPI | Використовуючи локальні LLM для симуляції API для тестування |
| Практична РАГ | Збудувати адвоката GPT | Завершений етап розробки RAG |
Технологія існує. Patterns are emerging. Питання в тому, чи ваша організація побудуватиме щось розумне або ще один дурний проект штучного інтелекту
Завершення
Течасний комерційний ландшафт штучного інтелекту нагадує мені ранню епоху Інтернету. . Усім потрібна була МSK1стратегія ІнтернетуM SK2 Компанії створювали веб-сайти тому, що їм треба було їх створювати.
Врешті-решт, компанії, які досягли успіху, були тими, хто зрозумів, для чого насправді хороший Інтернет і створив його для цього.
right now, we 're in the "build it because we have toMSC3 phaseM SK4 Most projects are dumbMska5 Most will fail or underdeliverM Ska6 ThatMski7s normal for new technologyMske8
Але якщо ви хочете бути одним із тих, хто досягає успіху, перестаньте слідкувати за шаблоном. Почнімо з реальних проблемM SK2 Вкладіть гроші в нудні шматочкиМSK3 І заради любові до БогаMSC4 виправніть свій канал поглинання документів перед тим, як звинувачувати LLMMST5
штучний інтелект - це "'", це не проблема
Використовуйте ті перші: МСК0 , а можливо, ",", можливо, і МСК2 . Ваш проект з штучним розумом виграє.