Збудувати " Адвоката GPTM SK1 для вашого блогу | МСК2 | Частина | 1: | Введение |МSK4 | архітектура
Введение
Занурюйтесь, бо це буде довга серія.! Якщо ви' слідкуєте за цим блогом(МSK2), то ви( МSK3) знаєте, що я' трохи одержимий пошуком цікавих способів використовувати LLM та штучний інтелект у практичних застосуваннях. . Ну, так, МSK6 Я( M SK7 ) маю новий проект, який об 'єднує мою любов до блогінгу.
NOTE: Це частина моїх експериментів з штучним інтелектом
Подумайте про те, як сучасні правові практики використовують літературних літераторів, яких навчили jurisprudenції, для викладання петицій. МСК0, постановок, МСК1 і угод. МSK2 Вони не починають з нуля. М СК4, система відноситься до відповідних précédentів. М АК5, запропонує мову, засновану на успішних попередніх документах. МАК6, і зберігає послідовність із закріпленими шаблонами. МУК7, це саме те, що ми тут будуємо. МДК9, але для контенту блогу. МТК11
Метою проекту є створення
- Допоможає намалювати нові блогові статті у моєму закріпленому стилі
- Спропонує відповідний зміст минулих статей для використання
- Знаходить схожі місця для підтримки послідовності
- Auto-generates internal links to related articles
- Такі дії як "GitHub Copilot для вашого блогу"
Ця серія охоплює будівництво Поширене генерування пошуку (RAGM SK1 система в C#, яка працює на Windows . МиM SK2 використаємо останні підходи та фреймворки M SK3 і I' пояснюємо кожну нову технологію, коли ми з нею стикаємося
Моє обладнання ( і мінімальні характеристики )
Моя машина для розвитку:
- ҐПУ: NVIDIA RTX A
- Процесор: AMD Ryzen
- RAMМSK0 96ГБ ГДРM SK2
Це моє конкретне налаштування,, але ви don' не потребує цього обладнання слідувати за ним. Ось мінімальні характеристики для різних компонентівM SK1
Пришвидшування GPU (Рекомендується , не обов 'язковоM SK2
- Найменше: NVIDIA GPU з МSK1GB VRAM (eM SK3g., RTX МSK5 GTX
- Можна запустити моделі параметрів 7B з квантизацією
- Пристойна швидкість генерації вбудованих
- КомфортноМSK0 12GB+ VRAM МSK3eM SK4gMSC5 RTX 3060 \ 12GB~, \ RTX
- Пройти більші моделі або високоякісні квантування
- Моє налаштування: МSK1GB (AM SK3 ♫ ♫ МSK4 ♫ Можути рухатись ♫ 13B моделі комфортно
Або лише альтернатива
- Найменше: Современный квад - ядро
- РекомендуєтьсяМSK0 8+ ядра МSK2 для раціональної генерації вмонтованих модулів )
- Все працює на процесорі.
- генерування Embedding: M SK1x повільніше
- Припущення LLM: M SK1x повільніше
- Все ще цілком корисний для писемного асистента!
Требування RAM
- Найменше: 16 ГБ оперативної пам 'яті
- Процесор - тільки для висновків для моделей 7B
- КомфортноМSK0 32ГБ
- Краще для більших моделей на ЦП
- Моє налаштуванняМSK0 96 ГБ МSK2 Перехиляння , \ 32 ГB - це багато
Утримка
- SSD: Рекомендується для завантаження моделі
- Простір: МSK1ГБ для моделей та векторної бази даних
Що про Intel/AMD NPUs?
Сучасні процесори тепер містять dedykowanі прискорювачі штучного інтелекту:
- Корінь Intel Ultra МSK0Meteor Lake+) M SK2 Intel AI Boost (NPU)
- AMD Ryzen AI Серія (7040/8040
- AMD Ryzen AI Max (Стрикс-полюс МSK1 МSK2 До 50 ШОК
Важливо: Непотрібні нейрони для висновків лишеM SK1 Ви не будуєте models на МСК1, МСК2 чи на локомотивах бігати до- ефективним навчанням моделей . Моделі тренуються на хмарних графічних комп 'ютерах МSK2 чи на робочих станціях M SK3 а потім завантажуються і розгортаються на НТЦ для висновку .
Текущий стан запуску моделей на НПУ (написанняM SK1
- ✅ Чудово для
- ⚠️ Ограничений для нашого використання: Невичерпний .NETM SK3ONNX Obsługа запуску
- ❌ Не готовий доM SK1 Примарні шляхи цього проекту '
Чому б не NPU для цієї серії?
- Екосистема програмного забезпечення: CUDA має 15+ роки терміну погашення МSK2 підтримка NPU в МSK3NET зароджується
- Модельна здатність: Більшість моделей GGUF мають на меті CUDAM SK1CPU, NPU - Оптимовані моделі рідкісні
- Документація: Ограничені ресурси для розробки НПУ в ЦM SK1
- Результати: Наразі повільніше, ніж дискретні GPU для нашого навантаження
- Obsługа DirectML: Досі експериментальні для LLM висновку
Чи можете ви використовувати NPU для висновків?
- Потрібно DirectML постачальник виконання в часі запуску ONNX
- Моделі мають бути в форматі ONNX (не GGUF)
- Поддержка C# експериментальна
- На даний момент показник у порівнянні з . CUDA .
Як спробувати припущення NPU (розвинені користувачіM SK1
# Use DirectML execution provider (supports NPU)
dotnet add package Microsoft.ML.OnnxRuntime.DirectML
# In code:
var sessionOptions = new SessionOptions();
sessionOptions.AppendExecutionProvider("DML"); // DirectML
var session = new InferenceSession("model.onnx", sessionOptions);
Майбутнє обговорення: Один раз Пропускний час на NX і DirectML зростає їхнє підтримування NPU (ймовірно 2024-2025), вони стануть життєздатними альтернативами для висновків
Лінія внизу: ЯM SK1 покажу GPU - прискорений шлях , але помічаю, що в CPU МSK4 є лише альтернативи впродовж всього M SK5 Ви можете розпочати CPU MSC6 тільки і потім оновлюватися
Що ми будуємо
Остання система матиме декілька компонентів:
- Лінія з маркуванням впиту - Обробляє всі блогові пости , розібрає їх розумно M SK2 і генерує вбудова
- База даних вектора - Поміщає вбудовані додатки і umożliwia семантичні пошуки подібного контенту
- Програму для клієнта Windows - Администратор інтерфейсу для написання на робочому столі з редактором та панелем запропонувань
- Інтеграція LLM - локальний графічний процессор - прискорене виведення для генерації контенту
- Цитація & генерація зв 'язків - AutoM SK1запропонує внутрішні зв 'язки та посилання на пов' язані посади
- Інжинія послідовності стилю - Учить шаблони з існуючих постів, щоб підтримувати голос і структуру
Подумайте про це так: "GitHub Copilot meets Grammarly " but trained specifically on your blog
Чому? " Адвокат GPTM SK1
Сучасні адвокатські фірми використовують літературні літератори, які навчені у величезних бібліотеках правової практики, щоб допомогти розробляти документи.
- Довідки про важливі прецеденти та минулі успішні аргументи
- Запропонує візерунки мови, які працювали раніше
- Утримує послідовність з стандартами правопису
- Цитує джерела автоматично
Це наша модель. Коли я починаю писати: "" МСК2 "", "" Додаємо структуру об 'єктів для "...",", система має
- Найти мої попередні wpisи на тему EF-
- Запропонуйте структурні візерунки, які я раніше використовував
- Oferujemy фрагменти коду з минулих статей
- Auto-generate links to related posts
- Утримуйте мій стиль письма і технічну глибину
На відміну від звичайних асистентів-писачів-штучного інтелекту, наша система базується на реальному минулому контенті, тож вона не запропонує речей, які суперечать тому, що я вже написав.
Обзор серії
Ось що ми збираємося розповісти за наступні кілька тижнів.
Частина 1 ( Цей постM SK2 Вprowadzenie МSK3 Архітектура
Ми зробимо висновок про те, що ми будуємо і чому. Ми також візьмемо за основу архітектурні рішення.
Частина 2: Установка GPU & CUDA в C#
Установлення Windows для GPU-сшвидшений штучний інтелект ЦUDA, cuDNN, і тестування того, що CM SK1 дійсно бачить та використовує ваші GPU
Частина 3: Порозуміння вбудованих компонентів МSK1 Вektorні бази даних
Глибоко розгляньмо, що таке вбудовані додатки. , як вони роблять семантичні пошуки , і вибирають правильну векторну базу даних МSK2 спилер МSK3 ми \ ' \ ймовірно використаємо Кдрант або pgvector).
Частина 4: Збудування каналу впиту
Обробка файлів відмітки, розумні стратегії відокремлення МSK1 ви можетеM SK2 не просто розділяти на абзаци!), і генерувати вбудова для всього нашого контентуMSC4
Частина 5: Windows Client
Вибір правильної системи. (WPF, Авалонія, або МОЮ?), побудова інтерфейсу , і зробити його справді приємним для використання
Частина 6: Локальна інтеграція LLM
Використовуючи локальні моделі Пропускний час на NX, llama.cpp зв 'язки, або інші підходиM SK1
Частина 7: генерація контенту МSK1 швидка інженерія
Об 'єднати все це разом. - семантичний пошук релевантного контенту , управління контекстними вікнами МSK2 швидке інженерне забезпечення для допомоги при написанні M SK3 і генерування послідовних задумів .
Частина 8: Заawansовані характеристики & Розгортання виробництва
Автоматичний-відсилання до інших постівМSK1 перевірка послідовності стилюM SK2 запропонування фрагментів коду МSK3, що робить систему дійсно корисною для щоденного письма .
Чому RAG?
Перед тим, як зануритися в архітектуру, давайте поговоримо про те, чому RAG (Retrieval Augmented GenerationM SK3 є правильним рішенням.
Проблема з Fine-Tuning
Ви могли б подумати:: M SK1 Чому б не просто добре - підлаштувати LLM на всі блогові статті?" Є декілька проблем з цимMSC4
- Ціна & Сложність - ЧудовоM SK1встановлення дорогого (в обох обчисленнях і в зусиллях)
- Нестабільність - Кожен новий блог - це переобучение
- Чорна коробка - складно зрозуміти, що ця модель навчилася
- Галюцинація - Немає гарантії, що модель виграє
- Ніяких цитацій - Не можеM SK1 легко відслідковувати відповіді назад до джерел
Як RAG це вирішує
RAG об 'єднує найкраще з обох світів: потужність LLM та точність пошуку для створення контекстуM SK1 генерування контенту з осягомленням.
Потік::
- Пользователь починає писати: (eM SK1g., "Budування REST API з ASPMSC4NET CoreMST5
- Система знаходить семантично схожі минулі статті
- Система передає важливі шматочки в контекст LLM
- LLM генерує підказки/продовження на основі попереднього контенту
- Система пропонує підказки з відсылками на робочі місця
Це означає:
- ✅ Знову вгорі МSK1 до МSK2 дата M( просто переглянути МСК4 індикатор нових постів, як ви їх пишете
- ✅ Побудована на вашій дійсності
- ✅ Прослідковується МSK1 знають, які минулі пости вплинули на ідеїM SK2
- ✅ Эффективний МSK1 не дорогою реінструкцією на кожен новий пост МSK2
- ✅ Гнучкий ( здатний замінити LLM або змінити стратегії пошуку
- ✅ конфіденциальність - збереження МSK2 все працює локально МSK3
Архітектура системи
Дозвольте мені розібратися з ключовими компонентами, які ми будуємо.
graph TB
A[Markdown Files] -->|Ingest| B[Chunking Service]
B -->|Text Chunks| C[Embedding Model]
C -->|Vectors| D[Vector Database]
E[User Writing] -->|Current Draft| F[Windows Client]
F -->|Embed Context| C
C -->|Query Vector| D
D -->|Similar Content| G[Context Builder]
G -->|Relevant Past Articles| H[Prompt Engineer]
H -->|Prompt + Context| I[Local LLM]
I -->|Generated Suggestions| J[Link Generator]
J -->|Suggestions + Citations| F
F -->|Display| K[Editor with Suggestions]
class C,I embedding
class D,K output
classDef embedding stroke:#333,stroke-width:4px
classDef output stroke:#333,stroke-width:4px
1. Марка-даун
Ця компонента:
- Вичитує файли відмітки з каталогу блогів
- Витягує метадані (головокМSK1 категорії, датаM SK3 кількість слів МSK4
- Розумно відрізує зміст (зберігаючи кодові блоки для повторного використанняM SK1
- Визначає структурні шаблони ( як я організую посадиM SK1
- Прослідковує джерело інформації для генерації цитацій
Головний виклик: Strategiя накладання має величезний вплив . Надто маленька, і ви втрачаєте контекст МSK2 надто велика, і Ви марнуєте LLM МSK3 вікно контексту \ . Нам потрібні фрагменти, які мають семантичний зміст
2. Модель вмонтування
Вбудова - це магія, яка робить семантичний пошук ефективним.
Схожі поняття закінчуються: "закритиM SK1 у векторному просторі , навіть, якщо вони використовують різні слова
Наприклад:
- " міграція бази даних " і МSK2 оновлення схеми DB МSK3 мали б подібні вбудовані
- " кота " і МSK2 кіт МSK3 були б ближчими, ніж MSК4 коти МСК5 та МСК6 база данихМСК7
Вибір технологій: Ми ' скоріш за все використовуватимемо один чи інший
- речення-трансформатори моделі ( можуть працювати через ONNX Runtime в C#)
- Моделі вмонтування OpenAI' ( через APIM SK2
- Моделі BGE (станціяМSK1вМSK2в-артовий відкритий кодM SK4
База даних вектора 3.
Вektorна база даних зберігає вбудовані додатки і дає можливість швидкого пошуку схожості. Коли виM SK1 пишете про "Docker compose", вона знаходить найсемантично схожіший за минулим змістом K МSK4 не лише співпадіння ключів до словаMSC5 але й концептуально пов 'язаний матеріал МSK6
Вибір технологійМSK0 Ми' ОцінюватимемоM SK2
- Кдрант - СовременнийM SK1 написане в руті, чудовий CMSC3 клієнтMST4 ДокерM ST5 дружній
- pgvector - Поширення для PostgreSQL
- Вов 'язати - Ще одна надійна опція з хорошим підтримкою .NET
- Хroma - Поширені на Python-землі, менше в CM SK2
I' я налаштований на Qdrant через свою простоту і продуктивність , чи pgvector для того, щоб все було в Postgres МSK2
4. Windows Client
Нам потрібен гарний інтерфейс для написання з допомогою штучного інтелекту.
WPF (Windows Presentation Foundation
- ✅ ДорослійM SK1 стабільний , багато ресурсів
- ✅ Obsługа нативних Windows
- ❌ WindowsM SK1 тільки
- ❌ Здається застарілим, якщо ви не інвестуєте в інтерфейсні бібліотеки
- ✅ Кроссіальний МSK1платформа МSK2XAML -засаджений на МSK4
- ✅ СовременныйM SK1 активно розроблений
- ✅ Схоже на WPF
- ❌ менша екосистема
MAUI (МільйозоміM SK1платформенний інтерфейс програмного забезпечення )
- ✅ КроссM SK1платформа
- ✅ Microsoft-за підтримки
- ❌ Досить виростає
- ❌ Більше мобільностіM SK1фокусовані
Оскільки ми - Windows, ми - - і я хочу щось стабільне. WPF з Нова інтерфейса користувача WPF або Авалонія для того, щоб з 'єднати
5. Локальна інтеграція LLM
Ось де A4000 GPU світиться. Ми хочемо запустити LLM локально для
- Prywatність (никаких даних не надсилають до APIsM SK1
- Швидкість ( локальна деференція швидка МSK1
- Ціна (без फीза APIM SK1
- Kontrolа ( ми вибираємо модель )
Технології:
- Перетворити моделі на формат ONNX
- Отож, чудове прискорення GPU
- Нативна підтримка C#
- Донизу: Не всі моделі добре конвертуються
llama.cpp зв 'язки
- Biblioteka C++ з прив 'язками CМSK1Лалам-Шарп)
- Obsługа CUDA
- Szeroka модельна підтримка (LlamaM SK1 Mistral, і т.д.
- Дуже активний розвиток
- Об 'єднання PyTorch для .NET
- Найбільша гнучкість
- Швидша кривая навчання
I' я нахилюсь Лалам-Шарп для їхньої зрілості та легкості використання з популярними моделями.
6. Контекстове управління вікнами & Про prompt Engineering
У LLM є обмежені контекстні вікна. (eM SK1g., 4KMSC4
- Звідси віднайти найпоширеніший минулий контент (top K із векторного пошукуM SK1
- Вставляйте їх у контекстне вікно з теперішнім проектом
- Структурувати про prompt для писемної допомоги
- Залишити простір для генерованих задумів
Це складніше, ніж здається.
- Динамічний вибір K, який базується на тому, що ви зараз пишете
- Re-рейтинг відібраних фрагментів по значущості
- Розумно стискати контекст
- Multi-штовпування з прикладами минулих постів
7. Ссылка МSK1 генерація цитат
Кожен шматок потребує метадань:
- Źródальний файл/запис
- Позиция в оригінальному документі
- Дата публікації
- Kategoriї
- Використововані фрагменти коду
Коли LLM генерує підказки, ми автоматично створюємо відміткові зв 'язки до вихідних постів і визначаємо повторювані шаблони кодуM SK1
Що робить це відмінним?
Там є багато уроків РАG, але ця серія буде іншою.
- C# Перше - Більшість прикладів RAG є в Pythonі . Ми МSK2 закінчуємо
- ОС Windows & GPU - Використовуючи NVIDIA CUDA на Windows, не LinuxM SK2WSL
- Готова до виробництва - Це не просто доказМSK1модуМСК2концептуМ СК3, а справжній корисний код
- Домен-конкретний - Оптимований для допомоги в написанні блогівM SK1 не генерує типового контенту
- Глибокі пояснения Ми пояснюємо, чому ми приймаємо рішення
Технології, які ми використовуватимемо
Ось тут – МСК0 – це технологічна база. Я – МSK1 – планування. МSK2
Коренная база
- МSK0NET 9 (станнє на момент написанняM SK1
- C# M SK1 - Современні мовні характеристики
Бібліотеки AI/ML
- Пропускний час на NX або Лалам-Шарп - Дослідження LLM
- Microsoft.ML - Потрібно для деяких завдань
- SentenceTransformers через ONNX - Помешкання
База даних вектора
Корабель інтерфейсу
- WPF з ModernWPF або Авалонія - Совремельне інтерфейс робочого столу
Використовуючи інструменти
- Маркдіг - Ви вже використовуєте це для аналізу позначки
- Докер - Для запуску Qdrant або інших послуг
- Кора сутності - Якщо ми використовуємо pgvector
Стак GPU
Рівень ефективності
Різні налаштування мають різні можливості:
З VRAM 8GB (Minimum МSK2
- Розмір моделі: 7B - моделі параметрів з квантизацією QM SK2
- Обробка пакетів: Введення процесів у менші пакети
- Менеджмент пам 'яті: Потрібно ретельно контролювати VRAM
- Добре працює для: Вказівник на написанняM SK1 генерування вбудованих
З VRAM 12GBM SK1 (Comfortable)
- Розмір моделіМSK0 7B з високоякісною квантизацією
- Обробка пакетів: Більші партії для більшої пропускної спроможності
- Можна також бігати: Деякі МSK1B моделі з агресивною квантизацією
16GBM SK1 VRAM (Моє налаштування)
- Розмір моделі: МSK1BM SK2B - зручні моделі параметрів
- Обробка пакетів: Полні партії , мінімальні обмеження
- Швидкі висновки: СубM SK1секундні часи реагування
- Столова: Може експериментувати з різними моделями
CPU-Только M SK1Fallback)
- Все працює, просто повільніше
- Вбудова: 5-10x повільніше, ніж GPU
- Дослідження LLM: 10-50x повільніше, ніж GPU
- Все ще корисний: Для писемного асистента з терпінням
Дохід до розвитку
Ми МСК0 , ми будуємо його поступово ":".
- Почнемо з найпростіших компонентів: (відмітка, читання
- Додайте генерацію вміщування. ( може почати з APIM SK1 замість локального)
- Почати роботу векторного пошуку
- Збудувати базовий інтерфейс
- Об 'єднати LLM
- Поляк та оптимізувати
Кожна деталь зможе бути розроблена і перевірена самостійно.. Немає великих жахів з інтеграцією.
Що' СледующаяM SK1
В Частина 2: Установка GPU & CUDA в C#, ми ' отримаємо руки МSK2 з налаштуванням GPU M SK3
- Установлення CUDA та cuDNN на Windows
- Установлення середовища розвитку
- Використовуючи просту програму C# для перевірки доступу до GPU
- Випробовування базових висновків з програмою ONNX Runtime
- Оцінка нашого A4000, щоб зрозуміти, що ми можемо зробити
Це може здатися простим,, але правильно встановлювати стег GPU є вирішальним. ЯM SK2 марнували години на розв 'язання проблем, які спричинялися неправильними версіями чи бракуючими DLLs .
Чому це важливо
Крім того, що це просто крутий проект, цей підхід має реальні застосування.
- Технічна документація - Утримка послідовного стилю у великих наборах doc
- Юридична практика - Справка про реальне використанняM SK1 Доклади, використовуючи прецеденти judikatuри
- Маркетинг контенту - Утримування брендового голосу в командах
- Академічне письмо - Схожість з попередніми дослідженнями та дослідженнями
- Керування особистими знаннями - Письменний асистент для власного корпусу
Принципи, що їх ми застосуємо, apply to any domain where you have existing content and need to maintain consistency while creating new material
Завершення
Ми ' розпочинаємо подорож, щоб побудувати продуктивну систему RAG - МSK2 , яка базується на ассистенті-консультанті в C МSK3 і допомагає розробляти контент блогу, використовуючи минулі статті як матеріал для підказки \ - \ так само, як юристи використовують LLMs, навчені Jurisprudence \ МSK5 \ Ми ' \ використаємо сучасний графічний комп 'ютер \ , \ найновіші \ мSK8 \ NET характеристики , \ та битву \мSK10 \ тестований штучний інтелект \
Це не дитячий проект. Ми створюємо щось, що дійсно може бути корисно для кожного, хто пише регулярно і хоче підтримувати послідовність, стиль, якість в великій кількості робіт
У наступній частині ми зробимо руки брудними за допомогою ЦUDA, МСК2, ГПЗ, МSK3 і переконаємось, що наша сфера розвитку готова до майбутніх проблем.
Залишайся на зв 'язку, і приготуйтеся до того, щоб дізнатись про вбудовані додатки , векторні бази даних МSK2 стратегії відокремлення chunks M SK3 швидке інженерне забезпечення , та всі інші чудові складності сучасних ШІ-систем
Навігація серії
- Частина 1: Вprowadzenie МSK1 Архітектура (this postM SK1
- Частина 2: Установка GPU & CUDA в C#
- Частина 3: Порозуміння вбудованих компонентів МSK1 Вektorні бази даних
- Частина 4: Збудування каналу впиту
- Частина 5: Windows Client
- Частина 6: Локальна інтеграція LLM
- Частина 7: генерація контенту МSK1 швидка інженерія
- Частина 8: Заawansовані характеристики & Розгортання виробництва
Ресурс
Якщо ви хочете отримати головний старт, ось деякі ресурси, які я буду відноситься до впродовж цієї серіїM SK2
- Документація про час бігу на NX
- LLamaSharp GitHub
- Документація Qdrant
- Перетворники речей
- Розуміння систем РАГ
Побачимося Частина 2!