Back to "Збудувати " Адвоката GPTM SK1 для вашого блогу | МСК2 | Частина | 1: | Введение |МSK4 | архітектура"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

This is a preview from the server running through my markdig pipeline

AI AI-Article C# LLM mostlylucid.blogllm RAG

Збудувати " Адвоката GPTM SK1 для вашого блогу | МСК2 | Частина | 1: | Введение |МSK4 | архітектура

Wednesday, 12 November 2025

Введение

Занурюйтесь, бо це буде довга серія.! Якщо ви' слідкуєте за цим блогом(МSK2), то ви( МSK3) знаєте, що я' трохи одержимий пошуком цікавих способів використовувати LLM та штучний інтелект у практичних застосуваннях. . Ну, так, МSK6 Я( M SK7 ) маю новий проект, який об 'єднує мою любов до блогінгу.

NOTE: Це частина моїх експериментів з штучним інтелектом

Подумайте про те, як сучасні правові практики використовують літературних літераторів, яких навчили jurisprudenції, для викладання петицій. МСК0, постановок, МСК1 і угод. МSK2 Вони не починають з нуля. М СК4, система відноситься до відповідних précédentів. М АК5, запропонує мову, засновану на успішних попередніх документах. МАК6, і зберігає послідовність із закріпленими шаблонами. МУК7, це саме те, що ми тут будуємо. МДК9, але для контенту блогу. МТК11

Метою проекту є створення

  • Допоможає намалювати нові блогові статті у моєму закріпленому стилі
  • Спропонує відповідний зміст минулих статей для використання
  • Знаходить схожі місця для підтримки послідовності
  • Auto-generates internal links to related articles
  • Такі дії як "GitHub Copilot для вашого блогу"

Ця серія охоплює будівництво Поширене генерування пошуку (RAGM SK1 система в C#, яка працює на Windows . МиM SK2 використаємо останні підходи та фреймворки M SK3 і I' пояснюємо кожну нову технологію, коли ми з нею стикаємося

Моє обладнання ( і мінімальні характеристики )

Моя машина для розвитку:

  • ҐПУ: NVIDIA RTX A
  • Процесор: AMD Ryzen
  • RAMМSK0 96ГБ ГДРM SK2

Це моє конкретне налаштування,, але ви don' не потребує цього обладнання слідувати за ним. Ось мінімальні характеристики для різних компонентівM SK1

Пришвидшування GPU (Рекомендується , не обов 'язковоM SK2

  • Найменше: NVIDIA GPU з МSK1GB VRAM (eM SK3g., RTX МSK5 GTX
    • Можна запустити моделі параметрів 7B з квантизацією
    • Пристойна швидкість генерації вбудованих
  • КомфортноМSK0 12GB+ VRAM МSK3eM SK4gMSC5 RTX 3060 \ 12GB~, \ RTX
    • Пройти більші моделі або високоякісні квантування
  • Моє налаштування: МSK1GB (AM SK3 ♫ ♫ МSK4 ♫ Можути рухатись ♫ 13B моделі комфортно

Або лише альтернатива

  • Найменше: Современный квад - ядро
  • РекомендуєтьсяМSK0 8+ ядра МSK2 для раціональної генерації вмонтованих модулів )
  • Все працює на процесорі.
    • генерування Embedding: M SK1x повільніше
    • Припущення LLM: M SK1x повільніше
    • Все ще цілком корисний для писемного асистента!

Требування RAM

  • Найменше: 16 ГБ оперативної пам 'яті
    • Процесор - тільки для висновків для моделей 7B
  • КомфортноМSK0 32ГБ
    • Краще для більших моделей на ЦП
  • Моє налаштуванняМSK0 96 ГБ МSK2 Перехиляння , \ 32 ГB - це багато

Утримка

  • SSD: Рекомендується для завантаження моделі
  • Простір: МSK1ГБ для моделей та векторної бази даних

Що про Intel/AMD NPUs?

Сучасні процесори тепер містять dedykowanі прискорювачі штучного інтелекту:

  • Корінь Intel Ultra МSK0Meteor Lake+) M SK2 Intel AI Boost (NPU)
  • AMD Ryzen AI Серія (7040/8040
  • AMD Ryzen AI Max (Стрикс-полюс МSK1 МSK2 До 50 ШОК

Важливо: Непотрібні нейрони для висновків лишеM SK1 Ви не будуєте models на МСК1, МСК2 чи на локомотивах бігати до- ефективним навчанням моделей . Моделі тренуються на хмарних графічних комп 'ютерах МSK2 чи на робочих станціях M SK3 а потім завантажуються і розгортаються на НТЦ для висновку .

Текущий стан запуску моделей на НПУ (написанняM SK1

  • ✅ Чудово для
  • ⚠️ Ограничений для нашого використання: Невичерпний .NETM SK3ONNX Obsługа запуску
  • ❌ Не готовий доM SK1 Примарні шляхи цього проекту '

Чому б не NPU для цієї серії?

  1. Екосистема програмного забезпечення: CUDA має 15+ роки терміну погашення МSK2 підтримка NPU в МSK3NET зароджується
  2. Модельна здатність: Більшість моделей GGUF мають на меті CUDAM SK1CPU, NPU - Оптимовані моделі рідкісні
  3. Документація: Ограничені ресурси для розробки НПУ в ЦM SK1
  4. Результати: Наразі повільніше, ніж дискретні GPU для нашого навантаження
  5. Obsługа DirectML: Досі експериментальні для LLM висновку

Чи можете ви використовувати NPU для висновків?

  • Потрібно DirectML постачальник виконання в часі запуску ONNX
  • Моделі мають бути в форматі ONNX (не GGUF)
  • Поддержка C# експериментальна
  • На даний момент показник у порівнянні з . CUDA .

Як спробувати припущення NPU (розвинені користувачіM SK1

# Use DirectML execution provider (supports NPU)
dotnet add package Microsoft.ML.OnnxRuntime.DirectML

# In code:
var sessionOptions = new SessionOptions();
sessionOptions.AppendExecutionProvider("DML"); // DirectML
var session = new InferenceSession("model.onnx", sessionOptions);

Майбутнє обговорення: Один раз Пропускний час на NX і DirectML зростає їхнє підтримування NPU (ймовірно 2024-2025), вони стануть життєздатними альтернативами для висновків

Лінія внизу: ЯM SK1 покажу GPU - прискорений шлях , але помічаю, що в CPU МSK4 є лише альтернативи впродовж всього M SK5 Ви можете розпочати CPU MSC6 тільки і потім оновлюватися

Що ми будуємо

Остання система матиме декілька компонентів:

  1. Лінія з маркуванням впиту - Обробляє всі блогові пости , розібрає їх розумно M SK2 і генерує вбудова
  2. База даних вектора - Поміщає вбудовані додатки і umożliwia семантичні пошуки подібного контенту
  3. Програму для клієнта Windows - Администратор інтерфейсу для написання на робочому столі з редактором та панелем запропонувань
  4. Інтеграція LLM - локальний графічний процессор - прискорене виведення для генерації контенту
  5. Цитація & генерація зв 'язків - AutoM SK1запропонує внутрішні зв 'язки та посилання на пов' язані посади
  6. Інжинія послідовності стилю - Учить шаблони з існуючих постів, щоб підтримувати голос і структуру

Подумайте про це так: "GitHub Copilot meets Grammarly " but trained specifically on your blog

Чому? " Адвокат GPTM SK1

Сучасні адвокатські фірми використовують літературні літератори, які навчені у величезних бібліотеках правової практики, щоб допомогти розробляти документи.

  • Довідки про важливі прецеденти та минулі успішні аргументи
  • Запропонує візерунки мови, які працювали раніше
  • Утримує послідовність з стандартами правопису
  • Цитує джерела автоматично

Це наша модель. Коли я починаю писати: "" МСК2 "", "" Додаємо структуру об 'єктів для "...",", система має

  • Найти мої попередні wpisи на тему EF-
  • Запропонуйте структурні візерунки, які я раніше використовував
  • Oferujemy фрагменти коду з минулих статей
  • Auto-generate links to related posts
  • Утримуйте мій стиль письма і технічну глибину

На відміну від звичайних асистентів-писачів-штучного інтелекту, наша система базується на реальному минулому контенті, тож вона не запропонує речей, які суперечать тому, що я вже написав.

Обзор серії

Ось що ми збираємося розповісти за наступні кілька тижнів.

Частина 1 ( Цей постM SK2 Вprowadzenie МSK3 Архітектура

Ми зробимо висновок про те, що ми будуємо і чому. Ми також візьмемо за основу архітектурні рішення.

Частина 2: Установка GPU & CUDA в C#

Установлення Windows для GPU-сшвидшений штучний інтелект ЦUDA, cuDNN, і тестування того, що CM SK1 дійсно бачить та використовує ваші GPU

Частина 3: Порозуміння вбудованих компонентів МSK1 Вektorні бази даних

Глибоко розгляньмо, що таке вбудовані додатки. , як вони роблять семантичні пошуки , і вибирають правильну векторну базу даних МSK2 спилер МSK3 ми \ ' \ ймовірно використаємо Кдрант або pgvector).

Частина 4: Збудування каналу впиту

Обробка файлів відмітки, розумні стратегії відокремлення МSK1 ви можетеM SK2 не просто розділяти на абзаци!), і генерувати вбудова для всього нашого контентуMSC4

Частина 5: Windows Client

Вибір правильної системи. (WPF, Авалонія, або МОЮ?), побудова інтерфейсу , і зробити його справді приємним для використання

Частина 6: Локальна інтеграція LLM

Використовуючи локальні моделі Пропускний час на NX, llama.cpp зв 'язки, або інші підходиM SK1

Частина 7: генерація контенту МSK1 швидка інженерія

Об 'єднати все це разом. - семантичний пошук релевантного контенту , управління контекстними вікнами МSK2 швидке інженерне забезпечення для допомоги при написанні M SK3 і генерування послідовних задумів .

Частина 8: Заawansовані характеристики & Розгортання виробництва

Автоматичний-відсилання до інших постівМSK1 перевірка послідовності стилюM SK2 запропонування фрагментів коду МSK3, що робить систему дійсно корисною для щоденного письма .

Чому RAG?

Перед тим, як зануритися в архітектуру, давайте поговоримо про те, чому RAG (Retrieval Augmented GenerationM SK3 є правильним рішенням.

Проблема з Fine-Tuning

Ви могли б подумати:: M SK1 Чому б не просто добре - підлаштувати LLM на всі блогові статті?" Є декілька проблем з цимMSC4

  1. Ціна & Сложність - ЧудовоM SK1встановлення дорогого (в обох обчисленнях і в зусиллях)
  2. Нестабільність - Кожен новий блог - це переобучение
  3. Чорна коробка - складно зрозуміти, що ця модель навчилася
  4. Галюцинація - Немає гарантії, що модель виграє
  5. Ніяких цитацій - Не можеM SK1 легко відслідковувати відповіді назад до джерел

Як RAG це вирішує

RAG об 'єднує найкраще з обох світів: потужність LLM та точність пошуку для створення контекстуM SK1 генерування контенту з осягомленням.

Потік::

  1. Пользователь починає писати: (eM SK1g., "Budування REST API з ASPMSC4NET CoreMST5
  2. Система знаходить семантично схожі минулі статті
  3. Система передає важливі шматочки в контекст LLM
  4. LLM генерує підказки/продовження на основі попереднього контенту
  5. Система пропонує підказки з відсылками на робочі місця

Це означає:

  • ✅ Знову вгорі МSK1 до МSK2 дата M( просто переглянути МСК4 індикатор нових постів, як ви їх пишете
  • ✅ Побудована на вашій дійсності
  • ✅ Прослідковується МSK1 знають, які минулі пости вплинули на ідеїM SK2
  • ✅ Эффективний МSK1 не дорогою реінструкцією на кожен новий пост МSK2
  • ✅ Гнучкий ( здатний замінити LLM або змінити стратегії пошуку
  • ✅ конфіденциальність - збереження МSK2 все працює локально МSK3

Архітектура системи

Дозвольте мені розібратися з ключовими компонентами, які ми будуємо.

graph TB
    A[Markdown Files] -->|Ingest| B[Chunking Service]
    B -->|Text Chunks| C[Embedding Model]
    C -->|Vectors| D[Vector Database]

    E[User Writing] -->|Current Draft| F[Windows Client]
    F -->|Embed Context| C
    C -->|Query Vector| D
    D -->|Similar Content| G[Context Builder]

    G -->|Relevant Past Articles| H[Prompt Engineer]
    H -->|Prompt + Context| I[Local LLM]
    I -->|Generated Suggestions| J[Link Generator]
    J -->|Suggestions + Citations| F

    F -->|Display| K[Editor with Suggestions]

    class C,I embedding
    class D,K output

    classDef embedding stroke:#333,stroke-width:4px
    classDef output stroke:#333,stroke-width:4px

1. Марка-даун

Ця компонента:

  • Вичитує файли відмітки з каталогу блогів
  • Витягує метадані (головокМSK1 категорії, датаM SK3 кількість слів МSK4
  • Розумно відрізує зміст (зберігаючи кодові блоки для повторного використанняM SK1
  • Визначає структурні шаблони ( як я організую посадиM SK1
  • Прослідковує джерело інформації для генерації цитацій

Головний виклик: Strategiя накладання має величезний вплив . Надто маленька, і ви втрачаєте контекст МSK2 надто велика, і Ви марнуєте LLM МSK3 вікно контексту \ . Нам потрібні фрагменти, які мають семантичний зміст

2. Модель вмонтування

Вбудова - це магія, яка робить семантичний пошук ефективним.

Схожі поняття закінчуються: "закритиM SK1 у векторному просторі , навіть, якщо вони використовують різні слова

Наприклад:

  • " міграція бази даних " і МSK2 оновлення схеми DB МSK3 мали б подібні вбудовані
  • " кота " і МSK2 кіт МSK3 були б ближчими, ніж MSК4 коти МСК5 та МСК6 база данихМСК7

Вибір технологій: Ми ' скоріш за все використовуватимемо один чи інший

База даних вектора 3.

Вektorна база даних зберігає вбудовані додатки і дає можливість швидкого пошуку схожості. Коли виM SK1 пишете про "Docker compose", вона знаходить найсемантично схожіший за минулим змістом K МSK4 не лише співпадіння ключів до словаMSC5 але й концептуально пов 'язаний матеріал МSK6

Вибір технологійМSK0 Ми' ОцінюватимемоM SK2

  • Кдрант - СовременнийM SK1 написане в руті, чудовий CMSC3 клієнтMST4 ДокерM ST5 дружній
  • pgvector - Поширення для PostgreSQL
  • Вов 'язати - Ще одна надійна опція з хорошим підтримкою .NET
  • Хroma - Поширені на Python-землі, менше в CM SK2

I' я налаштований на Qdrant через свою простоту і продуктивність , чи pgvector для того, щоб все було в Postgres МSK2

4. Windows Client

Нам потрібен гарний інтерфейс для написання з допомогою штучного інтелекту.

WPF (Windows Presentation Foundation

  • ✅ ДорослійM SK1 стабільний , багато ресурсів
  • ✅ Obsługа нативних Windows
  • ❌ WindowsM SK1 тільки
  • ❌ Здається застарілим, якщо ви не інвестуєте в інтерфейсні бібліотеки

Авалонія

  • ✅ Кроссіальний МSK1платформа МSK2XAML -засаджений на МSK4
  • ✅ СовременныйM SK1 активно розроблений
  • ✅ Схоже на WPF
  • ❌ менша екосистема

MAUI (МільйозоміM SK1платформенний інтерфейс програмного забезпечення )

  • ✅ КроссM SK1платформа
  • ✅ Microsoft-за підтримки
  • ❌ Досить виростає
  • ❌ Більше мобільностіM SK1фокусовані

Оскільки ми - Windows, ми - - і я хочу щось стабільне. WPF з Нова інтерфейса користувача WPF або Авалонія для того, щоб з 'єднати

5. Локальна інтеграція LLM

Ось де A4000 GPU світиться. Ми хочемо запустити LLM локально для

  • Prywatність (никаких даних не надсилають до APIsM SK1
  • Швидкість ( локальна деференція швидка МSK1
  • Ціна (без फीза APIM SK1
  • Kontrolа ( ми вибираємо модель )

Технології:

Пропускний час на NX

  • Перетворити моделі на формат ONNX
  • Отож, чудове прискорення GPU
  • Нативна підтримка C#
  • Донизу: Не всі моделі добре конвертуються

llama.cpp зв 'язки

  • Biblioteka C++ з прив 'язками CМSK1Лалам-Шарп)
  • Obsługа CUDA
  • Szeroka модельна підтримка (LlamaM SK1 Mistral, і т.д.
  • Дуже активний розвиток

Торч-Шарп

  • Об 'єднання PyTorch для .NET
  • Найбільша гнучкість
  • Швидша кривая навчання

I' я нахилюсь Лалам-Шарп для їхньої зрілості та легкості використання з популярними моделями.

6. Контекстове управління вікнами & Про prompt Engineering

У LLM є обмежені контекстні вікна. (eM SK1g., 4KMSC4

  • Звідси віднайти найпоширеніший минулий контент (top K із векторного пошукуM SK1
  • Вставляйте їх у контекстне вікно з теперішнім проектом
  • Структурувати про prompt для писемної допомоги
  • Залишити простір для генерованих задумів

Це складніше, ніж здається.

  • Динамічний вибір K, який базується на тому, що ви зараз пишете
  • Re-рейтинг відібраних фрагментів по значущості
  • Розумно стискати контекст
  • Multi-штовпування з прикладами минулих постів

7. Ссылка МSK1 генерація цитат

Кожен шматок потребує метадань:

  • Źródальний файл/запис
  • Позиция в оригінальному документі
  • Дата публікації
  • Kategoriї
  • Використововані фрагменти коду

Коли LLM генерує підказки, ми автоматично створюємо відміткові зв 'язки до вихідних постів і визначаємо повторювані шаблони кодуM SK1

Що робить це відмінним?

Там є багато уроків РАG, але ця серія буде іншою.

  1. C# Перше - Більшість прикладів RAG є в Pythonі . Ми МSK2 закінчуємо
  2. ОС Windows & GPU - Використовуючи NVIDIA CUDA на Windows, не LinuxM SK2WSL
  3. Готова до виробництва - Це не просто доказМSK1модуМСК2концептуМ СК3, а справжній корисний код
  4. Домен-конкретний - Оптимований для допомоги в написанні блогівM SK1 не генерує типового контенту
  5. Глибокі пояснения Ми пояснюємо, чому ми приймаємо рішення

Технології, які ми використовуватимемо

Ось тут – МСК0 – це технологічна база. Я – МSK1 – планування. МSK2

Коренная база

  • МSK0NET 9 (станнє на момент написанняM SK1
  • C# M SK1 - Современні мовні характеристики

Бібліотеки AI/ML

База даних вектора

Корабель інтерфейсу

  • WPF з ModernWPF або Авалонія - Совремельне інтерфейс робочого столу

Використовуючи інструменти

  • Маркдіг - Ви вже використовуєте це для аналізу позначки
  • Докер - Для запуску Qdrant або інших послуг
  • Кора сутності - Якщо ми використовуємо pgvector

Стак GPU

  • ЦUDA 12.x (станнє на момент написанняM SK1
  • cuDNN - Примітиви глибокого навчання

Рівень ефективності

Різні налаштування мають різні можливості:

З VRAM 8GB (Minimum МSK2

  • Розмір моделі: 7B - моделі параметрів з квантизацією QM SK2
  • Обробка пакетів: Введення процесів у менші пакети
  • Менеджмент пам 'яті: Потрібно ретельно контролювати VRAM
  • Добре працює для: Вказівник на написанняM SK1 генерування вбудованих

З VRAM 12GBM SK1 (Comfortable)

  • Розмір моделіМSK0 7B з високоякісною квантизацією
  • Обробка пакетів: Більші партії для більшої пропускної спроможності
  • Можна також бігати: Деякі МSK1B моделі з агресивною квантизацією

16GBM SK1 VRAM (Моє налаштування)

  • Розмір моделі: МSK1BM SK2B - зручні моделі параметрів
  • Обробка пакетів: Полні партії , мінімальні обмеження
  • Швидкі висновки: СубM SK1секундні часи реагування
  • Столова: Може експериментувати з різними моделями

CPU-Только M SK1Fallback)

  • Все працює, просто повільніше
  • Вбудова: 5-10x повільніше, ніж GPU
  • Дослідження LLM: 10-50x повільніше, ніж GPU
  • Все ще корисний: Для писемного асистента з терпінням

Дохід до розвитку

Ми МСК0 , ми будуємо його поступово ":".

  1. Почнемо з найпростіших компонентів: (відмітка, читання
  2. Додайте генерацію вміщування. ( може почати з APIM SK1 замість локального)
  3. Почати роботу векторного пошуку
  4. Збудувати базовий інтерфейс
  5. Об 'єднати LLM
  6. Поляк та оптимізувати

Кожна деталь зможе бути розроблена і перевірена самостійно.. Немає великих жахів з інтеграцією.

Що' СледующаяM SK1

В Частина 2: Установка GPU & CUDA в C#, ми ' отримаємо руки МSK2 з налаштуванням GPU M SK3

  • Установлення CUDA та cuDNN на Windows
  • Установлення середовища розвитку
  • Використовуючи просту програму C# для перевірки доступу до GPU
  • Випробовування базових висновків з програмою ONNX Runtime
  • Оцінка нашого A4000, щоб зрозуміти, що ми можемо зробити

Це може здатися простим,, але правильно встановлювати стег GPU є вирішальним. ЯM SK2 марнували години на розв 'язання проблем, які спричинялися неправильними версіями чи бракуючими DLLs .

Чому це важливо

Крім того, що це просто крутий проект, цей підхід має реальні застосування.

  • Технічна документація - Утримка послідовного стилю у великих наборах doc
  • Юридична практика - Справка про реальне використанняM SK1 Доклади, використовуючи прецеденти judikatuри
  • Маркетинг контенту - Утримування брендового голосу в командах
  • Академічне письмо - Схожість з попередніми дослідженнями та дослідженнями
  • Керування особистими знаннями - Письменний асистент для власного корпусу

Принципи, що їх ми застосуємо, apply to any domain where you have existing content and need to maintain consistency while creating new material

Завершення

Ми ' розпочинаємо подорож, щоб побудувати продуктивну систему RAG - МSK2 , яка базується на ассистенті-консультанті в C МSK3 і допомагає розробляти контент блогу, використовуючи минулі статті як матеріал для підказки \ - \ так само, як юристи використовують LLMs, навчені Jurisprudence \ МSK5 \ Ми ' \ використаємо сучасний графічний комп 'ютер \ , \ найновіші \ мSK8 \ NET характеристики , \ та битву \мSK10 \ тестований штучний інтелект \

Це не дитячий проект. Ми створюємо щось, що дійсно може бути корисно для кожного, хто пише регулярно і хоче підтримувати послідовність, стиль, якість в великій кількості робіт

У наступній частині ми зробимо руки брудними за допомогою ЦUDA, МСК2, ГПЗ, МSK3 і переконаємось, що наша сфера розвитку готова до майбутніх проблем.

Залишайся на зв 'язку, і приготуйтеся до того, щоб дізнатись про вбудовані додатки , векторні бази даних МSK2 стратегії відокремлення chunks M SK3 швидке інженерне забезпечення , та всі інші чудові складності сучасних ШІ-систем

Навігація серії

Ресурс

Якщо ви хочете отримати головний старт, ось деякі ресурси, які я буду відноситься до впродовж цієї серіїM SK2

Побачимося Частина 2!

logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.