Back to "RAG пояснила: Походження та основи"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

This is a preview from the server running through my markdig pipeline

AI AI-Article LLM Machine Learning RAG Semantic Search

RAG пояснила: Походження та основи

Saturday, 22 November 2025

Я ніколи не шукав " інструкції з розгортання " і нічого не отримавMSC2 навіть якщо там єM SK3 стаття про МSK4 видаwanie до виробництва"? РАГ МSK6 ПерешуканняMСК7 Поширене генерування МСК8 вирішує це, зрозумівши значенняМСК9 не тільки ключові слова М СК10 Ця серія показує вам, як виникла РАГ МСК11 як він працює під капюшоном MСК12 і як побудувати системи виробництваМ СЦК13 Від семантичного пошуку до штучного інтелектуM СЦK14 наділений Q МШК15 А з цитатами МСП16 все з працюючою Ц МСС17 приклади коду ММСК18

Введение

Навігація серії 📖 Це частина 1 РАG (RetrievalM SK2Augmented Generation

RAG (RetrievalM SK1Augmented Generation) був розроблений, щоб зробити штучний інтелект розумнішим — даючи ЛЛМ доступ до інформації, яку вони не мали МSK4 не були навчені на МSK5 Але ось що в МSK6 що в ' цікаво М SK8 технологія відкриває можливості далеко за межами штучного чатбота M SK9 вона дає силу семантичним пошукам на веб-сайтах

Двойна природа: RAG може допомогти клієнтам: ( кращий пошук; , точні відповіді з цитатами; МSK2 або використовувати їх; МSK3 маніпулятивні поради; M SK4 пам 'ятування негативних відгуків;, поширення рекламного контенту; ). Різниця полягає в тому, що МSK7 – це не технологія, а МSK8 – це наміри; МСК9 – намірі; МSК10 – семантичний пошук, який допомагає користувачам знайти те, чого вони насправді потребують; ММСК11 – чудовий; MМСК12 – один із тих, що надає перевагу тому, чим ти заробляєш найбільше грошей, тоді як виглядаєш допомігним.

Ось правда про РАГ Це звучить загрозливо. Вektorні вбудовані модуліM SK1 Моделі трансформаторів ? Квітальні хаїси МSK3 Але, як і все інше у програмному забезпечення, МSK4 це МSK5 лише про те, щоб зрозуміти, як він працює МСК6 Вам не потрібно М СК7 знати математику, яка стоїть за архітектурою трансформатора, більше, ніж вам потрібно розуміти конструкцію для написання C M СК8

РАГ в трьох кроках:

  1. Перетворити текст на цифри (введенняM SK1
  2. Найти подібні числа ( пошук вектораM SK1
  3. Використовуйте те, що ви знайшли: (отображайте результати або перейдете до LLM

Це МСК0 , а це МСК1 . Решта - деталі розробки.

Ця серія показує, як побудувати RAG-системи, які працюють за допомогою коду C# . Без ручного обертання МSK2 Без припущень

Що ви зрозумієте в цій серії?

  • Частина 1 МSK1 цей artykułM SK2: Як виникла РАG і чому вона важлива
  • Частина 2: Полна технічна архітектура і інтерфейси LLM
  • Частина 3: Побудувати реальні системи з прикладами коду

Пізніше я покажу вам, як побудувати цілу систему RAG, включно з

Що таке RAG?

Видобуток-Augmented GenerationM SK1 Найти важливу інформацію, потім використати їїM SK1

flowchart LR
    A[User Question] --> B[Retrieve Relevant Info]
    B --> C[Retrieved Documents/Context]
    C --> D[Generate Response]
    A --> D
    D --> E[Grounded, Accurate Answer]

    style B stroke:#f9f,stroke-width:2px
    style D stroke:#bbf,stroke-width:2px

Без РАG: Пользователь запитує: → LLM припускає з пам 'яті, що → може галюцинувати

З РАГ: Пользователь запитує: → Найти необхідні Docs → LLM відповіді, використовуючи ті Docs

// Without RAG: Hope the LLM knows
var answer = await llm.GenerateAsync("How do I deploy Docker?");
// Risk: Might make up outdated or wrong steps

// With RAG: Give it the docs
var relevantDocs = await vectorSearch.FindSimilar("How do I deploy Docker?");
var context = string.Join("\n", relevantDocs.Select(d => d.Text));
var answer = await llm.GenerateAsync($"Context: {context}\n\nQuestion: How do I deploy Docker?");
// Result: Answer based on YOUR actual Docker deployment docs

Ключеві ідеї: Розмежне зберігання знань ( пошук ) від обґрунтування

Звідки взялася РАГ

RAG базується на десятиліттях пошуку та дослідження NLP. Розуміння цієї історії допоможе вам зрозуміти, чому RAG розроблений так, як він є

Традиційне пошук (pre-2010sM SK2

Keyword-на основі пошукуM SK1

  • TF-IDF: Частота тривалості МSK1 частота зворотнього документу МSK2 звичайні слова менш важливі
  • BM25: Ймовірний рейтинг - досі базовий для пошуку ключевих слів
  • Невизначено співпадіння:
    • Звуковий матеріал: Телефонічний алгоритм ("SmithM SK2 співпадає МSK3Smythe")
    • Дистанція Левенштейна: Управляємо відстані МSK1багато вставокМСК2удаленняMСК3замінкиМ СК4
    • N-Grams: KarakterM SK1 послідовності слів для часткового співпадіння

Проблема: Вони співпадають символи, не значення. Поиск " Оркестрування контейнерів МSK2 і ви виграєте МSK3 не знайдете мSK4 Докер-шварт мSK5 допоки ці слова не з 'являться . Вони могли виконувати типи, але не семантику

Відповідь на раннє запитання (2010sM SK1

Watson (IBMM SK1 2011):

  • Об 'єднання пошуку з розрахунками на основі правил-
  • Вииграв Jeopardy! але потребував величезної рукиM SK1 штучного знання
  • І все ще сильно залежать від співпадіння ключевих слів

Моделі розуміння читання:

  • Можна було отримати відповіді з запропонованих уривок
  • Але спочатку треба було дати їм правильний шлях.
  • Жоден семантичний пошук, щоб знайти цей абзац

Революція глибокого навчання (2017+)

Перетворники (2017): "Увага - це все, що вам потрібно"

  • Нейронні мережі, які можуть розуміти контекст
  • Основа для всього, що сталося після

БЕРТ (2018):

  • Контекстове розуміння мови
  • МСК0БанкМSK1 означає різні речі в "біжній банкуМСК3 проти МСК4заощадженьному банкуMСК5
  • Можна створити вбудовані додатки, які захоплюють значення

ГПЗМSK0 (2019/2020):

  • Великі мовні моделі, які могли б генерувати послідовний текст
  • але лише на їх тренувальних даних
  • Проблеми галюцинацій виникли

Широкі вектори:

  • Текст → значні числа у просторі високого розміру
  • Схожі значення векторів поблизу →
  • Це зробило можливим семантичний пошук

БART МSK0Facebook AI, Октябрь M SK2

  • Двохсторонній та автоматичний-Регресивний трансформатор Майка Льюїса та іншихM SK1
  • Поєднання кодувальника BERT- з декодером GPTM SK1
  • Зруйнування автоенкодера, навчаного псованим текстом, а потім реконструюючи його
  • Чудово для генерації тексту та задач зрозумів
  • Стало основою РАГ

ММSK0M-100 M SK2Facebook AI, Октябрь 2020):

  • Перше багато-на-багато мультимовних моделей перекладу
  • Прямий переклад між мовами 100 без англійського повороту
  • 2,200 мовні напрямки (10x більше, ніж попередні моделі
  • Показані трансформатори могли виконувати величезні міжланкові-задачі

Реальний-приклад світуM SK1 Моя інструмент для перекладу нейронних машин використовує BART як модель зворотнього перетворення, коли первинні послуги недоступні.

Народіння сучасного РАГ (Май МSK1

Початковий документ "Видобуток МСК0 Поширене генерування знань МSK1Мовні завдання НЛП" від Патріка Льюїса та інших МSK1 МSK2Facebook AI Research ) офіційно запровадило RAG

Що вони об 'єднали:

  • Дослідження щільного проходу (DPR) - представлення вектора, вивченеM SK3 не ключові слова
  • Генератор БАРТ - модель МSK1 seq з МSK2
  • Закінчити-на-завершити розмежовлювану архітектуру M SK2 віднайти і генерувати разом

Результати: Системи RAG випереджували значно більші моделі з знаннями.

Чому RAG вибухнув?

ChatGPT, GPT -4, і Клод зробив RAG невід 'ємним

  1. Проблема галюцинацій - Лідери LLM впевнені в тому, що вони вигадують факти
  2. Вирізання знань - Літактори, навчені на даних МSK1 не знають МSK2 не знає про 2024 події
  3. Prywatні дані - LLMs can't access your company ' internal docs МSK3 RAG can
  4. Ціна - Гарний МSK1Налагодження LLM дорого коштує ($10KM SK3K++). RAG дешево МSK5збереження
  5. Пояснення - РАG може цитувати джерела , роблячи їх доступними для перевірки та надійними МSK2

Сьогодні (2024-2025): RAG - це де-факто стандарт для систем виробництва штучного інтелекту, які потребують точності та перевірливості.

Як працює РАГ: Велика картина

Перед тим, як зануритися у технічні деталі (, яку ми МSK1 опишемо в частині МSK2, дайте ' зрозуміти високий ХМSK4 рівень робочого потоку ГМSK5

Три етапи

Системи RAG працюють в трьох різних етапах:

Фаза 1: Індексування МSK1 Один -Встановлення часу МSK3

flowchart LR
    A[Your Documents] --> B[Split into Chunks]
    B --> C[Generate Embeddings]
    C --> D[Store in Vector DB]

    style C stroke:#f9f,stroke-width:2px
    style D stroke:#bbf,stroke-width:2px

Що відбувається?

  1. Візьміть свою базу знань.
  2. Розподілити на обробляемые шматочки (пунктиM SK1 розділиМSK2
  3. Перетворити кожен шматок на векторне введення ( сукупність чиселM SK1
  4. Поміщайте вектори в базі даних, оптимізовані для пошуку схожості

Ключева концепція: Схожі значення створюють схожі вектори, так, що "Докерний контейнерM SK2 і МSK3платформа для контейнерівМSK4 закінчуються тісно разом у векторному просторі.

Фаза 2: Діагностика МSK1 Кожне запитання МSK2

flowchart LR
    A[User Question] --> B[Generate Query Embedding]
    B --> C[Search Vector DB]
    C --> D[Top K Most Similar Chunks]

    style B stroke:#f9f,stroke-width:2px
    style C stroke:#bbf,stroke-width:2px

Що відбувається?

  1. Пользователь задає питання
  2. Перетворити питання на вектор (саму модель, яку використали для індексуванняM SK1
  3. Найти найбільш схожі вектори в базі даних
  4. Поверніть верхню частину K найбільш відповідних шматків (звичайно 3-10)

Чому це працює: " Як я розміщую контейнери ?" МSK2 питання МSK3 семантично подібне до фрагментів про розміщение Докера M SK4 навіть якщо різні слова

Фаза 3: генерація МSK1 Кожне запитання МSK2

flowchart TB
    A[User Question] --> B[Build Prompt]
    C[Retrieved Context] --> B
    B --> D[LLM]
    D --> E[Generated Answer with Citations]

    style B stroke:#f9f,stroke-width:2px
    style D stroke:#bbf,stroke-width:2px

Що відбувається?

  1. Розгляньмо питання користувача'
  2. Візьміть отримані фрагменти контексту
  3. Створити про prompt
  4. Посилати на LLM для генерації
  5. LLM дає відповідь, засновану на заданому контексті

Магія: ЛЛМ може галюцинувати факти, які не є в контексті. Він може тільки синтезувати та пояснити, що йому дано.

Простий приклад

Дозвольте' відслідковувати пошук через системуM SK1

Пользователь запитує: "Як я користуюсь Docker Compose

Шаг 1 МSK1 ПерейняттяM SK2

Query embedding: [0.234, -0.891, 0.567, ...]

Search vector DB for similar embeddings...

Retrieved chunks:
1. "Docker Compose is a tool for defining multi-container applications..." (similarity: 0.92)
2. "To use Docker Compose, create a docker-compose.yml file..." (similarity: 0.87)
3. "The docker-compose up command starts all services..." (similarity: 0.83)

Шаг 2 МSK1 генераціяM SK2

Prompt to LLM:
"Context:
[1] Docker Compose is a tool for defining multi-container applications...
[2] To use Docker Compose, create a docker-compose.yml file...
[3] The docker-compose up command starts all services...

Question: How do I use Docker Compose?

Answer (use the context above):"

LLM Response:
"To use Docker Compose [1], start by creating a docker-compose.yml file [2] that
defines your services. Then run 'docker-compose up' to start all services [3]..."

Результат: Справжня відповідь з прихованими цитатами з вашої документації.

RAG проти. Інші підходи

Для того, щоб зрозуміти, коли використовувати RAG ( і коли не ), потрібно порівняти його з альтернативамиM SK2

РАГ протиМSK0 Фині-Tuning

Концепція МSK1 РАГ МSK2 Чудово - Налаштування မ်SK4
Обновлення знань Незабаром МSK1just update the knowledge baseM SK2 МSK3 Requires retraining
Ціна Трохи нижчий МSK1 зберігання МSK2 вбудова ) мSK4 високий мSK5 час тренування ГПЗ
Точность Побудована на джерелах МSK1 Може галюцинувати МSK2
Налагодження Ограничений на пошук Глубока адаптація до моделі МSK2
Пояснення високий МSK1можливо знайти джерелаM SK2 МSK3 нижчий (чорний ящик) ≥
Найкраще для ЗнанняM SK1 інтенсивні завдання Стиль/ адаптація формату МSK4

Коли використовувати Fine-Tuning:

  • Вам потрібна модель, щоб вивчити конкретний стиль або формат
  • У вас великий, чистий набор даних
  • Вам потрібна модель для інтерфейсу візерунки, не факти
  • До прикладу: Змушувати GPT писати як Шекспір

Коли використовувати RAG:

  • Вам потрібно точность фактів з цитатами
  • Ваша база знань часто змінюється
  • У вас є приватні дані/
  • Ціна та простота
  • Наприклад: Customer support chatbot M SK1my company's docs change weekly )

Чи можна об 'єднати обидві? Так! ЧудовоM SK1 золота для стилю , РАG для фактів .

RAG проти. Довгий контекст Windows

Нові LLM мають величезні контекстні вікна.

Проблеми з довгими контекстами:

  1. Ціна: Цінні шкалки з токенами МSK1 МSK2 за запит швидко зростає
  2. Тривалість: Обробка МSK1K टोकенів займає багато часу
  3. Втрачений всередині: Літературні літературники борються за використання інформації серед довгих контекстів
  4. Розтягування: Полезна інформація захоронена в шумі
  5. Практичні обмеження: Ви можете ' не помістити Docs в контексті всієї компанії

Коли довгий контекст має сенс:

  • Один великий документ (eM SK1g., для аналізу контракту
  • Все важливе. (не обов 'язково відфільтруватиM SK1
  • Ціна не є проблемою
  • Нижчий обсяг запиту

Коли RAG має сенс:

  • Велика база знань (мільйони документівM SK1
  • Потрібно знайти відповідний підбір
  • високий об 'єм запитів (цінні питанняM SK1
  • Реальний-tydові aktualiзації знань

Найкращі практики: Використовуйте RAG, щоб вибрати найсучасніший зміст, тоді використайте довгий контекст для цього підмноження.

RAG vs. Пропонування з прикладами

Небагато-заказів стрічки МSK1показуючи приклади в заказіM SK2 це проста база

Наприклад, про prompt:

Examples:
Q: What is Docker?
A: Docker is a containerization platform...

Q: How does Kubernetes work?
A: Kubernetes orchestrates containers...

Q: What is my new question?
A: [LLM generates answer]

Ограничення:

  • Ограничений на те, що вписується у контекстний вікно
  • Ручна реакція на приклади
  • Не масштабується до великих баз знань
  • Без семантичного пошуку - ви вручну обираєте приклади

покращення RAG:

  • Автоматично знаходить найкращі приклади (за допомогою пошуку подібностіM SK1
  • Скала до необмежених прикладів (вгорі лише K надсилається на LLM)
  • Пристосовується до запиту (різноманітні питання отримують різні прикладиM SK1

Ви можете подумати про RAG як "небагато автоматизованихM SK1показування на шкалі."

Гібридний пошук: RAG M SK1 Традиційний пошук

Ви можете об 'єднати RAG з традиційним пошуком повного-тексту, використовуючи Reciprocal Rank Fusion M SK1RRF).

Чому гібрид?

  • Семантичний пошук: Чудово для концептуальних комбінацій ("гортання помилками МSK2 знаходки МSK3безперервний менеджмент
  • Поиск по ключевым словам: Чудово для точного визначення термінів.
  • Гібрид: Найкраще з обох світів
public async Task<List<SearchResult>> HybridSearchAsync(string query)
{
    // Run both searches in parallel
    var semanticTask = SemanticSearchAsync(query, limit: 20);
    var keywordTask = KeywordSearchAsync(query, limit: 20);

    await Task.WhenAll(semanticTask, keywordTask);

    var semanticResults = await semanticTask;
    var keywordResults = await keywordTask;

    // Combine using Reciprocal Rank Fusion
    return ApplyRRF(semanticResults, keywordResults);
}

private List<SearchResult> ApplyRRF(
    List<SearchResult> list1,
    List<SearchResult> list2,
    int k = 60)
{
    var scores = new Dictionary<string, double>();

    // Score from first list
    for (int i = 0; i < list1.Count; i++)
    {
        var id = list1[i].Id;
        scores[id] = scores.GetValueOrDefault(id, 0) + 1.0 / (k + i + 1);
    }

    // Score from second list
    for (int i = 0; i < list2.Count; i++)
    {
        var id = list2[i].Id;
        scores[id] = scores.GetValueOrDefault(id, 0) + 1.0 / (k + i + 1);
    }

    // Merge and sort by combined score
    var allResults = list1.Concat(list2)
        .GroupBy(r => r.Id)
        .Select(g => g.First())
        .OrderByDescending(r => scores[r.Id])
        .ToList();

    return allResults;
}

Чому RAG має значення

Тепер, коли ви розумієте, що таке РАГ, то знаєте, звідки він взявся і як він порівнює з альтернативами. Тут ми знаємо:

1. Democratізація штучного інтелекту

  • Ви не потребуєте штрафу
  • Вам не потрібна команда інженерів ML
  • Будь-який програміст може створювати RAG-системи за допомогою існуючих інструментів

2. Практична точность

  • Галюцинація - це проблема #1 з ЛЛМ у процесі виробництва
  • RAG вирішує проблему шляхом базування відповідей на реальних документах
  • Цитації роблять його перевірливим і надійним

3. Знову вгорі- доM SK2Дата

  • Традиционний штучний інтелект
  • RAG: Обновляйте свої документи, вчасно допоміщаєте знання
  • Критичний для швидкого-переміщення доменів МSK1технологіїM SK2 новини, нормативні акти МSK4

4. Prywatність та контроль

  • Ваші дані залишаються у вашій інфраструктурі
  • Можуть працювати виключно локально (local embeddings + local LLM МSK2 local vector DB)
  • Ніяких даних не надсилають OpenAI чи іншим провайдерам хмар

5. KosztM SK1Effective

  • Утримка дешева ( копійки за ГБ МSK1
  • Вбудова дешева (на відсоток цента на МSK1документиM SK2
  • Набагато дешевше, ніж fine-tunening або довгі контекстні вікна

6. Розмаїтні додатки

  • Семантичний пошук (непотрібний LLM!)
  • Q&A системи з цитатами
  • Рекомендація щодо змісту
  • Письменні асистенти
  • Керування знаннями
  • Справці з документацією
  • Допомічники

Завершення: Від історії до втілення

Ми відслідковували еволюцію RAG, ' і :

  • До-2010s: Поиск по ключевым словам
  • 2010s: Розуміння читати
  • 2017-2020: Перетворювачі та вбудовані модулі
  • 2020: Современный RAG МSK1 відрізати МSK2 генерувати )
  • 2023-НазадМSK0 Стандарт виробництва ( галюцинації МSK2 вартість + конфіденциальність

Найголовніша інформація з частини 1:

  • RAG відокремлює зберігання знань (вektor DBM SK1 від усвідомлення МSK0LLM)
  • Він вирішує проблему галюцинацій, базуючи відповіді на реальних документах.
  • Це дешевше і гнучкіше, ніж звичайне
  • Він працює краще, ніж довгий контекст для великих баз знань
  • МSK0 - це, по суті, МSK1 - автоматизовані кілька кадрів

Три кроки - модель розуму

  1. Перетворити текст на цифри (введенняM SK1
  2. Найти подібні числа ( пошук вектораM SK1
  3. Використовуйте те, що ви знайшли. (отображайте або додайте до LLM

Все інше - оптимізація.

Пройти до частини 2: Архітектура та інтер 'єри

Тепер ви розумієте, що RAG це, чому це важливо, і де це прийшло з. Але як це насправді працює під капюшономM SK1

В Частина 2: Архітектура та інтер 'єри РАГ, ми занурюємось у деталі

Повний трубопровод РАГ:

  • Фаза 1: Індексування МSK1 видобуток тексту МSK2 стратегії відокремлення , генерація вміщування \ , векторне зберігання \ МSK5 \
  • Фаза 2: Діагностика МSK1 вбудова запиту МSK2 вимірювання подібності , переоцінка
  • Фаза 3: генерація МSK1повільна конструкція МSK2 Параметри ЛЛМ , пост-- обробка

Внутрішні LLM:

  • Що таке टोकони і чому вони важливі для РАG
  • KV-каш: Як LLM запам 'ятовує контекст
  • Контекстові вікна та стратегії управління токенами
  • Оптимізація RAG для ефективності та вартості символів

Технічні глибокі занурення:

  • Вektorні бази даних та алгоритми пошуку схожості
  • Втілення моделей та нормування
  • Strategiи, що зберігають контекст
  • Практичні приклади коду в C#

Далі переходимо до частини 2: Архітектура та інтер 'єри →

Після частинки 2, ви ' будете готові до частини МSK2, де ми будуємо реальні системи МSK3 розв 'язуємо звичайні проблеми \ , і досліджуємо передові технології, такі як HyDE \ МSK5 \ multi - \ query RAG

Ресурс

Фундаментальні матеріали:

Дальне читання:

Далі в цій серії:

Пройти до частини 2 МSK1

logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.