This is a viewer only at the moment see the article on how this works.
To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk
This is a preview from the server running through my markdig pipeline
RAG для Implementers: Гібридна пошукова система і автоматичний індексування
Saturday, 22 November 2025
Введение
📖 Частина серії RAGM SK1 Це частина 5 МSK1 моделі інтеграції виробництваM SK2
- Частина 1: Походження та основи RAG - Що таке вбудова МSK1 чому вони важливі
- Частина 2: Архітектура та інтер 'єри РАГ - чорнилуванняМSK1 маркуванняM SK2 векторні бази даних
- Частина 3: RAG в практиці - Збудувати повноцінні системи RAG
- Частина 4aM SK1 ONNX & Гарантійне вdrożenie - Процесор - приємна база семантичного пошуку
- Частина 4bM SK1 Семантичний пошук в дії - Typeahead , гібридні пошукові системи, і інтерфейси
- Частина 5: Гібридне пошук МSK1 АвтоM SK2 Індексування ( цей artykułM SK1 - Моделі інтеграції виробництва
- Частина 6: GraphRAG - Графи знань для корису -зрозуміння рівня
В Частина 4a, ми збудували основу : вбудовані модулі ONNX і Qdrant Storage Частина 4b, ми обробили інтерфейс пошукового інтерфейсу і гібридні пошукові втілення МSK1 Зараз ми МSK2 зробимо його виробництвом - готові автоматичний індексування (zeroM SK1touch content updates ) via FileSystemWatcher.
Гібридний пошук: Найкращий з обох світів
Семантичний пошук потужний, але традиційний повний Рішення? Використовуйте обидва.
Чому гібрид? Різні підходи мають різні переваги:
- Полний текст PostgreSQL-Text (тут закриті): Точні співпадінняM SK1 технічні терміни , Бульські оператори
- Поиск семантичного вектора: ЗначенняM SK1 контекст , синоніми, концептуально пов 'язаний контент
Реципрочний рейтинг термоядерного синтезу (RRFM SK1
Ми використовуємо Об 'єднання рангів щоб об 'єднати результати з декількох джерел пошуку:
flowchart TB
A[User Query: 'docker containers'] --> B[PostgreSQL Full-Text Search]
A --> C[Semantic Vector Search]
B --> D["Results:<br/>1. 'Docker Basics' (rank 1)<br/>2. 'Containerizing Apps' (rank 2)<br/>3. 'Docker Compose' (rank 3)"]
C --> E["Results:<br/>1. 'Containerizing Apps' (rank 1)<br/>2. 'Kubernetes Guide' (rank 2)<br/>3. 'Docker Basics' (rank 3)"]
D --> F[RRF Algorithm]
E --> F
F --> G["Combined Results:<br/>1. 'Containerizing Apps'<br/> (1/61 + 1/62 = 0.0328)<br/>2. 'Docker Basics'<br/> (1/61 + 1/63 = 0.0322)<br/>3. 'Docker Compose'<br/> (1/63 = 0.0159)"]
style A stroke:#10b981,stroke-width:2px
style B stroke:#3b82f6,stroke-width:2px
style C stroke:#6366f1,stroke-width:2px
style D stroke:#3b82f6,stroke-width:2px
style E stroke:#6366f1,stroke-width:2px
style F stroke:#ec4899,stroke-width:4px
style G stroke:#8b5cf6,stroke-width:2px
Формула RRF: score = Σ(1 / (k + rank))
kМSK0 60 \ \ (констант, щоб запобігти домінуванню ранніх рейківM SK3rank= місцезнаходження в даному методі пошукуМSK1 результати- Результати обидві джерела отримують очки від кожного доданого разом
Чому RRF працює:
- Дедупликація: Те ж саме в обох джерелах результати вищі
- Справедливість: Жодна методика пошуку несправедливо домінує
- Простість: Немає складного налаштування
Втілення
public class HybridSearchService : IHybridSearchService
{
private readonly ISemanticSearchService _semanticSearchService;
private const int RrfConstant = 60;
public async Task<List<SearchResult>> SearchAsync(
string query,
string language = "en",
int limit = 10,
CancellationToken cancellationToken = default)
{
// Execute both searches in parallel
var semanticResults = await _semanticSearchService.SearchAsync(
query, limit * 2, cancellationToken);
// Filter by language and apply RRF
var filteredResults = semanticResults
.Where(r => r.Language == language)
.ToList();
return ApplyReciprocalRankFusion(filteredResults)
.Take(limit)
.ToList();
}
private List<SearchResult> ApplyReciprocalRankFusion(List<SearchResult> results)
{
var rrfScores = new Dictionary<string, RrfScore>();
for (int i = 0; i < results.Count; i++)
{
var result = results[i];
var key = $"{result.Slug}_{result.Language}";
if (!rrfScores.ContainsKey(key))
rrfScores[key] = new RrfScore { Result = result };
// RRF formula: 1 / (k + rank)
rrfScores[key].Score += 1.0 / (RrfConstant + i + 1);
}
return rrfScores.Values
.OrderByDescending(x => x.Score)
.Select(x => x.Result)
.ToList();
}
}
Nota: Це показує лише семантичні пошуки. В процесі виробництва, виконувати повний PostgreSQLM SK2 текстовий пошук паралельно і включити ці результати в розрахунки RRFMSC3
Інтеграція
Якщо ви' вже застосували PostgreSQL, то пошук тексту(МSK1)як показано тут), доdanie семантичного пошуку є простим
// Program.cs
services.AddSemanticSearch(configuration);
services.AddSingleton<IHybridSearchService, HybridSearchService>();
[HttpGet("search/hybrid")]
public async Task<IActionResult> HybridSearch(string query, string language = "en")
{
var results = await _hybridSearchService.SearchAsync(query, language);
return PartialView("_SearchResults", results);
}
Автоматичний індексування з File System Watcher
Найпотужніша характеристика: автоматичний індексування. За save a blog postM SK1 it 's immediately searchable
Як це працює
flowchart TB
A[Save Markdown File] --> B[FileSystemWatcher Detects Change]
B --> C{File in Main Directory?}
C -->|Yes| D[Save to Database]
C -->|No| E[Save to Database Only]
D --> F[Create BlogPostDocument]
F --> G[Generate Embedding via ONNX]
G --> H[Store in Qdrant]
H --> I[Post Searchable Immediately]
style A stroke:#10b981,stroke-width:2px
style B stroke:#f59e0b,stroke-width:2px
style C stroke:#ec4899,stroke-width:3px
style D stroke:#3b82f6,stroke-width:2px
style E stroke:#6b7280,stroke-width:2px
style F stroke:#8b5cf6,stroke-width:2px
style G stroke:#6366f1,stroke-width:3px
style H stroke:#ef4444,stroke-width:2px
style I stroke:#10b981,stroke-width:2px
Key Design Decision: Лише ті, що є в головне маркування, не підкаталоги МSK1translated/, drafts/, comments/). Це зберігає чистий індекс пошуку
Інтеграція щира файлів
В блогі вже є MarkdownDirectoryWatcherService. Ми розширюємо його, щоб викликати семантичний індексуванняM SK1
// In MarkdownDirectoryWatcherService.cs
private async Task OnChangedAsync(WaitForChangedResult e)
{
if (e.Name == null) return;
await retryPolicy.ExecuteAsync(async () =>
{
var savedModel = await blogService.SavePost(slug, language, markdown);
// Index ONLY if file is in main directory (no path separators in name)
if (!e.Name.Contains(Path.DirectorySeparatorChar) &&
!e.Name.Contains(Path.AltDirectorySeparatorChar))
{
await IndexPostForSemanticSearchAsync(scope, savedModel, language);
}
});
}
private async Task IndexPostForSemanticSearchAsync(
IServiceScope scope,
BlogPostDto post,
string language)
{
var semanticSearchService = scope.ServiceProvider.GetService<ISemanticSearchService>();
if (semanticSearchService == null) return; // Not configured
var document = new BlogPostDocument
{
Id = $"{post.Slug}_{language}",
Slug = post.Slug,
Title = post.Title,
Content = post.PlainTextContent,
Language = language,
Categories = post.Categories?.ToList() ?? new List<string>(),
PublishedDate = post.PublishedDate
};
await semanticSearchService.IndexPostAsync(document);
_logger.LogInformation("Indexed {Slug} ({Language}) in semantic search", post.Slug, language);
}
Рухаємось за видаленнями
Коли пост видаляється, remove it from the semantic index
private async Task OnDeletedAsync(WaitForChangedResult e)
{
await blogService.Delete(slug, language);
// Delete from semantic search ONLY if file was in main directory
if (!e.Name.Contains(Path.DirectorySeparatorChar) &&
!e.Name.Contains(Path.AltDirectorySeparatorChar))
{
var semanticSearchService = scope.ServiceProvider.GetService<ISemanticSearchService>();
await semanticSearchService?.DeletePostAsync(slug, language);
}
}
Справка з базовими даними для первинного індексування
Під час запуску, базовий сервіс indeksує наявні місця, які ще не знаходяться в Qdrant:
flowchart TB
A[Application Starts] --> B[Wait 10 seconds]
B --> C[Initialize Semantic Search]
C --> D{Model Exists?}
D -->|No| E[Download from Hugging Face]
D -->|Yes| F[Load ONNX Model]
E --> F
F --> G[Scan Main Markdown Directory]
G --> H{For Each .md File}
H --> I[Compute Content Hash]
I --> J{Hash Changed?}
J -->|Yes| K[Generate Embedding]
J -->|No| L[Skip - Already Indexed]
K --> M[Store in Qdrant]
M --> H
L --> H
H -->|Done| N[Indexing Complete]
style A stroke:#10b981,stroke-width:2px
style C stroke:#6366f1,stroke-width:2px
style E stroke:#f59e0b,stroke-width:2px
style F stroke:#6366f1,stroke-width:3px
style G stroke:#8b5cf6,stroke-width:2px
style J stroke:#ec4899,stroke-width:3px
style K stroke:#6366f1,stroke-width:2px
style M stroke:#ef4444,stroke-width:2px
style N stroke:#10b981,stroke-width:2px
public class SemanticIndexingBackgroundService : BackgroundService
{
protected override async Task ExecuteAsync(CancellationToken stoppingToken)
{
// Wait for app to be ready
await Task.Delay(TimeSpan.FromSeconds(10), stoppingToken);
// Initialize (downloads model if needed)
await _semanticSearchService.InitializeAsync(stoppingToken);
// Get all posts from main directory only
var markdownFiles = Directory.GetFiles(
_markdownConfig.MarkdownPath,
"*.md",
SearchOption.TopDirectoryOnly); // NOT subdirectories
foreach (var file in markdownFiles)
{
var needsIndexing = await _semanticSearchService.NeedsReindexingAsync(
slug, language, contentHash, stoppingToken);
if (needsIndexing)
await _semanticSearchService.IndexPostAsync(document, stoppingToken);
}
}
}
Це гарантує
- Завантаження застарілої моделі - Завантаження при першій використанніM SK1 не блокує запуску
- Індексування зростає МСК0 Тільки новіМSK1вимінні записи reМСК2indeksовані MСК3за допомогою контенту hashМ СК4
- Лише головна директорія - Проекти та перекладені файли не забруднюють індекс
Що ми створили
На всіх частинах: 4a, 4bM SK3 і МSK4 тепер ми маємо
- ✅ CPU-зручний семантичний пошук - Немає GPU
- ✅ Подібні записи відкриття - Симантично схожий контент
- ✅ Поиск природних мов - Знайти по значенніM SK1 не просто ключові слова
- ✅ Гібридний пошук - Найкраще семантичне МSK1 повнеM SK2текст
- ✅ Автоматичний індексування - Нуль МSK1Aktualізації контенту
- ✅ Самовіддаленість - Ваші дані залишаються на вашому сервері
Дальне покращення:
- Категория-Визначні пошуки - Результати стимулювання з певних категорій
- Мільйовні інтерфейси - Мова
- Інтеграція OpenSearch - Dodaj OpenSearch до гібридної суміші погляньте на мою статтю про OpenSearch)
Завершення
Це завершує практичне застосування алгоритму RAG-style semantic search. в połączeniu з Частина 4a (зрізницяМSK1 і Частина 4b ( пошуковий інтерфейс
Продовжувати навчання
- Зразок RAG 1: Походження та основи - Теорія за вбудовами
- Частина RAG 2: Архітектура та внутрішні - Глибокий подив на системи RAG
- Частка RAG 3: Практичні застосування - Повний RAG з інтеграцією LLM
- Частина 4aM SK1 ONNX & Гарантійне вdrożenie - Foundation : вбудова та векторне зберігання
- Частина 4bM SK1 Семантичний пошук в дії - Типова головка , гібридні пошуки МSK2 і інтерфейс
- Полне-Text Search з PostgreSQL - ЦілковитаM SK1текстова сторона гібридного пошуку
Ресурс
Базинки векторів Qdrant &
- Self-Схований векторні бази з Qdrant - Глибоке поглинання концепцій Qdrant , Індексування HNSW МSK2 фильтрація
- Поиск гібриду Qdrant - Qdrant'с нативною гібридною підтримкою
Гібридний пошук
- Реципрочний рейтинг об 'єднання паперу - Алгоритм РР
Спостереження системи файлів
- Клас FileSystemWatcher - МSK1NET-документація
- Клас Hintergrundсервису - Обслуговувані послуги в ASP.NET Core
Завершити код
Весь код доступний по адресу: github.comM SK1scottgal/mostlylucidweb
Mostlylucid.SemanticSearch/- Центральна семантична пошукова базаMostlylucid/Blog/WatcherService/- Файловий монітор з семантичним индексуванням