This is a viewer only at the moment see the article on how this works.
To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk
This is a preview from the server running through my markdig pipeline
RAG для Implementers: CPU-Досмілое семантичні пошуки з ONNX і Qdrant
Thursday, 05 November 2026
Ви шукаєте: “застосувати програму в контейнері ”. Вам потрібен artykuł під назвою МSK2Начати з Докера МSK3 Полезна пошукова система повинна поєднати ці ідеї МСК4 навіть коли слова не співпадають
NOTA: Обновлений M SK1 Ноябрь МSK2 Перероблений для . NET МSK4 з правильним маркуванням та об 'єднанням , проміжок МСК6 індексування рівня СМСК7 контекст вихідного СМСК8 відфільтрований пошук і безпечніші aktualizaції індексу МСК9 Нова частина показує, як EmbeddingGemma | МСК10 | розширює архітектуру на зображення | , | аудіо та відео | МСк12
У цій статті збудовано те, що база пошуку у C#: запускає маленьку модель вміщування локально за допомогою ONNX Runtime , зберігає свої вектори в Qdrant МSK2 і відбирає пов 'язані пости МСК3 Не потребує мови М СК4 генерації послуг та GPU М S К5 Він все ще споживає CPU М סК6 пам' ять M С К7 зберігання та операційні зусилля М ็ С С К8 самотужки М Ш К 9 хостинг видаляє кожен $M С К 10 запит вміщання API bill М SSL 11 не вартість запуску програмного забезпечення M SSL 12
Це Частина 4a з серії RAG:
- Частина 1: Походження та основи RAG
- Частина 2: Архітектура та інтер 'єри РАГ
- Частина 3: RAG в практиці
- Частина 4a: Implementation ONNX and Qdrant — цей artykuł
- Частина 4bM SK1 Семантичний пошук в дії
- Частина 5: Гібридний пошук і автоматичнийM SK1 Індексування
- Частина 6: GraphRAG
Ви маєте бути впевненими в тому, що C#, асинкові методи та ін 'єкції залежності . Я МSK2 я поясню вам модель і термінологію бази даних, коли ми з нею стикаємося
Те, що ми будуємо
А вбудова це сукупність чисел, створених тренованим modeloм . Ми порівнюємо ці сукупності, щоб отримати текст, який модель залишає біля запиту. Це вчимося представлення корисних стосунків МSK2, а не доказ того, що два рядки означать те ж саме
NX це формат для репрезентації машини Пропускний час на NX виконує цю модель. Кдрант зберігає вектори і знаходить близькі кандидати, поряд з об 'єктами, які дають нам змогу визначити та відфільтрувати результатиM SK1
Індексування починається з джерела матеріалу, перед тим, як щось досягне моделіM SK1
flowchart LR
D[Source document] --> E[Extract body and structure]
E --> S[Passages with headings and source ranges]
S --> T[MiniLM tokenizer and ONNX encoder]
T --> P[Pool and normalize each passage]
P --> V[Qdrant passage vectors and provenance]
Q[Search query] --> T
V --> F[Filter and rank passages]
F --> R[Best passage per post]
R --> B[Load current post details]
Індексування зберігає вектор для кожного переходу. Поиск вміщує пошук із одна і та сама модель трубопроводу, відфільтровує додатні проходи і повертає найкращий співпадіння для кожного посту . Подібне M SK2 відтворення посту використовує окремий вектор підсумків МSK3, створений з того поста МСК4 вектори проходів М СК5
RAG означає пошук . МСК0 , збільшене генерування. МСК1 , отримане доказ, МСК2 , а потім представлене у модель, яка генерує відповідь. МSK3 Ми реалізуємо пошук тут . . Результат пошуку є корисним сам по собі.
Виbierz представлення перед вибором бази даних
Ми використовуємо sentence-transformers/all-MiniLM-L6-v2, англійська речення 384-вимірні вектори. Невеликий розмір робить це практичною базою процесора
Важливий контракт більший за model filename:
| Komponenт МSK1 Що повинно бути в згоди між indeksуванням та пошуком | |
|---|---|
| Модель МSK1 Те ж саме важить і вивоз МSK2 | |
| Токенізер МSK1 Словарь МSK2 обробка речей , правила підтексту та особливих токенів | |
| Подготовка вхідних даних | Який текст вбудований, і як довго вхідні дані розподіляються |
| Об 'єднання МSK1 Як один вектор з' являється на вихідних токенах МSK2 | |
| Нормалізація МSK1 Як управляти векторною величиною | |
| схема бази даних МSK1 виміри МSK2 дистанційна метрика і модель трубопроводу |
Два моделі можуть одночасно виробляти 384 плавники, встановляючи ці плавники у неповносправних просторах . Оце помилка не може бути виявлена лише під час перевірки вимірів
Источник живе в Mostlylucid.SemanticSearch. Перехідна система використовує свої громадські інтерфейси ; короткі внутрішні фрагменти пояснюють, як вона працює, не дублюючи цілих класів сервісу МSK2
Видобуток та сегментація вирішують, що можна знайти
Уявіть, що на сторінці міститься інструкція для застосування, меню навігації , три пов 'язані МSK2 постові панелі та повідомлення про cookie M SK3 Введення всієї HTML відповіді робить всі ці речі кандидатами для відтворення . Повторювання одного й того ж навігуації на кожній сторінці може зробити не пов' язані сторінки виглядати штучно схожими
Видобуток вибирає корисний зміст джерела. Сегментація розділяє той контент на відновлювані одиниці. Видобуток контексту зберігає інформацію, необхідну для інтерпретації кожної jednostki: її назвиM SK1 розділний заголовок, місцезнаходження джерела та , там, де це важливоMSC4 довкілля структуриМSK5 Це окремі завданняMST6
StyloExtract вирішує проблему видобутку HTML шляхом аналізу, блокування сегментаціїM SK1 класифікування та рендеруванняМSK2 зберігає заголовки, посиланняMSC4 переліки МSK5 таблиці і код, в той час як ідентифікує меблі сторінки шаблон індукції пояснює, як вивчена структура місця може підтримувати подальше видобуток. Робіть цю роботу до цього ця вбудована трубка : чистіший доказ дає модель кращого введення.
Для цієї бібліотеки, BlogPostDocument.Content мусить вже містити виділений текст або чистий Маркдау. Бібліотека не перетягує сторінок чи не видаляє HTML навігаціїM SK2 Якщо заголовки важливі, зберігає заголовку Маркдау, а не відкидає всю структуру до простого текстуMSC4
Включні ContentSegmenter є маленькою базовою лінією МСК0 до МSK1 символів на пассажі МСК2 МСК3 символи перехрестя М СК4 кордони абзацу, де практично М סК5 та попередній заголовок Маркдау М S К6 він записує точний початок і довжину в застосованому змісті M С К7 Це Оффсети струн UTF-16, не заміщає байтів у оригінальному HTMLM SK1 зберігає мапування джерела, якщо вам потрібно підкреслити оригінальну сторінку .
Кожен абзац вбудований у свій пост і заголовок.. Ці контекстні поля впливають на вектор, але не є в 'єднані в цитатний текст. ' МSK2 Фраза, в якій сказано: M SK3 встановити це як хибне МSK4 стає більш корисною, коли модель також бачить: ♫ “ Розгортання докеру ♫ МSK6 HTTPS поза проксимою ♫”. Результат все ще вказує на те, що насправді сказав документ.
Karakterна сегментація - це геріальність читабельності, не символічний бюджет. Інкодер відокремлює реальну межу символів МSK1 Ця база може розділити кодову заборку або таблицю МSK2 екстрактор виробництва повинен виділяти непошкоджені кодові блоки , рядки стола з заголовками Трубопровод РАG DocSummarizer' розробляє багатшу видобутку сегментів та метадані для цього наступного кроку. Його API є альтернативним шаром поглинання ,, а не додатковою залежністю, необхідною для запуску цього прикладу МSK2
Якість видобутку можна виміряти. Утримувати приклади з повторюваною навігацією
Спочатку запустіть маленький приклад
Почнемо проект Qdrant локально
З репозитори root:
docker compose -f semantic-search-docker-compose.yml up -d
curl --fail http://localhost:6333/readyz
Невід 'ємний файл Compose використовує постійний том і прив' язується до loopback:
services:
qdrant:
image: qdrant/qdrant:v1.20.0
restart: unless-stopped
ports:
- "127.0.0.1:6333:6333"
- "127.0.0.1:6334:6334"
volumes:
- qdrant_storage:/qdrant/storage
volumes:
qdrant_storage:
6333 це HTTP; 6334 це gRPCM SK3 І Клієнт Qdrant .NET використовує gRPC. Конфигурація http://localhost:6334, незважаючи на те, що запити про готовність та панель користуються 6333. веб-браузер, який показує здорову панель, не стверджує, що ваша програма
Зображення під 'єднане для репродуктивності. Перегляньмо і перевіримо конкретне оновлення замість того, щоб лікувати рухоме latest як стратегію розгортання. локальний приклад не має аутентифікації ; він прив 'язаний до вашого комп' ютера Похибка безпеки Qdrant'.
завантажити модель і відповідний словник
Репозитор містить skriptи Bash та PowerShell:
bash Mostlylucid.SemanticSearch/download-models.sh
./Mostlylucid.SemanticSearch/download-models.ps1
Обидві all-MiniLM-L6-v2.onnx і vocab.txt всередині Mostlylucid/mlmodels. Вони отримують таку ж ремісію закріпленої моделі, як і служба . Файлі завантажуються до тимчасових братів та сестер і переменяються лише після успішного завантаження M SK2 таким чином перехрещений transfer не залишає parts model masking as a completed one МSK4
Ця служба також може завантажити бракуючих активів, коли це вперше запущено. Для розгортанняM SK1 завантаження їх під час підготовки дає вам можливість перевірити та зберігати активи перед тим, як подавати сигнали. Залишити модельні файли у стійкому каталогі за межами веб-коріння . Для міцнішого постачанняMSC4 управління ланцюгами МSK5 зберігати контрольні сумки з випуском і перевіряти їх перед розгортуваннямMNK6
Зміна конфігурованого перегляду не замінює файла, який вже присутній на тому ж шляху.
Створити домашню консоль
З репозитори root, утворити невеликий хост, який відноситься до implementу:
dotnet new console -n SemanticSearchDemo -f net10.0
dotnet add SemanticSearchDemo/SemanticSearchDemo.csproj reference Mostlylucid.SemanticSearch/Mostlylucid.SemanticSearch.csproj
Заміняйте його Program.cs з:
using Microsoft.Extensions.Configuration;
using Microsoft.Extensions.DependencyInjection;
using Microsoft.Extensions.Logging;
using Mostlylucid.SemanticSearch.Extensions;
using Mostlylucid.SemanticSearch.Models;
using Mostlylucid.SemanticSearch.Services;
var configuration = new ConfigurationBuilder()
.AddInMemoryCollection(new Dictionary<string, string?>
{
["SemanticSearch:Enabled"] = "true",
["SemanticSearch:QdrantUrl"] =
Environment.GetEnvironmentVariable("QDRANT_DEMO_URL") ?? "http://localhost:6334",
["SemanticSearch:ReadApiKey"] = Environment.GetEnvironmentVariable("QDRANT_DEMO_READ_KEY"),
["SemanticSearch:WriteApiKey"] = Environment.GetEnvironmentVariable("QDRANT_DEMO_WRITE_KEY"),
["SemanticSearch:CollectionName"] = "blog_posts_demo_v1",
["SemanticSearch:EmbeddingModelPath"] =
"Mostlylucid/mlmodels/all-MiniLM-L6-v2.onnx",
["SemanticSearch:VocabPath"] = "Mostlylucid/mlmodels/vocab.txt",
["SemanticSearch:MinimumSimilarityScore"] = "-1"
})
.Build();
var services = new ServiceCollection();
services.AddLogging(logging => logging.AddConsole());
services.AddSemanticSearch(configuration);
using var provider = services.BuildServiceProvider();
var search = provider.GetRequiredService<ISemanticSearchService>();
await search.InitializeAsync();
await search.IndexPostsAsync(new[]
{
new BlogPostDocument
{
Id = "docker-deployment",
Slug = "docker-deployment",
Title = "Deploying with Docker",
Content = "Package a web application in a container image and run it with Docker Compose.",
Languages = new[] { "en" }
},
new BlogPostDocument
{
Id = "chocolate-cake",
Slug = "chocolate-cake",
Title = "Baking a chocolate cake",
Content = "Mix flour, butter and chocolate, then bake the cake in an oven.",
Languages = new[] { "en" }
}
});
var results = await search.SearchAsync(
"How do I deploy an application in a container?", limit: 2);
foreach (var result in results)
Console.WriteLine($"{result.Score:F3} {result.Slug}");
Пройти з коріння репозитори, щоб пов 'язані шляхи моделі розв' язалися послідовно:
dotnet run --project SemanticSearchDemo/SemanticSearchDemo.csproj
Докер-пост має бути вище пирога. У прикладі навмисно вживається -1 щоб показати обидві показники, МСК0, включно з слабким співпадінням, МSK1. Це діагностичне налаштування для цього крихітного корпусу, М СК2, а не політика релевантності для копіювання у виробництво
Знову запускуючи код індексування, оновлює ті ж самі точки. Невимінний документ відкидається до висновкуM SK1 На кожному запускі не генерується новий випадковий идентификатор
Зробити вбудовану трубку правильно
Торки повинні підходити до тренованої моделі
А символ є модельною вхіднім блоком. Це може бути ціле слово , підслово або пунктуація M SK2 MiniLM використовує BERT - стиль отокер WordPiece
Розрив регекса, який слідує за пошуком словників, недостатньо.. Поєднання невідомого слова до індексу словників гірше. : це присвоює слову значення не пов 'язаного тренованого символа.
Втілення використовує BertTokenizer від Microsoft.ML.Tokenizers:
var tokenizer = BertTokenizer.Create(vocabPath, new BertOptions
{
LowerCaseBeforeTokenization = true,
ApplyBasicTokenization = true
});
var ids = tokenizer.EncodeToIds(text, addSpecialTokens: false);
Ми додаємо символ класифікації [CLS] і розділювач [SEP] за кожним вікном після цього. Вони займають дві з доступних місць M SK1 254 символи контенту за вікно.
Цей словник-на основі адаптер є специфічним для цієї родини моделейМSK1 Інший модель може потребувати іншого токенізераM SK2 ім ’ я на вході, префікс запиту або правила об ’ єднанняMSC4 Заміняючи .onnx файл сам по собі не є моделлю міграції.
Перехідні і модельні вікна розв 'язують різні проблеми
Перехід - це одиниця, яку ми хочемо отримати.
Два тисячі символів - це не межа символу. КодM SK1 यूआरएलи, пунктуація і різні мови можуть виробляти різні рахунки символів для одного й того ж числа символів
Кодувальник символізує повний доставлений вхід,, а потім проходить через вікна з конфігурованим перетинанням МSK1 контентних символівM SK2 Кожне вікно включає власні особливі символи і залишається всередині MSC3 pozycji. Остання вікно містить кінець вхідних символів
flowchart TB
A[Passage plus title and heading] --> B[WordPiece token IDs]
B --> C[First window]
B --> D[Overlapping windows through the tail]
C --> E[Masked pooling and normalization]
D --> E
E --> F[Average window vectors and normalize]
F --> G[One vector for this passage]
G --> H[Store source range and context]
Переоцінювання кількох векторів вікон все ще розчиняє дрібні деталі і дає коротке кінцеве вікно рівного впливу. Утримка досить зосереджених речей зменшує цю проблемуM SK1 Це також означає, що пошук може повернути абзац про TLS, не вимагаючи того, щоб деталі домінували в цілому artykule' вектор MSC3
Інший підсумок dokumentu показує середню величину векторів проходу для широкого кола пов 'язаних речей.
Вektorи токенів ONX виходять першими
Модель споживає три десятери чисел:
| Вхід МSK1 Форма для одного вікна МSK2 Значення | ||
|---|---|---|
input_ids |
[1, tokenCount] |
Подібні ID Vocabulary |
attention_mask |
[1, tokenCount] |
1 для справжніх टोकенів, 0 для підкладки |
token_type_ids |
[1, tokenCount] |
Все нуль для цього єдиногоM SK1текстового введення |
А тензор є багатовимірною tablicою. Тут вимір партії одинM SK1 Служба використовує справжню довжину вікна ; вона не заповнює МSK3 не відкладає кожного коротенького запиту до M SK4 позиций .
Вибраний eksport повертає last_hidden_stateУ формі , [1, tokenCount, 384]: один вектор за символом . Порівнювання, яке генерує тензор tokenCount × 384 цифри, не одна речення, вбудована
Ми підтвердуємо ім ’ я входу та виходу при завантаження моделі, вибираємо вихідним словомM SK1 і відкидаємо непередбачувані фігури. Це запобігає різному экспорту від тихих змін того, що отримується індикатором .
Бассейн, потім нормалізувати
Середнє об 'єднання середнє число векторів टोकена. Маска уваги не включає доріжки від сумки та підрахункуM SK1
windowVector[d] = sum(tokenVector[t, d] where mask[t] = 1)
/ number of included tokens
Специальні символи залишаться включеними, співпадіння маскованої серединиM SK1 підход до об 'єднання, використаний цим каналом. Для втілення та тесту регресії падингу на , см. OnnxEmbeddingService. Перетворювачі речей також пояснює, що експорт трансформаторів може потребувати об 'єднання та стандартизацію поза моделью.
L2 Нормалізація розділяє вектор на його еуklidську довжину. Ненульовий результат має довжиною одинM SK1 Ми нормалізуємо кожен вектор вікна і остаточне середнє числоМSK2 Нуль- величина та неMSC4 кінцеві вектори є помилкамиMSL5 неправильні замінники невдаленого виклику моделіМSL6
Схожість - це знак рейтингу
Схожість косину порівнює напрямки двох векторів:
cosine(a, b) = dot(a, b) / (length(a) × length(b))
Для одиниці-векторів довжиниM SK1 це упрощує їх дотильний продукт . Результати можуть варіюватися від -1 до 1. Результати 0.72 робить не означає, що вона має 72% ймовірність релевантностіM SK1
Козинова метрика Qdrant' також нормалізує вектори на завантаженніM SK1, як описано в документація вектора. Ми також стандартизуємо вбудований serwis, щоб його виходи постійно поводилися в тестах та порівняннях за межами QdrantM SK1
Порог, який працює для пов 'язаних-постережень, може придушити корисні результати для коротких пошукових запитів
Поміщати версію індексу пошуку
А квадрант збирання містить пошукові точки. A точка має вектор ID, і навантаження, означає прості поля, розташовані поруч з векторомM SK1
По замовчуванню колекція MiniLM використовує виміри 384 з відстані косину . Iniціалізація перевіряє наявну колекціюM SK2 векторну схему, замість того, щоб припустити, що співпадне ім 'я передбачає коміпромісність
Його вантаж містить:
| МSK0 Полей | Мета МSK2 |
|---|---|
slug |
Найти канонічний пост в базі даних застосувань |
content_hash |
Помітити зміни вхідних індексування |
embedding_version |
Залишити неповносправні вектори з того ж пошуку |
published_date |
Уніксовий тайм-стоп доступний для відфільтрування дати |
languages |
Доступні переклади статті МSK1 |
categories |
Поля для відфільтрування |
record_type |
Розмежувати підсумок документа з абзацом |
source_text, source_start, source_length |
Знову відтворити збіговий вихідний бік МSK1 |
heading, source_uri |
пояснить контекст і зв 'язок до джерела інформації |
modality |
Текст МSK1 зображення МSK2 право на аудіо або відео |
page, start_seconds, end_seconds |
Невключні медіа локації, надані за допомогою вживання МSK1 |
Titles display, Public details and rendered posts are loaded from PostgreSQL . Qdrant also retains extracted passage text for evidence retrieval, so apply the same retention and access rules to this index as to its sourcesM SK3 This keeps Qdran a rebuildable retrieve index rather than a second independent publishing databaseMSC4
Ця служба створює ключові індекси на slug, версію , мови, категоріїM SK3 тип записуMSC4 модедіальність та зміст hash+, плюс цілковитий індекс на даті публікаціїМSK6 Індекс payload робить відповідних фільтрів продуктивнимиMska7 доdanie поля payload лише не означаєMска8 не створення індексуМska9
Опублікувати повне генерування пасуків
У резюме документу є детермінативний необізнаний 64-бітовий ID, отриманий з ID-документу за допомогою xxHashM SK1 Ідентичні знаки проходження також включають версію каналу, ідентифікатор відбитків пальців та сегментів контентуМSK3 Повторне indeksування є idemпотентнимMSC4 зміна контенту створює новий поколінь проходівMska5 Ці хеши не єMска6схемою криптографічної ідентичностіM Ska7 Використовуйте постійне картування ідентичних знаків чи odpowiedniу UUID-схему, якщо ризик зіткнення неприйнятнийMSKA8
Обновлення замовлення має значення:
- Завантаження нового покоління' Passages in bounded batchesM SK1 waiting for each write to complete.
- Заверніть підсумок dokumentu, чиє відбитки пальців є manifestом, що визначає завершену генераціюM SK1
- Поletes obsolete passages for that post.
Readers compare a candidate passage' fingerprint with its parent manifest. A cancelled upload cannot expose a half -written generationM SK3 Until the manifest changesMska4 readers can use the previous generation Mska5 Failed cleanup can leave unused points taking spaceM Ska6 but they donM ska7t become eligible resultsMSKA8 periodic reconciliation should remove themMска9
Це програмний протокол для публікації, це не транзакція через Qdrant та PostgreSQL, а знімок, що простягається на кілька пошукових запитів . Замок писатища об 'єднує одну службу instanцію МSK2 Координація кількох писатиків для одного і того ж поста M SK3 або індексування маршруту за допомогою одного працівника . Для великих міграції MSC5 створення іншої колекції залишається простішим для обґрунтування.
Перехідні вектори в даний момент зберігаються для одного документа в один раз перед завантаженням. Команди запису обмеженіM SK1 найбільший окремий документ досі визначає пік індексування пам 'яті . Для дуже великих книг або записів, сегменти потоку через генерацію статінгу замістьMSC4
Перейдете до речей, не заповнюючи сторінки одним постом
Десять highly ranked chunks from one article shouldn't consum ten search resultsM SK1 Перехідна дорога зберігає найквалифікованіший перехід на each slug and fetches additional candidates while it needs distinct posts. It inspects at most MaxSearchCandidates кандидати, дефлікт M SK1 Вкрай повторюваний корпус може повернути менше, ніж зараховано число робочих місць ; групування та повність бюджету кандидату для обмеженої роботи .
Використовуйте кращий метод, коли вам потрібні докази:
var hits = await search.SearchPassagesAsync(
"configure HTTPS behind a reverse proxy",
new RetrievalFilter(Language: "en", Modality: "text"),
limit: 5);
foreach (var hit in hits)
Console.WriteLine($"{hit.Slug}: {hit.Segment.Heading} — {hit.Segment.Text}");
Язык, категоріяМSK1 порядок та вибіркова публікаціяM SK2датні фільтри всередині запиту Qdrant, перед рейтингом та групуваннямM SK1 Це правила здатності до навчання , не після цього M SK3 обробка декорацій МSK4 Простіше SearchAsync використовуваний раніше повертає лише шкали та партитури, коли використовує цей шлях відтворення проходу під.
Відбитки пальців на кожному вході, що має значення
Індексовані відбитки пальців включають: ID, slug , ім ’ я МSK2 повний змістМSK3 дата публікаціїM SK4 сортовані різні мови та категорії, і ефективну pipeline версіюMSC6 ім 'яMska7 тільки або метаданіM Ska8 тільки редагування, тому це також є зміноюMSKA9
В ефективній версії міститься сконфигурований лейбл алгоритму, Pinned model revision , Token overlap and passage segmentation settingsM SK2 Change the algorithm label when document preparation, tokenisation or pooling changesMSC4 Matching dimensions are insufficient evidence that two versions are comparableMNK5
Поиски та пов 'язані з ними-фільтр пошуків постів на цій версіїM SK1 Старі точки не сприймаються мовчазно як нові вбудовані , і старі МSK3version point does not' don' t satisfy the hash lookup that decides whether reindexing is needed
Для живої міграції, створити нову колекцію, перебудувати їїM SK2 перевірити важливість та повноту , і переключати читачів після того, як вона готоваМSK4 Утримка попередньої колекції тимчасово забезпечує зворотній шлях МSK5 Перебудування на місці може залишити менше пошукових постів під час переходуMSC6
Подібні пости потребують вектора для порівняння
Перехоплення поля навантаження не обов 'язково перехоплює векторів. Поставний шлях, пов' язаний з- явно просуває вектор вихідногоМSK3 підтверджує йогоM SK4 тоді запитує інші точки в тій самій версії трубопроводу, виключаючи точку вихідної за допомогою ID.
pertinent query is:
var related = await readClient.QueryAsync(
collectionName: collectionName,
query: sourceVector,
filter: filterWithVersionAndSourceExclusion,
limit: (ulong)limit,
scoreThreshold: minimumScore,
payloadSelector: true,
cancellationToken: cancellationToken);
Тут filterWithVersionAndSourceExclusion є фільтром, створеним в векторі-сервісу магазинуM SK1 і sourceVector це прийманий вектор. Полна методика знаходиться в QdrantVectorStoreService.
З 'єднайте його з ядром ASP.NET
Зареєструвати послуги один раз за допомогою розширення:
builder.Services.AddSemanticSearch(builder.Configuration);
Вбудована служба, векторM SK1сервіс та оркестратор - це одинокі тони. Конструювати модельну сесію дорого, а потім її перезастосовувати . Завантаження моделей використовує HTTP-клиента МSK4, а домашній хост відкидає ці послуги, коли вони закриваються.
Секция конфігурації::
{
"SemanticSearch": {
"Enabled": true,
"QdrantUrl": "http://localhost:6334",
"CollectionName": "blog_posts",
"EmbeddingModelPath": "mlmodels/all-MiniLM-L6-v2.onnx",
"VocabPath": "mlmodels/vocab.txt",
"VectorSize": 384,
"EmbeddingVersion": "minilm-segments-v2",
"IntraOpNumThreads": 2,
"MaxConcurrentEmbeddings": 1,
"ChunkOverlapTokens": 32,
"SegmentMaxCharacters": 800,
"SegmentOverlapCharacters": 100,
"MaxSearchCandidates": 4096,
"IndexBatchSize": 16,
"MinimumSimilarityScore": 0.5,
"SearchResultsCount": 10,
"RelatedPostsCount": 5
}
}
ModelRevision defaults to the commit pinned in SemanticSearchConfig. Бібліотека підтверджує такі налаштування, як виміри , позитивні обмеження і перехрестя, менші за вікно контенту МSK2
Iniціалізувати під час запуску або управління теплею-гортання процесуM SK1 Якщо пошук є опційним, зберігати решту веб-сайту доступним, коли інициалізація зазнає невдачі , водночас чесно повідомляючи про недоступність пошукуMSC4 Концепція HTTP повинна розрізнити успішне пошук без співпадіння з поганим пошуковим сервісомМSK5
Вданий пошуковий кінцевий пункт тепер підтверджує довжину запиту і обмеження результатів., передає टोकен anulування запити. , і повертає M SK2 для операційних помилок. МSK3 Бібліотека дозволяє виняткам та anulуванню дістатися до викликача.
Подібне- пост-кашування варіюється від одного до іншого , мова, яку ви захотіли МSK2 обмеження результатів та формат відповіді HTMX M SK3 При інтегруванні в іншій частині , ключи кэшу повинні включати кожен вход, що змінює відповідь MSC5 плюс індикаторну версію, якщо ваш кэш може прожити довше, ніж розгортання моделі
Що тут означає мова
Блог відображає канонічне джерело і записує доступні переклади на підсумок та абзаци. A languages вхід навантаження означає, що існує переклад
В інтерфейсі завантажується інформація про те, що відбувається з останніми постами на заданому мові. ПодібнийM SK1 інтерфейс постів все ще здатний повернути менше постів після мови- конкретне відфільтрування дисплеяMSC3 Перехідний пошук підходить до попереднього відфільтру мови через RetrievalFilter; провод, який вводить до вашого пошукового кінцевого пункту надійну перевагу aplikacji, коли це необхідно . Флаг на мові описує доступність
Оцінювати багатомовну модель чи документоване запитання- шлях перекладу для багатомовного відтворенняM SK1 Якийсь вибір змінює ланцюг і потребує міграції індексу.
Безпека та операційні кордони
Обидві ReadApiKey і WriteApiKey належить до серверу. Публичний пошуковий кінцевий пункт не робить ключ до бази даних публічним
Векторний магазин створює різні клієнти. Коли обоє клавішні конфігурованіMSC1 пошуки використовують читача, а мутації - пишучаM SK2 Служба, конфіfigurована лише з वाचим ключем, відкидає записи. Якщо тільки вбудований записовий ключMST4 читання обов 'язково використовує його такожMСК5 окремі налаштування самі по собі не мають праваМСК6 не магічно створюють окремі привілеїM СК7
Об 'єднаний веб-процес все ще має доступ до своїх індексуючих реквіденцій. Для більшої ізоляції , збирає пропозицію окремо і запускає індексування в робітнику з доступом до запису , залишаючи службу запитів читати MSC3 тільки M SK4 гранична межа процесу та база даних МSK5 насильницькі права забезпечують відокремленняМSK6
Для приватного або мультиперсонального- контента-помічникаM SK1 авторизація також має обмежувати пошукМSK2 відповідний результат – це не обов 'язково дозв' язливий результат. Застосуйте доступні фильтры, використовуючи надійний контекст aplikacji, і перевіряйте дозвіл ще раз перед поверненням контентуMSC5 Індекс навантаження не є політикою для авторизації
Не зареєструвати повних запитів або фрагментів документу по замовчуванню: вони можуть містити конфіденційну інформаціюM SK1 Назви операційного управління, підрахункиМSK3 довжини і категорії помилок замістьMSC4
Що відбувається, коли індексування не працює?
Qdrant і база даних не діляться транзакцією
Бібліотека тепер розповсюджує невдачі, щоб викликатель міг повторювати спробу. Надійні процеси видавництва повинні запорядковувати роботу з індексування після відправлення бази даних , зберігати невдачу роботу і повторювати її безперервно МSK2 periodiчне порівнювання може порівняти канонічний корпус з indeksом M SK3 виправити недоліки та видалити точки для відібраних постів . Подібні MSC5 пост-каші також потребують неważності після успішних змін.
Індексування запуска блогу і інтеграція глядачів - це корисні вхідні точки. МСК1, але вони не є довготривалим поштовим скриньком. МSK3. Якщо кожне оновлення має бути пошуковим, МSK4, треба продовжувати працювати. .
Версії мови заслуговують на подібну допомогу. Бібліотека серіалізується одночасно AddLanguageAsync виклики в рамках одного сервісу instanції, але це не заблоковує інших процесівM SK1 не за блокування
Производительність процесора без вигаданих обіцянок
Runtime ONNX може виконувати паралельні запуски на сеансі для підключених конфігурацій; час запуску'запис API-записів сеансу, потокМSK1безпека запуску. Семафор - це, таким чином, ресурс - рішення щодо управління тут M SK2 вибір щодо пропускної спроможності і допускання procesorа МSK3
MaxConcurrentEmbeddings обмеження допустимих операцій вмонтування. IntraOpNumThreads обмежує паралелізм процесора в межах операції. Підвищення обох може зробити маленьку VPS повільнішою, вичерпавши розподіл процесора. Руководство по потоковіmu запуску комп 'ютера пояснює управління; вимірювання з реальними обмеженнями процесора вашого хоста чи контейнеруM SK1
А async метод не змушуєCPU зробити висновок безкоштовним. Ця інсталяція запланує роботу на блоці потоків і перевіряє відкидання між моделювальними вікнами . Запити, відкидені під час запуску нативного висновку, можуть потребувати CPU допоки цей запуск не повернеться до результату МSK3 Під тривалим рухом M SK4 додайте обмежений доступ та відкидай або відкладіть надлишок роботи, а не дозволяєте незмінному черзі очікування
У методі множевого введення зараз документ обробляється послідовно; це не тенсорний пакет. Квантова завантаження пакетів і тестування ONNX є різними оптимізаціями . Справжнє тестування тестування об 'єднує кілька входів в одному wywołaнні моделі та підкладає їх до спільної довжиниM SK3
Пам 'ять та зберігання
Один вектор 384-вимірний плавник 32 займає МSK2
384 × 4 bytes = 1,536 bytes = 1.5 KiB
100,000 raw vectors ≈ 146.5 MiB
Це лише векторні дані.
Qdrant звичайно використовує HNSW, приблизне найближче - сусідський індексM SK2 для ефективного пошуку більших колекцій. Приблизне означає, що набір результатів може використовувати зворотній зв 'язок для швидкостіMSC4 малі колекції або певні фильтры можуть використовувати інші стратегії пошукуМSK5 Вибираючи Qdran не встановлює універсального показника затримки чи пропускної спроможності для вашої робочої навантаження.
Поширити той самий дизайн на мультиmodaльне відтворення
MiniLM вміщує текст. Напис на зображення може ввести цей текстовий каналM SK1 але він представляє те, що говорить субтитра, не все, що видно в зображенні мультиmodaльні вбудова дозволити текстовому запиту отримати зображення
EmbeddingGemma 2 - це конкретний шлях до покращення модельну картку описує спільний 768-вимірний простір для тексту ,кодM SK2об 'єкти,аудио та відео МSK4 з МSK5контекстом токенівMSC6 Він також підтримує скорочені СМСК7 МСК8 і MSК9вимерні представлення за допомогою навчання по представленню МатріошкиМСК10 Коротше представлення потребує ренормації та оцінки на вашому самому матеріаліMСК11 Ці характеристики Вбудова Gemми 2; не припускаємо, що подібні моделі мають однакові вхідні або вихідні контракти
Заміняти контракт кодувальника навмисно
Для дослідження інструкція для розробників використовує Перетворювачі речей 6.1 або пізнішеM SK1 Текстові запити та документи використовують різні про promptи для виконання завдань ; введення медіа використовує словники modality без цих про promptів
pip install -U "sentence-transformers[image,audio,video]>=6.1.0" transformers
import torch
from sentence_transformers import SentenceTransformer
model = SentenceTransformer(
"google/embeddinggemma-2",
device="cpu",
model_kwargs={"torch_dtype": torch.float32},
)
query = model.encode(
"a diagram showing a reverse proxy in front of a web application",
prompt_name="SearchQuery",
normalize_embeddings=True,
)
passage = model.encode(
"A reverse proxy forwards incoming requests to the application server.",
prompt_name="Document",
normalize_embeddings=True,
)
diagram = model.encode(
{"image": "reverse-proxy.png"}, normalize_embeddings=True,
)
clip = model.encode(
{"video": "deployment-demo.mp4"}, normalize_embeddings=True,
)
assert query.shape == passage.shape == diagram.shape == clip.shape == (768,)
Це приклад розширення, що використовує локальні медіа файли,, а не замінник Program.cs для демонстрації MiniLM. Pin dependentences and model revision when turning the experiment into a deployed worker точність орієнтації визначає float32 або bfloat 16, і явно виключає float\16,, який може виробляти неправильні чи погіршені вектори.
І мультимодальний інструктор пояснює вибіркове завантаження: вимикає неиспользовані візуальні або звукові кодувальники через config_kwargs. Завантаження лише кодувальників, яких потребує працівник на пошуках, може зменшити його відбитки, в той час як працівники поглинання працюють з багатшими медіами. . Усі варіанти мають спільний бюджет контексту.
Перевезти провінцію через кордон
Лаyer накопичування вже приймає передаточені вектори через ISegmentedVectorStore.IndexSegmentsAsync. EmbeddedSegment пари float[] з ContentSegment; останній має вихідний код URI , модедіальність МSK2 довільна сторінка і довільне запуску M SK3 кінцеві часи, а також вихідний текст . Це межа між медіа MSC5 працівником обробки інформації та Qdrant Mسک6
Наприклад:, поглинання може створити ці записиM SK1
| Зразок джерела МSK1 Введення вектора МSK2 Доведення залишено з точки | |
|---|---|
| розділ статті МSK1 назва МSK2 заголовок та рядок | текст і діапазон символів, отримані з вилученням |
| Архітектура діаграми МSK1 Зображення або зображення з навколишнім поясненням | |
| Сканована ручна сторінка | |
| Демонстраційний кліп МSK1 Замкнутий відеокліп ♫ | ♫ Оригинальне записування URI і запуск ♫ МSK3 ♫ кінцеві часи ♫ ♫ |
| Розповідування про це МSK1 Замкнутий аудіо-клип МSK2 запис URI , тайм-тамп та будь-яке відокремлене копіювання |
Вбудова не видає OCR транскрипції чи не підтверджує заголовку. Інтелект зображення досліджує, як відокремлювати OCR та візуальні сигнали; AudioSummarizer показує, чому часові замітки та відновлювані аудіо-свідчення мають значення. ЗаміткиM SK1 ОCR і транскрипції можуть також підтримувати lexikalне відтворення, доповнюючи вектор рідних медіаMSC3
Щоб поєднати цей приклад з C#,, треба створити нові 768-вибір вимірних косину та конфігурація чіткого ідентичності трубопроводу, що містить ремісію реальної моделі , передрозробка та правила про prompt МSK2 Посилати оператора \ ' \ дискретні массиви та вихідні метадані до IndexSegmentsAsync; надсилати питання, створені співпадковою моделлю до SearchSegmentsAsync. Магазин підтверджує типові векторні виміриM SK1 і тести на інтеграцію МSK2вимірні медіа записи та модулітні фильтры.
За замовчанням OnnxEmbeddingService залишається MiniLM-спеціальним і відкидає неуправну конфігурацію IEmbeddingService адаптер, або працівникM SK1 пара клієнта, яка експлицитно розкриває кодування dokumentu та запиту . Не викидати різних вагах до адаптера BERT чи змішувати MiniLM запити з точками EmbeddingGemma. Пример Python слідує за опублікованим API МSK5 повна модель EmbedingGemma не є МСК6 не є частиною цього artykułу М СК7 була проведена демонстрація ONNX M СК8
Спільне векторне місце робить можливим перетинання-модальний рейтингМSK1 не дуже добре автоматизованеMSC2 Оцінювати текстM SK3 до-об 'єктMska5текстМska6доM Ska7аудіо- та текстМска8на \Mska9video запроси окремоMSKA10 включно з відволікателямиMска11 Якщо ви використовуєте не пов' язані спеціалізовані кодувальникиМске12 зберігати окремі колекції або названі векторні місця і об 'єднати результати рейтингів замість порівнювати несовпадковані сирові партитуриМська13
Якість відтворення тесту, так само як і коректність
І semantic- пошуковий тест закриває маркування, об 'єднанняМSK1 межи вікнаM SK2 неправильні вектори МSK3 аннулування , атомні завантаження М SK5 відбитки пальців з індексом M SK6 діапазони джерела , відтворення фільтрованого проходу MSC8 генерування видимості та обмежених завантажень
dotnet test Mostlylucid.SemanticSearch.Test/Mostlylucid.SemanticSearch.Test.csproj
Живі тести - оптики-inM SK1 Поміщайте їх на ізольований экземпляр Qdrant і завантажені активи:
MINILM_TEST_MODEL=/absolute/path/all-MiniLM-L6-v2.onnx \
MINILM_TEST_VOCAB=/absolute/path/vocab.txt \
QDRANT_TEST_URL=http://localhost:6334 \
dotnet test Mostlylucid.SemanticSearch.Test/Mostlylucid.SemanticSearch.Test.csproj
Для аутентифікованого тесту також встановлено, QDRANT_TEST_READ_KEY і QDRANT_TEST_WRITE_KEY. Тести створюють та вимикають власну унікальну колекцію . Ніколи не направляйте тести на інтеграцію до колекції, яка містить ваші дані про виробництво МSK2
Успішні тести на дихання повинні доводити більше, ніж “без винятківM SK1
- Вбудовані модулі мають 384 кінцеві значення і одиниці довжинуM SK1
- Подібний текст очолює вище чітко не пов 'язаного прикладу.
- Содержание за межами першого моделі впливає на його вбудова.
- Перехідні діапазони відображають supplied text точно.
- Filtrи відбирають पात्रих кандидатів перед групуванням документів.
- Незадіяні генерації проходів залишаються невидимими,, а реінdeksація видаляє застарілі фрагментиM SK1
- Полне написання одразу видно наступним читанням.
- Подібні результати, за винятком джерела інформації
- Старі- вектори трубини викидають навіть тоді, коли вони мають однакову виміруM SK1
- Зміна назви або відповідних метадань змінює відбитки пальців для індексування.
- Неудовлетворена залежність розрізняється від справжнього пустого результату.
Потім з 'єднайте репрезентативні питання з постами, які ви вважаєте важливими. Включіть синоніми , точні идентифікатори M SK2 повідомлення про помилки МSK3 короткі питання , двозначні питання і питання без корисних відповідей MSC5 Записуйте, як часто важливе запитання з' являються в перших десяти результатах, і наскільки високо перші корисние результати оцінюються
Для приблизного пошуку, порівняйте зразок із точною пошуковою системою, а такожM SK1 Це відокремлює проблеми в вбудованому представленні від кандидатів, яких бракує індекс пошуку .
Де семантичні пошуки потребують допомоги
Dense вектори є корисними для парафраз. Точні коди помилок Гібридний пошук відображає обидві види кандидатів і об 'єднує їх рейтинги. Об' єднання рангів порівнює рангові позиції без припущення, що ліксичний бал та косинусний бал означають одне й те саме
А переоцінювач може потім перевірити кожен запит–пауэр кандидатів, щоб поставити маленьку кандидатуру належнішеM SK1 Це збільшує затримку і не зможе віднайти уривок, який спочатку не знайшов
Частина 4b об 'єднує інтерфейс і гібрид Частина 5 слідкує за інтеграцією в видавництво та індексування. Для більш детального опису варіантів зберігання та застосування QdrantM SK1 см. Self-Схований векторні бази з Qdrant.
Полезна система пошуку зберігає знахідка доказів, які він знайшов. МСК0, абзац, МСК1, контекст, який робить його змістовним. МSK2, і джерело, яке читач може перевірити. .. Обновлення моделей та багатші медіа можуть покращити те, що він знаходить, не роблячи того доказу складнішим для перевірки.