Back to "Збудувати "Lawyer GPT" для вашого блогу | МСК2 | Частина | 3: | Усвідомлення вбудованих компонентів |МSK4 | Вektorові бази даних"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

This is a preview from the server running through my markdig pipeline

AI AI-Article C# Embeddings LLM mostlylucid.blogllm Vector Database

Збудувати "Lawyer GPT" для вашого блогу | МСК2 | Частина | 3: | Усвідомлення вбудованих компонентів |МSK4 | Вektorові бази даних

Wednesday, 12 November 2025

Введение

Привіт до частини 3! Ми ' маємо наш стек GPU, який працює МSK2Частина 2), і ми розуміємо архітектуруЧастина 1). Тепер ' час зануритися у магію, яка робить можливим семантичний пошук вбудова і векторні бази даних.

NOTE: Це частина моїх експериментів з штучним інтелектом

Ось де все стає цікавим. МСК0 Ми МСК1 зрозуміємо, як представити текст як числа таким чином, щоб він saisis meaning. , не просто ключові слова. \ . Це \ МСК4 \ Різниця між пошуком постів, які містять слово """, "" Docer "", " "", і пошуком посилань, які семантично стосуються концепцій контейнеризації.

Що таке вбудований матеріал?

Вбудова - це числове представлення тексту ( чи образів МSK1 аудіо МSK2 і т.д.

Інтуїція

Уявіть, що ви малюєте слова у просторі 2D, враховуючи їх значення

graph TD
    subgraph "2D Embedding Space (simplified)"
        A[cat: 0.8, 0.2]
        B[kitten: 0.7, 0.3]
        C[dog: 0.6, 0.1]
        D[puppy: 0.5, 0.2]
        E[car: -0.5, 0.8]
        F[vehicle: -0.6, 0.7]
        G[database: 0.1, -0.7]
        H[SQL: 0.2, -0.8]
    end

    class A,B cats
    class C,D dogs
    class E,F vehicles
    class G,H tech

    classDef cats stroke:#333
    classDef dogs stroke:#333
    classDef vehicles stroke:#333
    classDef tech stroke:#333

Схожі поняття об 'єднуються разом:

  • Домашні тварини (краснийM SK1зелений) знаходяться одна біля одної
  • Автомобілі (blueM SK1 груповані
  • Технологічні терміни (yellowM SK1 кластер
  • Невід 'ємні поняття дуже відокремлені

Справжня вбудова використати 384 до МSK1 виміри МSK2 не тільки 2!), зафіксувати набагато більше нюансів

Як це працює

Вбудована модель - це нейронна мережа, навчена мапувати текст на вектори такі, що:

  • Схожі значення → закрити вектори
  • Різні значення векторів →
graph LR
    A[Text: 'Docker container'] --> B[Embedding Model]
    B --> C[Vector: 384 floats]

    D[Text: 'containerization'] --> B
    B --> E[Vector: 384 floats]

    C -.Similar.-> E

    F[Text: 'chocolate cake'] --> B
    B --> G[Vector: 384 floats]

    C -.Very Different.-> G

    class B model
    class C,E similar
    class G different

    classDef model stroke:#333,stroke-width:4px
    classDef similar stroke:#333
    classDef different stroke:#333

Дослідження подібності

Ми використовуємо Схожість косину для вимірювання того, наскільки близькі є два вектори:

public static float CosineSimilarity(float[] vectorA, float[] vectorB)
{
    if (vectorA.Length != vectorB.Length)
        throw new ArgumentException("Vectors must have same length");

    // Dot product: sum of element-wise multiplication
    float dotProduct = 0;
    for (int i = 0; i < vectorA.Length; i++)
    {
        dotProduct += vectorA[i] * vectorB[i];
    }

    // Magnitude of each vector: sqrt(sum of squares)
    float magnitudeA = 0;
    float magnitudeB = 0;
    for (int i = 0; i < vectorA.Length; i++)
    {
        magnitudeA += vectorA[i] * vectorA[i];
        magnitudeB += vectorB[i] * vectorB[i];
    }
    magnitudeA = MathF.Sqrt(magnitudeA);
    magnitudeB = MathF.Sqrt(magnitudeB);

    // Cosine similarity: dot product / (magnitude_a * magnitude_b)
    return dotProduct / (magnitudeA * magnitudeB);
}

Схожість косину варьується від -1 до 1:

  • 1.0 = ідентичні значення
  • 0.0 = не пов 'язане
  • -1.0 = протилежне значення

Наприклад,:

var dockerEmbed = new float[] { 0.5f, 0.3f, -0.2f, 0.8f };  // "Docker container"
var containerEmbed = new float[] { 0.45f, 0.35f, -0.18f, 0.75f };  // "containerization"
var cakeEmbed = new float[] { -0.7f, 0.1f, 0.9f, -0.3f };  // "chocolate cake"

Console.WriteLine(CosineSimilarity(dockerEmbed, containerEmbed));  // ~0.95 (very similar!)
Console.WriteLine(CosineSimilarity(dockerEmbed, cakeEmbed));  // ~0.15 (unrelated)

Чому вбудовані деталі є ідеальними для нашого прикладу

Пам 'ятайте, ми будуємо письменника. Коли я починаю писати,

" В цьому постіM SK1 Я' покажу, як використовувати структуру об 'єктів зMSC3

Система повинна знаходити минулі записи про:

  • Фундамент अस्तित्वів
  • Моделі доступу до бази даних
  • Конфигурації ORM
  • Подібні теми ASP.NET

Не тільки те, що відповідає ключевому слову! Потрібно розуміти, що "EF Core migrations " пов 'язані, навіть якщо це не значить

Втілення проти традиційного пошуку

graph TB
    subgraph "Traditional Keyword Search"
        A1[Query: 'Docker setup'] --> B1[Find: 'Docker' OR 'setup']
        B1 --> C1[❌ Misses: 'containerization guide']
        B1 --> D1[❌ Misses: 'running containers']
        B1 --> E1[✅ Finds: 'Docker setup tutorial']
    end

    subgraph "Embedding-Based Semantic Search"
        A2[Query: 'Docker setup'] --> B2[Generate embedding]
        B2 --> C2[Find similar embeddings]
        C2 --> D2[✅ Finds: 'containerization guide']
        C2 --> E2[✅ Finds: 'running containers']
        C2 --> F2[✅ Finds: 'Docker setup tutorial']
    end

    class B2,C2 semantic

    classDef semantic stroke:#333,stroke-width:2px

Вибір моделі вбудованості

Існує багато вбудованих моделей.

  1. Працює локально (приватність МSK1 швидкістьM SK2
  2. Працює з Runtime ONNX ( тож ми можемо використовувати наш графічний процессор
  3. Хороша якість (точне семантичне розумінняM SK1
  4. Справа розмір (384-768 виміри - хороший баланс

Найпопулярніші варіанти

МSK0 Модель Wymiary МSK2 Розмір Якість
всіМSK0MiniLM-LM SK2v2 МSK0 МSK1 80 MB M Хороша МСК5 Дуже швидка
всеМСК0mpnet-baseM SK2v2 МSK0 768 ♫ ♫ МSK2 ♫
bge-small-enM SK2vMSC3 МSK0 МSK1 133 МСК4 Краще MSК5 Дуже швидко МСК6 MSК7
bge-baseMSL1enM SL2vMsl3 МSK0 768 ♫ ♫ МSK2 ♫
OpenAI текст-введення-adaM SK2 МSK0 МSK1 N / A M( API МСК5 МСК6 Чудово МПС7 Повільно MPС8 Мережа ПМСК9 ПМСК10 MPС11

Моя рекомендація: bge-baseMSL1enM SL2vMsl3

  • Статус - модель відкритого коду
  • МSK0 виміри (гарний балансM SK2
  • Прекрасно працює з компанією ONNX Runtime
  • Бесплатно і працює локально

Перетворення в формат ONNX

Більшість моделей у форматі PyTorch. Нам потрібен ONNX для C#.

Установити оптимальну бібліотеку (Python для конвертації):

pip install optimum[exporters]

Перетворити модель BGE:

optimum-cli export onnx --model BAAI/bge-base-en-v1.5 --task feature-extraction bge-base-en-onnx/

Це створює:

bge-base-en-onnx/
    model.onnx           # The neural network
    tokenizer.json       # Text → tokens converter
    tokenizer_config.json
    special_tokens_map.json
    config.json

Скачайте, якщо ви не хочете конвертувати: Багато моделей були перетворені на - і доступні на Hugging Face з "onnxM SK2 на ім 'я

Використовуючи вбудовані модулі в C#

Дозвольте побудувати практичний генератор вміщування за допомогою Runtime ONNX

Установлення проекту

mkdir EmbeddingTest
cd EmbeddingTest
dotnet new console
dotnet add package Microsoft.ML.OnnxRuntime.Gpu --version 1.16.3
dotnet add package Microsoft.ML.Tokenizers --version 0.1.0-preview.23511.1

Чому ці пакети?

  • OnnxRuntime.Gpu - Запустити модель на GPU
  • Microsoft.ML.Tokenizers - Перетворити текст на символи ID

Спочатку символізація

Перед введенням, ми повинні символізувати ( перетворити текст на цифриM SK2

using Microsoft.ML.Tokenizers;
using System;
using System.Linq;

public class SimpleTokenizer
{
    private readonly Tokenizer _tokenizer;

    public SimpleTokenizer(string tokenizerPath)
    {
        // Load the tokenizer.json file
        _tokenizer = Tokenizer.CreateTokenizer(tokenizerPath);
    }

    public (long[] InputIds, long[] AttentionMask) Tokenize(string text, int maxLength = 512)
    {
        // Tokenize the text
        var encoding = _tokenizer.Encode(text);

        // Get token IDs
        var ids = encoding.Ids.Select(i => (long)i).ToArray();

        // Pad or truncate to maxLength
        var inputIds = new long[maxLength];
        var attentionMask = new long[maxLength];

        int length = Math.Min(ids.Length, maxLength);

        // Copy actual tokens
        Array.Copy(ids, inputIds, length);

        // Set attention mask (1 = real token, 0 = padding)
        for (int i = 0; i < length; i++)
        {
            attentionMask[i] = 1;
        }

        return (inputIds, attentionMask);
    }
}

Що тут відбувається?

  1. Кодування МSK0 "Здраво просимоM SK2 | [101, 8667, 2088, 102]

    • Кожне число - токен ID з словника моделі'
    • Специальні символи [CLS], M SK1 ≥= [SEP]
  2. Покладання - Моделі очікують фіксованої введення

    • Якщо текст короткий: панду з нулями
    • Якщо текст довгий: стискати
  3. Маска уваги - Розказує моделі, які टोकони реальні проти падингу

    • 1 = обробляйте цей символ
    • 0 = проігнорувати
graph LR
    A["Text: 'Docker setup'"] --> B[Tokenizer]
    B --> C[Token IDs:<br/>101, 12849, 12229, 102]
    C --> D[Pad to 512]
    D --> E[Input IDs:<br/>101, 12849, 12229, 102, 0, 0,...]
    D --> F[Attention Mask:<br/>1, 1, 1, 1, 0, 0,...]

    E --> G[Feed to Model]
    F --> G

    class B,G process

    classDef process stroke:#333,stroke-width:2px

Клас генератора вбудованого

Тепер повний вбудований трубопровод:

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;
using System;
using System.Collections.Generic;
using System.Linq;

public class EmbeddingGenerator : IDisposable
{
    private readonly InferenceSession _session;
    private readonly SimpleTokenizer _tokenizer;
    private readonly int _embeddingDimension;

    public EmbeddingGenerator(string modelPath, string tokenizerPath, bool useGpu = true)
    {
        // Setup session options
        var options = new SessionOptions();
        if (useGpu)
        {
            options.AppendExecutionProvider_CUDA(0);
        }

        // Load model
        _session = new InferenceSession(modelPath, options);

        // Load tokenizer
        _tokenizer = new SimpleTokenizer(tokenizerPath);

        // Get embedding dimension from model output shape
        var outputMetadata = _session.OutputMetadata["last_hidden_state"];
        _embeddingDimension = outputMetadata.Dimensions[2]; // Usually 768 for base models
    }

    public float[] GenerateEmbedding(string text)
    {
        // Step 1: Tokenize
        var (inputIds, attentionMask) = _tokenizer.Tokenize(text);

        // Step 2: Create input tensors
        var inputIdsTensor = new DenseTensor<long>(inputIds, new[] { 1, inputIds.Length });
        var attentionMaskTensor = new DenseTensor<long>(attentionMask, new[] { 1, attentionMask.Length });

        var inputs = new List<NamedOnnxValue>
        {
            NamedOnnxValue.CreateFromTensor("input_ids", inputIdsTensor),
            NamedOnnxValue.CreateFromTensor("attention_mask", attentionMaskTensor)
        };

        // Step 3: Run inference
        using var results = _session.Run(inputs);

        // Step 4: Extract embeddings from output
        var outputTensor = results.First().AsTensor<float>();

        // Output shape is [batch_size, sequence_length, embedding_dim]
        // We want [batch_size, embedding_dim] by mean pooling

        return MeanPooling(outputTensor, attentionMask);
    }

    private float[] MeanPooling(Tensor<float> outputTensor, long[] attentionMask)
    {
        int seqLength = outputTensor.Dimensions[1];
        int embeddingDim = outputTensor.Dimensions[2];

        var embedding = new float[embeddingDim];
        int tokenCount = 0;

        // Average across all non-padded tokens
        for (int seq = 0; seq < seqLength; seq++)
        {
            if (attentionMask[seq] == 0) continue; // Skip padding

            tokenCount++;
            for (int dim = 0; dim < embeddingDim; dim++)
            {
                embedding[dim] += outputTensor[0, seq, dim];
            }
        }

        // Divide by count to get mean
        for (int dim = 0; dim < embeddingDim; dim++)
        {
            embedding[dim] /= tokenCount;
        }

        // Normalize to unit length (common practice)
        return Normalize(embedding);
    }

    private float[] Normalize(float[] vector)
    {
        float magnitude = 0;
        foreach (var val in vector)
        {
            magnitude += val * val;
        }
        magnitude = MathF.Sqrt(magnitude);

        var normalized = new float[vector.Length];
        for (int i = 0; i < vector.Length; i++)
        {
            normalized[i] = vector[i] / magnitude;
        }

        return normalized;
    }

    public void Dispose()
    {
        _session?.Dispose();
    }
}

Розрив коду:

  1. Завантаження моделі - Створює сеанс ONNX з підтримкою GPU
  2. Токенізація - Перетворює текст на символи ID
  3. Творіння тензорів - Форми даних для введення моделі
  4. Інференція - Запускає нейронну мережу
  5. Середнє об 'єднання - Дорівнює вбудовам токенів → введенням одного речення
  6. Нормалізація - Створює довжину вектора МSK1 МSK2 спрощує обчислення подібності

Обіцяне об 'єднання

graph TB
    A[Model Output:<br/>Token Embeddings] --> B["Token 0 (CLS):<br/>(0.1, 0.5, -0.3, ...)"]
    A --> C["Token 1 (Docker):<br/>(0.4, 0.2, -0.1, ...)"]
    A --> D["Token 2 (setup):<br/>(0.3, 0.6, -0.2, ...)"]
    A --> E["Token 3 (SEP):<br/>(0.2, 0.3, -0.4, ...)"]

    B --> F[Average]
    C --> F
    D --> F
    E --> F

    F --> G["Sentence Embedding:<br/>(0.25, 0.4, -0.25, ...)"]

    class A input
    class F process
    class G output

    classDef input stroke:#333
    classDef process stroke:#333,stroke-width:2px
    classDef output stroke:#333,stroke-width:2px

Ми маємо середній показник, тому що

  • Кожен символ має свою власну вбудова
  • Потрібно ввести лише один елемент для цілого речення.
  • Оцінка усвідомлює загальний сенс

До прикладу

using System;

class Program
{
    static void Main(string[] args)
    {
        using var embedder = new EmbeddingGenerator(
            modelPath: "bge-base-en-onnx/model.onnx",
            tokenizerPath: "bge-base-en-onnx/tokenizer.json",
            useGpu: true
        );

        // Generate embeddings
        var embedding1 = embedder.GenerateEmbedding("Docker containerization tutorial");
        var embedding2 = embedder.GenerateEmbedding("Setting up containers with Docker");
        var embedding3 = embedder.GenerateEmbedding("Baking a chocolate cake");

        Console.WriteLine($"Embedding dimension: {embedding1.Length}");
        Console.WriteLine($"First 5 values: {string.Join(", ", embedding1.Take(5).Select(f => f.ToString("F4")))}");

        // Calculate similarities
        float sim12 = CosineSimilarity(embedding1, embedding2);
        float sim13 = CosineSimilarity(embedding1, embedding3);

        Console.WriteLine($"\nSimilarity (Docker vs Containers): {sim12:F4}");  // ~0.85
        Console.WriteLine($"Similarity (Docker vs Cake): {sim13:F4}");  // ~0.10
    }

    static float CosineSimilarity(float[] a, float[] b)
    {
        // Since vectors are normalized, dot product = cosine similarity
        float dot = 0;
        for (int i = 0; i < a.Length; i++)
        {
            dot += a[i] * b[i];
        }
        return dot;
    }
}

Виход:

Embedding dimension: 768
First 5 values: 0.0123, -0.0456, 0.0789, -0.0234, 0.0567

Similarity (Docker vs Containers): 0.8542
Similarity (Docker vs Cake): 0.1023

Красиво! Симантично схожий контент має високу схожість , невід 'ємний контент низький МSK2

Базинки векторів

Тепер ми маємо вбудовані модулі. МSK0. Нам потрібно зберігати мільйони таких модулів і ефективніше шукати.

Проблема

Дозвольте сказати, що маємо блогові статті, кожен з яких розділений на частини:

Наївний пошук:

float bestSimilarity = -1;
int bestIndex = -1;

for (int i = 0; i < 10000; i++)
{
    float sim = CosineSimilarity(queryEmbedding, storedEmbeddings[i]);
    if (sim > bestSimilarity)
    {
        bestSimilarity = sim;
        bestIndex = i;
    }
}

Проблема: Це OM SK1n) - ми перевіряємо кожен вміщування

Для вмонтованих деталей 10,000 МSK1 \768 кожен розмір

  • ~30 мільйони операцій на плавних точках
  • ~50-100ms навіть на швидкому процесорі

Нам потрібно щось швидше.

Рішення бази даних вектора

Вektorні бази баз даних використовують розумну структуру даних (подібно до HNSW МSK1 Ієрархічні графи маленького світу, які можна переміщати по шляху МSK2 для пошуку найближчих сусідів в OMSC3log nM SK4 час.

graph TB
    A[Query Embedding] --> B[Vector Database]
    B --> C{HNSW Index}

    C --> D[Layer 2:<br/>Coarse Search]
    D --> E[Layer 1:<br/>Refined Search]
    E --> F[Layer 0:<br/>Exact Search]

    F --> G[Top K Results]

    H[10,000 vectors] -.Indexed.-> C

    class B db
    class C index
    class G results

    classDef db stroke:#333,stroke-width:4px
    classDef index stroke:#333,stroke-width:2px
    classDef results stroke:#333,stroke-width:2px

Порівняння швидкості:

  • Наївний пошук: M SK1ms для векторів 10K
  • Вektor DB (HNSWM SK1 1-5ms для векторів МSK3K
  • 10-50x швидшеM SK1

І він масштабує : мільйони векторів, і все ж лише ~10-20msM SK2

Вибір бази даних вектора

Для нашого проекту C# ми потребуємо

  1. Хороша клиентська бібліотека C#
  2. Легко застосувати (Docker)
  3. Хороший результат
  4. Вільний / відкритий вихідний код
База даних МSK1 CM SK2 Поддержка МSK3 Розгортання Досконалість \ Ліцензія \ МSK6
Кдрант МSK0 ✅ Чудово МSK2 Докер Дуже швидкий мSK4 Apache M2.0 |
pgvector ✅ ♫ ♫ МSK2 ♫ за допомогою Npgsql ♫ ) ♫
Вов 'язати МSK0 ✅ Хороший МSK2 Докер Дуже швидкий \ БСД \ МSK5 |
Мілвус МSK0 ⚠️ Лимитований МSK2 Докер /KM SK4s
Хroma ❌ Python-first Docker МSK4 Fast M Apache МСК6 |

Мій вибір: Qdrant

  • Чудовий C# клієнт M SK1Qdrant.Client)
  • Просте використання Докера
  • Побудований спеціально для пошуку векторів (не підштовхований на МSK1
  • Чудова документація
  • Активний розвиток

Альтернатива: пгвектор

  • Ми вже використовуємо PostgreSQL для блогу
  • Все можна зберігати в одній базі даних
  • Трохи менш продуктивна, але простіша архітектура

Для цієї серії, ЯM SK1 використовуватиму Кдрант тому що це - мета, створена і легше зрозуміти концепції, але я покажу pgvector як альтернативу

Налагодження гарантії

Розгортання Докера

docker run -p 6333:6333 -p 6334:6334 \
    -v $(pwd)/qdrant_storage:/qdrant/storage \
    qdrant/qdrant

Порти:

  • 6333 - РEST API
  • 6334 - gRPC API МSK1швидший МSK2 ми ' використаємо це

Утримка: Переносить дані до ./qdrant_storage на میزبانі

Установлення клієнта C#

dotnet add package Qdrant.Client --version 1.7.0

Створювання колекції

Коллекция схожа на таблицю - вона містить вектори певного виміру .

using Qdrant.Client;
using Qdrant.Client.Grpc;

public class QdrantSetup
{
    private readonly QdrantClient _client;

    public QdrantSetup(string host = "localhost", int port = 6334)
    {
        _client = new QdrantClient(host, port);
    }

    public async Task CreateCollectionAsync(string collectionName, ulong vectorSize)
    {
        // Check if collection exists
        var collections = await _client.ListCollectionsAsync();
        if (collections.Any(c => c.Name == collectionName))
        {
            Console.WriteLine($"Collection '{collectionName}' already exists");
            return;
        }

        // Create collection
        await _client.CreateCollectionAsync(
            collectionName: collectionName,
            vectorsConfig: new VectorParams
            {
                Size = vectorSize,  // 768 for bge-base
                Distance = Distance.Cosine  // Cosine similarity
            }
        );

        Console.WriteLine($"Created collection '{collectionName}' with {vectorSize} dimensions");
    }
}

Ключові параметри:

  • Size - Потрібно підходити до вашої вбудованої моделі (768 для bgeM SK2base)
  • Distance МSK0 Як виміряти схожість:
    • Distance.Cosine - Схожість косину
    • Distance.Euclid - Евklidська відстань
    • Distance.Dot - Dot продукт

Введення векторів

using Qdrant.Client.Grpc;
using System.Collections.Generic;

public class QdrantInserter
{
    private readonly QdrantClient _client;

    public QdrantInserter(QdrantClient client)
    {
        _client = client;
    }

    public async Task InsertBlogChunkAsync(
        string collectionName,
        ulong id,
        float[] embedding,
        string blogPostSlug,
        string chunkText,
        int chunkIndex)
    {
        var point = new PointStruct
        {
            Id = id,
            Vectors = embedding,
            Payload =
            {
                ["blog_post_slug"] = blogPostSlug,
                ["chunk_text"] = chunkText,
                ["chunk_index"] = chunkIndex,
                ["timestamp"] = DateTimeOffset.UtcNow.ToUnixTimeSeconds()
            }
        };

        await _client.UpsertAsync(collectionName, new[] { point });
    }

    public async Task InsertBatchAsync(
        string collectionName,
        List<(ulong id, float[] embedding, Dictionary<string, object> payload)> points)
    {
        var qdrantPoints = points.Select(p => new PointStruct
        {
            Id = p.id,
            Vectors = p.embedding,
            Payload = { p.payload }
        }).ToList();

        // Batch insert for efficiency
        await _client.UpsertAsync(collectionName, qdrantPoints);

        Console.WriteLine($"Inserted {points.Count} points");
    }
}

Обіцяне завантаження:

  • Як метадані, прикріплені до кожного вектора
  • Можу зберігати будь-що: заголовок статтіM SK1 текст фрагменту , дату, категорії
  • Поискові та фільтровані!

Введення пакетів:

  • Набагато швидше за один
  • Qdrant ефективно управляє партіями 100-1000

Вишукуючи вектори

public class QdrantSearcher
{
    private readonly QdrantClient _client;

    public QdrantSearcher(QdrantClient client)
    {
        _client = client;
    }

    public async Task<List<SearchResult>> SearchAsync(
        string collectionName,
        float[] queryEmbedding,
        int topK = 10)
    {
        var searchResult = await _client.SearchAsync(
            collectionName: collectionName,
            vector: queryEmbedding,
            limit: (ulong)topK,
            scoreThreshold: 0.7f  // Only return if similarity > 0.7
        );

        return searchResult.Select(r => new SearchResult
        {
            Id = r.Id.Num,
            Score = r.Score,
            BlogPostSlug = r.Payload["blog_post_slug"].StringValue,
            ChunkText = r.Payload["chunk_text"].StringValue,
            ChunkIndex = (int)r.Payload["chunk_index"].IntegerValue
        }).ToList();
    }

    public async Task<List<SearchResult>> SearchWithFilterAsync(
        string collectionName,
        float[] queryEmbedding,
        string blogPostSlug,  // Only search within this post
        int topK = 5)
    {
        var filter = new Filter
        {
            Must =
            {
                new Condition
                {
                    Field = new FieldCondition
                    {
                        Key = "blog_post_slug",
                        Match = new Match { Keyword = blogPostSlug }
                    }
                }
            }
        };

        var searchResult = await _client.SearchAsync(
            collectionName: collectionName,
            vector: queryEmbedding,
            filter: filter,
            limit: (ulong)topK
        );

        return searchResult.Select(r => new SearchResult
        {
            Id = r.Id.Num,
            Score = r.Score,
            BlogPostSlug = r.Payload["blog_post_slug"].StringValue,
            ChunkText = r.Payload["chunk_text"].StringValue,
            ChunkIndex = (int)r.Payload["chunk_index"].IntegerValue
        }).ToList();
    }
}

public class SearchResult
{
    public ulong Id { get; set; }
    public float Score { get; set; }
    public string BlogPostSlug { get; set; }
    public string ChunkText { get; set; }
    public int ChunkIndex { get; set; }
}

Функції пошуку:

  • limit - Поверніться вгору
  • scoreThreshold - Знову повертаємо лише тоді, коли схожість перевищує порог
  • filter - Filtrувати за метаданнями e.gM SK3 пошукати тільки конкретних постів

Це повний приклад: пошукового трубопроводу

using System;
using System.Threading.Tasks;

class Program
{
    static async Task Main(string[] args)
    {
        // Setup
        var embedder = new EmbeddingGenerator(
            "bge-base-en-onnx/model.onnx",
            "bge-base-en-onnx/tokenizer.json",
            useGpu: true
        );

        var client = new QdrantClient("localhost", 6334);
        var searcher = new QdrantSearcher(client);

        // User query
        string query = "How do I set up Docker with ASP.NET Core?";

        // Generate query embedding
        Console.WriteLine($"Searching for: {query}");
        var queryEmbedding = embedder.GenerateEmbedding(query);

        // Search
        var results = await searcher.SearchAsync(
            collectionName: "blog_embeddings",
            queryEmbedding: queryEmbedding,
            topK: 5
        );

        // Display results
        Console.WriteLine($"\nFound {results.Count} results:\n");

        foreach (var result in results)
        {
            Console.WriteLine($"Score: {result.Score:F4}");
            Console.WriteLine($"Post: {result.BlogPostSlug}");
            Console.WriteLine($"Chunk: {result.ChunkText.Substring(0, Math.Min(100, result.ChunkText.Length))}...");
            Console.WriteLine();
        }
    }
}

Виход:

Searching for: How do I set up Docker with ASP.NET Core?

Found 5 results:

Score: 0.8923
Post: dockercomposedevdeps
Chunk: In this post, I'll show you how to set up a development environment using Docker Compose. This is p...

Score: 0.8654
Post: dockercompose
Chunk: Docker Compose is a tool for defining and running multi-container Docker applications. With Compose...

Score: 0.8102
Post: addingentityframeworkforblogpostspt1
Chunk: You can set it up either as a windows service or using Docker as I presented in a previous post on...

Score: 0.7891
Post: imagesharpwithdocker
Chunk: When running ASP.NET Core applications in Docker containers, you may encounter issues with ImageSha...

Score: 0.7654
Post: selfhostingseq
Chunk: I use Docker Compose to run all my services. Here's the relevant part of my docker-compose.yml file...

Чудово! З 'ясувалося, що докер та ASP мають важливе значення.

Оптимізація ефективності

Побудова батареї

Не треба генерувати вбудовані модулі один

public class BatchEmbeddingGenerator
{
    private readonly EmbeddingGenerator _embedder;

    public BatchEmbeddingGenerator(EmbeddingGenerator embedder)
    {
        _embedder = embedder;
    }

    public List<float[]> GenerateBatch(List<string> texts, int batchSize = 32)
    {
        var embeddings = new List<float[]>();

        for (int i = 0; i < texts.Count; i += batchSize)
        {
            var batch = texts.Skip(i).Take(batchSize).ToList();

            foreach (var text in batch)
            {
                embeddings.Add(_embedder.GenerateEmbedding(text));
            }

            Console.WriteLine($"Processed {Math.Min(i + batchSize, texts.Count)} / {texts.Count}");
        }

        return embeddings;
    }
}

Навіщо готування?

  • Використовування GPU: робить GPU зайнятим
  • Ефективність пам 'яті: повторює використання буферів
  • Переслідування прогресу: відгуки користувачів

Вбудова в кэш

Не треба' не відновлювати вбудований матеріал для незмінного наповненняM SK1

using System.Security.Cryptography;
using System.Text;

public class EmbeddingCache
{
    private readonly Dictionary<string, float[]> _cache = new();

    public float[] GetOrGenerate(string text, Func<string, float[]> generator)
    {
        string hash = ComputeHash(text);

        if (_cache.TryGetValue(hash, out var cached))
        {
            return cached;
        }

        var embedding = generator(text);
        _cache[hash] = embedding;

        return embedding;
    }

    private string ComputeHash(string text)
    {
        using var sha256 = SHA256.Create();
        var bytes = sha256.ComputeHash(Encoding.UTF8.GetBytes(text));
        return Convert.ToBase64String(bytes);
    }
}

Альтернатива pgvector

Якщо ви хочете залишити все в PostgreSQL:

Установити розширення pgvector

CREATE EXTENSION vector;

Створити таблицю

CREATE TABLE blog_embeddings (
    id SERIAL PRIMARY KEY,
    blog_post_slug VARCHAR(255),
    chunk_text TEXT,
    chunk_index INT,
    embedding VECTOR(768)  -- 768 dimensions
);

-- Create HNSW index for fast search
CREATE INDEX ON blog_embeddings USING hnsw (embedding vector_cosine_ops);

Вsert from C#

using Npgsql;
using Pgvector;

public async Task InsertEmbeddingAsync(
    string slug,
    string chunkText,
    int chunkIndex,
    float[] embedding)
{
    await using var conn = new NpgsqlConnection(connectionString);
    await conn.OpenAsync();

    await using var cmd = new NpgsqlCommand(
        "INSERT INTO blog_embeddings (blog_post_slug, chunk_text, chunk_index, embedding) VALUES ($1, $2, $3, $4)",
        conn
    )
    {
        Parameters =
        {
            new() { Value = slug },
            new() { Value = chunkText },
            new() { Value = chunkIndex },
            new() { Value = new Vector(embedding) }
        }
    };

    await cmd.ExecuteNonQueryAsync();
}

Поиск за допомогою pgvector

public async Task<List<SearchResult>> SearchAsync(float[] queryEmbedding, int topK = 10)
{
    await using var conn = new NpgsqlConnection(connectionString);
    await conn.OpenAsync();

    await using var cmd = new NpgsqlCommand(
        @"SELECT blog_post_slug, chunk_text, chunk_index,
                 1 - (embedding <=> $1) as similarity
          FROM blog_embeddings
          ORDER BY embedding <=> $1
          LIMIT $2",
        conn
    )
    {
        Parameters =
        {
            new() { Value = new Vector(queryEmbedding) },
            new() { Value = topK }
        }
    };

    var results = new List<SearchResult>();

    await using var reader = await cmd.ExecuteReaderAsync();
    while (await reader.ReadAsync())
    {
        results.Add(new SearchResult
        {
            BlogPostSlug = reader.GetString(0),
            ChunkText = reader.GetString(1),
            ChunkIndex = reader.GetInt32(2),
            Score = reader.GetFloat(3)
        });
    }

    return results;
}

<=> оператор: Дистанція косину ( нижчий - більш схожий 1 - distance: Перевести до результату подібності

Підсумок

Ми застосували

  1. ✅ Що таке вбудова і чому вона дає можливість семантичного пошуку
  2. ✅ Як вибрати і конвертувати модель вмонтування до ONNX
  3. ✅ генерування вбудованих компонентів у C# з часом запуску ONNX
  4. ✅ Концепції векторної бази даних
  5. ✅ Використовуючи Qdrant для хранения векторів та пошуку
  6. ✅ Альтернатива: pgvector в PostgreSQL
  7. ✅ Оптимізація ефективності

Тепер у нас є ключова технологія для пошуку семантично схожого контенту для блогів!

Що' СледующаяM SK1

В **Частина 4: Збудування каналу впиту**МСК0 ми ' збудуємо канал для поглинання

  • Я читаю та аналізую файли відмітки ( ми вже робимо це для блогуM SK1
  • Розумні стратегії відокремлення
  • Виробити вбудовані додатки для кожного контенту
  • Об 'ємний введення в Кдрант
  • Рухаємось з aktualizacjami та видаленнями
  • Наслідування прогресу

Ми обробимо весь наш блог і матимемо пошукову базу знань

Навігація серії

Ресурс

Побачимося Частина 4!

logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.