Back to "RAG в практиці: Збудування реальногоM SK1 Світові застосування"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

This is a preview from the server running through my markdig pipeline

AI AI-Article LLM Machine Learning RAG Semantic Search

RAG в практиці: Збудування реальногоM SK1 Світові застосування

Saturday, 22 November 2025

В Частина 1 цієї серії RAG, ми обговорили основи Recretrieval -Augmented Generation МSK2 що це таке \ , як це працює \ МSK4 і технологію, яка лежить в основі МSK5 вбудовані , векторні бази даних | , \ LLM інтерфейси | МSK8 \ Зараз \МSK9 \ час застосувати ці знання в практиці |. \ У цьому artykule показано, як побудувати реальні RAG-системи з працюючою кодом C

Введение

Якщо ви не читали Частина 1: RAG пояснена, Я рекомендую починати з цього, щоб зрозуміти базові поняття

  • Що таке РАГ і чому він важливий
  • Як вбудова та пошук векторів працюють
  • Внутрішнє LLM (tokens, KV CacheMSC2 контекстні вікнаM SK3
  • RAG проти fine-tuning та інших підходів

Ця стаття передбачає, що ви розумієте ці основи і зосереджуєтесь на Implementation, optimization , and realM SK2 world patterns.

real-World RAG Applications на цьому blogu

Я збудував декілька RAG-впливові функції на цьому блогіM SK2 Дозвольте мені показати вам конкретні приклади.

1. Рекомендація щодо інших постів

Кожен блог може показати "Посилані постиM SK1 за допомогою семантичного подібності.

Як це працює:

  1. Кожен блог буде вбудований, коли буде опубліковано
  2. Коли ми переглядаємо пост,, ми отримуємо його вбудова з Qdrant
  3. Найти найпохожіший wpis на 5
  4. Подібні листи: "

Чому це краще, ніж ярлики

  • Метки потребують ручної класифікації
  • Семантичні пошуки знаходять концептуально пов 'язані статті навіть без відповідних ярликів
  • Postи "Docker Compose" і "Container orchestrationM SK3 пов 'язані семантично

Зразок коду:

public async Task<List<SearchResult>> GetRelatedPostsAsync(
    string currentPostSlug,
    string language,
    int limit = 5)
{
    // Get the current post's embedding
    var currentPost = await _vectorStore.GetByIdAsync(currentPostSlug);

    if (currentPost == null)
        return new List<SearchResult>();

    // Find similar posts
    var similarPosts = await _vectorStore.SearchAsync(
        currentPost.Embedding,
        limit: limit + 1,  // +1 because result includes the current post
        filter: new Filter
        {
            Must =
            {
                new Condition
                {
                    Field = "language",
                    Match = new Match { Keyword = language }
                }
            },
            MustNot =
            {
                new Condition
                {
                    Field = "slug",
                    Match = new Match { Keyword = currentPostSlug }
                }
            }
        }
    );

    return similarPosts.Take(limit).ToList();
}

Поиск у цьому блогі використовує РАГ- стиль семантичного пошуку M SK1 хоча без генерації частини МSK2 це МSK3 це лише відтворення

Усвідомлення користувача:

  • Поиск на "становлення бази данихM SK1 → знаходить пости про Migrations по PostgreSQL
  • Поиск за "налагодженняM SK1 → знаходить пости про Docker, хостингМSK4 CIMSC5CD
  • Немає потреби для точного співпадіння ключевих слов

Implementation: Я' розповім про те, як це зробити в наступному artykule про векторні бази даних

3. Працівник МSK1 Адвокат ҐПТ МSK2 Письменник

Я будую повноцінну систему RAG, яка допоможе мені написати нові блогові статті.

Використовуйте випадок: Коли я починаю писати про "введення аутентифікації в ASPM SK1NET Core", системуMSC3

  1. Вставляє мій теперішній проект
  2. Перешукає минулі публікації про пов 'язане з аутентифікацією, ASPM SK1NET, безпеку
  3. Наділяє інформацію про фрагменти коду, які я раніше використовував
  4. Auto-generates internal links to related posts
  5. Утримує послідовність зі своїм стилем письма

Полна труба РАГ:

public async Task<WritingAssistanceResponse> GetSuggestionsAsync(
    string currentDraft,
    string topic)
{
    // 1. Embed the current draft
    var draftEmbedding = await _embeddingService.GenerateEmbeddingAsync(
        currentDraft
    );

    // 2. Retrieve related past content
    var relatedPosts = await _vectorStore.SearchAsync(
        draftEmbedding,
        limit: 5
    );

    // 3. Build context for LLM
    var prompt = BuildWritingAssistancePrompt(
        currentDraft,
        topic,
        relatedPosts
    );

    // 4. Generate suggestions using local LLM
    var suggestions = await _llmService.GenerateAsync(prompt);

    // 5. Extract and format citations
    var response = ExtractCitations(suggestions, relatedPosts);

    return response;
}

Це RAG в дії. - пошук.

Поширені проблеми та рішення RAG

Збудувати системи RAG для виробництва - це не банально. Я зіткнувся з проблемами, і як їх розв 'язати.

Виклики 1: Strategia по освіті

Проблема: Як розділити документи

Рішення: Гібридне відрізання на основі структури dokumentu.

public class SmartChunker
{
    public List<Chunk> ChunkDocument(string markdown, string sourceId)
    {
        var chunks = new List<Chunk>();

        // Parse markdown into sections
        var document = Markdown.Parse(markdown);
        var sections = ExtractSections(document);

        foreach (var section in sections)
        {
            var wordCount = CountWords(section.Content);

            if (wordCount < MinChunkSize)
            {
                // Merge small sections
                MergeWithPrevious(chunks, section);
            }
            else if (wordCount > MaxChunkSize)
            {
                // Split large sections
                var subChunks = SplitSection(section);
                chunks.AddRange(subChunks);
            }
            else
            {
                // Just right
                chunks.Add(CreateChunk(section, sourceId));
            }
        }

        return chunks;
    }
}

Найкращі практики:

  • Поважати структуру dokumentu (headersM SK1 paragraphs)
  • Додайте перехрестя між шматочками (50-100 словаM SK1
  • Захищайте кодові блоки непошкодженими
  • Включити заголовки розділів у кожен шматок для контексту

Виклик 2: Якість вмонтування

Проблема: Ogólnі вбудовані моделі не можуть захоплювати домену-конкретну семантикуM SK1

Рішення:

Опція 1: Fine-tune вбудова (advancedM SK1

# Using sentence-transformers in Python
from sentence_transformers import SentenceTransformer, InputExample, losses

model = SentenceTransformer('all-MiniLM-L6-v2')

# Create training examples from your domain
train_examples = [
    InputExample(texts=['Docker Compose', 'container orchestration'], label=0.9),
    InputExample(texts=['Entity Framework', 'ORM database'], label=0.9),
    InputExample(texts=['Docker', 'apple fruit'], label=0.1)
]

# Fine-tune
train_dataloader = DataLoader(train_examples, shuffle=True, batch_size=16)
train_loss = losses.CosineSimilarityLoss(model)
model.fit(train_objectives=[(train_dataloader, train_loss)], epochs=1)

Опція 2: Гібридні вбудова (з 'єднати кілька моделейM SK1

public async Task<float[]> GenerateHybridEmbeddingAsync(string text)
{
    var semantic = await _semanticModel.GenerateEmbeddingAsync(text);
    var keyword = await _keywordModel.GenerateEmbeddingAsync(text);

    // Concatenate or weighted average
    return CombineEmbeddings(semantic, keyword);
}

Опція 3: Dodaj метаданний фильтр

var results = await _vectorStore.SearchAsync(
    queryEmbedding,
    limit: 10,
    filter: new Filter
    {
        Must =
        {
            new Condition { Field = "category", Match = new Match { Keyword = "ASP.NET" } },
            new Condition { Field = "date", Range = new Range { Gte = "2024-01-01" } }
        }
    }
);

Проблема 3: Управлення контекстним вікном

Проблема: У LLM є обмеження символів. Як помістити запит M SK1 контекст + про prompt у вікні?

Рішення: Динамічний вибір контексту та підсумування.

public string BuildContextAwarePrompt(
    string query,
    List<SearchResult> retrievedDocs,
    int maxTokens = 4096)
{
    var promptTemplate = GetPromptTemplate();
    var queryTokens = CountTokens(query);
    var templateTokens = CountTokens(promptTemplate);

    // Reserve tokens for: prompt + query + response
    var availableForContext = maxTokens - queryTokens - templateTokens - 500; // 500 for response

    // Add context until we hit limit
    var selectedContext = new List<SearchResult>();
    var currentTokens = 0;

    foreach (var doc in retrievedDocs.OrderByDescending(d => d.Score))
    {
        var docTokens = CountTokens(doc.Text);

        if (currentTokens + docTokens <= availableForContext)
        {
            selectedContext.Add(doc);
            currentTokens += docTokens;
        }
        else
        {
            // Try summarizing the doc if it's important
            if (doc.Score > 0.85)
            {
                var summary = await SummarizeAsync(doc.Text, maxTokens: 200);
                var summaryTokens = CountTokens(summary);

                if (currentTokens + summaryTokens <= availableForContext)
                {
                    selectedContext.Add(new SearchResult
                    {
                        Text = summary,
                        Title = doc.Title,
                        Score = doc.Score
                    });
                    currentTokens += summaryTokens;
                }
            }
        }
    }

    return FormatPrompt(query, selectedContext);
}

Виклик 4: галюцинації, незважаючи на РАГ

Проблема: Навіть в контексті

Рішення:

1. Швидка інженерія

var systemPrompt = @"
You are a technical assistant.

CRITICAL RULES:
1. ONLY use information from the provided CONTEXT sections
2. If the context doesn't contain the answer, say 'I don't have enough information in the provided context to answer that'
3. DO NOT use your training data to supplement answers
4. Always cite the source using [1], [2] notation
5. If you're unsure, say so

CONTEXT:
{context}

QUESTION: {query}

ANSWER (following all rules above):
";

2. Позвіщення про генерацію

public async Task<bool> ValidateResponseAgainstContext(
    string response,
    List<SearchResult> context)
{
    // Check if response contains claims not in context
    var responseSentences = SplitIntoSentences(response);

    foreach (var sentence in responseSentences)
    {
        var isSupported = await IsClaimSupportedByContext(sentence, context);

        if (!isSupported)
        {
            _logger.LogWarning("Hallucination detected: {Sentence}", sentence);
            return false;
        }
    }

    return true;
}

3. Ітеративний переробкаM SK1

public async Task<string> GenerateWithValidationAsync(
    string query,
    List<SearchResult> context,
    int maxAttempts = 3)
{
    for (int attempt = 0; attempt < maxAttempts; attempt++)
    {
        var response = await _llm.GenerateAsync(
            BuildPrompt(query, context)
        );

        var isValid = await ValidateResponseAgainstContext(response, context);

        if (isValid)
            return response;

        // Refine prompt for next attempt
        query = $"{query}\n\nPrevious attempt hallucinated. Stick strictly to the context.";
    }

    return "I couldn't generate a reliable answer. Please rephrase your question.";
}

Задача МСК0 Трибуть показника наверхуМSK1до-Дата

Проблема: Коли ви додаєте нові документи, векторна база даних має залишатися поточною

Рішення: Автоматичний індексування трубопроводу.

public class BlogIndexingBackgroundService : BackgroundService
{
    private readonly IVectorStoreService _vectorStore;
    private readonly IMarkdownService _markdownService;
    private readonly ILogger<BlogIndexingBackgroundService> _logger;

    protected override async Task ExecuteAsync(CancellationToken stoppingToken)
    {
        while (!stoppingToken.IsCancellationRequested)
        {
            try
            {
                await IndexNewPostsAsync(stoppingToken);

                // Check for updates every hour
                await Task.Delay(TimeSpan.FromHours(1), stoppingToken);
            }
            catch (Exception ex)
            {
                _logger.LogError(ex, "Error in indexing service");
            }
        }
    }

    private async Task IndexNewPostsAsync(CancellationToken ct)
    {
        var allPosts = await _markdownService.GetAllPostsAsync();

        foreach (var post in allPosts)
        {
            var existingDoc = await _vectorStore.GetByIdAsync(post.Slug);

            // Check if content changed
            var currentHash = ComputeHash(post.Content);

            if (existingDoc == null || existingDoc.ContentHash != currentHash)
            {
                _logger.LogInformation("Indexing updated post: {Title}", post.Title);

                var chunks = _chunker.ChunkDocument(post.Content, post.Slug);

                foreach (var chunk in chunks)
                {
                    var embedding = await _embeddingService.GenerateEmbeddingAsync(chunk.Text);

                    await _vectorStore.UpsertAsync(
                        id: $"{post.Slug}_{chunk.Index}",
                        embedding: embedding,
                        metadata: new Dictionary<string, object>
                        {
                            ["slug"] = post.Slug,
                            ["title"] = post.Title,
                            ["chunk_index"] = chunk.Index,
                            ["content_hash"] = currentHash
                        },
                        ct: ct
                    );
                }
            }
        }
    }
}

Заawansовані технології RAG

Дозвольте дослідити технології різання з недавних досліджень

1. Гипотетичне вбудова Dokumentу

Проблема: Попити на користувача часто короткі і погано сформовані. фрагменти dokumentu деталізовані та добре написаніM SK1 написание. Ця нерівність знешкоджує відтворення .

Рішення: Створити гіпотетичний ідеальний документ, який відповість на запитання

public async Task<List<SearchResult>> HyDESearchAsync(string query)
{
    // Generate hypothetical answer (even if hallucinated)
    var hypotheticalAnswer = await _llm.GenerateAsync($@"
        Write a detailed, technical paragraph that would perfectly answer this question:

        Question: {query}

        Paragraph:"
    );

    // Embed the hypothetical answer
    var embedding = await _embeddingService.GenerateEmbeddingAsync(
        hypotheticalAnswer
    );

    // Search using this embedding
    return await _vectorStore.SearchAsync(embedding);
}

Чому це працює: У гіпотетичному випадку мова та структура схожі на реальні документи.

2. СамогубствоM SK1Попит

Проблема: Попити користувачів часто змішують семантичні пошуки з метаданними фільтрами.

До прикладу: M SK1Сновні пости про ДокерМSK2 | | = семантика МSK4Docker") \ + фильтр ( дата М SK8 | МSK9

Рішення: Використовуйте LLM для аналізу запиту на семантичні + метаданні фильтрыM SK1

public async Task<SearchQuery> ParseSelfQueryAsync(string naturalLanguageQuery)
{
    var parsingPrompt = $@"
        Parse this search query into:
        1. Semantic search query (what the user is looking for)
        2. Metadata filters (category, date range, etc.)

        User Query: {naturalLanguageQuery}

        Output JSON:
        {{
            ""semantic_query"": ""the core concept"",
            ""filters"": {{
                ""category"": ""...",
                ""date_after"": ""..."",
                ""date_before"": ""...""
            }}
        }}
    ";

    var jsonResponse = await _llm.GenerateAsync(parsingPrompt);
    var parsed = JsonSerializer.Deserialize<SearchQuery>(jsonResponse);

    return parsed;
}

// Use parsed query
var parsedQuery = await ParseSelfQueryAsync("Recent ASP.NET posts about authentication");
// semantic_query: "authentication"
// filters: { category: "ASP.NET", date_after: "2024-01-01" }

var results = await _vectorStore.SearchAsync(
    embedding: await _embeddingService.GenerateEmbeddingAsync(parsedQuery.SemanticQuery),
    filter: BuildFilter(parsedQuery.Filters)
);

3. МультифріалізаціяM SK1Запроси РАG

Проблема: Одне запитання може пропустити необхідні документи через формулювання.

Рішення: Виgenerувати багато варіацій пошуку, із усімаM SK1 комбінувати результатиМSK2

public async Task<List<SearchResult>> MultiQuerySearchAsync(string query)
{
    // Generate query variations
    var variations = await _llm.GenerateAsync($@"
        Generate 3 different ways to phrase this search query:

        Original: {query}

        Variations (one per line):
    ");

    var queries = variations.Split('\n', StringSplitOptions.RemoveEmptyEntries)
        .Prepend(query) // Include original
        .ToList();

    // Search with all variations
    var allResults = new List<SearchResult>();

    foreach (var q in queries)
    {
        var embedding = await _embeddingService.GenerateEmbeddingAsync(q);
        var results = await _vectorStore.SearchAsync(embedding, limit: 10);
        allResults.AddRange(results);
    }

    // Deduplicate and merge scores
    var merged = allResults
        .GroupBy(r => r.Id)
        .Select(g => new SearchResult
        {
            Id = g.Key,
            Text = g.First().Text,
            Title = g.First().Title,
            Score = g.Max(r => r.Score) // Take best score
        })
        .OrderByDescending(r => r.Score)
        .ToList();

    return merged;
}

4. Контекстове стиснення

Проблема: Звідси відібрані кусочки містять неважливу інформацію. Посилання всіх маркерів з викидом

Рішення: Використовуйте менший LLM для стискання отриманого контексту лише на важливі частини.

public async Task<string> CompressContextAsync(
    string query,
    List<SearchResult> retrievedDocs)
{
    var compressed = new List<string>();

    foreach (var doc in retrievedDocs)
    {
        var compressionPrompt = $@"
            Extract only the sentences from this document that are relevant to answering the question.

            Question: {query}

            Document:
            {doc.Text}

            Relevant excerpts (maintain original wording):
        ";

        var relevantExcerpt = await _smallLLM.GenerateAsync(compressionPrompt);

        if (!string.IsNullOrWhiteSpace(relevantExcerpt))
        {
            compressed.Add($"From '{doc.Title}':\n{relevantExcerpt}");
        }
    }

    return string.Join("\n\n", compressed);
}

5. Ітеративний відбір Мільйозок МSK2Гуп РАГ МSK3

Проблема: Складні питання потребують інформації з багатьох джерел, які мають бути пов 'язані.

Наприклад: M SK1 Яку базу даних використовує блог і як реалізується семантичний пошук?"

  • Hop 1: Знайти, яку базу даних використали
  • Hop 2: Знайти, як діє семантичний пошук у цій базі даних

Рішення: Ітеративне відтворення і синтез.

public async Task<string> MultiHopRAGAsync(string complexQuery, int maxHops = 3)
{
    var currentQuery = complexQuery;
    var allContext = new List<SearchResult>();

    for (int hop = 0; hop < maxHops; hop++)
    {
        // Retrieve for current query
        var results = await SearchAsync(currentQuery, limit: 5);
        allContext.AddRange(results);

        // Check if we have enough information
        var synthesisPrompt = $@"
            Original question: {complexQuery}

            Context so far:
            {FormatContext(allContext)}

            Can you answer the original question with this context?
            If yes, provide the answer.
            If no, what additional information do you need? (be specific)
        ";

        var synthesis = await _llm.GenerateAsync(synthesisPrompt);

        if (synthesis.Contains("yes", StringComparison.OrdinalIgnoreCase))
        {
            // We have enough information
            return ExtractAnswer(synthesis);
        }

        // Extract what we need for next hop
        currentQuery = ExtractNextQuery(synthesis);
    }

    // Final synthesis with all gathered context
    return await GenerateFinalAnswerAsync(complexQuery, allContext);
}

6. Довгий - Контекст пам 'яті termina з РАG МSK2 Підсумування

Проблема: Як побудувати системи штучного інтелекту, які пам 'ятають розмови з місяців чи років тому?

Рішення: Об 'єднати RAG з прогресивним підсумуванням, щоб створити тривалий, пошукова пам' ятьM SK1

Це підхід, який використовують в DiSE (Direkted Synthetic Evolution) - заawansована система IM SK1m будівля, яка використовує контекстну пам 'ять на основі RAG - для невичерпної підтримки історії спільного спілкування

Прикладний сценарій:

User (Today): "Remember George's specs?"
AI: "Yes, you discussed George's prescription requirements in our conversation
     from 5 years ago (2019-03-15). He needed progressive lenses with..."

Як це працює:

flowchart TB
    A[User Message] --> B[Store in RAG Memory]
    B --> C[Extract Key Entities & Topics]
    C --> D[Link to Past Conversations]

    E[Periodic Summarization] --> F[Summarize Old Conversations]
    F --> G[Store Summary with High-Level Tags]
    G --> H[Keep Original for Retrieval]

    I[Future Query: 'George's specs'] --> J[Semantic Search in RAG]
    J --> K[Find: 2019 conversation]
    K --> L[Retrieve Original Context]
    L --> M[LLM generates response with 5-year-old context!]

    style B stroke:#f9f,stroke-width:3px
    style J stroke:#bbf,stroke-width:3px

Дослідження implementation:

public class LongTermConversationalMemory
{
    private readonly IVectorStoreService _vectorStore;
    private readonly IEmbeddingService _embeddingService;

    public async Task StoreConversationAsync(
        string conversationId,
        string userId,
        List<ConversationTurn> turns,
        DateTime timestamp)
    {
        // Extract key entities and topics
        var entities = await ExtractEntitiesAsync(turns);
        var topics = await ExtractTopicsAsync(turns);

        // Create searchable representation
        var conversationText = string.Join("\n", turns.Select(t =>
            $"{t.Speaker}: {t.Message}"));

        // Generate embedding
        var embedding = await _embeddingService.GenerateEmbeddingAsync(
            conversationText);

        // Store in RAG with rich metadata
        await _vectorStore.IndexDocumentAsync(
            id: $"conv_{conversationId}",
            embedding: embedding,
            metadata: new Dictionary<string, object>
            {
                ["user_id"] = userId,
                ["timestamp"] = timestamp.ToString("O"),
                ["entities"] = entities,  // ["George", "specs", "prescription"]
                ["topics"] = topics,      // ["healthcare", "eyewear"]
                ["full_text"] = conversationText,
                ["turn_count"] = turns.Count
            }
        );
    }

    public async Task<List<PastContext>> RetrieveRelevantPastAsync(
        string currentQuery,
        string userId,
        int limit = 5)
    {
        // Embed the current query
        var queryEmbedding = await _embeddingService.GenerateEmbeddingAsync(
            currentQuery);

        // Search past conversations
        var results = await _vectorStore.SearchAsync(
            queryEmbedding,
            limit: limit,
            filter: new Filter
            {
                Must =
                {
                    new Condition { Field = "user_id", Match = new Match { Keyword = userId } }
                }
            }
        );

        return results.Select(r => new PastContext
        {
            ConversationId = r.Id,
            Timestamp = DateTime.Parse(r.Metadata["timestamp"].ToString()),
            Entities = (List<string>)r.Metadata["entities"],
            FullText = r.Metadata["full_text"].ToString(),
            Relevance = r.Score
        }).ToList();
    }

    // Periodic summarization to keep memory manageable
    public async Task SummarizeOldConversationsAsync(DateTime olderThan)
    {
        var oldConversations = await _vectorStore.FindByDateRangeAsync(
            endDate: olderThan);

        foreach (var conv in oldConversations)
        {
            // Generate summary using LLM
            var summary = await _llm.GenerateAsync($@"
                Summarize this conversation, preserving key facts and entities:

                {conv.FullText}

                Summary:");

            // Update document with summary while keeping original
            await _vectorStore.UpdateAsync(
                id: conv.Id,
                additionalMetadata: new Dictionary<string, object>
                {
                    ["summary"] = summary,
                    ["summarized_at"] = DateTime.UtcNow.ToString("O")
                }
            );
        }
    }
}

Чому це потужне:

  1. Невичерпний простір пам 'яті - Розмова з роками тому такі ж доступні, як і вчора
  2. Семантичний пошук МSK0 "ДжорджM SK2 характеристики " знаходить розмову, навіть якщо зберігається як МSK4George' вимоги до окулярів на рецепті M SK6
  3. Зв 'язок між учасниками - Усі розмови, в яких згадано "GeorgeM SK2, пов 'язані
  4. Охрана приватності - Можути реалізувати ізоляцію пам 'яті користувача за допомогою
  5. Вартість-ефективний - Підсумування запобігає вибуху зберігання, зберігаючи пошукову здатність

Справжня-приклад світу з DiSEM SK1

DiSE використовує цей підхід, щоб запам 'ятати

  • Викликання інструментів з місяцями тому ( що спрацювало , що не спрацюло МSK2
  • Шаблони коду які були успішними в минулих проектах
  • Настрої користувача закріплених в попередніх розмовах
  • Знання домена зростає впродовж часу

Це створює ШІ-систему, яка справді "" МСК0 "", "" вивчає """ з кожної взаємодії і будує інституційну пам 'ять "".

Проблеми, які потрібно обмірковувати

  1. Prywatність: Старі розмови повинні бути відповідно ізольованими для кожного користувача
  2. Погіршення значущості: Не вся стара інформація залишається актуальною
  3. Вартість зберігання: Потрібна стратегія підсумування для масштабу
  4. Сpójність: Упорядкування підсумків до оригінальних
  5. Точность пошуку: Сбалансування між останнім і історично важливим контекстом

Ця технологія перетворює RAG з " пошук моїх документів " в МSK2 запам 'ятайте все, про що ми говорили M SK3 МSK4 М SK5 гру - змінювач для довгострокових MSC7 ассистентів штучного інтелекту

Коли не використовувати RAG

RAG - це не завжди відповідь.

1. Запроси про знання

  • "То, що є столицею Франції
  • RAG додає затримку та вартість без жодних переваг

2. Творче письмо

  • Поезія
  • RAG обмежує творчість, спираючись на існуючий текст

3. Реальний МSK1 потреби в даних про час

  • Ціни акцій, спортивні результати наживо
  • Краще працював API-інтегрування, а не RAG

4. Математика

  • " Перерахуйте МSK1 наконечник на МSK2
  • LLMs можуть виконувати арифметику; RAG не допомагаєM SK1t

5. Дуже малі бази знань

  • Якщо ваша база знань вписується у контекстний вікно, просто включите все
  • Перерахунки RAG не варті для документів '

6. Коли ви керуєте тренуванням

  • Якщо ви тренуєте модель з нуля на ваших даних, то краще підлаштовуєтесь
  • RAG найкраще, коли ви використовуєте досвідчені моделі, які ви не контролюєте

Начати з РАГ: Практичний інструкт

Ви хочете побудувати власну RAG систему? Тут ' це крок-поM SK3ступний підхідMSC4

тиждень 1: Почнемо з простого

Мета: Получить базовий пошук без LLM.

// 1. Choose an embedding service (start with API for simplicity)
var openAI = new OpenAIClient(apiKey);

// 2. Embed a few test documents
var docs = new[]
{
    "Docker is a containerization platform",
    "Kubernetes orchestrates containers",
    "Entity Framework is an ORM for .NET"
};

var embeddings = new List<float[]>();
foreach (var doc in docs)
{
    var response = await openAI.GetEmbeddingsAsync(
        new EmbeddingsOptions("text-embedding-3-small", new[] { doc })
    );
    embeddings.Add(response.Value.Data[0].Embedding.ToArray());
}

// 3. Implement basic search (in-memory for now)
var query = "container orchestration";
var queryEmbedding = await GetEmbeddingAsync(query);

var results = embeddings
    .Select((emb, idx) => new
    {
        Text = docs[idx],
        Score = CosineSimilarity(queryEmbedding, emb)
    })
    .OrderByDescending(r => r.Score)
    .ToList();

// 4. Verify search works
foreach (var result in results)
{
    Console.WriteLine($"{result.Score:F3}: {result.Text}");
}
// Expected: Kubernetes scores highest

тиждень 2: Dodaj векторну базу даних

Мета: Скала до реальных колекцій документів.

Наступні кроки для реалізації:

  1. Запустити Qdrant в Докері
  2. Індекс ваших документів
  3. Втілити кінцевий пункт пошуку

Я' розповім про це детальніше в наступному artykule про векторні бази данихM SK1

тиждень 3: Dodaj генерацію LLM

Мета: Завершити трубопровод РАG.

// 1. Retrieve context
var context = await SearchAsync(query, limit: 3);

// 2. Build prompt
var prompt = $@"
    Answer the question using this context:

    {FormatContext(context)}

    Question: {query}

    Answer:";

// 3. Generate (start with API)
var response = await openAI.GetChatCompletionsAsync(new ChatCompletionsOptions
{
    Messages =
    {
        new ChatMessage(ChatRole.System, "You are a helpful assistant."),
        new ChatMessage(ChatRole.User, prompt)
    },
    Temperature = 0.7f,
    MaxTokens = 500
});

return response.Value.Choices[0].Message.Content;

тиждень 4: Оптимизувати і по-польски

  • Додайте кэшування (заощадити на витратах APIM SK1
  • Удосконалити стратегію відокремлення
  • Додайте метаданні для обробки
  • Втілити гібридний пошук
  • Додайте вилучення цитат

Йдеться локально (OptionalM SK1

Як тільки базові завдання, перейдуть до локального висновку (IM SK2 я обговорю це в наступних статьях

  • локальний LLM висновок з прискоренням GPU
  • CPU- дружня вбудова з Runtime ONNX

Завершення

RAG (RetrievalM SK1Augmented Generation) - це потужна технологія, яка робить LLM точнішими , збільшує- до-dateMSC6 і надійнішими, базуючи їх відповіді на реальних документах МSK7 Замість того, щоб покладатися на модель M SK8 тільки на тренувальні дані

  1. Перейти важлива інформація з бази знань, використовуючи семантичні пошуки
  2. Підсилення про prompt LLM's з отриманим контекстом
  3. Створити відповіді, які базуються на реальних джерелах з цитатами

Головні переваги RAG:

  • Будьте на bieżąco-доM SK1с датою (just update your knowledge base )
  • Побудована на джерелах (знижує галюцинаціїM SK1
  • Я поясню. ( можу цитувати джерелаM SK1
  • -ефективний МSK1не дорогою реінструкцією МSK2
  • Prywatність-зберігання (може працювати виключно локальноM SK2
  • Домен-конкретний M SK1используйте власні документи)

Коли використовувати RAG:

  • Знання- інтенсивні завдання
  • Часто оновлює інформацію
  • Приватні/приватні дані
  • Потрібність цитацій та перевірливості
  • Ціна та простота

Коли уникати RAG:

  • Обізнання
  • Творче письмо
  • real-time data M SK1use APIs instead)
  • Дуже малі бази знань

Ця сфера швидко розвивається за допомогою передових технологій, таких як HyDE, multi - відтворення запитуM SK2 і контекстуальна kompresія, але ключова концепція залишається простоюMSC4 дати ЛЛУ доступ до правильної інформації в потрібний часMST5

Почнемо з простого, вимірюємо результатиМSK1 і повторюємоM SK2 RAG - один із найпрактичніших способів побудувати надійні системи штучного інтелекту

Що' СледующаяM SK1

Тепер, коли ви розумієте обидві фундаментальні речі (Частина 1) і практичних застосувань RAGM SK1 в наступних artykułах Я' покажу вам, як побудувати повноціннуMSC3 виробництвоMСК4 готові RAG системи у CМСК5

Незабаром прийде

  • CPU-Досміло семантичний пошук - Побудувати семантичні пошуки з вбудовами ONNX, які запускаються на будь-якому VPS без потреб GPU
  • Саморобна база даних векторів - Полний інструкційний інструкт для Qdrant з Докером, включно з індексуваннямM SK2 пошуком , та стратегіями оптимізації
  • Збудувати RAG Writing Assistant - Це повна серія, яка описує створення штучного інтелекту - вправного асистента для письма, який використовує ваш наявний контент як базу знань

Ці статті підуть вас від теорії до практики, з повним робочим кодом , стратегіями розгортання МSK2 і реальними M SK3 оптимізаціями світу на основі запуску цих систем в процесі виробництва на цьому блогі .

Залиштеся в курсі для рук- на інсталяційних інструкціях, які перетворюють знання про РАГ у робочі системиM SK1

Ресурс

Фундаментальні матеріали:

Наrzędziа та ланцюги:

Дальне читання:

Щасливе будівництво!

logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.