# Перехоплення та аналіз веб-контенту з LLM в C#

<!--category-- AI, LLM, Agents, C#, Systems Design -->
<datetime class="hidden">2025-12-19T10:00</datetime>

> **📌 Nota**: Ця стаття навчає фундаментальних принципів видобутку веб-контенту за допомогою LLMs, використовуючи найпростіший спосіб. **[DocSummarizer](/blog/building-a-document-summarizer-with-rag)** [![Реліз GitHub](https://img.shields.io/github/v/release/scottgal/mostlylucidweb?filter=docsummarizer*&label=docsummarizer)](https://github.com/scottgal/mostlylucidweb/releases?q=docsummarizer) - це реалізує архітектуру, яка показана тут, але виробництво - ступінь M SK2 вбудова БЕРТ МSK3 гібридні пошуки , Playwright для SPAs MSC5 захист від СМСР MST6 оцінені цитати МST7 і адекватне стеження за покрытием МСТ8

Коли ви запитуєте ChatGPT " прочитати цю статтю і підсумувати її ," що насправді відбувається МSK2 Якщо ви уявите, що штучний інтелект відкриває браузер і читає так, якби ви це робили,

**ЛЛМ не переглядають веб-сторінки. Вони пояснюють фрагменти коду, який вибрали**

Ця стаття показує, як це зробити в C# з Ольламою - без фреймворківM SK2 лише практичний код, який ви можете розв 'язати

> **TL;DR**: Ваш код забирає МSK1 очищає \→ фрагменти МSK3 вибирає . LLM бачить лише фрагменти, які ви вводите мSK5 Вибір є згубним з точки зору дизайну M- що МСК7 відповідає як за обмеження, так і за архітектуру

[TOC]

## Те, що робить це дієвим

Ось така думка, яка змінює те, як ви будуєте ці системи.

**Вибір - це рішення про продукт.**

LLM є зворотнім потоком вашого вибору. Він не може відновити інформацію, яку ви не бачили ' не показувати її MSC2 Коли агент M SK3 не в змозі знайти відповідь ," проблема майже ніколи не є моделью M SK5 це MSL6 ваша логіка вибору вибрала неправильні шматочки МSK7 МSK8 Це той самий принцип, що стоїть за [чому я уникав таких рамок, як LangChain](/blog/why-i-dont-use-langchain) - вони відокремлюють логіку вибору, яку вам потрібно розв 'язати

Ось чому: "агент переглядає сайти " мовчазно не справляється . Агент впевнено відповідає, спираючись на те, що він бачив МSK3 Ви ніколи не знаєте, що пропустив правильний зміст

```mermaid
flowchart LR
    URL[Full Page] --> Select[Your Selection]
    Select --> LLM[LLM Sees This]
    LLM --> Answer[Answer]
    
    URL -.->|"50KB"| Select
    Select -.->|"2KB"| LLM
    
    Miss[Missed Content] -.->|"Never seen"| X[❌]
    
    style Select stroke:#e74c3c,stroke-width:3px
    style Miss stroke:#95a5a6,stroke-width:2px,stroke-dasharray: 5 5
```

Модель може пояснити тільки те, що ви їй дали.

---


## Задачі дизайну перед кодом

Перед тим, як щось написати – це обмеження.

| Обмеження МSK1 Чому це важливо МSK2
|------------|----------------|
| **Немає рендеринга JS** | Тільки статичний HTML (Playwright для SPAsM SK2 МSK3
| **Обмежені символи** | Складний бюджет за запит МSK1К символів типичніM SK2 МSK3
| **Źródło-погані відповіді** | ЛЛМ не має галюцинувати знання про веб МSK1
| **Детерміністичне відбору** | Один і той самий вхід → один і той же шматок
| **Дослідження** | Зареєструйте те, що ви обрали , чому M SK2 і що ви відкинули

Якщо ви можете't пояснити, чому був відібраний кусочок

---


## Трубопровод

```mermaid
flowchart TB
    URL[URL] --> Fetch[1. Fetch]
    Fetch --> Clean[2. Clean]
    Clean --> Chunk[3. Chunk]
    Chunk --> Select[4. Select]
    Select --> LLM[LLM]
    LLM --> Answer[Answer]
    
    Fetch -.->|"57KB HTML"| Clean
    Clean -.->|"6KB text"| Chunk
    Chunk -.->|"5 chunks"| Select
    Select -.->|"2 chunks"| LLM
    
    style Select stroke:#e74c3c,stroke-width:3px
    style Clean stroke:#f39c12,stroke-width:3px
```

Кожен крок зменшує дані. До того часу, як LLM побачить цеMSC1 виM SK2 перейшли від 57KB HTML до можливо 2KB релевантного текстуMST5 Кожне скорочення є втраченимМSK6 Кожна скорочення може відкинути відповідьMSL7 Це той самий шаблон, який я використовую для [аналіз великих файлів CSV](/blog/analysing-large-csv-files-with-local-llms) - причини LLM , ваш код обчислює і вибирає МSK2

---


## Кілька прикладів

Впродовж цієї статті ми використовуватимемо один URL

```
https://learn.microsoft.com/en-us/dotnet/core/whats-new/dotnet-10/overview
```

А ще три питання, пов 'язані з зростанням спеціалізації:

1. " Що нового в МSK2NET МSK3
2. " Які покращення рівня продуктивності були згадані
3. " Чи є щось на кшталт AOT ?"

Це зберігає приклади на основі і показує, як вибір має більше значення, коли питання стають конкретними.

---


## Налагодження

```bash
# Install Ollama from https://ollama.ai
ollama pull llama3.2:3b

# NuGet packages
dotnet add package AngleSharp      # HTML parsing
dotnet add package OllamaSharp     # Ollama client (5.1.x)
```

> **OllamaSharp нота**: В версії 5.xM SK2 `GenerateAsync` повертається `IAsyncEnumerable<GenerateResponseStream?>` - він поштовхує टोकони так, як вони згенеровані ' `await foreach`. Зразок проектних шпиль

---


## Шаг 1: Перейти

Стандарт HTTP, але з деталями, які мають значення

```csharp
public class WebFetcher : IDisposable
{
    private readonly HttpClient _http;
    
    public WebFetcher()
    {
        var handler = new HttpClientHandler
        {
            AllowAutoRedirect = true,
            MaxAutomaticRedirections = 5,  // Cap redirects
            AutomaticDecompression = DecompressionMethods.All
        };
        
        _http = new HttpClient(handler) { Timeout = TimeSpan.FromSeconds(30) };
        _http.DefaultRequestHeaders.Add("User-Agent", 
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36");
    }
    
    public async Task<string> FetchAsync(string url)
    {
        var response = await _http.GetAsync(url);
        
        // Bail if not HTML
        var contentType = response.Content.Headers.ContentType?.MediaType ?? "";
        if (!contentType.Contains("html") && !contentType.Contains("text"))
            throw new InvalidOperationException($"Not HTML: {contentType}");
        
        response.EnsureSuccessStatusCode();
        return await response.Content.ReadAsStringAsync();
    }
    
    public void Dispose() => _http.Dispose();
}
```

**Що це обробляє**: Перенаправляє МSK1 загортаєтьсяM SK2 стискається МSK3 закінчується часом , Пользователь

**Що він не робить**: Java-рендерінг , аутентифікація МSK2 обмеження швидкості M SK3 роботи MSC4 txt . Для виробництва MST6 додавати за MСК7 відхилення від домашнєї мережі та ievēroти правила клізації МСК8

---


## Шаг 2: Чисти

Raw HTML - це, в основному, шум. Чисти його або ви витрачаєте टोकони на макет.

Типова сторінка:

```
57KB HTML → 6KB useful text (90% reduction)
```

### Стратегія

```mermaid
flowchart LR
    HTML[Raw HTML] --> Remove[Remove Noise]
    Remove --> Find[Find Main Content]
    Find --> Extract[Extract Text + Headings]
    Extract --> Normalize[Normalize]
    
    Remove -.->|"script, style, nav, ads"| Find
    Find -.->|"main, article, .content"| Extract
    
    style Remove stroke:#e74c3c,stroke-width:3px
    style Find stroke:#f39c12,stroke-width:3px
```

### Чиття є нестабільним - Рука з обережністю

Ваш прибиральник може повністю видалити відповідь. Поширені помилкиM SK1

- Агресивні відбірники видаляють легітимний контент
- Головний зміст має незвичайні класи (`.article-body`, `.post-text`)
- Відповідь знаходиться в панелі збоку або в коробці для викликів

**Ослаблення**:

- Залишити заголовки явно (`h1`-`h6`)
- Позбутись *роль* і *відома котлована*, не широких моделей
- Запис: шлях виділеного елементу МSK1 довжина тексту
- Fallback: якщо головний контент підозрювано короткийM SK1 спробувати тіло

```csharp
public class HtmlCleaner
{
    private readonly HtmlParser _parser = new();
    
    // Known noise - remove these entirely
    private static readonly string[] NoiseElements = 
        { "script", "style", "nav", "footer", "aside", "iframe", "noscript" };
    
    // Boilerplate patterns - remove by role, not aggressive wildcards
    private static readonly string[] NoiseSelectors = 
    {
        "[role='navigation']", "[role='banner']", "[role='complementary']",
        "[class*='cookie']", "[class*='newsletter']", "[aria-hidden='true']"
    };
    
    // Where to find content - order matters (most specific first)
    private static readonly string[] ContentSelectors = 
        { "main", "article", "[role='main']", ".content", ".post-content" };
    
    public CleanResult Clean(string html)
    {
        var doc = _parser.ParseDocument(html);
        
        // Remove noise
        foreach (var tag in NoiseElements)
            foreach (var el in doc.QuerySelectorAll(tag).ToList())
                el.Remove();
        
        foreach (var selector in NoiseSelectors)
            foreach (var el in doc.QuerySelectorAll(selector).ToList())
                el.Remove();
        
        // Find main content
        IElement? main = null;
        string? matchedSelector = null;
        
        foreach (var selector in ContentSelectors)
        {
            main = doc.QuerySelector(selector);
            if (main != null) { matchedSelector = selector; break; }
        }
        
        // Fallback to body if main content is suspiciously short
        var text = main?.TextContent ?? "";
        if (text.Length < 500 && doc.Body != null)
        {
            main = doc.Body;
            matchedSelector = "body (fallback)";
            text = main.TextContent;
        }
        
        return new CleanResult
        {
            Text = NormalizeWhitespace(text),
            MatchedSelector = matchedSelector ?? "none",
            OriginalLength = html.Length
        };
    }
    
    private string NormalizeWhitespace(string text)
    {
        text = Regex.Replace(text, @"[ \t]+", " ");
        text = Regex.Replace(text, @"\n\s*\n+", "\n\n");
        return text.Trim();
    }
}

public record CleanResult(string Text, string MatchedSelector, int OriginalLength);
```

> **Видобуток з читабельності** ( відлікання абзацівM SK1 щільність тексту ) - це ціла кроликова діра МSK3 На даний момент МСК4 вибірник М СК5 базові види видобутку для документації та блогів M СК6 Проект зразка включає в себе екстрактор відліку, якщо вам це потрібно

---


## Шаг 3:

У вас є 6KB чистого текстуM SK1 Чому б не надіслати все?

- **needle in haystack**: LLM perform worse when relevant info is buried in large context
- **Ціна**: Більше टोकенів = більше грошей та затримки
- **Концентрація**: Вибрані фрагменти дають кращий аргумент, ніж будь-що одночасно

Strategiя збудування має більше значення, ніж ви думаєте. [Статья про архітектуру РАГ](/blog/rag-architecture) - ті ж принципи apply whether you 're chunking web pages or documentsM SK2

### Наївне речення

Це вихідний пункт, не код виробництваM SK1

```csharp
public List<string> ChunkBySentence(string text, int maxTokens = 2000)
{
    var chunks = new List<string>();
    
    // WARNING: This breaks on abbreviations, decimals, URLs, code samples
    var sentences = text.Split(new[] { ". ", ".\n", "! ", "? " }, 
        StringSplitOptions.RemoveEmptyEntries);
    
    var current = new StringBuilder();
    var tokens = 0;
    
    foreach (var sentence in sentences)
    {
        var sentenceTokens = EstimateTokens(sentence);
        
        if (tokens + sentenceTokens > maxTokens && current.Length > 0)
        {
            chunks.Add(current.ToString().Trim());
            current.Clear();
            tokens = 0;
        }
        
        current.Append(sentence).Append(". ");
        tokens += sentenceTokens;
    }
    
    if (current.Length > 0)
        chunks.Add(current.ToString().Trim());
    
    return chunks;
}

// Rough estimate - OK for demos, not for billing
private int EstimateTokens(string text) 
    => (int)(text.Split(' ').Length * 1.3);
```

**Чому це наївно?**:

- `". "` відхилення на URL: "DrM SK1 Smith", "vMSC4
- Оцінка символів за кількістю слів - ±20%
- Немає перетинів між шматочками (не втрачає контексту на кордонахM SK1

### Краще: ЗаголовокМSK1На основі

Для документації

```csharp
public List<ContentChunk> ChunkByHeadings(string html)
{
    var doc = new HtmlParser().ParseDocument(html);
    var chunks = new List<ContentChunk>();
    
    var headings = doc.QuerySelectorAll("h1, h2, h3");
    
    foreach (var heading in headings)
    {
        var content = new StringBuilder();
        content.AppendLine(heading.TextContent);
        
        var sibling = heading.NextElementSibling;
        while (sibling != null && !sibling.TagName.StartsWith("H"))
        {
            content.AppendLine(sibling.TextContent);
            sibling = sibling.NextElementSibling;
        }
        
        chunks.Add(new ContentChunk
        {
            Heading = heading.TextContent.Trim(),
            Content = content.ToString().Trim(),
            HeadingLevel = int.Parse(heading.TagName[1..])
        });
    }
    
    return chunks;
}
```

Це зберігає структуру dokumentu і робить вибір більш значущим.

---


## Шаг 4: вибрати

Це місце, де трапляються найбільші невдачі.

У вас є chunks 5 chunks

```mermaid
flowchart TB
    Q["Question: What perf improvements?"] --> Score[Score Each Chunk]
    
    subgraph Chunks
        C1["Chunk 1: Overview..."] 
        C2["Chunk 2: Runtime perf..."]
        C3["Chunk 3: Libraries..."]
        C4["Chunk 4: SDK changes..."]
    end
    
    Score --> C1
    Score --> C2
    Score --> C3
    Score --> C4
    
    C2 -->|"score: 3"| Top[Selected]
    C3 -->|"score: 1"| Top
    
    style C2 stroke:#27ae60,stroke-width:3px
    style C1 stroke:#95a5a6,stroke-width:2px,stroke-dasharray: 5 5
    style C4 stroke:#95a5a6,stroke-width:2px,stroke-dasharray: 5 5
```

### Погони з ключевыми словами (Simple, DebuggableM SK2

```csharp
public record ScoredChunk(string Content, string? Heading, int Score, List<string> MatchedKeywords);

public List<ScoredChunk> SelectByKeywords(
    List<ContentChunk> chunks, 
    string question, 
    int topK = 3)
{
    // Normalize and filter stopwords
    var keywords = question.ToLower()
        .Split(' ', StringSplitOptions.RemoveEmptyEntries)
        .Where(w => w.Length > 3)
        .Where(w => !Stopwords.Contains(w))
        .Select(w => w.Trim(',', '.', '?', '!'))
        .Distinct()
        .ToList();
    
    var scored = chunks.Select(chunk =>
    {
        var text = (chunk.Heading + " " + chunk.Content).ToLower();
        var matched = keywords.Where(kw => text.Contains(kw)).ToList();
        
        // Boost if keyword appears in heading
        var headingBoost = chunk.Heading != null && 
            keywords.Any(kw => chunk.Heading.ToLower().Contains(kw)) ? 2 : 0;
        
        return new ScoredChunk(
            chunk.Content, 
            chunk.Heading, 
            matched.Count + headingBoost,
            matched
        );
    })
    .OrderByDescending(x => x.Score)
    .Take(topK)
    .ToList();
    
    // LOG THIS - it's your debugging lifeline
    foreach (var s in scored)
        Console.WriteLine($"  [{s.Score}] {s.Heading ?? "(no heading)"}: {string.Join(", ", s.MatchedKeywords)}");
    
    return scored;
}

private static readonly HashSet<string> Stopwords = new()
    { "what", "how", "does", "the", "are", "is", "in", "for", "of", "to", "and" };
```

**Найголовніші покращення щодо наївного підрахунку**:

- Виведення застережень (на противагу цьому МSK1щоM SK2 і " те, що МSK4 завжди співпадає з мSK5
- Підштовхування заголовка (структурний сигналM SK1
- **Ввімкнемо співпадні ключові слова** - це ваша лінія для розв 'язання проблем

### Вбудова-На основі (СемантикаM SK2

Keywords fail on synonyms. "perfM SK2 wonMSC3t match "performance improvements

Вбудова знаходить семантичні подібності. Якщо ви хочете глибше вивчити вбудова та векторний пошукM SK1 Я розповім про це детальніше у [Серія зразків RAG](/blog/rag-primer) і [пошук семантики з комп 'ютером ONNX](/blog/semantic-search-with-onnx-and-qdrant).

```csharp
public async Task<List<ScoredChunk>> SelectByEmbedding(
    List<ContentChunk> chunks, 
    string question, 
    int topK = 3)
{
    var questionEmbed = await EmbedAsync(question);
    
    // Cache these per URL in production
    var scored = new List<(ContentChunk Chunk, double Score)>();
    
    foreach (var chunk in chunks)
    {
        var chunkEmbed = await EmbedAsync(chunk.Content);
        var similarity = CosineSimilarity(questionEmbed, chunkEmbed);
        scored.Add((chunk, similarity));
    }
    
    return scored
        .OrderByDescending(x => x.Score)
        .Take(topK)
        .Select(x => new ScoredChunk(x.Chunk.Content, x.Chunk.Heading, (int)(x.Score * 100), new()))
        .ToList();
}

private async Task<double[]> EmbedAsync(string text)
{
    var request = new EmbedRequest { Model = "nomic-embed-text", Input = [text] };
    var response = await _ollama.EmbedAsync(request);
    return response.Embeddings.First().ToArray();
}
```

**Торгівля**:

- Ключевые слова: швидке , непошкодливе M SK2 літеричне співпадіння
- Embeddings: Semantic, але повільніше і потребує шифрування

Для виробництва, вбудова в кэші на M SK1URL, chunk hash ) в SQLite або в векторній базі даних, як [Кдрант](/blog/building-a-lawyer-gpt-for-your-blog-part4).

---


## Пересилання до LLM

Структурувати про prompt, щоб примусити джерело- обмежені відповіді з цитатоюM SK1

```csharp
public string BuildPrompt(string url, List<ScoredChunk> chunks, string question)
{
    var sb = new StringBuilder();
    
    sb.AppendLine("You are answering a question using ONLY the content below.");
    sb.AppendLine("Rules:");
    sb.AppendLine("- Answer ONLY from the provided sources");
    sb.AppendLine("- Cite which SOURCE number supports each claim");
    sb.AppendLine("- Include 1-2 brief quotes as evidence");
    sb.AppendLine("- If the answer isn't in the sources, say 'Not enough information'");
    sb.AppendLine("- End with Confidence: High/Medium/Low");
    sb.AppendLine();
    
    for (int i = 0; i < chunks.Count; i++)
    {
        sb.AppendLine($"=== SOURCE {i + 1} ===");
        if (chunks[i].Heading != null)
            sb.AppendLine($"Section: {chunks[i].Heading}");
        sb.AppendLine($"From: {url}");
        sb.AppendLine(chunks[i].Content);
        sb.AppendLine();
    }
    
    sb.AppendLine($"Question: {question}");
    sb.AppendLine();
    sb.AppendLine("Answer (with citations and confidence):");
    
    return sb.ToString();
}
```

Це рухається від "сумок записівM SK1 до МSK2аналіз з провинцією."

### Звук Оллами

```csharp
public async Task<string> AskAsync(string prompt)
{
    var request = new GenerateRequest { Model = "llama3.2:3b", Prompt = prompt };
    
    var response = new StringBuilder();
    await foreach (var chunk in _ollama.GenerateAsync(request))
    {
        if (chunk?.Response != null)
            response.Append(chunk.Response);
    }
    
    return response.ToString().Trim();
}
```

---


## Це використання інструмента

Те, що ми створили - це модель агента без рамок. [чому я віддаю перевагу цьому підходу, ніж Ланг-Шейну](/blog/why-i-dont-use-langchain) - експлуатна оркестрація перевершує магічні абстракції при виправленні проблем

```mermaid
flowchart LR
    subgraph Tools["Tools (Deterministic)"]
        T1[fetch_url]
        T2[clean_html]
        T3[chunk_text]
        T4[select_relevant]
    end
    
    subgraph LLM["LLM (Reasoning)"]
        R[Interpret + Answer]
    end
    
    T1 --> T2 --> T3 --> T4 --> R
    
    R -->|"Low confidence"| Retry[Retry with different selection]
    Retry --> T4
    
    style T4 stroke:#e74c3c,stroke-width:3px
    style R stroke:#3498db,stroke-width:3px
```

Рупка: якщо рівень довіри низькийM SK1 повторюй з більшою кількістю фрагментів або різними ключеними словами.

```csharp
var answer = await AskAsync(prompt);

if (answer.Contains("Not enough information") || answer.Contains("Confidence: Low"))
{
    // Retry with more chunks
    var moreChunks = SelectByKeywords(allChunks, question, topK: 5);
    answer = await AskAsync(BuildPrompt(url, moreChunks, question));
}
```

---


## Що пішло не так

```mermaid
flowchart TB
    subgraph Failures["Failure Modes"]
        F1[Cleaner removes content]
        F2[Chunking breaks mid-thought]
        F3[Selection picks wrong chunks]
        F4[LLM hallucinates connections]
    end
    
    F1 --> R1["'Not enough info' - answer existed"]
    F2 --> R2["Partial answer - context lost"]
    F3 --> R3["Wrong answer - right content skipped"]
    F4 --> R4["Confident but wrong"]
    
    style F3 stroke:#e74c3c,stroke-width:3px
```

**Правила виправлення**:

> Якщо відповідь неправильна, то це майже завжди так: **вибір був неправильним**, не тому, що модель провалилась

### Виліковування списку перевірок

1. **Запису selected chunk IDs and scores**
2. **Покажіть, які ключові слова співпадуть** ( або відстані вмонтуванняM SK1
3. **Повторюйте конкретну про prompt** що було відправлено
4. **Порівняйте**: Чи був правильним змістом у прийманому HTML ? Чистий текст МSK2 Будь-який шматок ?

Як правило, це не "'", а LLM .

---


## Поєднати їх

```csharp
public class WebAnalyzer : IDisposable
{
    private readonly WebFetcher _fetcher = new();
    private readonly HtmlCleaner _cleaner = new();
    private readonly OllamaApiClient _ollama = new(new Uri("http://localhost:11434"));
    
    public async Task<AnalysisResult> AnalyzeAsync(string url, string question)
    {
        // 1. Fetch
        var html = await _fetcher.FetchAsync(url);
        
        // 2. Clean (with observability)
        var cleaned = _cleaner.Clean(html);
        Console.WriteLine($"Cleaned: {cleaned.OriginalLength} → {cleaned.Text.Length} bytes ({cleaned.MatchedSelector})");
        
        // 3. Chunk
        var chunks = ChunkByHeadings(html);
        Console.WriteLine($"Chunks: {chunks.Count}");
        
        // 4. Select (with logging)
        Console.WriteLine("Selection scores:");
        var selected = SelectByKeywords(chunks, question, topK: 3);
        
        // 5. Prompt + LLM
        var prompt = BuildPrompt(url, selected, question);
        var answer = await AskAsync(prompt);
        
        return new AnalysisResult
        {
            Answer = answer,
            ChunksUsed = selected.Count,
            SelectionScores = selected.Select(s => s.Score).ToList()
        };
    }
    
    public void Dispose() => _fetcher.Dispose();
}
```

Використовування з нашим прикладом

```csharp
using var analyzer = new WebAnalyzer();

var result = await analyzer.AnalyzeAsync(
    "https://learn.microsoft.com/en-us/dotnet/core/whats-new/dotnet-10/overview",
    "What performance improvements are in .NET 10?"
);

Console.WriteLine(result.Answer);
```

Результати включають цитати та довіру:

```
Based on SOURCE 1 and SOURCE 2:

.NET 10 includes several performance improvements:
- JIT improvements including better inlining and method devirtualization (SOURCE 1)
- "Enhanced loop inversion for better optimization" (SOURCE 1)
- NativeAOT enhancements for improved code generation (SOURCE 2)

Confidence: High
```

---


## Коли це працює? ( і не працює?

| працює добре МSK1 не працює МSK2 не спрацьовує |
|------------|--------------|
| Документація | JavaScript SPAs МSK2
| Статьи на блогіM SK1 статті МSK2 Динамічний МSK3 інтерактивний контент |
| Технические знаряддя
| Статичний HTML | Аuthenticated content МSK2

Для JS-heavy sites, вам потрібно [Playwright для .NET](https://playwright.dev/dotnet/).

---


## Головний принцип

```mermaid
flowchart LR
    subgraph Your["Your Code's Job"]
        direction TB
        F[Fetch reliably]
        C[Clean carefully]
        S[Select correctly]
        O[Observe everything]
    end
    
    subgraph LLM["LLM's Job"]
        direction TB
        R[Reason over what you gave it]
        A[Admit when it doesn't know]
    end
    
    Your --> LLM
    
    style S stroke:#e74c3c,stroke-width:3px
    style R stroke:#3498db,stroke-width:3px
```

LLM може пояснити тільки те, що ви йому дали.

Не питайте LLM про перегляд

---


## Полне зразок проекту

Полне введення в дію: [Найяскравіший.LlmWebFetcher](https://github.com/scottgal/mostlylucidweb/tree/main/Mostlylucid.LlmWebFetcher)

У тому числі:

- `WebFetcher` - HTTP з правильною технікою
- `HtmlCleaner` - Уникнення шуму + стратегії відхилення
- `ContentChunker` - По Sentence і Heading
- `WebContentAnalyzer` - Полна труба з журналуванням
- `OllamaExtensions` - Помощник для потокових відповідей

```bash
cd Mostlylucid.LlmWebFetcher
dotnet run
```

---


## Ресурс

**Бібліотеки**

- [Викривлення куту](https://anglesharp.github.io/) - Програмування HTML
- [Оллама-Шарп](https://github.com/awaescher/OllamaSharp) - клієнт Оллами

**ЛЛМ**

- [Оллама](https://ollama.ai/) - локальний час запуску LLM
- [llama3.2:3b](https://ollama.ai/library/llama3.2) - SzybкийM SK1 здатний модель
- [номінація-засадкаM SK1текст](https://ollama.ai/library/nomic-embed-text) - Помешкання

**Подібні статті**

- **[Серія DocSummarizer](/blog/building-a-document-summarizer-with-rag)** - **Погляньмо на те, щоб покращити ситуацію** для підсумування веб-контенту. Цей artykuł показує найпростіший спосіб залучення та аналізуM SK1 DocSummarizer показує спосіб виробництва - сортування за допомогою BERT видобутку МSK3 гібридні пошуки M SK4 оцінені цитації , і правильне відстеження об 'ємуМSK6
- [Анализ великих CSV-файлів з локальними LLM](/blog/analysing-large-csv-files-with-local-llms) - Те ж саме візерунок : Причини LLM МSK2 обчислення коду
- [Чому я не користуюся LangChain](/blog/why-i-dont-use-langchain) - Cadre - дизайн без агентів
- [Примар RAG](/blog/rag-primer) - Зрозуміння пошукуM SK1 збільшена генерація
- [Семантичний пошук за допомогою ONNX та Qdrant](/blog/semantic-search-with-onnx-and-qdrant) - локальний семантичний пошук
- [Збудувати адвоката GPT](/blog/building-a-lawyer-gpt-for-your-blog-part1) - Серія повного втілення RAG

**Microsoft AI Stack**

- [Семантичний ядро](https://github.com/microsoft/semantic-kernel) - Якщо ви хочете структуру
- [Microsoft.Extensions.AI](https://devblogs.microsoft.com/dotnet/introducing-microsoft-extensions-ai-preview/) - Абстракції