# DocSummarizer Part 2 - Використовуючи інструмент

<!--category-- AI, LLM, RAG, C#, Docling, Ollama, Qdrant, Tools -->
<datetime class="hidden">2025-12-21T11:00</datetime>

[![Реліз GitHub](https://img.shields.io/github/v/release/scottgal/mostlylucidweb?filter=docsummarizer*&label=docsummarizer)](https://github.com/scottgal/mostlylucidweb/releases?q=docsummarizer)
[![.NET](https://img.shields.io/badge/.NET-8.0%20%7C%2010.0-512BD4)](https://dotnet.microsoft.com/)

Це **Частина 2** з серії DocSummarizer. Погляньте [Частина 1](/blog/building-a-document-summarizer-with-rag) для архітектури та шаблонів, [Частина 3](/blog/docsummarizer-advanced-concepts) для глибокого технічного занурення у вбудова та відтворення, або [Частина 4](/blog/docsummarizer-rag-pipeline) використати NuGet для створення власних RAG-пристосувань.

> **Перетворити документи чи URL в докази- підробні підсумки M SK1 для людей або штучного інтелекту - без надсилання чогось до хмари.**

Кожне твердження можна відстежувати. Кожний факт вказує на його джерело . Самовідтворення МSK2 вбудована двозначна система M SK3 працює повністю на вашому машині .

```bash
# Human-readable summary
docsummarizer -f contract.pdf

# JSON for agents/pipelines
docsummarizer tool -u "https://docs.example.com"
```

**Що ця стаття охоплює**: УстановкаM SK1 ключі режими (Auto/BertRagMSC4BerтMska5 шаблониMСК6 та стандартні випадки використанняM СК7

**Що він не покриває**: Справка з повною командою , Навігації конфігурації

Для всієї документації, читайте [README](https://github.com/scottgal/mostlylucidweb/blob/main/Mostlylucid.DocSummarizer/README.md). Для того, як він працює всерединіM SK1 читайте [Частина 3](/blog/docsummarizer-advanced-concepts).

[TOC]

## Чому це існує?

Більшість підсумовників дають вам текст. Це дає вам *докази*.

- **Кожна  revendication включає `[chunk-N]` цитати** повернемося до джерела матеріалів
- **Рівень довіри** МSK0wysoki/середнійMSC2нижчийM SK3 на основі підтверджень
- **Структурований вихід JSON** для інтеграції агента, CI труби, або MCP серверів
- **Метрії якості** ловити галюцинації перед тим, як вони втікають

Якщо вам потрібно *довіра* підсумок - або наділити його до іншої системи МSK1, яка має значення

## Характеристики

- **🚀 БертRag Pipeline**: ProdukціяM SK1 видобуток BERT рівня → відтворення МSK3 синтез LLM
- **🤖 Автомод**: Швидкий режим вибору, заснований на документі та запиті
- **⚡ Бертовий режим**: Чиста абстрактна підсумка - не потребує LLM МSK2 працює бездротово
- **Доwody-Захований вихід**МСК0 ЦитаціїМSK1 рівень довіри, відслідковуючі вимоги
- **Багато режимів**МСК0 Авто МSK1 BertRag , Bert, BertHybrid, MapReduceM SK5 RagMSC6 Ітеративний
- **Устром**: Чистий JSON для агентів LLM , Сервери MCP МSK2 Проверки CI
- **Шаблони: 13**МСК0 дефолт МСК1 проза , резюме MSК3 одинliner СМСК4 кулі SМСК5 керівник МСК6 деталі MSК7 технічна СМСК8 академічна ММСК9 цитати УМСК10 бухгалтерський звіт ВМСК11 зустріч УМСК12 жорстка
- **Великих Dokumentів**: Рухає 500+ сторінки з ієрархічним обробкою
- **Перетягування до Інтернету**: Безопасність -пошаркована МSK2захист від СФСР МSK3HTML-саніталізаціяM SK4
- **У trybie Playwright**: Безголовний браузер для Java-скрипту - передані сторінки МSK2SPAsM SK3 Реактичні додатки)
- **Осередки на NX**: Нуль МSK1конфигурація локальних вбудованих модулів МSK2моделі автоматизовані -завантаження при першій користуванні
- **Анализ якості**: Виявление галюцинацій , видобуток об 'єктів
- **ЛЛМ гнучкий**: Polly - на основі повторної спроби з відхиленням від реактиву МSK2 блокатор
- **Тільки локальний**: Нічого не залишає вашої машини

## Використовуючи як інструмент LLM

І `tool` команда розроблена спеціально для інтеграції з штучним інтелектом, MCP-серверами, та іншими автоматизованими системамиM SK2 вона виводить структурований JSON, щоб мати доступ до доказівМSK3 підтвердzone вимоги MSC4 ідеальна для створення RAG трубок або агентських інструментівMスク5

### Використовування базових інструментів

```bash
# Summarize a URL and get JSON output
docsummarizer tool --url "https://example.com/docs.html"

# Summarize a local file
docsummarizer tool -f document.pdf

# With a focus query
docsummarizer tool -f contract.pdf -q "payment terms and conditions"

# Pipe to jq for processing
docsummarizer tool -f doc.pdf | jq '.summary.keyFacts'
```

### Структура виходу інструмента

Команда інструменту повертає структурований JSON з відстеженням доказів:

```json
{
  "success": true,
  "source": "https://example.com/docs.html",
  "contentType": "text/html",
  "summary": {
    "executive": "Brief summary of the document.",
    "keyFacts": [
      {
        "claim": "The system supports 10,000 TPS.",
        "confidence": "high",
        "evidence": ["chunk-3", "chunk-7"],
        "type": "fact"
      }
    ],
    "topics": [
      {
        "name": "Architecture",
        "summary": "The system uses microservices...",
        "evidence": ["chunk-1", "chunk-2"]
      }
    ],
    "entities": {
      "people": ["John Smith"],
      "organizations": ["Acme Corp"],
      "concepts": ["OAuth 2.0", "REST API"]
    },
    "openQuestions": ["What is the disaster recovery plan?"]
  },
  "metadata": {
    "processingSeconds": 12.5,
    "chunksProcessed": 15,
    "model": "qwen2.5:1.5b",
    "mode": "MapReduce",
    "coverageScore": 0.95,
    "citationRate": 1.2,
    "fetchedAt": "2025-01-15T10:30:00Z"
  }
}
```

### Опції настрою

```bash
docsummarizer tool [options]
```

| Варіант МSK1 Короткий МSK2 Описание |
|--------|-------|-------------|
| `--url` | `-u` | URL, щоб завантажити і підсумувати |
| `--file` | `-f` | Файл для підсумку |
| `--query` | `-q` | Останнє питання про фокус
| `--mode` | `-m` | Режим сумірізації МSK1 Автоматичний МSK2 BertRag , BertM SK4 BertHybrid, MapReduceMスク6 RagMSC7 ІтеративнийMska8 Mska9
| `--model` | | Модель Оллами для використання МSK2
| `--config` | `-c` | Маршрут конфігурації файлу |

### Головні принципи дизайну

- **Дослідження**: Кожна दावा включає `evidence` Іденти, що відносяться до шматків джерела
- **Рівень довіри**: Вимагання оцінюються `high`, `medium`, або `low` на основі доказів, що підтверджують
- **Чистий вихід**: `executive` резюме не має замітників цитат для простого відображання
- **Метадані**: Статуси обробки допомагають розладувати та визначити якість
- **Помилка в обробці**: Відповідь про невдачі `success: false` з `error` повідомлення

### Приклади інтеграції

**Python-скрипт:**

```python
import subprocess
import json

result = subprocess.run(
    ["docsummarizer", "tool", "-u", "https://example.com/api-docs"],
    capture_output=True, text=True
)
data = json.loads(result.stdout)

if data["success"]:
    for fact in data["summary"]["keyFacts"]:
        if fact["confidence"] == "high":
            print(f"- {fact['claim']}")
```

**Трубопровод Shell:**

```bash
# Extract high-confidence facts only
docsummarizer tool -f doc.pdf | jq '[.summary.keyFacts[] | select(.confidence == "high")]'

# Get just the executive summary
docsummarizer tool -u "https://example.com" | jq -r '.summary.executive'
```

## Швидкий старт

### завантажити Built Binaries Pre-

До- збудовані нативні executables є доступними з [Релізи GitHub](https://github.com/scottgal/mostlylucidweb/releases?q=docsummarizer):

| Платформа МSK1 Архітектура
|----------|--------------|----------|
| Windows МSK1 xM SK2 МSK3 `docsummarizer-win-x64.zip` |
МSK0 Windows | ARMM SK2 | `docsummarizer-win-arm64.zip` |
| Linux | xM SK2 МSK3 `docsummarizer-linux-x64.tar.gz` |
| Linux | ARMM SK2 МSK3 `docsummarizer-linux-arm64.tar.gz` |
МSK0 macOS | xM SK2 (Intel) \| `docsummarizer-osx-x64.tar.gz` |
МSK0 macOS | ARMM SK2 (Apple Silicon) \| `docsummarizer-osx-arm64.tar.gz` |

```bash
# Download and extract (Linux/macOS)
curl -L -o docsummarizer.tar.gz https://github.com/scottgal/mostlylucidweb/releases/download/docsummarizer-v3.1.0/docsummarizer-linux-x64.tar.gz
tar -xzf docsummarizer.tar.gz
chmod +x docsummarizer

# Download and extract (Windows PowerShell)
Invoke-WebRequest -Uri "https://github.com/scottgal/mostlylucidweb/releases/download/docsummarizer-v3.1.0/docsummarizer-win-x64.zip" -OutFile "docsummarizer.zip"
Expand-Archive -Path "docsummarizer.zip" -DestinationPath "."
```

### Потрібні умови

#### Бертовий режим (Не має зовнішніх послуг)

Для чистої абстракції, **ніяких зовнішніх послуг не потрібно**:

```bash
docsummarizer -f document.md -m Bert
```

Автомодельи ONNX - завантажити з HuggingFace при першій користуванні (~23MBM SK2 Обратні результати в МSK3 секундах МSK4

#### Моди LLM (Auto, BertRagM SK2 MapReduce , і т.д.

Для LLM - модерна сумірізація МSK1 Ольлама необхідна МSK2

```bash
# Install Ollama from https://ollama.ai
ollama pull llama3.2:3b        # Default model - good balance of speed/quality
ollama serve
```

> **Індикатор швидкості**: Для швидших підсумків МSK1s проти МSK2sM SK3 використання `--model qwen2.5:1.5b`

#### Невключні: Docling (Binary FormatsM SK2

Виmaganі для PDF, DOCXM SK1 XLSX, PPTXMSC3 HTMLMST4 зображень (PNGМST6JPGM ST7TIFFM st8 CSVMst9 VTTMSt10 і AsciiDoc файлівMSST11 **Замітки та прості текстові файли читаються безпосередньо - не вимагається документуванняM SK1**

```bash
docker run -d -p 5001:5001 quay.io/docling-project/docling-serve
```

#### Невключно: Квартова гарантія M SK1Утримований векторний накопичувальний простірМSK2

Не обов ’ язково - BertRag використовує в - вектори пам ্ ятіM SK2 Включити Qdrant для тривалого зберігання, щоб уникнути повторенняMSC3введення документів на наступних запусках:

```bash
docker run -d -p 6333:6333 -p 6334:6334 qdrant/qdrant
```

Тоді сконфигуруйте `docsummarizer.json`:

```json
{
  "bertRag": {
    "vectorStore": "Qdrant",
    "collectionName": "docsummarizer",
    "persistVectors": true
  }
}
```

#### Опційно: Ольлама

Якщо ви хочете мати Ollama замість ONNX:

```bash
ollama pull nomic-embed-text   # Or mxbai-embed-large
# Then use: --embedding-backend Ollama
```

### Перевірити залежності

```bash
docsummarizer check --verbose
```

Очікуваний результат показує форматовану таблицю:

```
              Dependency Status              
╭─────────┬────────┬────────────────────────╮
│ Service │ Status │ Endpoint               │
├─────────┼────────┼────────────────────────┤
│ Ollama  │   OK   │ http://localhost:11434 │
│ Docling │ Optional │ http://localhost:5001 │
│ Qdrant  │ Optional │ localhost:6333        │
╰─────────┴────────┴────────────────────────╯

        Default Model Info         
╭────────────────┬────────────────╮
│ Property       │ Value          │
├────────────────┼────────────────┤
│ Name           │ llama3.2:3b    │
│ Family         │ llama          │
│ Parameters     │ 3.2B           │
│ Context Window │ 128,000 tokens │
╰────────────────┴────────────────╯

Ready to summarize! Ollama is available.
```

> **Примітка**: Docling і Qdrant показують, що ✗ - це добре для Markdown

## Використовування

### За замовчанням

Працюючи `docsummarizer` без жодних аргументів

1. Подивіться `README.md` у теперішньому каталогі
2. Підсумовуємо це за допомогою **Автоматичний режим** (вибір розумного trybуM SK1
3. Надрук резюме на консолі з гарною панельною інтерфейсом
4. Auto- врятувати до `readme.summary.md`

```bash
# Summarize README.md in current directory
docsummarizer

# Shows a formatted panel with:
# - Document info table (file, mode, model)
# - Progress indicators during processing
# - Summary panel with the result
# - Topics tree if available
# - Saved: readme.summary.md
```

### Найпростіше підсумування

```bash
# Just run it - Auto mode picks the best approach
docsummarizer -f document.pdf

# Fast mode - no LLM, pure extraction (~3-5s)
docsummarizer -f document.pdf -m Bert

# Production mode - best quality with validated citations
docsummarizer -f document.pdf -m BertRag

# Focused on specific topic
docsummarizer -f manual.pdf -m BertRag --focus "installation steps"

# Verbose progress
docsummarizer -f document.pdf -v
```

## Моди підсумування

Цей інструмент еволюціонував з "just MapReduce" до повного трубопроводуM SK2 Тут ' це те, що кожен режим робить насправді

### Auto (Default)

Вибирає правильний режим залежно від того, чого ви запитуєте.

```bash
docsummarizer -f doc.pdf
```

### BertRag (ПродукціяM SK1

Ось що ви хочете для виробництва

1. **Видобуток** - Розшифруйте документ на сегменти , вбудовуйте їх у BERT
2. **Перейти** - Найти необхідні сегменти  пошук семантики МSK2 відміну salience
3. **Синтезувати** - LLM пише плавний підсумок з цих сегментів

```bash
docsummarizer -f doc.pdf -m BertRag
docsummarizer -f doc.pdf -m BertRag --focus "payment terms"
```

**Навіщо його використовувати:** Кожна твердження повертається до сегменту джерела. Без галюцинаційM SK1 Скала до будь-якого розміру dokumentu. LLM працює тільки в кінці MSC3швидкий ).

### Берт (Fast, Ні LLMM SK2

Чиста видобуток за допомогою локальних моделей ONNX. Ніяких LLM дзвінків

```bash
docsummarizer -f doc.pdf -m Bert
```

**Навіщо його використовувати:** Працює без інтернету. Відказ у ~3-5 секундM SK2 Детерміністично ( один і той самий вхід МSK4 один й той самі виходи M SK5 Досить добре для швидких сканів .

### Бертхібрид

Видобуток з Берта, По Polishes LLMM SK1 Середня поверхня між Бертом і БертомRag.

```bash
docsummarizer -f doc.pdf -m BertHybrid
```

### MapReduce / Rag / Ітеративний

Оригинальні режими. досі працюють, але БертRag замінив їх на більшість випадків

- **Знизити карту**: Паралельно відокремленняM SK1 добре для 100% покрытие
- **Раґ**: Векторний пошукM SK1 добре для фокусованих запитів ( спадок МSK3 BertRag робить це краще )
- **Ітеративний**: Последовательне оброблення , використовувати тільки для маленьких Docs

```bash
docsummarizer -f doc.pdf -m MapReduce  # Full coverage
docsummarizer -f doc.pdf -m Rag --focus "query"  # Legacy focused mode
```

### У режимі пошуку

Замість підсумування, запитуйте про документ

```bash
docsummarizer -f manual.pdf --query "How do I install the software?"
```

### Перехоплення веб-URL

Підсумувати веб-сторінки без завантаження:

```bash
# Summarize a web article
docsummarizer --url "https://example.com/article.html" --web-enabled

# Summarize a remote PDF
docsummarizer --url "https://example.com/document.pdf" --web-enabled

# With structured JSON extraction
docsummarizer --url "https://example.com/api-docs.html" --web-enabled --structured
```

**Допоміжний контент**: HTML МSK1санитизовані МSK2 PDFM SK3 Замітка, зображення ( ОCRMska6 Канцелярські документиMske7 Великих зображення автоматично перебільшуютьсяMске8

**Безпека**: захист від СМСРM SK1 захист отримування DNS, вмістMSC3 типи зосередженості , захист проти вибухівок від декомпресії МSK5 HTML-саніталізація M SK6

**JavaScript-рендеровані сторінки**: Використовувати `--web-mode Playwright` для SPA і React програм (авторучM SK1встановлює хром при першій використанні).

### Структурований режим

Витягувати машину-читаний JSON замість прозаM SK1

```bash
docsummarizer -f document.pdf --structured -o Json
```

Винятки: об 'єктиМSK1 функціїM SK2 ключові потоки МSK3 факти ( з рівнями довіри

### Шаблони підсумку

```bash
# Use a template
docsummarizer -f doc.pdf --template executive
docsummarizer -f doc.pdf -t bullets

# Specify custom word count with template:wordcount syntax
docsummarizer -f doc.pdf -t bookreport:500
docsummarizer -f doc.pdf -t executive:100

# Or use --words to override any template's default
docsummarizer -f doc.pdf -t detailed --words 300
```

| Шаблон МSK1 Слова МSK2 Найкраще для |
|----------|-------|----------|
| `default` МSK0 ~300 ♫ ♫ МSK2 ♫ Сбалансований підсумок з темами ♫ (2 ♫ абзаци ♫
| `prose` МSK0 ~400 ♫ ♫ МSK2 ♫ Чистий мультиплік ♫ - ♫ п ’ ятковий проз ♫- ♫ без метадань ♫
| `brief` МSK0 ~50 ♫ ♫ МSK2 ♫ Краткое резюме речень ♫ 2-3 ♫
| `oneliner` МSK0 ~25 ♫ ♫ МSK2 ♫
| `bullets` | автоматичний МSK1 Список пульсових точок
| `executive` МSK0 ~150 ♫ ♫ МSK2 ♫ Штаб-квартира з рекомендаціями
| `detailed` МSK0 ~1000 ♫ ♫ МSK2 ♫ Охоплює всі теми ♫ | ♫
| `technical` | МSK1 ♫ ♫ МSK2 ♫ Технические доки з деталями застосування ♫ | ♫
| `academic` МSK0 ~250 ♫ ♫ МSK2 ♫ Формат академічного абстракту ♫ | ♫
| `citations` | авто | Ключові цитати з лише джерелом цитат МSK2
| `bookreport` МSK0 ~500
| `meeting` МSK0 МSK1 | Примітки до зібрання ( різи СМС4 дії СМС5 питання МС6 МС7
| `strict` МSK0 МSK1 | Знаток - ефективний MSК4 MSК5 кулі макс МСК6 без захисту СМСК7

Щоб побачити всі доступні шаблони з описами:

```bash
docsummarizer templates
```

### Модель Benchmarking

Порівняйте моделі на тому ж документі, використовуючи `benchmark` підкоманда:

```bash
docsummarizer benchmark -f doc.pdf -m "qwen2.5:1.5b,llama3.2:3b,ministral-3:3b"
```

Команда Benchmark аналізує документ один раз, потім запускає кожен модель на тих самих шматочках для справедливого порівняння . Виход показує таймінering , число слов M SK3 і слова MSC4 секунду для кожного моделі MST5

### Обробка пакетів

Перетворити цілі каталоги:

```bash
# Use BertRag for quality
docsummarizer -d ./documents -m BertRag -v

# Fast offline batch (no LLM needed)
docsummarizer -d ./documents -m Bert -o Json --output-dir ./summaries

# Process only PDFs recursively
docsummarizer -d ./documents -e .pdf --recursive -v
```

### Команда-Opcje лінії

| Опція | Короткий МSK2 Описание МSK3 По замовчуванню M|
|--------|-------|-------------|---------|
| `--file` | `-f` | Путь до документа DOCX, PDFM SK3 MDMSC4 МSK5 | | - \ |
| `--directory` | `-d` | Путь до каталогу для обробки пакетів | МSK2 \|
| `--url` | `-u` | Веб-URL, щоб завантажити і підсумувати
| `--web-enabled` | | Ввімкніть веб-завантаження МSK2побаровується для `false` |
| `--mode` | `-m` | Режим сумірізації : Автоматичний МSK2 БертРаг МСК3 Берt М СК4 BertHybrid M СК5 МапаРедукція MСК6 Раґ МсК7 Ітеративний МSК8 `Auto` |
| `--structured` | `-s` | Використовуйте структурований режим видобутку JSON `false` |
| `--focus` | МSK1 Запрос фокусу для RAG-моду МSK2 Нічого |
| `--query` | `-q` | Режим запиту замість підсумування
| `--model` | | Модель Оллами для використання МSK2 `llama3.2:3b` |
| `--verbose` | `-v` | Показувати детальний прогрес з живою інтерфейсом `false` |
| `--config` | `-c` | Путь до файлу конфігурації
| `--output-format` | `-o` | Формат вихідного коду : Консола МSK2 Текст M SK3 Замітка , Джсон МSK5 `Console` |
| `--output-dir` | МSK1 Діректлер вихідних даних для виходів файлів МSK2 Текучий dir |
| `--extensions` | `-e` | Поширення файлів для пакетного режима | Всі формати документування МSK2
| `--recursive` | `-r` | Рекурсивні каталоги `false` |
| `--template` | `-t` | Шаблона для підсумків МSK1поганийM SK2 коротенька МSK3 кулі , керівники М SK5 і т.д. `default` |
| `--words` | `-w` | Перерахунок заданих слів ( Похибка шаблону

| `--embedding-backend` МSK0 | Вбудований зворотній бік МSK2 OnnxM SK3 Ollama | `Onnx` |
| `--embedding-model` МSK0 | Назви моделі ONNX МSK2 РАГ-мод ) `AllMiniLmL6V2` |
| `--web-mode` | МSK1 Модій веб-відпливу МSK2 Просте , Playwright MSК4 `Simple` |
| `--analyze` | `-a` | Пройти аналіз якості на підсумку МSK1 `false` |

## Моди підсумування

### Сniżка на карті (РекомендованаM SK1

Найкраще для комплексних підсумків з повним документом.

```bash
docsummarizer -f document.pdf -m MapReduce -v
```

**Як це працює**:

1. розділяє документ на структурні шматочки (по заголовкахM SK1
2. Підсумовує кожен шматок паралельно, використовуючи LLM
3. Скорінити підсумки до executive summary з цитатами
4. Вивіряють всі цитати, які стосуються реальных шматків

**Ієрархічне скорочення для довгих документів**:

Для дуже довгих документів, де об 'єднання підсумків перевершує модель's контекстний вікноM SK1 MapReduce автоматично використовує ієрархічне скорочення:

1. **Об 'єднання**: Контекстові підсумки груп у пакети
2. **Посереднє скорочення**: Перетворює кожну партію на стиснений підсумок
3. **Останнє зниження**: Об 'єднує проміжні підсумки в кінцевий результат
4. **Рекурсивний**: Якщо проміжники все ще надто великі , додає більше рівнів

```
100 chunks → 100 summaries → 5 batches → 5 intermediate summaries → final
```

Це зберігає повну охорону dokumentu, незалежно від довжини. - кожен шматок додає значення кінцевому підсумку. ♫ . ♫ Програмне забезпечення підраховує символи, ♫ МSK2 ♫ символи ♫МSK3 ♫ токен ♫) ♫ та цільи.

**Про**: швидке , повне обгортання МSK2 паралельна обробка M SK3 управляє будь-якою довжиною dokumentu
**Погані наслідки**: Може пропустити перехресту - з 'єднання секцій M SK2 повільніше для дуже довгих документів

### RAG (Лучший для фокусованих запитівM SK1

Найкраще, коли потрібно зосередитися на конкретних темах або мати цільове питання.

```bash
docsummarizer -f document.pdf -m Rag --focus "pricing and payment terms" -v
```

**Як це працює**:

1. Індексує фрагменти документу як векторні додатки в Qdrant
2. Витягує ключові теми з заголовків dokumentu
3. Retrieves relevant chunks per topic using semantic search
4. Синтезує зосереджений підсумок з цитатами

**Коли використовувати RAG над MapReduce**:

| сценарій МSK1 Найкращий режим |
|----------|-----------|
МSK0 "Составляйте цілий документM SK2 ♫ ♫ МSK3 ♫
МSK0 " Що це говорить про безпеку? МSK2
| МSK1горниковий інструктM SK2 все необхідне МSK3 МапаРедукція ( ієрархічний
МСК0 500-гортання для сторінокМSK2 потрібна окрема секція МSK3 РАG |
| Потрібні швидкі результати

РАГ - **не** про те, як обробляти довгі документи - MapReduce обробляє те, що з ієрархічними скороченнями **відсортування релевантності**:, коли ви хочете ігнорувати 90% документа та зосередитися на тому, що має значення для вашого конкретного питання

**Про**МСК0 ТемаМSK1фокусоване, семантичне розумінняМСК3 повторний індексМ СК4 швидше для фокусованих запитів
**Погані наслідки**: Може пропустити зміст поза зосередженою областью

### Ітеративний

Найкраще для розповідальних документів, де контекст рухається послідовно.

```bash
docsummarizer -f story.pdf -m Iterative -v
```

**Остереження**: Повільніше і може втратити контекст на довгих документах МSK1 фрагментиM SK2

## Великий документний інструктор

### Вибирати правий режим

| Тип документу МSK1 Мета МSK2 Модій | Чому мSK4
|---------------|------|------|-----|
| Технический опис МSK1 сторінки МSK2 | Полне підсумок M| Картазниження МСК5 Повне покрытие МК6
| НовинкаM SK1 Пригадка МSK2 Точне підсумок МSK3 Мапазнижування | Потрібний часовий контекст
| Юридичний контракт
МСК0 Юридичний контракт МСК1 СМСК2Termínи платежуМСк3 \МСК4 \ РАГ \ МСК5 Увага до конкретної секції \ СМСК6
| API Docs МSK1 сторінкиM SK2 | \" Як працює auth? МSK5 | | RAG | МSK7 Це окрема тема, яка задається питанням.
| Дослідковий документ МSK1 Точне підсумок МSK2 МапаРедукція | Структурована

### Фікція проти неможливих-Fiction

| Тип контенту МSK1 Найкращий режим МSK2 Записки |
|--------------|-----------|-------|
| **Історія** | MapReduce | Планування потребує послідовного контексту МSK2
| **Технический документ** | Обидві МSK1 КартаReduce for overview МSK2 RAG for specifics |
| **Юридичне/Контракти** | MapReduce МSK1 Кожна умова має значення МSK2
| **Рукни** | RAG | Зазвичай задають питання щодо спеціаліз МSK2

### Результати

| розмір документа МSK1 скорочення карти МSK2 РАG | замітки M|
|---------------|-----------|-----|-------|
МSK0 10 сторінки МSK2 ♫ ♫ 15s ♫
МSK0 50 сторінки МSK2 ♫ ♫ 45s ♫
МSK0 200 сторінок МSK2 ♫ ♫ 3-5 мин | | ♫ МSK5 min | | Ієрархічне скорочення ♫
МSK0 500+ сторінки МSK2 \ 10-15 мин | | | 5 min | | Розгляньмо багато запитів РАG

## Konfiguracja

### Створити початкову конфігурацію

```bash
docsummarizer config --output myconfig.json
```

### Конфигурація

Konfiguracja автоматично відкрита з:

1. `--config` можливість
2. `docsummarizer.json` у теперішньому каталогі
3. `.docsummarizer.json` ( прихований файлM SK1
4. `~/.docsummarizer.json` (домашнє місце користувачаM SK1

Наприклад, `docsummarizer.json`:

```json
{
  "embeddingBackend": "Onnx",
  "onnx": {
    "embeddingModel": "AllMiniLmL6V2"
  },
  "ollama": {
    "model": "llama3.2:3b",
    "embedModel": "mxbai-embed-large",
    "baseUrl": "http://localhost:11434",
    "temperature": 0.3,
    "timeoutSeconds": 1200
  },
  "docling": {
    "baseUrl": "http://localhost:5001",
    "timeoutSeconds": 1200,
    "pdfBackend": "pypdfium2",
    "pagesPerChunk": 10,
    "maxConcurrentChunks": 4,
    "enableSplitProcessing": true
  },
  "qdrant": {
    "host": "localhost",
    "port": 6333,
    "collectionName": "documents"
  },
  "processing": {
    "maxHeadingLevel": 2,
    "targetChunkTokens": 1500,
    "minChunkTokens": 200,
    "maxLlmParallelism": 2
  },
  "output": {
    "format": "Console",
    "verbose": false,
    "includeTrace": false
  },
  "webFetch": {
    "enabled": false,
    "mode": "Simple",
    "timeoutSeconds": 30,
    "userAgent": "Mozilla/5.0 DocSummarizer/1.0"
  },
  "batch": {
    "fileExtensions": [".pdf", ".docx", ".md", ".txt", ".html"],
    "recursive": false,
    "continueOnError": true
  }
}
```

### Опції обробки

| Опція МSK1 По замовчуванню МSK2 Описание |
|--------|---------|-------------|
| `maxLlmParallelism` | 8 ♫ ♫ МSK2 ♫ Конкурентні LLM-запити ♫ ( ♫ Старі черги ♫
| `maxHeadingLevel` | 2 МSK2 Поділити на H МSK3 H мSK4 тільки мSK5 Сстановити до M3 для кращої граніналізації
| `targetChunkTokens` МSK0 0 ♫ ♫ МSK2авторуч ♫ ) ♫
| `minChunkTokens` МSK0 0 ♫ ♫ МSK2 ♫ авто ♫ ) ♫

## Виходний формат

### Краткая структура

```C:\Blog\mostlylucidweb\Mostlylucid\Markdown\docsummarizer-tool.md
## Executive Summary
- Key finding 1 with specific details [chunk-0]
- Important point 2 with numbers and dates [chunk-3]
- Critical requirement 3 [chunk-5]

## Section Highlights
- Introduction: Overview of the system architecture [chunk-0]
- Requirements: Technical specifications detailed [chunk-3]
...

## Open Questions
- What is the timeline for Phase 2?
- How does the fallback mechanism work?

### Trace

- Document: document.pdf
- Chunks: 12 total, 12 processed
- Topics: 5
- Time: 21.4s
- Coverage: 100%
- Citation rate: 1.20
```

**Метрії відслідковування**МSK0 Об 'єм (% включні секції МSK2 Коэффициент цитацій (citationsM SK4bullet), Перероблені шматочки MSК6 РАГ може пропустити деякі МСК7

## Рекомендації щодо моделі

| Модель МSK1 Розмір МSK2 Швидкість | Якість | | МSK4 | Корпус для використання | | |
|-------|------|-------|---------|----------|
| `qwen2.5:1.5b` МSK0 986MB МSK2 Дуже швидка (~3sM SK4 ♫ ♫ МSK5 Хороша ♫ | ♫ Оптимізована швидкість ♫
| `gemma3:1b` МSK0 815MB МSK2 швидкий (~10sM SK4 ♫ ♫ МSK5 ♫ Справжня ♫ | ♫ Альтернативна маленька модель ♫
| `llama3.2:3b` МSK0 2ГБ МSK2 Середній (~15sM SK4 ♫ ♫ МSK5 ♫ Дуже добре ♫ | **За замовчанням** МSK0 хороший баланс |
| `ministral-3:3b` МSK0 2.9ГБ МSK2 Середній (~20sM SK4 \| Дуже гарний \ | Якість \ МSK7 сфокусований | |
| `llama3.1:8b` МSK0 4.7 ГБ МSK2 Повільно (~45sM SK4 ♫ ♫ МSK5 Чудово ♫ | ♫ Високо ♫- ♫ Цілковиті підсумки ♫

> **Наказ**: Для швидших підсумків МSK1s проти МSK2sM SK3 використання `--model qwen2.5:1.5b`. Для критичних документів, де важливість якості `--model llama3.1:8b`.

## Збудувати з джерела

```bash
# Clone the repository
git clone https://github.com/scottgal/mostlylucidweb.git
cd mostlylucidweb/Mostlylucid.DocSummarizer

# Build
dotnet build

# Run
dotnet run -- --help
```

### Саморобна будівля

Для побудови виробництва, не використовуючи .NET runtime installation:

```bash
# Build self-contained executable (Windows x64)
dotnet publish -c Release -r win-x64 --self-contained

# Build for Linux
dotnet publish -c Release -r linux-x64 --self-contained

# Build for macOS
dotnet publish -c Release -r osx-x64 --self-contained
```

Виход: `bin/Release/net9.0/<runtime>/publish/docsummarizer`

## Подолання проблем

### " Не змогла підключитися до OllamaM SK1

- Упевниться, що Оллама працює: `ollama serve`
- Проверяємо моделі. `ollama list`

### "Сервис доставки недоступнийM SK1

- Це **лише для файлів PDF/DOCX**
- Для файлів Markdown, ви можете ігнорувати цю помилку
- Щоб вирішити: `docker run -p 5001:5001 quay.io/docling-project/docling-serve`

### "Qdrant підключення не спрацювалоM SK1

- Це **лише для RAG-моду** (`--mode Rag`)
- Для trybу MapReduce (default), ви можете ігнорувати цю помилку
- Щоб вирішити: `docker run -p 6333:6333 -p 6334:6334 qdrant/qdrant`

### "Circuit breaker is open

- Оллама переповнена або розвалилася
- Почекайте 30 секунд, поки блокатор повернеться до МSK1 або розпочинить Ollama
- Цей інструмент використовує політику стійкості до Polly і

### "wsarecvM SK1 або помилки з підключенням

- Це відома проблема Оллами на Windows (GitHub #13340)
- Програмне забезпечення auto- вирішує це шляхом спроби логіки і відновлення зв 'язку
- Якщо persistent, перезапустить Ollama і спробувати ще раз

### " генерація LLM закінчилася

- Збільшити випустку часу в конфігурації
- Поділити дуже великі документи
- Проверьте, що Ollama не переповнена іншими запитими

### Повторюваність або низький рівень

**Симптоми**: Пулеметні точки реагують на про prompt МSK1 Повертають лише пулеметну точкуМСК2 МСК3 Правило таке:М СК4 замість того, щоб підсумувати змістMСК5

**Причина**: Модель, яка стикається з надмірно довгою пропозицією або змістом

**Поправити**: По замовчуванню `qwen2.5:1.5b` управляє більшістю документів добре. Для проблемних документів, спробувати `--model llama3.2:3b`. Подивіться [Рекомендації щодо моделі](#model-recommendations).

### Підсумок ігнорує зміст dokumentu

Якщо підсумок виглядає типовим або не має' не відноситься до конкретного контентуM SK1

- Модель може викликати галюцинації - перевірка `Citation rate` в виході відслідку
- Спробуйте режим RAG (`--mode Rag`), що базується на підсумках в отриманих шматочках
- Використовувати `--verbose` щоб побачити, які фрагменти оброблені

### Відсутня чи неправильна цитата

Якщо бракує підсумків `[chunk-N]` цитати:

- Малі моделі дають перевагу контенту над форматуванням цитат
- Пропони оптимізовані для швидкості, не жорсткого підходу до цитат
- Для жорстких цитат, використовувати більші моделі, такі як `llama3.2:3b`
- Проверка `Citation rate` у сліді - вищі значення показують кращу відстежність

## Наполегшення розвитку

- **Знизити карту** для швидкості (паралельні шматочкиM SK1
- **`qwen2.5:1.5b`** для швидкості, **`llama3.2:3b`** для балансу, **`llama3.1:8b`** для якості
- **Вбудова в систему ONNX** (defaultM SK1 швидші, ніж Ollama для RAG-моду
- Найнижче **`maxLlmParallelism`** якщо ви переживаєте відхилення

## Ресурс

- [Источник](https://github.com/scottgal/mostlylucidweb/tree/main/Mostlylucid.DocSummarizer)
- [Релізи GitHub](https://github.com/scottgal/mostlylucidweb/releases?q=docsummarizer)
- [Лікарство](https://github.com/docling-project/docling) / [Лікарська служба](https://github.com/docling-project/docling-serve)
- [Кдрант](https://qdrant.tech/) - локальна база векторів
- [Оллама](https://ollama.ai/) / [Оллама-Шарп](https://github.com/awaescher/OllamaSharp)
- [Полі](https://github.com/App-vNext/Polly) - МSK1Net гнучкість та тимчасовістьM SK2поганий-розробка
- [Спектр.Консоль](https://spectreconsole.net/) - Красивий інтерфейс модуля

## Навігація серії

- **[Частина 1: Збудування резюме документа з РАG](/blog/building-a-document-summarizer-with-rag)** - Архітектура та шаблони
- **[Частина 2: Використовуючи інструмент](/blog/docsummarizer-tool)** ( цей artykułM SK1 - швидкий МSK3початковий інструктор
- **[Частина 3: Заawansовані концепції](/blog/docsummarizer-advanced-concepts)** - Глубокий занурення в BERT, ONNXM SK2 вбудовані модуліMSC3 і гібридні пошуки

### Подібне

- [Анализ CSV з локальними LLM](/blog/analysing-large-csv-files-with-local-llms)
- [Веб-контент з LLM](/blog/fetching-and-analysing-web-content-with-llms)