This is a viewer only at the moment see the article on how this works.
To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk
This is a preview from the server running through my markdig pipeline
DocSummarizer Part 2 - Використовуючи інструмент
Sunday, 21 December 2025
Це Частина 2 з серії DocSummarizer. Погляньте Частина 1 для архітектури та шаблонів, Частина 3 для глибокого технічного занурення у вбудова та відтворення, або Частина 4 використати NuGet для створення власних RAG-пристосувань.
Перетворити документи чи URL в докази- підробні підсумки M SK1 для людей або штучного інтелекту - без надсилання чогось до хмари.
Кожне твердження можна відстежувати. Кожний факт вказує на його джерело . Самовідтворення МSK2 вбудована двозначна система M SK3 працює повністю на вашому машині .
# Human-readable summary
docsummarizer -f contract.pdf
# JSON for agents/pipelines
docsummarizer tool -u "https://docs.example.com"
Що ця стаття охоплює: УстановкаM SK1 ключі режими (Auto/BertRagMSC4BerтMska5 шаблониMСК6 та стандартні випадки використанняM СК7
Що він не покриває: Справка з повною командою , Навігації конфігурації
Для всієї документації, читайте README. Для того, як він працює всерединіM SK1 читайте Частина 3.
Чому це існує?
Більшість підсумовників дають вам текст. Це дає вам докази.
- Кожна revendication включає
[chunk-N]цитати повернемося до джерела матеріалів - Рівень довіри МSK0wysoki/середнійMSC2нижчийM SK3 на основі підтверджень
- Структурований вихід JSON для інтеграції агента, CI труби, або MCP серверів
- Метрії якості ловити галюцинації перед тим, як вони втікають
Якщо вам потрібно довіра підсумок - або наділити його до іншої системи МSK1, яка має значення
Характеристики
- 🚀 БертRag Pipeline: ProdukціяM SK1 видобуток BERT рівня → відтворення МSK3 синтез LLM
- 🤖 Автомод: Швидкий режим вибору, заснований на документі та запиті
- ⚡ Бертовий режим: Чиста абстрактна підсумка - не потребує LLM МSK2 працює бездротово
- Доwody-Захований вихідМСК0 ЦитаціїМSK1 рівень довіри, відслідковуючі вимоги
- Багато режимівМСК0 Авто МSK1 BertRag , Bert, BertHybrid, MapReduceM SK5 RagMSC6 Ітеративний
- Устром: Чистий JSON для агентів LLM , Сервери MCP МSK2 Проверки CI
- Шаблони: 13МСК0 дефолт МСК1 проза , резюме MSК3 одинliner СМСК4 кулі SМСК5 керівник МСК6 деталі MSК7 технічна СМСК8 академічна ММСК9 цитати УМСК10 бухгалтерський звіт ВМСК11 зустріч УМСК12 жорстка
- Великих Dokumentів: Рухає 500+ сторінки з ієрархічним обробкою
- Перетягування до Інтернету: Безопасність -пошаркована МSK2захист від СФСР МSK3HTML-саніталізаціяM SK4
- У trybie Playwright: Безголовний браузер для Java-скрипту - передані сторінки МSK2SPAsM SK3 Реактичні додатки)
- Осередки на NX: Нуль МSK1конфигурація локальних вбудованих модулів МSK2моделі автоматизовані -завантаження при першій користуванні
- Анализ якості: Виявление галюцинацій , видобуток об 'єктів
- ЛЛМ гнучкий: Polly - на основі повторної спроби з відхиленням від реактиву МSK2 блокатор
- Тільки локальний: Нічого не залишає вашої машини
Використовуючи як інструмент LLM
І tool команда розроблена спеціально для інтеграції з штучним інтелектом, MCP-серверами, та іншими автоматизованими системамиM SK2 вона виводить структурований JSON, щоб мати доступ до доказівМSK3 підтвердzone вимоги MSC4 ідеальна для створення RAG трубок або агентських інструментівMスク5
Використовування базових інструментів
# Summarize a URL and get JSON output
docsummarizer tool --url "https://example.com/docs.html"
# Summarize a local file
docsummarizer tool -f document.pdf
# With a focus query
docsummarizer tool -f contract.pdf -q "payment terms and conditions"
# Pipe to jq for processing
docsummarizer tool -f doc.pdf | jq '.summary.keyFacts'
Структура виходу інструмента
Команда інструменту повертає структурований JSON з відстеженням доказів:
{
"success": true,
"source": "https://example.com/docs.html",
"contentType": "text/html",
"summary": {
"executive": "Brief summary of the document.",
"keyFacts": [
{
"claim": "The system supports 10,000 TPS.",
"confidence": "high",
"evidence": ["chunk-3", "chunk-7"],
"type": "fact"
}
],
"topics": [
{
"name": "Architecture",
"summary": "The system uses microservices...",
"evidence": ["chunk-1", "chunk-2"]
}
],
"entities": {
"people": ["John Smith"],
"organizations": ["Acme Corp"],
"concepts": ["OAuth 2.0", "REST API"]
},
"openQuestions": ["What is the disaster recovery plan?"]
},
"metadata": {
"processingSeconds": 12.5,
"chunksProcessed": 15,
"model": "qwen2.5:1.5b",
"mode": "MapReduce",
"coverageScore": 0.95,
"citationRate": 1.2,
"fetchedAt": "2025-01-15T10:30:00Z"
}
}
Опції настрою
docsummarizer tool [options]
| Варіант МSK1 Короткий МSK2 Описание | ||
|---|---|---|
--url |
-u |
URL, щоб завантажити і підсумувати |
--file |
-f |
Файл для підсумку |
--query |
-q |
Останнє питання про фокус |
--mode |
-m |
Режим сумірізації МSK1 Автоматичний МSK2 BertRag , BertM SK4 BertHybrid, MapReduceMスク6 RagMSC7 ІтеративнийMska8 Mska9 |
--model |
Модель Оллами для використання МSK2 | |
--config |
-c |
Маршрут конфігурації файлу |
Головні принципи дизайну
- Дослідження: Кожна दावा включає
evidenceІденти, що відносяться до шматків джерела - Рівень довіри: Вимагання оцінюються
high,medium, абоlowна основі доказів, що підтверджують - Чистий вихід:
executiveрезюме не має замітників цитат для простого відображання - Метадані: Статуси обробки допомагають розладувати та визначити якість
- Помилка в обробці: Відповідь про невдачі
success: falseзerrorповідомлення
Приклади інтеграції
Python-скрипт:
import subprocess
import json
result = subprocess.run(
["docsummarizer", "tool", "-u", "https://example.com/api-docs"],
capture_output=True, text=True
)
data = json.loads(result.stdout)
if data["success"]:
for fact in data["summary"]["keyFacts"]:
if fact["confidence"] == "high":
print(f"- {fact['claim']}")
Трубопровод Shell:
# Extract high-confidence facts only
docsummarizer tool -f doc.pdf | jq '[.summary.keyFacts[] | select(.confidence == "high")]'
# Get just the executive summary
docsummarizer tool -u "https://example.com" | jq -r '.summary.executive'
Швидкий старт
завантажити Built Binaries Pre-
До- збудовані нативні executables є доступними з Релізи GitHub:
| Платформа МSK1 Архітектура | ||
|---|---|---|
Windows МSK1 xM SK2 МSK3 docsummarizer-win-x64.zip |
||
| МSK0 Windows | ARMM SK2 | docsummarizer-win-arm64.zip |
| Linux | xM SK2 МSK3 docsummarizer-linux-x64.tar.gz |
|
| Linux | ARMM SK2 МSK3 docsummarizer-linux-arm64.tar.gz |
|
| МSK0 macOS | xM SK2 (Intel) | docsummarizer-osx-x64.tar.gz |
|
| МSK0 macOS | ARMM SK2 (Apple Silicon) | docsummarizer-osx-arm64.tar.gz |
# Download and extract (Linux/macOS)
curl -L -o docsummarizer.tar.gz https://github.com/scottgal/mostlylucidweb/releases/download/docsummarizer-v3.1.0/docsummarizer-linux-x64.tar.gz
tar -xzf docsummarizer.tar.gz
chmod +x docsummarizer
# Download and extract (Windows PowerShell)
Invoke-WebRequest -Uri "https://github.com/scottgal/mostlylucidweb/releases/download/docsummarizer-v3.1.0/docsummarizer-win-x64.zip" -OutFile "docsummarizer.zip"
Expand-Archive -Path "docsummarizer.zip" -DestinationPath "."
Потрібні умови
Бертовий режим (Не має зовнішніх послуг)
Для чистої абстракції, ніяких зовнішніх послуг не потрібно:
docsummarizer -f document.md -m Bert
Автомодельи ONNX - завантажити з HuggingFace при першій користуванні (~23MBM SK2 Обратні результати в МSK3 секундах МSK4
Моди LLM (Auto, BertRagM SK2 MapReduce , і т.д.
Для LLM - модерна сумірізація МSK1 Ольлама необхідна МSK2
# Install Ollama from https://ollama.ai
ollama pull llama3.2:3b # Default model - good balance of speed/quality
ollama serve
Індикатор швидкості: Для швидших підсумків МSK1s проти МSK2sM SK3 використання
--model qwen2.5:1.5b
Невключні: Docling (Binary FormatsM SK2
Виmaganі для PDF, DOCXM SK1 XLSX, PPTXMSC3 HTMLMST4 зображень (PNGМST6JPGM ST7TIFFM st8 CSVMst9 VTTMSt10 і AsciiDoc файлівMSST11 Замітки та прості текстові файли читаються безпосередньо - не вимагається документуванняM SK1
docker run -d -p 5001:5001 quay.io/docling-project/docling-serve
Невключно: Квартова гарантія M SK1Утримований векторний накопичувальний простірМSK2
Не обов ’ язково - BertRag використовує в - вектори пам ্ ятіM SK2 Включити Qdrant для тривалого зберігання, щоб уникнути повторенняMSC3введення документів на наступних запусках:
docker run -d -p 6333:6333 -p 6334:6334 qdrant/qdrant
Тоді сконфигуруйте docsummarizer.json:
{
"bertRag": {
"vectorStore": "Qdrant",
"collectionName": "docsummarizer",
"persistVectors": true
}
}
Опційно: Ольлама
Якщо ви хочете мати Ollama замість ONNX:
ollama pull nomic-embed-text # Or mxbai-embed-large
# Then use: --embedding-backend Ollama
Перевірити залежності
docsummarizer check --verbose
Очікуваний результат показує форматовану таблицю:
Dependency Status
╭─────────┬────────┬────────────────────────╮
│ Service │ Status │ Endpoint │
├─────────┼────────┼────────────────────────┤
│ Ollama │ OK │ http://localhost:11434 │
│ Docling │ Optional │ http://localhost:5001 │
│ Qdrant │ Optional │ localhost:6333 │
╰─────────┴────────┴────────────────────────╯
Default Model Info
╭────────────────┬────────────────╮
│ Property │ Value │
├────────────────┼────────────────┤
│ Name │ llama3.2:3b │
│ Family │ llama │
│ Parameters │ 3.2B │
│ Context Window │ 128,000 tokens │
╰────────────────┴────────────────╯
Ready to summarize! Ollama is available.
Примітка: Docling і Qdrant показують, що ✗ - це добре для Markdown
Використовування
За замовчанням
Працюючи docsummarizer без жодних аргументів
- Подивіться
README.mdу теперішньому каталогі - Підсумовуємо це за допомогою Автоматичний режим (вибір розумного trybуM SK1
- Надрук резюме на консолі з гарною панельною інтерфейсом
- Auto- врятувати до
readme.summary.md
# Summarize README.md in current directory
docsummarizer
# Shows a formatted panel with:
# - Document info table (file, mode, model)
# - Progress indicators during processing
# - Summary panel with the result
# - Topics tree if available
# - Saved: readme.summary.md
Найпростіше підсумування
# Just run it - Auto mode picks the best approach
docsummarizer -f document.pdf
# Fast mode - no LLM, pure extraction (~3-5s)
docsummarizer -f document.pdf -m Bert
# Production mode - best quality with validated citations
docsummarizer -f document.pdf -m BertRag
# Focused on specific topic
docsummarizer -f manual.pdf -m BertRag --focus "installation steps"
# Verbose progress
docsummarizer -f document.pdf -v
Моди підсумування
Цей інструмент еволюціонував з "just MapReduce" до повного трубопроводуM SK2 Тут ' це те, що кожен режим робить насправді
Auto (Default)
Вибирає правильний режим залежно від того, чого ви запитуєте.
docsummarizer -f doc.pdf
BertRag (ПродукціяM SK1
Ось що ви хочете для виробництва
- Видобуток - Розшифруйте документ на сегменти , вбудовуйте їх у BERT
- Перейти - Найти необхідні сегменти пошук семантики МSK2 відміну salience
- Синтезувати - LLM пише плавний підсумок з цих сегментів
docsummarizer -f doc.pdf -m BertRag
docsummarizer -f doc.pdf -m BertRag --focus "payment terms"
Навіщо його використовувати: Кожна твердження повертається до сегменту джерела. Без галюцинаційM SK1 Скала до будь-якого розміру dokumentu. LLM працює тільки в кінці MSC3швидкий ).
Берт (Fast, Ні LLMM SK2
Чиста видобуток за допомогою локальних моделей ONNX. Ніяких LLM дзвінків
docsummarizer -f doc.pdf -m Bert
Навіщо його використовувати: Працює без інтернету. Відказ у ~3-5 секундM SK2 Детерміністично ( один і той самий вхід МSK4 один й той самі виходи M SK5 Досить добре для швидких сканів .
Бертхібрид
Видобуток з Берта, По Polishes LLMM SK1 Середня поверхня між Бертом і БертомRag.
docsummarizer -f doc.pdf -m BertHybrid
MapReduce / Rag / Ітеративний
Оригинальні режими. досі працюють, але БертRag замінив їх на більшість випадків
- Знизити карту: Паралельно відокремленняM SK1 добре для 100% покрытие
- Раґ: Векторний пошукM SK1 добре для фокусованих запитів ( спадок МSK3 BertRag робить це краще )
- Ітеративний: Последовательне оброблення , використовувати тільки для маленьких Docs
docsummarizer -f doc.pdf -m MapReduce # Full coverage
docsummarizer -f doc.pdf -m Rag --focus "query" # Legacy focused mode
У режимі пошуку
Замість підсумування, запитуйте про документ
docsummarizer -f manual.pdf --query "How do I install the software?"
Перехоплення веб-URL
Підсумувати веб-сторінки без завантаження:
# Summarize a web article
docsummarizer --url "https://example.com/article.html" --web-enabled
# Summarize a remote PDF
docsummarizer --url "https://example.com/document.pdf" --web-enabled
# With structured JSON extraction
docsummarizer --url "https://example.com/api-docs.html" --web-enabled --structured
Допоміжний контент: HTML МSK1санитизовані МSK2 PDFM SK3 Замітка, зображення ( ОCRMska6 Канцелярські документиMske7 Великих зображення автоматично перебільшуютьсяMске8
Безпека: захист від СМСРM SK1 захист отримування DNS, вмістMSC3 типи зосередженості , захист проти вибухівок від декомпресії МSK5 HTML-саніталізація M SK6
JavaScript-рендеровані сторінки: Використовувати --web-mode Playwright для SPA і React програм (авторучM SK1встановлює хром при першій використанні).
Структурований режим
Витягувати машину-читаний JSON замість прозаM SK1
docsummarizer -f document.pdf --structured -o Json
Винятки: об 'єктиМSK1 функціїM SK2 ключові потоки МSK3 факти ( з рівнями довіри
Шаблони підсумку
# Use a template
docsummarizer -f doc.pdf --template executive
docsummarizer -f doc.pdf -t bullets
# Specify custom word count with template:wordcount syntax
docsummarizer -f doc.pdf -t bookreport:500
docsummarizer -f doc.pdf -t executive:100
# Or use --words to override any template's default
docsummarizer -f doc.pdf -t detailed --words 300
| Шаблон МSK1 Слова МSK2 Найкраще для | ||
|---|---|---|
default МSK0 ~300 ♫ ♫ МSK2 ♫ Сбалансований підсумок з темами ♫ (2 ♫ абзаци ♫ |
||
prose МSK0 ~400 ♫ ♫ МSK2 ♫ Чистий мультиплік ♫ - ♫ п ’ ятковий проз ♫- ♫ без метадань ♫ |
||
brief МSK0 ~50 ♫ ♫ МSK2 ♫ Краткое резюме речень ♫ 2-3 ♫ |
||
oneliner МSK0 ~25 ♫ ♫ МSK2 ♫ |
||
bullets |
автоматичний МSK1 Список пульсових точок | |
executive МSK0 ~150 ♫ ♫ МSK2 ♫ Штаб-квартира з рекомендаціями |
||
detailed МSK0 ~1000 ♫ ♫ МSK2 ♫ Охоплює всі теми ♫ |
♫ | |
technical |
МSK1 ♫ ♫ МSK2 ♫ Технические доки з деталями застосування ♫ | ♫ |
academic МSK0 ~250 ♫ ♫ МSK2 ♫ Формат академічного абстракту ♫ |
♫ | |
citations |
авто | Ключові цитати з лише джерелом цитат МSK2 |
bookreport МSK0 ~500 |
||
meeting МSK0 МSK1 |
Примітки до зібрання ( різи СМС4 дії СМС5 питання МС6 МС7 | |
strict МSK0 МSK1 |
Знаток - ефективний MSК4 MSК5 кулі макс МСК6 без захисту СМСК7 |
Щоб побачити всі доступні шаблони з описами:
docsummarizer templates
Модель Benchmarking
Порівняйте моделі на тому ж документі, використовуючи benchmark підкоманда:
docsummarizer benchmark -f doc.pdf -m "qwen2.5:1.5b,llama3.2:3b,ministral-3:3b"
Команда Benchmark аналізує документ один раз, потім запускає кожен модель на тих самих шматочках для справедливого порівняння . Виход показує таймінering , число слов M SK3 і слова MSC4 секунду для кожного моделі MST5
Обробка пакетів
Перетворити цілі каталоги:
# Use BertRag for quality
docsummarizer -d ./documents -m BertRag -v
# Fast offline batch (no LLM needed)
docsummarizer -d ./documents -m Bert -o Json --output-dir ./summaries
# Process only PDFs recursively
docsummarizer -d ./documents -e .pdf --recursive -v
Команда-Opcje лінії
| Опція | Короткий МSK2 Описание МSK3 По замовчуванню M | |||
|---|---|---|---|---|
--file |
-f |
Путь до документа DOCX, PDFM SK3 MDMSC4 МSK5 | - \ | |
--directory |
-d |
Путь до каталогу для обробки пакетів | МSK2 | | |
--url |
-u |
Веб-URL, щоб завантажити і підсумувати | ||
--web-enabled |
Ввімкніть веб-завантаження МSK2побаровується для false |
|||
--mode |
-m |
Режим сумірізації : Автоматичний МSK2 БертРаг МСК3 Берt М СК4 BertHybrid M СК5 МапаРедукція MСК6 Раґ МсК7 Ітеративний МSК8 Auto |
||
--structured |
-s |
Використовуйте структурований режим видобутку JSON false |
||
--focus |
МSK1 Запрос фокусу для RAG-моду МSK2 Нічого | |||
--query |
-q |
Режим запиту замість підсумування | ||
--model |
Модель Оллами для використання МSK2 llama3.2:3b |
|||
--verbose |
-v |
Показувати детальний прогрес з живою інтерфейсом false |
||
--config |
-c |
Путь до файлу конфігурації | ||
--output-format |
-o |
Формат вихідного коду : Консола МSK2 Текст M SK3 Замітка , Джсон МSK5 Console |
||
--output-dir |
МSK1 Діректлер вихідних даних для виходів файлів МSK2 Текучий dir | |||
--extensions |
-e |
Поширення файлів для пакетного режима | Всі формати документування МSK2 | |
--recursive |
-r |
Рекурсивні каталоги false |
||
--template |
-t |
Шаблона для підсумків МSK1поганийM SK2 коротенька МSK3 кулі , керівники М SK5 і т.д. default |
||
--words |
-w |
Перерахунок заданих слів ( Похибка шаблону |
| --embedding-backend МSK0 | Вбудований зворотній бік МSK2 OnnxM SK3 Ollama | Onnx |
| --embedding-model МSK0 | Назви моделі ONNX МSK2 РАГ-мод ) AllMiniLmL6V2 |
| --web-mode | МSK1 Модій веб-відпливу МSK2 Просте , Playwright MSК4 Simple |
| --analyze | -a | Пройти аналіз якості на підсумку МSK1 false |
Моди підсумування
Сniżка на карті (РекомендованаM SK1
Найкраще для комплексних підсумків з повним документом.
docsummarizer -f document.pdf -m MapReduce -v
Як це працює:
- розділяє документ на структурні шматочки (по заголовкахM SK1
- Підсумовує кожен шматок паралельно, використовуючи LLM
- Скорінити підсумки до executive summary з цитатами
- Вивіряють всі цитати, які стосуються реальных шматків
Ієрархічне скорочення для довгих документів:
Для дуже довгих документів, де об 'єднання підсумків перевершує модель's контекстний вікноM SK1 MapReduce автоматично використовує ієрархічне скорочення:
- Об 'єднання: Контекстові підсумки груп у пакети
- Посереднє скорочення: Перетворює кожну партію на стиснений підсумок
- Останнє зниження: Об 'єднує проміжні підсумки в кінцевий результат
- Рекурсивний: Якщо проміжники все ще надто великі , додає більше рівнів
100 chunks → 100 summaries → 5 batches → 5 intermediate summaries → final
Це зберігає повну охорону dokumentu, незалежно від довжини. - кожен шматок додає значення кінцевому підсумку. ♫ . ♫ Програмне забезпечення підраховує символи, ♫ МSK2 ♫ символи ♫МSK3 ♫ токен ♫) ♫ та цільи.
Про: швидке , повне обгортання МSK2 паралельна обробка M SK3 управляє будь-якою довжиною dokumentu Погані наслідки: Може пропустити перехресту - з 'єднання секцій M SK2 повільніше для дуже довгих документів
RAG (Лучший для фокусованих запитівM SK1
Найкраще, коли потрібно зосередитися на конкретних темах або мати цільове питання.
docsummarizer -f document.pdf -m Rag --focus "pricing and payment terms" -v
Як це працює:
- Індексує фрагменти документу як векторні додатки в Qdrant
- Витягує ключові теми з заголовків dokumentu
- Retrieves relevant chunks per topic using semantic search
- Синтезує зосереджений підсумок з цитатами
Коли використовувати RAG над MapReduce:
| сценарій МSK1 Найкращий режим | |----------|-----------| МSK0 "Составляйте цілий документM SK2 ♫ ♫ МSK3 ♫ МSK0 " Що це говорить про безпеку? МSK2 | МSK1горниковий інструктM SK2 все необхідне МSK3 МапаРедукція ( ієрархічний МСК0 500-гортання для сторінокМSK2 потрібна окрема секція МSK3 РАG | | Потрібні швидкі результати
РАГ - не про те, як обробляти довгі документи - MapReduce обробляє те, що з ієрархічними скороченнями відсортування релевантності:, коли ви хочете ігнорувати 90% документа та зосередитися на тому, що має значення для вашого конкретного питання
ПроМСК0 ТемаМSK1фокусоване, семантичне розумінняМСК3 повторний індексМ СК4 швидше для фокусованих запитів Погані наслідки: Може пропустити зміст поза зосередженою областью
Ітеративний
Найкраще для розповідальних документів, де контекст рухається послідовно.
docsummarizer -f story.pdf -m Iterative -v
Остереження: Повільніше і може втратити контекст на довгих документах МSK1 фрагментиM SK2
Великий документний інструктор
Вибирати правий режим
| Тип документу МSK1 Мета МSK2 Модій | Чому мSK4 |---------------|------|------|-----| | Технический опис МSK1 сторінки МSK2 | Полне підсумок M| Картазниження МСК5 Повне покрытие МК6 | НовинкаM SK1 Пригадка МSK2 Точне підсумок МSK3 Мапазнижування | Потрібний часовий контекст | Юридичний контракт МСК0 Юридичний контракт МСК1 СМСК2Termínи платежуМСк3 \МСК4 \ РАГ \ МСК5 Увага до конкретної секції \ СМСК6 | API Docs МSK1 сторінкиM SK2 | " Як працює auth? МSK5 | | RAG | МSK7 Це окрема тема, яка задається питанням. | Дослідковий документ МSK1 Точне підсумок МSK2 МапаРедукція | Структурована
Фікція проти неможливих-Fiction
| Тип контенту МSK1 Найкращий режим МSK2 Записки | ||
|---|---|---|
| Історія | MapReduce | Планування потребує послідовного контексту МSK2 |
| Технический документ | Обидві МSK1 КартаReduce for overview МSK2 RAG for specifics | |
| Юридичне/Контракти | MapReduce МSK1 Кожна умова має значення МSK2 | |
| Рукни | RAG | Зазвичай задають питання щодо спеціаліз МSK2 |
Результати
| розмір документа МSK1 скорочення карти МSK2 РАG | замітки M| |---------------|-----------|-----|-------| МSK0 10 сторінки МSK2 ♫ ♫ 15s ♫ МSK0 50 сторінки МSK2 ♫ ♫ 45s ♫ МSK0 200 сторінок МSK2 ♫ ♫ 3-5 мин | | ♫ МSK5 min | | Ієрархічне скорочення ♫ МSK0 500+ сторінки МSK2 \ 10-15 мин | | | 5 min | | Розгляньмо багато запитів РАG
Konfiguracja
Створити початкову конфігурацію
docsummarizer config --output myconfig.json
Конфигурація
Konfiguracja автоматично відкрита з:
--configможливістьdocsummarizer.jsonу теперішньому каталогі.docsummarizer.json( прихований файлM SK1~/.docsummarizer.json(домашнє місце користувачаM SK1
Наприклад, docsummarizer.json:
{
"embeddingBackend": "Onnx",
"onnx": {
"embeddingModel": "AllMiniLmL6V2"
},
"ollama": {
"model": "llama3.2:3b",
"embedModel": "mxbai-embed-large",
"baseUrl": "http://localhost:11434",
"temperature": 0.3,
"timeoutSeconds": 1200
},
"docling": {
"baseUrl": "http://localhost:5001",
"timeoutSeconds": 1200,
"pdfBackend": "pypdfium2",
"pagesPerChunk": 10,
"maxConcurrentChunks": 4,
"enableSplitProcessing": true
},
"qdrant": {
"host": "localhost",
"port": 6333,
"collectionName": "documents"
},
"processing": {
"maxHeadingLevel": 2,
"targetChunkTokens": 1500,
"minChunkTokens": 200,
"maxLlmParallelism": 2
},
"output": {
"format": "Console",
"verbose": false,
"includeTrace": false
},
"webFetch": {
"enabled": false,
"mode": "Simple",
"timeoutSeconds": 30,
"userAgent": "Mozilla/5.0 DocSummarizer/1.0"
},
"batch": {
"fileExtensions": [".pdf", ".docx", ".md", ".txt", ".html"],
"recursive": false,
"continueOnError": true
}
}
Опції обробки
| Опція МSK1 По замовчуванню МSK2 Описание | |
|---|---|
maxLlmParallelism |
8 ♫ ♫ МSK2 ♫ Конкурентні LLM-запити ♫ ( ♫ Старі черги ♫ |
maxHeadingLevel |
2 МSK2 Поділити на H МSK3 H мSK4 тільки мSK5 Сстановити до M3 для кращої граніналізації |
targetChunkTokens МSK0 0 ♫ ♫ МSK2авторуч ♫ ) ♫ |
|
minChunkTokens МSK0 0 ♫ ♫ МSK2 ♫ авто ♫ ) ♫ |
Виходний формат
Краткая структура
## Executive Summary
- Key finding 1 with specific details [chunk-0]
- Important point 2 with numbers and dates [chunk-3]
- Critical requirement 3 [chunk-5]
## Section Highlights
- Introduction: Overview of the system architecture [chunk-0]
- Requirements: Technical specifications detailed [chunk-3]
...
## Open Questions
- What is the timeline for Phase 2?
- How does the fallback mechanism work?
### Trace
- Document: document.pdf
- Chunks: 12 total, 12 processed
- Topics: 5
- Time: 21.4s
- Coverage: 100%
- Citation rate: 1.20
Метрії відслідковуванняМSK0 Об 'єм (% включні секції МSK2 Коэффициент цитацій (citationsM SK4bullet), Перероблені шматочки MSК6 РАГ може пропустити деякі МСК7
Рекомендації щодо моделі
| Модель МSK1 Розмір МSK2 Швидкість | Якість | МSK4 | Корпус для використання | |||
|---|---|---|---|---|---|---|
qwen2.5:1.5b МSK0 986MB МSK2 Дуже швидка (~3sM SK4 ♫ ♫ МSK5 Хороша ♫ |
♫ Оптимізована швидкість ♫ | |||||
gemma3:1b МSK0 815MB МSK2 швидкий (~10sM SK4 ♫ ♫ МSK5 ♫ Справжня ♫ |
♫ Альтернативна маленька модель ♫ | |||||
llama3.2:3b МSK0 2ГБ МSK2 Середній (~15sM SK4 ♫ ♫ МSK5 ♫ Дуже добре ♫ |
За замовчанням МSK0 хороший баланс | |||||
ministral-3:3b МSK0 2.9ГБ МSK2 Середній (~20sM SK4 | Дуже гарний \ |
Якість \ МSK7 сфокусований | |||||
llama3.1:8b МSK0 4.7 ГБ МSK2 Повільно (~45sM SK4 ♫ ♫ МSK5 Чудово ♫ |
♫ Високо ♫- ♫ Цілковиті підсумки ♫ |
Наказ: Для швидших підсумків МSK1s проти МSK2sM SK3 використання
--model qwen2.5:1.5b. Для критичних документів, де важливість якості--model llama3.1:8b.
Збудувати з джерела
# Clone the repository
git clone https://github.com/scottgal/mostlylucidweb.git
cd mostlylucidweb/Mostlylucid.DocSummarizer
# Build
dotnet build
# Run
dotnet run -- --help
Саморобна будівля
Для побудови виробництва, не використовуючи .NET runtime installation:
# Build self-contained executable (Windows x64)
dotnet publish -c Release -r win-x64 --self-contained
# Build for Linux
dotnet publish -c Release -r linux-x64 --self-contained
# Build for macOS
dotnet publish -c Release -r osx-x64 --self-contained
Виход: bin/Release/net9.0/<runtime>/publish/docsummarizer
Подолання проблем
" Не змогла підключитися до OllamaM SK1
- Упевниться, що Оллама працює:
ollama serve - Проверяємо моделі.
ollama list
"Сервис доставки недоступнийM SK1
- Це лише для файлів PDF/DOCX
- Для файлів Markdown, ви можете ігнорувати цю помилку
- Щоб вирішити:
docker run -p 5001:5001 quay.io/docling-project/docling-serve
"Qdrant підключення не спрацювалоM SK1
- Це лише для RAG-моду (
--mode Rag) - Для trybу MapReduce (default), ви можете ігнорувати цю помилку
- Щоб вирішити:
docker run -p 6333:6333 -p 6334:6334 qdrant/qdrant
"Circuit breaker is open
- Оллама переповнена або розвалилася
- Почекайте 30 секунд, поки блокатор повернеться до МSK1 або розпочинить Ollama
- Цей інструмент використовує політику стійкості до Polly і
"wsarecvM SK1 або помилки з підключенням
- Це відома проблема Оллами на Windows (GitHub #13340)
- Програмне забезпечення auto- вирішує це шляхом спроби логіки і відновлення зв 'язку
- Якщо persistent, перезапустить Ollama і спробувати ще раз
" генерація LLM закінчилася
- Збільшити випустку часу в конфігурації
- Поділити дуже великі документи
- Проверьте, що Ollama не переповнена іншими запитими
Повторюваність або низький рівень
Симптоми: Пулеметні точки реагують на про prompt МSK1 Повертають лише пулеметну точкуМСК2 МСК3 Правило таке:М СК4 замість того, щоб підсумувати змістMСК5
Причина: Модель, яка стикається з надмірно довгою пропозицією або змістом
Поправити: По замовчуванню qwen2.5:1.5b управляє більшістю документів добре. Для проблемних документів, спробувати --model llama3.2:3b. Подивіться Рекомендації щодо моделі.
Підсумок ігнорує зміст dokumentu
Якщо підсумок виглядає типовим або не має' не відноситься до конкретного контентуM SK1
- Модель може викликати галюцинації - перевірка
Citation rateв виході відслідку - Спробуйте режим RAG (
--mode Rag), що базується на підсумках в отриманих шматочках - Використовувати
--verboseщоб побачити, які фрагменти оброблені
Відсутня чи неправильна цитата
Якщо бракує підсумків [chunk-N] цитати:
- Малі моделі дають перевагу контенту над форматуванням цитат
- Пропони оптимізовані для швидкості, не жорсткого підходу до цитат
- Для жорстких цитат, використовувати більші моделі, такі як
llama3.2:3b - Проверка
Citation rateу сліді - вищі значення показують кращу відстежність
Наполегшення розвитку
- Знизити карту для швидкості (паралельні шматочкиM SK1
qwen2.5:1.5bдля швидкості,llama3.2:3bдля балансу,llama3.1:8bдля якості- Вбудова в систему ONNX (defaultM SK1 швидші, ніж Ollama для RAG-моду
- Найнижче
maxLlmParallelismякщо ви переживаєте відхилення
Ресурс
- Источник
- Релізи GitHub
- Лікарство / Лікарська служба
- Кдрант - локальна база векторів
- Оллама / Оллама-Шарп
- Полі - МSK1Net гнучкість та тимчасовістьM SK2поганий-розробка
- Спектр.Консоль - Красивий інтерфейс модуля
Навігація серії
- Частина 1: Збудування резюме документа з РАG - Архітектура та шаблони
- Частина 2: Використовуючи інструмент ( цей artykułM SK1 - швидкий МSK3початковий інструктор
- Частина 3: Заawansовані концепції - Глубокий занурення в BERT, ONNXM SK2 вбудовані модуліMSC3 і гібридні пошуки