Збудувати "Lawyer GPT" для вашого блогу | МСК2 | Część | 9: | Введення документів за допомогою Docling
Добро пожаловать до частини 9! В попередніх частинах МSK1 ми МSK2 збудували надійну систему RAG, яка обробляє пости блогів, які відокремлюються, і робить їх пошуковими через семантичні вставки . Зараз \ ' \ час розширити наші можливості Лікарство - потужна бібліотека для обробки документів, яка може застосувати PDF , DOCX
NOTE: Це частина моїх експериментів з штучним інтелектом
Не те, що мені це потрібно для блогу (it's all markdownM SK2 але для завершення я подумав, що я 'd покажу, як легко додавати вміщання документів до вашого конвеєра RAG МSK4 Це особливо корисне, якщо ви building system that needs to process legal documents
Чому документ має значення
На даний момент наш юрист GPT може зрозуміти тільки відмітки файлів. Те, що ' це нормально для блогу МSK2 але реальні МСК3 світові бази знань містять М СК4
- PDF контракти - життєва сила правової праці
- Документи Word - резюмеM SK1 заяви, перепис
- PowerPoint презентації - pitches клієнтаM SK1 резюме випадків
- Скановані документи - старі записи, які потребують OCR
- HTML-сторінки - веб-контент
Якщо ми хочемо, щоб наша система працювала як справжня юридична асистентка з штучним інтелектом, то вона повинна споживати всі ці інструменти.
Що таке Docling?
Лікарство це відкритий інструментарій для обробки документів від IBM. Подумайте про нього як про універсального перекладача для документів - ви наділяєте його PDF МSK3 Word doc M SK4 або PowerPoint , і він викидає чистий MSC6 структурований відміток
Чому відмітки? МСК0? Тому що МСК1 - це те, що наш існуючий трубопровод вже розуміє. МСК2 - ми вже створили блокування, МСК4 - вбудовання генерації, МSK5 - векторне зберігання для контенту відміток. МSK6 - перетворивши все на відмітку першими, , - ми можемо відновити всю цю інфраструктуру
Що обробляє Docling:
- Видобуток PDF (в обох нативних та сканованих за допомогою OCRM SK1
- DOCX та DOC-файли
- презентації PPTX
- HTML-сторінки
- Фотографії з текстом (via OCRM SK1
Що робить його особливим:
- Захищає структуру dokumentu (headingsM SK1 lists, tablesМSK3
- Рухає складні макети (множинаM SK1column, змішаний контентMSC3
- Видобуток таблиць насправді працює. (на відміну від багатьох PDF-парсерівM SK1
- Працює локально - ніяких даних не надсилають на зовнішні послуги
Практика документування як послуга
Сам документування - це Python-лібература,, але команда надає Лікарська служба - упаковник API REST, який ми можемо викликати з CM SK1 Це найчистіший шлях інтеграції.
Запуск Serwisу
Найпростіший спосіб запуску Docling - це через Docker:
docker run -p 5001:5001 quay.io/docling-project/docling-serve
Що's it. Тепер у вас є API для конвертації документів, що працює на http://localhost:5001.
Хочете інтерактивно грати з ним?? Ввімкніть інтерфейс
docker run -p 5001:5001 -e DOCLING_SERVE_ENABLE_UI=1 quay.io/docling-project/docling-serve
Тоді відвідайте http://localhost:5001/ui перетащити- іM SK1ドロпні документи, щоб побачити результати
Вибір правильного зображення
Docling пропонує кілька зображення контейнерів, в залежності від вашого обладнання:
| Зображення МSK1 Корпус для використання МSK2 Розмір | |
|---|---|
docling-serve |
Ogólnий цільM SK1 працює всюди МSK2 МSK3 ГБ |
docling-serve-cpu |
МеньшеM SK1 Процесор - тільки МSK3 M~4.4ГБ МСК5 |
docling-serve-cu126 |
NVIDIA GPU з CUDA МSK1 МSK2 ~10 |
docling-serve-cu128 |
NVIDIA GPU з CUDA МSK1 МSK2 ~11.4 |
Якщо ви' виконуєте важку роботу з OCR, то зображення GPU варті додаткової розміру.(M SK3) Для цифрових файлів-, PDF та Worddocs.(МSK5) Процесор працює добре .
Доdanie до Docker Compose
Для виробництва, додайте Docling до існуючого стекаM SK1
services:
docling:
image: quay.io/docling-project/docling-serve:latest
ports:
- "5001:5001"
volumes:
- docling_cache:/root/.cache
restart: unless-stopped
Об 'єм кэшу важливий. - Docling завантажує моделі ML на першому запускі.
API Docling
Перед тим, як зануритися в код C, треба зрозуміти, з чим ми працюємо.
Перетворення документа з URL
curl -X POST 'http://localhost:5001/v1/convert/source' \
-H 'Content-Type: application/json' \
-d '{
"sources": [{"kind": "http", "url": "https://example.com/contract.pdf"}],
"options": {"to_formats": ["md"]}
}'
Завантаження локального файлу
curl -X POST 'http://localhost:5001/v1/convert/file' \
-F '[email protected]'
Обидві повертають JSON, що містить конвертований значок вниз, плюс метадані, такі як число сторінок і виявлений тип файлуM SK1
Імовірність
to_formats: Який виход ви хочете -md(markdownM SK1json(структурованийM SK1 абоtext(plainM SK1ocr: ВвімкнутиM SK1wyłącz OCR (по замовчуванню МSK3 ввімкненіМSK4table_mode:fastабоaccurate- швидкість торгівлі для якості столу
Інтеграція з C#
Оскільки Docling - це REST-сервіс, інтеграція є простою HTTP підключенням . Тут МSK2 це підхід
1. Створити Docling Client
Нам потрібна послуга, яка керує HTTP зв 'язками:
public class DoclingClient
{
private readonly HttpClient _httpClient;
private readonly string _baseUrl;
public DoclingClient(HttpClient httpClient, string baseUrl = "http://localhost:5001")
{
_httpClient = httpClient;
_baseUrl = baseUrl;
}
public async Task<string?> ConvertFromUrlAsync(string documentUrl)
{
var request = new
{
sources = new[] { new { kind = "http", url = documentUrl } },
options = new { to_formats = new[] { "md" } }
};
var response = await _httpClient.PostAsJsonAsync(
$"{_baseUrl}/v1/convert/source", request);
if (!response.IsSuccessStatusCode)
return null;
var result = await response.Content.ReadFromJsonAsync<DoclingResponse>();
return result?.Document?.MarkdownContent;
}
public async Task<string?> ConvertFileAsync(string filePath)
{
using var content = new MultipartFormDataContent();
using var fileStream = File.OpenRead(filePath);
content.Add(new StreamContent(fileStream), "files", Path.GetFileName(filePath));
var response = await _httpClient.PostAsync(
$"{_baseUrl}/v1/convert/file", content);
if (!response.IsSuccessStatusCode)
return null;
var result = await response.Content.ReadFromJsonAsync<DoclingResponse>();
return result?.Document?.MarkdownContent;
}
}
Найголовніше, що ми отримуємо - МСК0, ми отримуємемо зворотний відміток - МSK1, який поміщається безпосередньо в нашу поточну трубу - .
2. Полив у наявну трубку
Пам 'ятайте про наші канали поглинання з частини 4? Він бере відмітку , його шматки МSK2 генерує вбудовані \ , і зберігає у Qdrant \ МSK4 \ Ми просто повинні додати Docling як новий вихідний ресурс
public async Task ProcessDocumentAsync(string filePath)
{
// Step 1: Convert to markdown with Docling
var markdown = await _doclingClient.ConvertFileAsync(filePath);
if (string.IsNullOrEmpty(markdown))
{
_logger.LogError("Failed to convert {File}", filePath);
return;
}
// Step 2: Parse the markdown (reuse existing code!)
var document = _markdownParser.ParseFromContent(markdown, Path.GetFileName(filePath));
// Step 3: Chunk it (reuse existing code!)
var chunks = _chunker.ChunkDocument(document);
// Step 4: Generate embeddings (reuse existing code!)
await _embedder.GenerateEmbeddingsAsync(chunks);
// Step 5: Store in vector database (reuse existing code!)
await _vectorStore.UpsertChunksAsync(chunks);
}
Подивіться, наскільки мало нового коду нам потрібно
3. Рухати різними типами документів
Різні документи можуть потребувати різних процедур:
public async Task ProcessDocumentAsync(string filePath, string[] categories)
{
var extension = Path.GetExtension(filePath).ToLower();
// Scanned PDFs need OCR, which is slower
var useOcr = extension == ".pdf" && await IsScannedPdfAsync(filePath);
var markdown = await _doclingClient.ConvertFileAsync(filePath, new ConvertOptions
{
EnableOcr = useOcr,
TableMode = extension == ".xlsx" ? "accurate" : "fast"
});
// ... rest of pipeline
}
Рівень ефективності
Конвертація dokumentu - це' не миттєвий . ТутM SK2 що очікувати:
| Тип документа | Типовий час МSK2 |
|---|---|
| Простій PDF МSK1 сторінкиМСК2 МСК3 | |
| Комплекс PDF МSK1 сторінкиM SK2 МSK3 \10-30 секунди | |
| Сканований PDF з OCR МSK1 30-120 секунд МSK3 | |
| Словарьовий документ | |
| Powerpoint МSK1 МSK2 секунд |
Совети для виробництва:
Працювати асинхронно - DonM SK1 t блок на конвертації dokumentu. По черзі Dokumentи і процес в фоні .
Результатиキャッシュу - Поміщайте конвертований значок вниз . Якщо документ не змінивсяM SK2 не змінювався МSK3 перевіряйте файл hash
Використовуйте GPU для OCR - Якщо виM SK1 обробляєте багато сканованих документів, зображення CUDA 5-10x швидшіMSC4
រំលង OCR, коли це можливо МSK0 Цифровий- нативні PDF не потрібні' не потребують OCRM SK3 автоматичний документуванняMSC4 розпізнає , але ви можете примусити його відключити для відомих цифрових джерел
Автоматичне спостереження за документом
Для рук-off experience, дивлячись папку для нових документівM SK2
public class DocumentWatcher : BackgroundService
{
private FileSystemWatcher _watcher;
protected override Task ExecuteAsync(CancellationToken stoppingToken)
{
_watcher = new FileSystemWatcher("/documents/incoming")
{
Filters = { "*.pdf", "*.docx", "*.pptx" }
};
_watcher.Created += async (s, e) =>
{
await Task.Delay(1000); // Wait for file to finish writing
await _ingestionService.ProcessDocumentAsync(e.FullPath);
};
_watcher.EnableRaisingEvents = true;
return Task.CompletedTask;
}
}
Викидайте PDF у папку, і він автоматично конвертуєтьсяМSK1 відокремленийМСК2 вбудованийМ СК3 і робить його пошуковимM СК4
Що це дає
З інтеграцією Docling, наш юрист GPT тепер може
- Збудувати контракти з клієнтами - завантажити PDFM SK1 задавати питання про певні clauses
- Поиск через брифи - Найти той аргумент, який ви зробили у схожому випадку
- Дослідження - Додайте академічні PDF до вашої бази знань
- Переробка спадкових документів - ОCR ті старі скановані записи
Головним моментом є те, що формат dokumentu - це лише вхідна проблема.
Підсумок
Ми "'" додали до нашого юриста GPT , МSK1 .
- Лікарство конвертує PDFs, DOCX, PPTX до чистої позначки
- Лікарська служба обгортає його в REST API, який ми можемо зателефонувати з C#
- Наші існуючі труби обробляє все звідси - ніяких змін не потрібно
Це сила створення спільного формату
Навігація серії
- Частина 1: Вprowadzenie МSK1 Архітектура
- Частина 2: Установка GPU & CUDA в C#
- Частина 3: Порозуміння вбудованих компонентів МSK1 Вektorні бази даних
- Частина 4: Збудування каналу впиту
- Частина 5: Windows Client
- Частина 6: Локальна інтеграція LLM
- Частина 7: генерація контенту МSK1 швидка інженерія
- Частина 8: Заawansовані характеристики & Розгортання виробництва
- Частина 9: Введення документу з допоміжним документом (this postM SK1
Ресурс
- Docling GitHub
- Docling Serve GitHub
- Docling Paper (arXiv)
- Документація API ( при запускі локальноM SK1