# Збудувати "Lawyer GPT" для вашого блогу | МСК2 | Część | 9: | Введення документів за допомогою Docling

<!--category-- AI, LLM, Docling, RAG, C#, AI-Article, mostlylucid.blogllm -->
<datetime class="hidden">2025-12-15T22:45</datetime>

Добро пожаловать до частини 9! В попередніх частинах МSK1 ми МSK2 збудували надійну систему RAG, яка обробляє пости блогів, які відокремлюються, і робить їх пошуковими через семантичні вставки . Зараз \ ' \ час розширити наші можливості **Лікарство** - потужна бібліотека для обробки документів, яка може застосувати PDF , DOCX

> NOTE: Це частина моїх експериментів з штучним інтелектом

Не те, що мені це потрібно для блогу (it's all markdownM SK2 але для завершення я подумав, що я 'd покажу, як легко додавати вміщання документів до вашого конвеєра RAG МSK4 Це особливо корисне, якщо ви building system that needs to process legal documents

[TOC]

## Чому документ має значення

На даний момент наш юрист GPT може зрозуміти тільки відмітки файлів. Те, що ' це нормально для блогу МSK2 але реальні МСК3 світові бази знань містять М СК4

- **PDF контракти** - життєва сила правової праці
- **Документи Word** - резюмеM SK1 заяви, перепис
- **PowerPoint презентації** - pitches клієнтаM SK1 резюме випадків
- **Скановані документи** - старі записи, які потребують OCR
- **HTML-сторінки** - веб-контент

Якщо ми хочемо, щоб наша система працювала як справжня юридична асистентка з штучним інтелектом, то вона повинна споживати всі ці інструменти.

## Що таке Docling?

[Лікарство](https://github.com/docling-project/docling) це відкритий інструментарій для обробки документів від IBM. Подумайте про нього як про універсального перекладача для документів - ви наділяєте його PDF МSK3 Word doc M SK4 або PowerPoint , і він викидає чистий MSC6 структурований відміток

Чому відмітки? МСК0? Тому що МСК1 - це те, що наш існуючий трубопровод вже розуміє. МСК2 - ми вже створили блокування, МСК4 - вбудовання генерації, МSK5 - векторне зберігання для контенту відміток. МSK6 - перетворивши все на відмітку першими, , - ми можемо відновити всю цю інфраструктуру

**Що обробляє Docling:**

- Видобуток PDF (в обох нативних та сканованих за допомогою OCRM SK1
- DOCX та DOC-файли
- презентації PPTX
- HTML-сторінки
- Фотографії з текстом (via OCRM SK1

**Що робить його особливим:**

- Захищає структуру dokumentu (headingsM SK1 lists, tablesМSK3
- Рухає складні макети (множинаM SK1column, змішаний контентMSC3
- Видобуток таблиць насправді працює. (на відміну від багатьох PDF-парсерівM SK1
- Працює локально - ніяких даних не надсилають на зовнішні послуги

## Практика документування як послуга

Сам документування - це Python-лібература,, але команда надає [Лікарська служба](https://github.com/docling-project/docling-serve) - упаковник API REST, який ми можемо викликати з CM SK1 Це найчистіший шлях інтеграції.

### Запуск Serwisу

Найпростіший спосіб запуску Docling - це через Docker:

```bash
docker run -p 5001:5001 quay.io/docling-project/docling-serve
```

Що's it. Тепер у вас є API для конвертації документів, що працює на `http://localhost:5001`.

Хочете інтерактивно грати з ним?? Ввімкніть інтерфейс

```bash
docker run -p 5001:5001 -e DOCLING_SERVE_ENABLE_UI=1 quay.io/docling-project/docling-serve
```

Тоді відвідайте `http://localhost:5001/ui` перетащити- іM SK1ドロпні документи, щоб побачити результати

### Вибір правильного зображення

Docling пропонує кілька зображення контейнерів, в залежності від вашого обладнання:

| Зображення МSK1 Корпус для використання МSK2 Розмір |
|-------|----------|------|
| `docling-serve` | Ogólnий цільM SK1 працює всюди МSK2 МSK3 ГБ |
| `docling-serve-cpu` | МеньшеM SK1 Процесор - тільки МSK3 M~4.4ГБ МСК5
| `docling-serve-cu126` | NVIDIA GPU з CUDA МSK1 МSK2 ~10
| `docling-serve-cu128` | NVIDIA GPU з CUDA МSK1 МSK2 ~11.4

Якщо ви' виконуєте важку роботу з OCR, то зображення GPU варті додаткової розміру.(M SK3) Для цифрових файлів-, PDF та Worddocs.(МSK5) Процесор працює добре .

### Доdanie до Docker Compose

Для виробництва, додайте Docling до існуючого стекаM SK1

```yaml
services:
  docling:
    image: quay.io/docling-project/docling-serve:latest
    ports:
      - "5001:5001"
    volumes:
      - docling_cache:/root/.cache
    restart: unless-stopped
```

Об 'єм кэшу важливий. - Docling завантажує моделі ML на першому запускі.

## API Docling

Перед тим, як зануритися в код C, треба зрозуміти, з чим ми працюємо.

### Перетворення документа з URL

```bash
curl -X POST 'http://localhost:5001/v1/convert/source' \
  -H 'Content-Type: application/json' \
  -d '{
    "sources": [{"kind": "http", "url": "https://example.com/contract.pdf"}],
    "options": {"to_formats": ["md"]}
  }'
```

### Завантаження локального файлу

```bash
curl -X POST 'http://localhost:5001/v1/convert/file' \
  -F 'files=@contract.pdf'
```

Обидві повертають JSON, що містить конвертований значок вниз, плюс метадані, такі як число сторінок і виявлений тип файлуM SK1

### Імовірність

- **`to_formats`**: Який виход ви хочете - `md` (markdownM SK1 `json` (структурованийM SK1 або `text` (plainM SK1
- **`ocr`**: ВвімкнутиM SK1wyłącz OCR (по замовчуванню МSK3 ввімкненіМSK4
- **`table_mode`**: `fast` або `accurate` - швидкість торгівлі для якості столу

## Інтеграція з C#

Оскільки Docling - це REST-сервіс, інтеграція є простою HTTP підключенням . Тут МSK2 це підхід

### 1. Створити Docling Client

Нам потрібна послуга, яка керує HTTP зв 'язками:

```csharp
public class DoclingClient
{
    private readonly HttpClient _httpClient;
    private readonly string _baseUrl;

    public DoclingClient(HttpClient httpClient, string baseUrl = "http://localhost:5001")
    {
        _httpClient = httpClient;
        _baseUrl = baseUrl;
    }

    public async Task<string?> ConvertFromUrlAsync(string documentUrl)
    {
        var request = new
        {
            sources = new[] { new { kind = "http", url = documentUrl } },
            options = new { to_formats = new[] { "md" } }
        };

        var response = await _httpClient.PostAsJsonAsync(
            $"{_baseUrl}/v1/convert/source", request);

        if (!response.IsSuccessStatusCode)
            return null;

        var result = await response.Content.ReadFromJsonAsync<DoclingResponse>();
        return result?.Document?.MarkdownContent;
    }

    public async Task<string?> ConvertFileAsync(string filePath)
    {
        using var content = new MultipartFormDataContent();
        using var fileStream = File.OpenRead(filePath);
        content.Add(new StreamContent(fileStream), "files", Path.GetFileName(filePath));

        var response = await _httpClient.PostAsync(
            $"{_baseUrl}/v1/convert/file", content);

        if (!response.IsSuccessStatusCode)
            return null;

        var result = await response.Content.ReadFromJsonAsync<DoclingResponse>();
        return result?.Document?.MarkdownContent;
    }
}
```

Найголовніше, що ми отримуємо - МСК0, ми отримуємемо зворотний відміток - МSK1, який поміщається безпосередньо в нашу поточну трубу - .

### 2. Полив у наявну трубку

Пам 'ятайте про наші канали поглинання з частини 4? Він бере відмітку , його шматки МSK2 генерує вбудовані \ , і зберігає у Qdrant \ МSK4 \ Ми просто повинні додати Docling як новий вихідний ресурс

```csharp
public async Task ProcessDocumentAsync(string filePath)
{
    // Step 1: Convert to markdown with Docling
    var markdown = await _doclingClient.ConvertFileAsync(filePath);
    
    if (string.IsNullOrEmpty(markdown))
    {
        _logger.LogError("Failed to convert {File}", filePath);
        return;
    }

    // Step 2: Parse the markdown (reuse existing code!)
    var document = _markdownParser.ParseFromContent(markdown, Path.GetFileName(filePath));

    // Step 3: Chunk it (reuse existing code!)
    var chunks = _chunker.ChunkDocument(document);

    // Step 4: Generate embeddings (reuse existing code!)
    await _embedder.GenerateEmbeddingsAsync(chunks);

    // Step 5: Store in vector database (reuse existing code!)
    await _vectorStore.UpsertChunksAsync(chunks);
}
```

Подивіться, наскільки мало нового коду нам потрібно

### 3. Рухати різними типами документів

Різні документи можуть потребувати різних процедур:

```csharp
public async Task ProcessDocumentAsync(string filePath, string[] categories)
{
    var extension = Path.GetExtension(filePath).ToLower();
    
    // Scanned PDFs need OCR, which is slower
    var useOcr = extension == ".pdf" && await IsScannedPdfAsync(filePath);
    
    var markdown = await _doclingClient.ConvertFileAsync(filePath, new ConvertOptions
    {
        EnableOcr = useOcr,
        TableMode = extension == ".xlsx" ? "accurate" : "fast"
    });

    // ... rest of pipeline
}
```

## Рівень ефективності

Конвертація dokumentu - це' не миттєвий . ТутM SK2 що очікувати:

| Тип документа | Типовий час МSK2
|--------------|--------------|
| Простій PDF МSK1 сторінкиМСК2 МСК3
| Комплекс PDF МSK1 сторінкиM SK2 МSK3 \10-30 секунди |
| Сканований PDF з OCR МSK1 30-120 секунд МSK3
| Словарьовий документ
| Powerpoint МSK1 МSK2 секунд |

**Совети для виробництва:**

1. **Працювати асинхронно** - DonM SK1 t блок на конвертації dokumentu. По черзі Dokumentи і процес в фоні .

2. **Результатиキャッシュу** - Поміщайте конвертований значок вниз . Якщо документ не змінивсяM SK2 не змінювався МSK3 перевіряйте файл hash

3. **Використовуйте GPU для OCR** - Якщо виM SK1 обробляєте багато сканованих документів, зображення CUDA 5-10x швидшіMSC4

4. **រំលង OCR, коли це можливо** МSK0 Цифровий- нативні PDF не потрібні' не потребують OCRM SK3 автоматичний документуванняMSC4 розпізнає , але ви можете примусити його відключити для відомих цифрових джерел

## Автоматичне спостереження за документом

Для рук-off experience, дивлячись папку для нових документівM SK2

```csharp
public class DocumentWatcher : BackgroundService
{
    private FileSystemWatcher _watcher;

    protected override Task ExecuteAsync(CancellationToken stoppingToken)
    {
        _watcher = new FileSystemWatcher("/documents/incoming")
        {
            Filters = { "*.pdf", "*.docx", "*.pptx" }
        };

        _watcher.Created += async (s, e) => 
        {
            await Task.Delay(1000); // Wait for file to finish writing
            await _ingestionService.ProcessDocumentAsync(e.FullPath);
        };

        _watcher.EnableRaisingEvents = true;
        return Task.CompletedTask;
    }
}
```

Викидайте PDF у папку, і він автоматично конвертуєтьсяМSK1 відокремленийМСК2 вбудованийМ СК3 і робить його пошуковимM СК4

## Що це дає

З інтеграцією Docling, наш юрист GPT тепер може

- **Збудувати контракти з клієнтами** - завантажити PDFM SK1 задавати питання про певні clauses
- **Поиск через брифи** - Найти той аргумент, який ви зробили у схожому випадку
- **Дослідження** - Додайте академічні PDF до вашої бази знань
- **Переробка спадкових документів** - ОCR ті старі скановані записи

Головним моментом є те, що формат dokumentu - це лише вхідна проблема.

## Підсумок

Ми "'" додали до нашого юриста GPT , МSK1 .

1. **Лікарство** конвертує PDFs, DOCX, PPTX до чистої позначки
2. **Лікарська служба** обгортає його в REST API, який ми можемо зателефонувати з C#
3. **Наші існуючі труби** обробляє все звідси - ніяких змін не потрібно

Це сила створення спільного формату

## Навігація серії

- [Частина 1: Вprowadzenie МSK1 Архітектура](/blog/building-a-lawyer-gpt-for-your-blog-part1)
- [Частина 2: Установка GPU & CUDA в C#](/blog/building-a-lawyer-gpt-for-your-blog-part2)
- [Частина 3: Порозуміння вбудованих компонентів МSK1 Вektorні бази даних](/blog/building-a-lawyer-gpt-for-your-blog-part3)
- [Частина 4: Збудування каналу впиту](/blog/building-a-lawyer-gpt-for-your-blog-part4)
- [Частина 5: Windows Client](/blog/building-a-lawyer-gpt-for-your-blog-part5)
- [Частина 6: Локальна інтеграція LLM](/blog/building-a-lawyer-gpt-for-your-blog-part6)
- [Частина 7: генерація контенту МSK1 швидка інженерія](/blog/building-a-lawyer-gpt-for-your-blog-part7)
- [Частина 8: Заawansовані характеристики & Розгортання виробництва](/blog/building-a-lawyer-gpt-for-your-blog-part8)
- **Частина 9: Введення документу з допоміжним документом** (this postM SK1

## Ресурс

- [Docling GitHub](https://github.com/docling-project/docling)
- [Docling Serve GitHub](https://github.com/docling-project/docling-serve)
- [Docling Paper (arXiv)](https://arxiv.org/abs/2501.17887)
- [Документація API](http://localhost:5001/docs) ( при запускі локальноM SK1