# Як аналізувати великі CSV-файли з локальною LLM в C#

<!--category-- AI, LLM, Data Analysis, DuckDB, C#, Ollama -->
<datetime class="hidden">2025-12-18T10:00</datetime>

**Серія: локальні LLM для даних M SK1 частина 1 МSK3**

Тут - це помилка, яку роблять усі. Вони спробують нагодувати свій CSV на LLM. **LLM повинні генерувати питання, не споживати данихM SK1**

У вас є файл 500MB CSV, і ви хочете запитати: [Копілот у Excelі](https://support.microsoft.com/en-gb/copilot-excel) може зробити це, але що, якщо ваші дані надто чутливі для хмарних послугM SK1 Що, якщо вам потрібно їх самі побудувати

У цьому artykule показано, як - локально МSK1 приватно , в C

> Використовуйте DuckDB, щоб запитувати CSV-файли напряму. Застосуйте локальний LLM для генерації SQL. LLM ніколи не бачить ваших даних M SK2 лише схемуМSK3 РезультатMSC4 підMST5 ms запитів на мільйониM ST6 рядових файлівM st7 повністю бездротовийMst8

Для допомігального, більшого CLIM SK1 зосередженого лікування, яке розширює використання статистичних profili як інтерфейсу LLM ( і показує повний інструмент для втілення цих ідей МSK3 обробка профилів МСК4 безпека SQL-моду М СК5 синтетичне клонування та виявлення дрейфів M СК6 читайте доповідальний artykuł MСК7 **[DataSummarizer: швидке локальне відображання даних](/blog/datasummarizer-how-it-works)** - особливо секцію МSK1 Ключеві покращення МSK2 статистичні дані як інтерфейс ". Ці два статті формують коротку серію про практичний локальний LLM

[TOC]

## Погляньмо на суть

Використовувати LLM як запас даних є хибною абстракцією. LLM фундаментально не в змозі сканувати мільйони рядків, щоб обчислити середній МSK1 що МSK2 це не те, для чого вони МСК3 є . Навіть вікно контексту MСК5 К токенів може підходити мСК6 рядки М СК7 Ваші МСК8 МБ CSV мають мільйониМ СК9

Правильний візерунок: **Причина LLM, обчислення бази данихM SK1**

```mermaid
flowchart LR
    A[User Question] --> B[LLM]
    B --> C[SQL Query]
    C --> D[DuckDB]
    D --> E[Results]
    
    style B stroke:#333,stroke-width:4px
    style D stroke:#333,stroke-width:4px
```

Зверніть увагу на те, що відбувається:' : LLM генерує SQL-запрос на основі вашого питання і схеми;M SK2 DuckDB виконує його проти фактичних даних;МSK3 LL ніколи не торкається ваших даних.

Для більшої інформації про те, як обробляти профілі як LLM інтерфейс ( і конкретний CLI, який реалізує профілісM SK1перша розповідь, безпека SQLMSC3 закріплений QMST4AMSL5 запис МSK6 закреплені сеанси та синтетичне клонування ), читайте **[DataSummarizer: швидке локальне відображання даних](/blog/datasummarizer-how-it-works#the-key-upgrade-statistics-as-the-interface)**.

## Чому б не просто завантажити його в пам 'ять?

Усі очевидні підходи мають один і той самий смертельний недолік.

**[CsvHelper](https://joshclose.github.io/CsvHelper/) / Фрази даних**: Загрузити цілий файл в RAMM SK1 А 500MB CSV перетворюється на МSK3 ГБ об 'єктів

**SQLite / PostgreSQL**: Потрібний повільний етап введення ( хвилини для великих файлів МSK2 визначення діаграми напереду МSK3 і накладні витрати на управління базами даних

**[ПандасAI](https://github.com/Sinaptik-AI/pandas-ai)**: Все ще завантажує все в пам 'ять . плюс МSK2 виконання LLM МSK3 генерований произвольний код - жах безпеки

## Чому DuckDB

[Дук-ДБ](https://duckdb.org/) є іншим. Він запитує CSV-файли *безпосередньо* - без інсталяції , без завантаження в пам 'ять

```csharp
using var connection = new DuckDBConnection("DataSource=:memory:");
connection.Open();
using var cmd = connection.CreateCommand();
cmd.CommandText = "SELECT Region, SUM(Amount) FROM 'sales.csv' GROUP BY Region";
// Executes directly against the file - no import, no memory explosion
```

Убивчий елемент: **він розглядає файли як таблички**. Навімкніть його на CSV , Паркет МSK2 або файл JSON і негайно спитайте M SK3 Не створюйте таблицю , не вставляйте велику кількість

| Фактор МSK1 CsvHelper | SQLite မ်SK3 DuckDB МSK4
|--------|-----------|--------|--------|
| **Пам 'ять** | Завантаження цілого файлу | Загрузка під час введення МSK2 Потіки з диска МSK3
| **Налагодження** | Ніхто МSK1 Режим importa МSK2 Import | Ні х мSK4
| **500MB файл** МSK0 ~2 ГБ оперативної пам 'яті МSK2 Миті для введення | миттєвий
| **5ГБ файл** | Спустошення SOOM МSK1 Дуже повільно МSK2 Добре працює |
| **Паркет** МSK0 Ні | Ні

DuckDB - це те, що програмісти використовують в Pythonі для точного цього призначення. [.NET зв 'язки](https://github.com/Giorgi/DuckDB.NET) дасть вам повну підтримку ADO.NET | - | це відчувається як будь-яка інша база даних | МSK2 | за винятком

## Набір

| Komponenт МSK1 Чому цей МSK2
|-----------|--------------|
| [Дук-ДБ](https://duckdb.org/) | Попити CSV напряму , не вводить кроку МSK2
| [DuckDB.NET](https://github.com/Giorgi/DuckDB.NET) | Полний ADOM SK1 NET підтримка, відчувається природним |
| [Оллама](https://ollama.ai/) | локальна гіпотеза
| [Богос](https://github.com/bchavez/Bogus) | Реальність тестування в будь-якому масштабі
| [`qwen2.5-coder:7b`](https://ollama.ai/library/qwen2.5-coder) | Найкращий рівень точності SQL у 7B розмірі МSK2

> **Домітка про безпеку**: Ми ' запускаємо LLM МSK2 генерований SQL МSK3 Це безпечніше, ніж произвольний код [Розділ безпеки](#security-considerations) для захисту. Для ширшої дискусії про перетворення профилів в LLM інтерфейс і CLI, який реалізує ці шаблони, читайте довідник **[DataSummarizer: швидке локальне відображання даних](/blog/datasummarizer-how-it-works)**.

## Установлення проекту

Дозвольте 's створити зразковий проект . Установити пакети NuGet

```bash
dotnet add package DuckDB.NET.Data.Full
dotnet add package OllamaSharp
dotnet add package Bogus
```

Згадайте кодування, орієнтоване на модель, яка добре працює в SQL

```bash
ollama pull qwen2.5-coder:7b
```

## Архітектура

Ось як частини з 'єднуються.

```mermaid
flowchart TB
    subgraph Input
        Q[User Question]
        CSV[CSV File]
    end
    
    subgraph Processing
        Schema[Extract Schema]
        Sample[Get Sample Rows]
        Context[Build LLM Context]
        LLM[Generate SQL]
        Validate[Validate SQL]
        Execute[Execute Query]
    end
    
    subgraph Output
        Results[Query Results]
    end
    
    CSV --> Schema
    CSV --> Sample
    Schema --> Context
    Sample --> Context
    Q --> Context
    Context --> LLM
    LLM --> Validate
    Validate -->|Error| LLM
    Validate -->|OK| Execute
    CSV --> Execute
    Execute --> Results
    
    style LLM stroke:#333,stroke-width:4px
    style Execute stroke:#333,stroke-width:4px
```

Найголовніша ідея – МСК0, яку ми даємо LLM **схема та зразки даних**, не справжні даніM SK1 Це робить контекст невеликим і реагує швидко

**Чому це важливо?**: LLM генерує наміри МSK1SQLM SK2 DuckDB запускає його. Шаг перевірки ловить помилки синтаксису перед виконаннямMSC4 Мережа повторних спроб справляєся з випадковими помилками . Ця відокремлення робить систему одночасно безпечною і точним МSK6 Для більш детального описуMSL7 CLI\-\центрова референція ♫(\включно з профилем ♫ -\перша розповідь та безпечні обмеження SQL виконання ♫ МSK11\ см. **[DataSummarizer: швидке локальне відображання даних](/blog/datasummarizer-how-it-works#the-key-upgrade-statistics-as-the-interface)**.

## Шаг 1: генерувати тестові дані з Bogus

> **У вас вже є дані CSV?** Перейти до [Шаг 2: Збудувати контекст схеми](#step-2-build-the-schema-context).

До того, як ми зможемо перевірити наш LLM-силовий CSV-аналізаторM SK1 нам потрібні дані для аналізу

1. **Скала тестування** - Створити рядки 100KM SK2 МSK3MMSC4 або МSK5M, щоб перевірити ефективність в різних розмірах
2. **Prywatність** - Немає ризику показувати дані реального клієнта / в демонстраціях чи скриншотах
3. **Повторюваність** - Те саме насіння = ті самі дані МSK2 роблячи помилки повторюваними
4. **Країни** - Контроль розподілу e.gM SK3 сила МSK4 зворотнього зв 'язку

### Що таке Bogus?

[Богос](https://github.com/bchavez/Bogus) є .NET портом популярного фальсифікатора .js-лібертарії M SK2 Він генерує реалістичні МSK3 виглядаючих фальшивих даних МСК4 імена М СК5 адреси M СК6 електронні листи М S К7 дати М ็ С К8 числа М С К9 з відповідною локальною підтримкою М Ш К 10 Замість руки М ס К 11 створення тестових CSV файлів чи використання випадкових відходів M S К 12 Bogus дає вам дані, які *виглядає* реально:

- `f.Name.FullName()` МSK0 "Джон Сміт МSK2 (не MSК4asdf МСК5
- `f.Internet.Email()` МSK0 "john .smithM SK3gmail.comMSC5 ♫ МSK6правильно форматоване ♫ ♫
- `f.Date.Between(start, end)` → Реальність розподілу data
- `f.Commerce.ProductName()` МSK0 "Handcrafted Granite Cheese

Це важливо, тому що реальні дані допомагають виявити проблеми: - дивне форматування , непередбачувані agregaції МSK2 крайні випадки в обробці датами МSK3 що випадкові стрічки приховують

### Визначати модель даних

```csharp
internal class SaleRecord
{
    public string OrderId { get; set; } = "";
    public DateTime OrderDate { get; set; }
    public string CustomerId { get; set; } = "";
    public string CustomerName { get; set; } = "";
    public string Region { get; set; } = "";
    public string Category { get; set; } = "";
    public string ProductName { get; set; } = "";
    public int Quantity { get; set; }
    public decimal UnitPrice { get; set; }
    public decimal Discount { get; set; }
    public bool IsReturned { get; set; }
}
```

### Konfigureer Faker

Bogus використовує плавний API для визначення правил генерації:

```csharp
var categories = new[] { "Electronics", "Clothing", "Home & Garden", "Sports", "Books" };
var regions = new[] { "North", "South", "East", "West", "Central" };

var faker = new Faker<SaleRecord>()
    .RuleFor(s => s.OrderId, f => f.Random.Guid().ToString()[..8].ToUpper())
    .RuleFor(s => s.OrderDate, f => f.Date.Between(
        new DateTime(2022, 1, 1), 
        new DateTime(2024, 12, 31)))
    .RuleFor(s => s.CustomerId, f => $"CUST-{f.Random.Number(10000, 99999)}")
    .RuleFor(s => s.CustomerName, f => f.Name.FullName())
    .RuleFor(s => s.Region, f => f.PickRandom(regions))
    .RuleFor(s => s.Category, f => f.PickRandom(categories))
    .RuleFor(s => s.ProductName, (f, s) => GenerateProductName(f, s.Category))
    .RuleFor(s => s.Quantity, f => f.Random.Number(1, 20))
    .RuleFor(s => s.UnitPrice, f => f.Random.Decimal(9.99m, 299.99m))
    .RuleFor(s => s.Discount, f => f.Random.Bool(0.3f) ? f.Random.Decimal(0.05m, 0.25m) : 0m)
    .RuleFor(s => s.IsReturned, f => f.Random.Bool(0.05f));
```

Давайте розглянемо, що відбувається

- **`f` МSK0Faker)** - Інстанція генератора з доступом до всіх модулів даних Name, ДатаM SK3 НепередбачуванийMSC4 і т.д.
- **`f.Random.Guid().ToString()[..8]`** - Створити GUID, але візьміть тільки перші символи 8 для розшифровування ID замовлення
- **`f.Date.Between()`** МСК0 Непередбачувана data в реальному діапазоні (не рік 9999)
- **`f.PickRandom(array)`** - Вибирайте випадково з передвизначених варіантів МSK1 гарантує gültigі категоріїM SK2
- **`f.Random.Bool(0.3f)`** МSK0 30% ймовірність того, що true
- **`(f, s)` синтаксис** - Доступ zarówno факеру, як і частково - збудованого запису МSK2 Це дозволяє `ProductName` залежать від `Category`

І `(f, s)` шаблон потужний - це означає " електроніка МSK2 замовлення отримують назви електроніки МSK3 не випадкові штуки | МSK4 | Ця послідовність робить генеровані дані набагато більш реальними для тестування agregaцій, таких як | " | прибуток за категорією |". |

### Створити і написати в CSV

```csharp
var records = faker.Generate(100_000); // Adjust for your testing needs

await using var writer = new StreamWriter(csvPath, false, Encoding.UTF8);
await writer.WriteLineAsync("OrderId,OrderDate,CustomerId,CustomerName,Region,Category,...");

foreach (var record in records)
{
    var total = record.Quantity * record.UnitPrice * (1 - record.Discount);
    await writer.WriteLineAsync($"{record.OrderId},{record.OrderDate:yyyy-MM-dd},...");
}
```

100K ряди генерують близько 15MB CSV МSK2 достатньо для тестування з МSK3, але ви можете легко масштабувати до мільйонів мSK4 генерація швидка M(~2 секунд для МСК6К рядівМСК7 тому що Bogus оптимізований для масового генерування

> **Наказ**: Набір `Randomizer.Seed = new Random(12345)` перед тим, як генерувати, щоб отримати відтворювані дані. Те саме насіння M SK1 те ж саме " випадкове МSK3 записи кожного разу, що є недооцінюваним для виправлення

## Шаг 2: Збудувати контекст схеми

Перед тим, як LLM зможе генерувати SQL, він мусить розуміти структуру даних

### Модель контексту

```csharp
public class DataContext
{
    public string CsvPath { get; set; } = "";
    public List<ColumnInfo> Columns { get; set; } = new();
    public List<Dictionary<string, string>> SampleRows { get; set; } = new();
    public long RowCount { get; set; }
}

public class ColumnInfo
{
    public string Name { get; set; } = "";
    public string Type { get; set; } = "";  // VARCHAR, DOUBLE, TIMESTAMP, etc.
}
```

Це відображає все, чого потребує LLM: назви столбів, типиM SK2 і декілька рядків зразків для розуміння формату данихMSC3

### Витягування схеми

DuckDB може описати будь-який CSV без завантаження всього:

```csharp
private DataContext BuildContext(DuckDBConnection connection, string csvPath)
{
    var context = new DataContext { CsvPath = csvPath };

    // Get schema - DuckDB infers types from the CSV
    using var cmd = connection.CreateCommand();
    cmd.CommandText = $"DESCRIBE SELECT * FROM '{csvPath}'";
    using var reader = cmd.ExecuteReader();

    while (reader.Read())
    {
        context.Columns.Add(new ColumnInfo
        {
            Name = reader.GetString(0),  // Column name
            Type = reader.GetString(1)   // Inferred type
        });
    }

    return context;
}
```

І `DESCRIBE` команда читає лише заголовок файлу плюс кілька рядків для виведення типу. - it 's миттєво навіть на величезних файлах

### Отримаємо зразки даних

Показові рядки допомагають LLM розуміти формати даних (datumsM SK1IDs , і т.д.

```csharp
using var cmd = connection.CreateCommand();
cmd.CommandText = $"SELECT * FROM '{csvPath}' LIMIT 3";
using var reader = cmd.ExecuteReader();

while (reader.Read())
{
    var row = new Dictionary<string, string>();
    for (int i = 0; i < reader.FieldCount; i++)
    {
        var value = reader.IsDBNull(i) ? "NULL" : reader.GetValue(i)?.ToString() ?? "";
        row[reader.GetName(i)] = value;
    }
    context.SampleRows.Add(row);
}
```

Три рядки зазвичай достатньо - це показує LLM, які формати очікувати без марнування токенів .

## Шаг 3: генерувати SQL з LLM

**Це важка частина.** Тут швидка інженерія не є "-", negotiable . - , без жорстких правил. МSK2 локальні LLM вироблять творчу, але зламану SQL .

### Збудування швидкості

```csharp
private string BuildPrompt(DataContext context, string question, string? previousError)
{
    var sb = new StringBuilder();

    sb.AppendLine("You are a SQL expert. Generate a DuckDB SQL query to answer the user's question.");
    sb.AppendLine();
    sb.AppendLine("IMPORTANT RULES:");
    sb.AppendLine("1. The table is accessed directly from the CSV file path");
    sb.AppendLine("2. Use single quotes around the file path in FROM clause");
    sb.AppendLine("3. DuckDB syntax - use LIMIT not TOP, use || for string concat");
    sb.AppendLine("4. Return ONLY the SQL query, no explanation, no markdown");
    sb.AppendLine();
    
    sb.AppendLine($"CSV File: '{context.CsvPath}'");
    sb.AppendLine($"Row Count: {context.RowCount:N0}");
    sb.AppendLine();
    
    // Schema
    sb.AppendLine("Schema:");
    foreach (var col in context.Columns)
    {
        sb.AppendLine($"  - {col.Name}: {col.Type}");
    }
```

У розділі правил є вирішальне значення - він говорить LLM точно, як форматувати запит для DuckDB . Будучи чіткою щодо синтаксису МSK2LIMIT vs TOP МSK3 конкатенція струн M SK4 запобігає поширеним помилкам

### Доdanie зразків даних

```csharp
    if (context.SampleRows.Count > 0)
    {
        sb.AppendLine();
        sb.AppendLine("Sample data (first 3 rows):");
        foreach (var row in context.SampleRows)
        {
            var values = row.Select(kv => $"{kv.Key}='{kv.Value}'");
            sb.AppendLine($"  {{{string.Join(", ", values)}}}");
        }
    }
```

### Поновлення помилки

Якщо попередній спроба провалилась, включите błąd:

```csharp
    if (previousError != null)
    {
        sb.AppendLine();
        sb.AppendLine("YOUR PREVIOUS QUERY HAD AN ERROR:");
        sb.AppendLine(previousError);
        sb.AppendLine("Please fix the query based on this error.");
    }

    sb.AppendLine();
    sb.AppendLine($"Question: {question}");
    sb.AppendLine();
    sb.AppendLine("SQL Query (no markdown, no explanation):");

    return sb.ToString();
}
```

Цей механізм повторюваності важливий. - локальні LLM іноді роблять синтаксисні помилки , і, даючи їм помилку, вони зазвичай виправляють її на другій спробі

### Викликання LLM

```csharp
var request = new GenerateRequest { Model = _model, Prompt = prompt };
var response = await _ollama.GenerateAsync(request).StreamToEndAsync();
var sql = CleanSqlResponse(response?.Response ?? "");
```

І `StreamToEndAsync()` чекає на повний відгук. Для кращого UX, ви могли б потокувати टोकони, коли вони прийдуть

### Чиszczenie реагування

LLMs часто обгортають SQL у блоках коду відмітки, незважаючи на те, що їм кажуть: МСК0 .

```csharp
private string CleanSqlResponse(string response)
{
    var sql = response.Trim();

    // Remove markdown code blocks if present
    if (sql.StartsWith("```"))
    {
        var lines = sql.Split('\n').ToList();
        lines.RemoveAt(0);  // Remove opening ```sql
        if (lines.Count > 0 && lines[^1].Trim().StartsWith("```"))
        {
            lines.RemoveAt(lines.Count - 1);  // Remove closing ```
        }
        sql = string.Join('\n', lines);
    }

    return sql.Trim('`', ' ', '\n', '\r');
}
```

## Шаг 4: Затвердити перед виконанням

ДюкDB's `EXPLAIN` дозволяє перевірити синтаксису SQL без запуску запиту:

```csharp
private string? ValidateSql(DuckDBConnection connection, string sql)
{
    try
    {
        using var cmd = connection.CreateCommand();
        cmd.CommandText = $"EXPLAIN {sql}";
        cmd.ExecuteNonQuery();
        return null; // Valid
    }
    catch (Exception ex)
    {
        return ex.Message;
    }
}
```

Якщо підтверджувати не вдасться, ми повернемо błąd до LLM і спробуємо (до рівня

## Шаг 5: Виконувати і форматувати результати

Врешті-решт, запускає пошук і формує вихідні дані:

```csharp
private QueryResult ExecuteQuery(DuckDBConnection connection, string sql)
{
    var result = new QueryResult { Sql = sql };

    try
    {
        using var cmd = connection.CreateCommand();
        cmd.CommandText = sql;
        using var reader = cmd.ExecuteReader();

        // Capture column names
        for (int i = 0; i < reader.FieldCount; i++)
        {
            result.Columns.Add(reader.GetName(i));
        }

        // Capture rows
        while (reader.Read())
        {
            var row = new List<object?>();
            for (int i = 0; i < reader.FieldCount; i++)
            {
                row.Add(reader.IsDBNull(i) ? null : reader.GetValue(i));
            }
            result.Rows.Add(row);
        }

        result.Success = true;
    }
    catch (Exception ex)
    {
        result.Success = false;
        result.Error = ex.Message;
    }

    return result;
}
```

І `QueryResult` клас (, представлений у повному зразку проекту `ToString()` метод, який форматує результати як читабельну таблицю.

## Додання контексту розмови

Для інтерактивного аналізу

```
"What's the total revenue?"
→ "Break that down by region"
→ "Show the top 5 regions"
```

Другий і третій питання мають сенс лише в контексті першого

### Переслідування історії розмови

```csharp
public class ConversationTurn
{
    public string Question { get; set; } = "";
    public string Sql { get; set; } = "";
    public bool Success { get; set; }
    public int RowCount { get; set; }
    public string Summary { get; set; } = "";  // "Single value: 1234567.89"
}
```

### Уміщуючи історію в проханнях

```csharp
if (_history.Count > 0)
{
    sb.AppendLine();
    sb.AppendLine("CONVERSATION HISTORY (for context):");
    
    foreach (var turn in _history.TakeLast(5))  // Last 5 turns
    {
        sb.AppendLine($"Q: {turn.Question}");
        sb.AppendLine($"SQL: {turn.Sql}");
        if (turn.Success)
        {
            sb.AppendLine($"Result: {turn.Summary}");
        }
        sb.AppendLine();
    }
}
```

Історія дає контексту LLM, щоб зрозуміти такі ссылки як " те, що ", МSK2 ті результати

## Яку модель використовувати?

Для генерації SQL, кодуванняM SK1концентровані моделі працюють найкраще. Ось варіанти, доступні через [Модель бібліотеки Ollama'](https://ollama.ai/library):

| Модель МSK1 Розмір МSK2 Швидкість | Якість | | МSK4 | Ссылка | |
|-------|------|-------|---------|------|
| `qwen2.5-coder:7b` МSK0 4.7 ГБ МSK2 швидка | Отож, чудова мSK4 [Оллама](https://ollama.ai/library/qwen2.5-coder) |
| `deepseek-coder-v2:16b` МSK0 9ГБ МSK2 Середній мSK3 Найкращий M| [Оллама](https://ollama.ai/library/deepseek-coder-v2) |
| `codellama:7b` МSK0 4 ГБ МSK2 Szвидкий | Хороший мSK4 [Оллама](https://ollama.ai/library/codellama) |
| `llama3.2:3b` МSK0 2 ГБ МSK2 Дуже швидка | Прийнятна мSK4 [Оллама](https://ollama.ai/library/llama3.2) |

Для більшості випадків **`qwen2.5-coder:7b`** hits the sweet spot - accurate SQL , good speed МSK2 runs on modest hardware

## Результати

### Світові показники

Тестування на 100K ряду CSV файла (14MBM SK2 на стандартній dev машині МSK3Ryzen МSK4 NVMe SSD, | МSK6GB RAM | ): |

| Тип запиту МSK1 Час МSK2
|------------|------|
| Прості цифри МSK1 МSK2ms |
| GROUP BY з SUM МSK1 МSK2ms |
| Комплексний агрегат з FILTERом
| Мультитабільний МSK1товстій GROUP BY з залученням мSK2 МSK3ms |

Sub-100ms для аналізу запитів на M SK1K рядків МSK2 без жодного введення кроку. Складність питання важливіша, ніж кількість рядківMSC4 DuckDB ' стовбуровий двигун управляє агрегаціями ефективно, незалежно від розміру файла

### Перетворити великі файли на паркет

Для файлів більше 1GB, [Формат паркета](https://parquet.apache.org/) 10-100x швидшийM SK1

```csharp
using var cmd = connection.CreateCommand();
cmd.CommandText = $"COPY (SELECT * FROM '{csvPath}') TO '{parquetPath}' (FORMAT PARQUET)";
cmd.ExecuteNonQuery();
```

Стиснутий файл паркета також набагато менший.

### Увага до безпеки

Коли я запускаю LLM, я генерую SQL:

```csharp
private bool IsSafeQuery(string sql)
{
    var dangerous = new[] { "DROP", "DELETE", "TRUNCATE", "UPDATE", "INSERT", "ALTER", "CREATE" };
    var upperSql = sql.ToUpperInvariant();
    return !dangerous.Any(d => upperSql.Contains(d));
}
```

DuckDB's в режимі пам 'яті також забезпечує природну ізоляцію - він не впливає на ваші виробничі бази даних

## Повний приклад

Ось як все об 'єднується.

```csharp
// Generate test data
await GenerateSalesCsvAsync("sales.csv", 100_000);

// Simple query
using var service = new CsvQueryService("qwen2.5-coder:7b", verbose: true);
var result = await service.QueryAsync("sales.csv", "What are total sales by region?");
Console.WriteLine(result);

// Conversational analysis
using var analyser = new ConversationalCsvAnalyser("sales.csv", "qwen2.5-coder:7b");

Console.WriteLine(await analyser.AskAsync("What's the total revenue?"));
Console.WriteLine(await analyser.AskAsync("Break that down by category"));
Console.WriteLine(await analyser.AskAsync("Which category has the most returns?"));
```

## Підсумок

Модель мислення, яка має бути в пам 'яті **Причина LLM; обчислення баз даних.**

Don't fed data to the LLM. Feed it schemaMSC2 let it generate SQLMST3 execute that SQL against a proper query engineM ST4 This separation is why the approach works at scaleM st5

Implementacja:

1. **Дук-ДБ** запити CSV безпосередньо - без импортуM SK1 потоки з диска
2. **Схема зразків +** дати LLM достатньо контексту, не показуючи даних
3. **Короткі правила про prompt** сила детерміністична SQL, не творче проза
4. **Validation via EXPLAIN** ловить помилки перед виконанням
5. **Знову спробувати зі зворотнім зв 'язком** регулює інколишній синтаксис

Результат: підM SK1 ms аналітиких запитів на мільйони - рядових файлів МSK3 цілковито беззвичного , з даними, які ніколи не залишають вашого комп 'ютера

Уся модель проекту доступна на сайті [Найяскравіший.CsvLlm](https://github.com/scottgal/mostlylucidweb) - включає `CsvQueryService`, `ConversationalCsvAnalyser`, і BogusM SK1 генерація даних на основі

## Ресурс

### Дук-ДБ

- [Документація DuckDB](https://duckdb.org/docs/) - Полна інформація
- [Импорт CSV DuckDB](https://duckdb.org/docs/data/csv/overview.html) - CSVM SK1конкретні характеристики
- [Референція SQL DuckDB](https://duckdb.org/docs/sql/introduction) - Різниця у синтаксисі SQL з іншими базами даних
- [DuckDB.NET GitHub](https://github.com/Giorgi/DuckDB.NET) - CM SK1 зв 'язки
- [DuckDB.NET NuGet](https://www.nuget.org/packages/DuckDB.NET.Data.Full) - Полний пакет з нативними бінарами

### Ollama & LLMs

- [Оллама](https://ollama.ai/) - локальний час запуску LLM
- [Ольламська модельна бібліотека](https://ollama.ai/library) - Доступні моделі
- [Оллама-Шарп](https://github.com/awaescher/OllamaSharp) - CM SK1 клієнтська бібліотека
- [Нуґет Олламашарпа](https://www.nuget.org/packages/OllamaSharp/)

### Випробувати генерацію даних

- [ҐитHub, Богос](https://github.com/bchavez/Bogus) - Генератор фальшивих даних
- [Справка з API Bogus](https://github.com/bchavez/Bogus#bogus-api-support) - Доступні типи даних

### Вигадані альтернативи

- [CsvHelper](https://joshclose.github.io/CsvHelper/) - Бібліотека аналізу CSV
- [Microsoft.DataM SK1Analyse](https://www.nuget.org/packages/Microsoft.Data.Analysis) DataFrame для .NET
- [ПандасAI](https://github.com/Sinaptik-AI/pandas-ai) - Python LLM + інтеграція панда

### Подібні статті

- [DataSummarizer: швидке локальне відображання даних](/blog/datasummarizer-how-it-works) - Компаньй article covering CLIM SK1based data profiling