Back to "Як аналізувати великі CSV-файли з локальною LLM в C#"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

This is a preview from the server running through my markdig pipeline

AI C# Data Analysis DuckDB LLM Ollama

Як аналізувати великі CSV-файли з локальною LLM в C#

Thursday, 18 December 2025

Серія: локальні LLM для даних M SK1 частина 1 МSK3

Тут - це помилка, яку роблять усі. Вони спробують нагодувати свій CSV на LLM. LLM повинні генерувати питання, не споживати данихM SK1

У вас є файл 500MB CSV, і ви хочете запитати: Копілот у Excelі може зробити це, але що, якщо ваші дані надто чутливі для хмарних послугM SK1 Що, якщо вам потрібно їх самі побудувати

У цьому artykule показано, як - локально МSK1 приватно , в C

Використовуйте DuckDB, щоб запитувати CSV-файли напряму. Застосуйте локальний LLM для генерації SQL. LLM ніколи не бачить ваших даних M SK2 лише схемуМSK3 РезультатMSC4 підMST5 ms запитів на мільйониM ST6 рядових файлівM st7 повністю бездротовийMst8

Для допомігального, більшого CLIM SK1 зосередженого лікування, яке розширює використання статистичних profili як інтерфейсу LLM ( і показує повний інструмент для втілення цих ідей МSK3 обробка профилів МСК4 безпека SQL-моду М СК5 синтетичне клонування та виявлення дрейфів M СК6 читайте доповідальний artykuł MСК7 DataSummarizer: швидке локальне відображання даних - особливо секцію МSK1 Ключеві покращення МSK2 статистичні дані як інтерфейс ". Ці два статті формують коротку серію про практичний локальний LLM

Погляньмо на суть

Використовувати LLM як запас даних є хибною абстракцією. LLM фундаментально не в змозі сканувати мільйони рядків, щоб обчислити середній МSK1 що МSK2 це не те, для чого вони МСК3 є . Навіть вікно контексту MСК5 К токенів може підходити мСК6 рядки М СК7 Ваші МСК8 МБ CSV мають мільйониМ СК9

Правильний візерунок: Причина LLM, обчислення бази данихM SK1

flowchart LR
    A[User Question] --> B[LLM]
    B --> C[SQL Query]
    C --> D[DuckDB]
    D --> E[Results]
    
    style B stroke:#333,stroke-width:4px
    style D stroke:#333,stroke-width:4px

Зверніть увагу на те, що відбувається:' : LLM генерує SQL-запрос на основі вашого питання і схеми;M SK2 DuckDB виконує його проти фактичних даних;МSK3 LL ніколи не торкається ваших даних.

Для більшої інформації про те, як обробляти профілі як LLM інтерфейс ( і конкретний CLI, який реалізує профілісM SK1перша розповідь, безпека SQLMSC3 закріплений QMST4AMSL5 запис МSK6 закреплені сеанси та синтетичне клонування ), читайте DataSummarizer: швидке локальне відображання даних.

Чому б не просто завантажити його в пам 'ять?

Усі очевидні підходи мають один і той самий смертельний недолік.

CsvHelper / Фрази даних: Загрузити цілий файл в RAMM SK1 А 500MB CSV перетворюється на МSK3 ГБ об 'єктів

SQLite / PostgreSQL: Потрібний повільний етап введення ( хвилини для великих файлів МSK2 визначення діаграми напереду МSK3 і накладні витрати на управління базами даних

ПандасAI: Все ще завантажує все в пам 'ять . плюс МSK2 виконання LLM МSK3 генерований произвольний код - жах безпеки

Чому DuckDB

Дук-ДБ є іншим. Він запитує CSV-файли безпосередньо - без інсталяції , без завантаження в пам 'ять

using var connection = new DuckDBConnection("DataSource=:memory:");
connection.Open();
using var cmd = connection.CreateCommand();
cmd.CommandText = "SELECT Region, SUM(Amount) FROM 'sales.csv' GROUP BY Region";
// Executes directly against the file - no import, no memory explosion

Убивчий елемент: він розглядає файли як таблички. Навімкніть його на CSV , Паркет МSK2 або файл JSON і негайно спитайте M SK3 Не створюйте таблицю , не вставляйте велику кількість

Фактор МSK1 CsvHelper SQLite မ်SK3 DuckDB МSK4
Пам 'ять Завантаження цілого файлу Загрузка під час введення МSK2 Потіки з диска МSK3
Налагодження Ніхто МSK1 Режим importa МSK2 Import Ні х мSK4
500MB файл МSK0 ~2 ГБ оперативної пам 'яті МSK2 Миті для введення миттєвий
5ГБ файл Спустошення SOOM МSK1 Дуже повільно МSK2 Добре працює
Паркет МSK0 Ні Ні

DuckDB - це те, що програмісти використовують в Pythonі для точного цього призначення. .NET зв 'язки дасть вам повну підтримку ADO.NET | - | це відчувається як будь-яка інша база даних | МSK2 | за винятком

Набір

Komponenт МSK1 Чому цей МSK2
Дук-ДБ Попити CSV напряму , не вводить кроку МSK2
DuckDB.NET Полний ADOM SK1 NET підтримка, відчувається природним
Оллама локальна гіпотеза
Богос Реальність тестування в будь-якому масштабі
qwen2.5-coder:7b Найкращий рівень точності SQL у 7B розмірі МSK2

Домітка про безпеку: Ми ' запускаємо LLM МSK2 генерований SQL МSK3 Це безпечніше, ніж произвольний код Розділ безпеки для захисту. Для ширшої дискусії про перетворення профилів в LLM інтерфейс і CLI, який реалізує ці шаблони, читайте довідник DataSummarizer: швидке локальне відображання даних.

Установлення проекту

Дозвольте 's створити зразковий проект . Установити пакети NuGet

dotnet add package DuckDB.NET.Data.Full
dotnet add package OllamaSharp
dotnet add package Bogus

Згадайте кодування, орієнтоване на модель, яка добре працює в SQL

ollama pull qwen2.5-coder:7b

Архітектура

Ось як частини з 'єднуються.

flowchart TB
    subgraph Input
        Q[User Question]
        CSV[CSV File]
    end
    
    subgraph Processing
        Schema[Extract Schema]
        Sample[Get Sample Rows]
        Context[Build LLM Context]
        LLM[Generate SQL]
        Validate[Validate SQL]
        Execute[Execute Query]
    end
    
    subgraph Output
        Results[Query Results]
    end
    
    CSV --> Schema
    CSV --> Sample
    Schema --> Context
    Sample --> Context
    Q --> Context
    Context --> LLM
    LLM --> Validate
    Validate -->|Error| LLM
    Validate -->|OK| Execute
    CSV --> Execute
    Execute --> Results
    
    style LLM stroke:#333,stroke-width:4px
    style Execute stroke:#333,stroke-width:4px

Найголовніша ідея – МСК0, яку ми даємо LLM схема та зразки даних, не справжні даніM SK1 Це робить контекст невеликим і реагує швидко

Чому це важливо?: LLM генерує наміри МSK1SQLM SK2 DuckDB запускає його. Шаг перевірки ловить помилки синтаксису перед виконаннямMSC4 Мережа повторних спроб справляєся з випадковими помилками . Ця відокремлення робить систему одночасно безпечною і точним МSK6 Для більш детального описуMSL7 CLI-\центрова референція ♫(\включно з профилем ♫ -\перша розповідь та безпечні обмеження SQL виконання ♫ МSK11\ см. DataSummarizer: швидке локальне відображання даних.

Шаг 1: генерувати тестові дані з Bogus

У вас вже є дані CSV? Перейти до Шаг 2: Збудувати контекст схеми.

До того, як ми зможемо перевірити наш LLM-силовий CSV-аналізаторM SK1 нам потрібні дані для аналізу

  1. Скала тестування - Створити рядки 100KM SK2 МSK3MMSC4 або МSK5M, щоб перевірити ефективність в різних розмірах
  2. Prywatність - Немає ризику показувати дані реального клієнта / в демонстраціях чи скриншотах
  3. Повторюваність - Те саме насіння = ті самі дані МSK2 роблячи помилки повторюваними
  4. Країни - Контроль розподілу e.gM SK3 сила МSK4 зворотнього зв 'язку

Що таке Bogus?

Богос є .NET портом популярного фальсифікатора .js-лібертарії M SK2 Він генерує реалістичні МSK3 виглядаючих фальшивих даних МСК4 імена М СК5 адреси M СК6 електронні листи М S К7 дати М ็ С К8 числа М С К9 з відповідною локальною підтримкою М Ш К 10 Замість руки М ס К 11 створення тестових CSV файлів чи використання випадкових відходів M S К 12 Bogus дає вам дані, які виглядає реально:

  • f.Name.FullName() МSK0 "Джон Сміт МSK2 (не MSК4asdf МСК5
  • f.Internet.Email() МSK0 "john .smithM SK3gmail.comMSC5 ♫ МSK6правильно форматоване ♫ ♫
  • f.Date.Between(start, end) → Реальність розподілу data
  • f.Commerce.ProductName() МSK0 "Handcrafted Granite Cheese

Це важливо, тому що реальні дані допомагають виявити проблеми: - дивне форматування , непередбачувані agregaції МSK2 крайні випадки в обробці датами МSK3 що випадкові стрічки приховують

Визначати модель даних

internal class SaleRecord
{
    public string OrderId { get; set; } = "";
    public DateTime OrderDate { get; set; }
    public string CustomerId { get; set; } = "";
    public string CustomerName { get; set; } = "";
    public string Region { get; set; } = "";
    public string Category { get; set; } = "";
    public string ProductName { get; set; } = "";
    public int Quantity { get; set; }
    public decimal UnitPrice { get; set; }
    public decimal Discount { get; set; }
    public bool IsReturned { get; set; }
}

Konfigureer Faker

Bogus використовує плавний API для визначення правил генерації:

var categories = new[] { "Electronics", "Clothing", "Home & Garden", "Sports", "Books" };
var regions = new[] { "North", "South", "East", "West", "Central" };

var faker = new Faker<SaleRecord>()
    .RuleFor(s => s.OrderId, f => f.Random.Guid().ToString()[..8].ToUpper())
    .RuleFor(s => s.OrderDate, f => f.Date.Between(
        new DateTime(2022, 1, 1), 
        new DateTime(2024, 12, 31)))
    .RuleFor(s => s.CustomerId, f => $"CUST-{f.Random.Number(10000, 99999)}")
    .RuleFor(s => s.CustomerName, f => f.Name.FullName())
    .RuleFor(s => s.Region, f => f.PickRandom(regions))
    .RuleFor(s => s.Category, f => f.PickRandom(categories))
    .RuleFor(s => s.ProductName, (f, s) => GenerateProductName(f, s.Category))
    .RuleFor(s => s.Quantity, f => f.Random.Number(1, 20))
    .RuleFor(s => s.UnitPrice, f => f.Random.Decimal(9.99m, 299.99m))
    .RuleFor(s => s.Discount, f => f.Random.Bool(0.3f) ? f.Random.Decimal(0.05m, 0.25m) : 0m)
    .RuleFor(s => s.IsReturned, f => f.Random.Bool(0.05f));

Давайте розглянемо, що відбувається

  • f МSK0Faker) - Інстанція генератора з доступом до всіх модулів даних Name, ДатаM SK3 НепередбачуванийMSC4 і т.д.
  • f.Random.Guid().ToString()[..8] - Створити GUID, але візьміть тільки перші символи 8 для розшифровування ID замовлення
  • f.Date.Between() МСК0 Непередбачувана data в реальному діапазоні (не рік 9999)
  • f.PickRandom(array) - Вибирайте випадково з передвизначених варіантів МSK1 гарантує gültigі категоріїM SK2
  • f.Random.Bool(0.3f) МSK0 30% ймовірність того, що true
  • (f, s) синтаксис - Доступ zarówno факеру, як і частково - збудованого запису МSK2 Це дозволяє ProductName залежать від Category

І (f, s) шаблон потужний - це означає " електроніка МSK2 замовлення отримують назви електроніки МSK3 не випадкові штуки | МSK4 | Ця послідовність робить генеровані дані набагато більш реальними для тестування agregaцій, таких як | " | прибуток за категорією |". |

Створити і написати в CSV

var records = faker.Generate(100_000); // Adjust for your testing needs

await using var writer = new StreamWriter(csvPath, false, Encoding.UTF8);
await writer.WriteLineAsync("OrderId,OrderDate,CustomerId,CustomerName,Region,Category,...");

foreach (var record in records)
{
    var total = record.Quantity * record.UnitPrice * (1 - record.Discount);
    await writer.WriteLineAsync($"{record.OrderId},{record.OrderDate:yyyy-MM-dd},...");
}

100K ряди генерують близько 15MB CSV МSK2 достатньо для тестування з МSK3, але ви можете легко масштабувати до мільйонів мSK4 генерація швидка M(~2 секунд для МСК6К рядівМСК7 тому що Bogus оптимізований для масового генерування

Наказ: Набір Randomizer.Seed = new Random(12345) перед тим, як генерувати, щоб отримати відтворювані дані. Те саме насіння M SK1 те ж саме " випадкове МSK3 записи кожного разу, що є недооцінюваним для виправлення

Шаг 2: Збудувати контекст схеми

Перед тим, як LLM зможе генерувати SQL, він мусить розуміти структуру даних

Модель контексту

public class DataContext
{
    public string CsvPath { get; set; } = "";
    public List<ColumnInfo> Columns { get; set; } = new();
    public List<Dictionary<string, string>> SampleRows { get; set; } = new();
    public long RowCount { get; set; }
}

public class ColumnInfo
{
    public string Name { get; set; } = "";
    public string Type { get; set; } = "";  // VARCHAR, DOUBLE, TIMESTAMP, etc.
}

Це відображає все, чого потребує LLM: назви столбів, типиM SK2 і декілька рядків зразків для розуміння формату данихMSC3

Витягування схеми

DuckDB може описати будь-який CSV без завантаження всього:

private DataContext BuildContext(DuckDBConnection connection, string csvPath)
{
    var context = new DataContext { CsvPath = csvPath };

    // Get schema - DuckDB infers types from the CSV
    using var cmd = connection.CreateCommand();
    cmd.CommandText = $"DESCRIBE SELECT * FROM '{csvPath}'";
    using var reader = cmd.ExecuteReader();

    while (reader.Read())
    {
        context.Columns.Add(new ColumnInfo
        {
            Name = reader.GetString(0),  // Column name
            Type = reader.GetString(1)   // Inferred type
        });
    }

    return context;
}

І DESCRIBE команда читає лише заголовок файлу плюс кілька рядків для виведення типу. - it 's миттєво навіть на величезних файлах

Отримаємо зразки даних

Показові рядки допомагають LLM розуміти формати даних (datumsM SK1IDs , і т.д.

using var cmd = connection.CreateCommand();
cmd.CommandText = $"SELECT * FROM '{csvPath}' LIMIT 3";
using var reader = cmd.ExecuteReader();

while (reader.Read())
{
    var row = new Dictionary<string, string>();
    for (int i = 0; i < reader.FieldCount; i++)
    {
        var value = reader.IsDBNull(i) ? "NULL" : reader.GetValue(i)?.ToString() ?? "";
        row[reader.GetName(i)] = value;
    }
    context.SampleRows.Add(row);
}

Три рядки зазвичай достатньо - це показує LLM, які формати очікувати без марнування токенів .

Шаг 3: генерувати SQL з LLM

Це важка частина. Тут швидка інженерія не є "-", negotiable . - , без жорстких правил. МSK2 локальні LLM вироблять творчу, але зламану SQL .

Збудування швидкості

private string BuildPrompt(DataContext context, string question, string? previousError)
{
    var sb = new StringBuilder();

    sb.AppendLine("You are a SQL expert. Generate a DuckDB SQL query to answer the user's question.");
    sb.AppendLine();
    sb.AppendLine("IMPORTANT RULES:");
    sb.AppendLine("1. The table is accessed directly from the CSV file path");
    sb.AppendLine("2. Use single quotes around the file path in FROM clause");
    sb.AppendLine("3. DuckDB syntax - use LIMIT not TOP, use || for string concat");
    sb.AppendLine("4. Return ONLY the SQL query, no explanation, no markdown");
    sb.AppendLine();
    
    sb.AppendLine($"CSV File: '{context.CsvPath}'");
    sb.AppendLine($"Row Count: {context.RowCount:N0}");
    sb.AppendLine();
    
    // Schema
    sb.AppendLine("Schema:");
    foreach (var col in context.Columns)
    {
        sb.AppendLine($"  - {col.Name}: {col.Type}");
    }

У розділі правил є вирішальне значення - він говорить LLM точно, як форматувати запит для DuckDB . Будучи чіткою щодо синтаксису МSK2LIMIT vs TOP МSK3 конкатенція струн M SK4 запобігає поширеним помилкам

Доdanie зразків даних

    if (context.SampleRows.Count > 0)
    {
        sb.AppendLine();
        sb.AppendLine("Sample data (first 3 rows):");
        foreach (var row in context.SampleRows)
        {
            var values = row.Select(kv => $"{kv.Key}='{kv.Value}'");
            sb.AppendLine($"  {{{string.Join(", ", values)}}}");
        }
    }

Поновлення помилки

Якщо попередній спроба провалилась, включите błąd:

    if (previousError != null)
    {
        sb.AppendLine();
        sb.AppendLine("YOUR PREVIOUS QUERY HAD AN ERROR:");
        sb.AppendLine(previousError);
        sb.AppendLine("Please fix the query based on this error.");
    }

    sb.AppendLine();
    sb.AppendLine($"Question: {question}");
    sb.AppendLine();
    sb.AppendLine("SQL Query (no markdown, no explanation):");

    return sb.ToString();
}

Цей механізм повторюваності важливий. - локальні LLM іноді роблять синтаксисні помилки , і, даючи їм помилку, вони зазвичай виправляють її на другій спробі

Викликання LLM

var request = new GenerateRequest { Model = _model, Prompt = prompt };
var response = await _ollama.GenerateAsync(request).StreamToEndAsync();
var sql = CleanSqlResponse(response?.Response ?? "");

І StreamToEndAsync() чекає на повний відгук. Для кращого UX, ви могли б потокувати टोकони, коли вони прийдуть

Чиszczenie реагування

LLMs часто обгортають SQL у блоках коду відмітки, незважаючи на те, що їм кажуть: МСК0 .

private string CleanSqlResponse(string response)
{
    var sql = response.Trim();

    // Remove markdown code blocks if present
    if (sql.StartsWith("```"))
    {
        var lines = sql.Split('\n').ToList();
        lines.RemoveAt(0);  // Remove opening ```sql
        if (lines.Count > 0 && lines[^1].Trim().StartsWith("```"))
        {
            lines.RemoveAt(lines.Count - 1);  // Remove closing ```
        }
        sql = string.Join('\n', lines);
    }

    return sql.Trim('`', ' ', '\n', '\r');
}

Шаг 4: Затвердити перед виконанням

ДюкDB's EXPLAIN дозволяє перевірити синтаксису SQL без запуску запиту:

private string? ValidateSql(DuckDBConnection connection, string sql)
{
    try
    {
        using var cmd = connection.CreateCommand();
        cmd.CommandText = $"EXPLAIN {sql}";
        cmd.ExecuteNonQuery();
        return null; // Valid
    }
    catch (Exception ex)
    {
        return ex.Message;
    }
}

Якщо підтверджувати не вдасться, ми повернемо błąd до LLM і спробуємо (до рівня

Шаг 5: Виконувати і форматувати результати

Врешті-решт, запускає пошук і формує вихідні дані:

private QueryResult ExecuteQuery(DuckDBConnection connection, string sql)
{
    var result = new QueryResult { Sql = sql };

    try
    {
        using var cmd = connection.CreateCommand();
        cmd.CommandText = sql;
        using var reader = cmd.ExecuteReader();

        // Capture column names
        for (int i = 0; i < reader.FieldCount; i++)
        {
            result.Columns.Add(reader.GetName(i));
        }

        // Capture rows
        while (reader.Read())
        {
            var row = new List<object?>();
            for (int i = 0; i < reader.FieldCount; i++)
            {
                row.Add(reader.IsDBNull(i) ? null : reader.GetValue(i));
            }
            result.Rows.Add(row);
        }

        result.Success = true;
    }
    catch (Exception ex)
    {
        result.Success = false;
        result.Error = ex.Message;
    }

    return result;
}

І QueryResult клас (, представлений у повному зразку проекту ToString() метод, який форматує результати як читабельну таблицю.

Додання контексту розмови

Для інтерактивного аналізу

"What's the total revenue?"
→ "Break that down by region"
→ "Show the top 5 regions"

Другий і третій питання мають сенс лише в контексті першого

Переслідування історії розмови

public class ConversationTurn
{
    public string Question { get; set; } = "";
    public string Sql { get; set; } = "";
    public bool Success { get; set; }
    public int RowCount { get; set; }
    public string Summary { get; set; } = "";  // "Single value: 1234567.89"
}

Уміщуючи історію в проханнях

if (_history.Count > 0)
{
    sb.AppendLine();
    sb.AppendLine("CONVERSATION HISTORY (for context):");
    
    foreach (var turn in _history.TakeLast(5))  // Last 5 turns
    {
        sb.AppendLine($"Q: {turn.Question}");
        sb.AppendLine($"SQL: {turn.Sql}");
        if (turn.Success)
        {
            sb.AppendLine($"Result: {turn.Summary}");
        }
        sb.AppendLine();
    }
}

Історія дає контексту LLM, щоб зрозуміти такі ссылки як " те, що ", МSK2 ті результати

Яку модель використовувати?

Для генерації SQL, кодуванняM SK1концентровані моделі працюють найкраще. Ось варіанти, доступні через Модель бібліотеки Ollama':

Модель МSK1 Розмір МSK2 Швидкість Якість МSK4 Ссылка
qwen2.5-coder:7b МSK0 4.7 ГБ МSK2 швидка Отож, чудова мSK4 Оллама
deepseek-coder-v2:16b МSK0 9ГБ МSK2 Середній мSK3 Найкращий M Оллама
codellama:7b МSK0 4 ГБ МSK2 Szвидкий Хороший мSK4 Оллама
llama3.2:3b МSK0 2 ГБ МSK2 Дуже швидка Прийнятна мSK4 Оллама

Для більшості випадків qwen2.5-coder:7b hits the sweet spot - accurate SQL , good speed МSK2 runs on modest hardware

Результати

Світові показники

Тестування на 100K ряду CSV файла (14MBM SK2 на стандартній dev машині МSK3Ryzen МSK4 NVMe SSD, | МSK6GB RAM | ): |

Тип запиту МSK1 Час МSK2
Прості цифри МSK1 МSK2ms
GROUP BY з SUM МSK1 МSK2ms
Комплексний агрегат з FILTERом
Мультитабільний МSK1товстій GROUP BY з залученням мSK2 МSK3ms

Sub-100ms для аналізу запитів на M SK1K рядків МSK2 без жодного введення кроку. Складність питання важливіша, ніж кількість рядківMSC4 DuckDB ' стовбуровий двигун управляє агрегаціями ефективно, незалежно від розміру файла

Перетворити великі файли на паркет

Для файлів більше 1GB, Формат паркета 10-100x швидшийM SK1

using var cmd = connection.CreateCommand();
cmd.CommandText = $"COPY (SELECT * FROM '{csvPath}') TO '{parquetPath}' (FORMAT PARQUET)";
cmd.ExecuteNonQuery();

Стиснутий файл паркета також набагато менший.

Увага до безпеки

Коли я запускаю LLM, я генерую SQL:

private bool IsSafeQuery(string sql)
{
    var dangerous = new[] { "DROP", "DELETE", "TRUNCATE", "UPDATE", "INSERT", "ALTER", "CREATE" };
    var upperSql = sql.ToUpperInvariant();
    return !dangerous.Any(d => upperSql.Contains(d));
}

DuckDB's в режимі пам 'яті також забезпечує природну ізоляцію - він не впливає на ваші виробничі бази даних

Повний приклад

Ось як все об 'єднується.

// Generate test data
await GenerateSalesCsvAsync("sales.csv", 100_000);

// Simple query
using var service = new CsvQueryService("qwen2.5-coder:7b", verbose: true);
var result = await service.QueryAsync("sales.csv", "What are total sales by region?");
Console.WriteLine(result);

// Conversational analysis
using var analyser = new ConversationalCsvAnalyser("sales.csv", "qwen2.5-coder:7b");

Console.WriteLine(await analyser.AskAsync("What's the total revenue?"));
Console.WriteLine(await analyser.AskAsync("Break that down by category"));
Console.WriteLine(await analyser.AskAsync("Which category has the most returns?"));

Підсумок

Модель мислення, яка має бути в пам 'яті Причина LLM; обчислення баз даних.

Don't fed data to the LLM. Feed it schemaMSC2 let it generate SQLMST3 execute that SQL against a proper query engineM ST4 This separation is why the approach works at scaleM st5

Implementacja:

  1. Дук-ДБ запити CSV безпосередньо - без импортуM SK1 потоки з диска
  2. Схема зразків + дати LLM достатньо контексту, не показуючи даних
  3. Короткі правила про prompt сила детерміністична SQL, не творче проза
  4. Validation via EXPLAIN ловить помилки перед виконанням
  5. Знову спробувати зі зворотнім зв 'язком регулює інколишній синтаксис

Результат: підM SK1 ms аналітиких запитів на мільйони - рядових файлів МSK3 цілковито беззвичного , з даними, які ніколи не залишають вашого комп 'ютера

Уся модель проекту доступна на сайті Найяскравіший.CsvLlm - включає CsvQueryService, ConversationalCsvAnalyser, і BogusM SK1 генерація даних на основі

Ресурс

Дук-ДБ

Ollama & LLMs

Випробувати генерацію даних

Вигадані альтернативи

Подібні статті

logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.