This is a viewer only at the moment see the article on how this works.
To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk
This is a preview from the server running through my markdig pipeline
Як аналізувати великі CSV-файли з локальною LLM в C#
Thursday, 18 December 2025
Серія: локальні LLM для даних M SK1 частина 1 МSK3
Тут - це помилка, яку роблять усі. Вони спробують нагодувати свій CSV на LLM. LLM повинні генерувати питання, не споживати данихM SK1
У вас є файл 500MB CSV, і ви хочете запитати: Копілот у Excelі може зробити це, але що, якщо ваші дані надто чутливі для хмарних послугM SK1 Що, якщо вам потрібно їх самі побудувати
У цьому artykule показано, як - локально МSK1 приватно , в C
Використовуйте DuckDB, щоб запитувати CSV-файли напряму. Застосуйте локальний LLM для генерації SQL. LLM ніколи не бачить ваших даних M SK2 лише схемуМSK3 РезультатMSC4 підMST5 ms запитів на мільйониM ST6 рядових файлівM st7 повністю бездротовийMst8
Для допомігального, більшого CLIM SK1 зосередженого лікування, яке розширює використання статистичних profili як інтерфейсу LLM ( і показує повний інструмент для втілення цих ідей МSK3 обробка профилів МСК4 безпека SQL-моду М СК5 синтетичне клонування та виявлення дрейфів M СК6 читайте доповідальний artykuł MСК7 DataSummarizer: швидке локальне відображання даних - особливо секцію МSK1 Ключеві покращення МSK2 статистичні дані як інтерфейс ". Ці два статті формують коротку серію про практичний локальний LLM
Погляньмо на суть
Використовувати LLM як запас даних є хибною абстракцією. LLM фундаментально не в змозі сканувати мільйони рядків, щоб обчислити середній МSK1 що МSK2 це не те, для чого вони МСК3 є . Навіть вікно контексту MСК5 К токенів може підходити мСК6 рядки М СК7 Ваші МСК8 МБ CSV мають мільйониМ СК9
Правильний візерунок: Причина LLM, обчислення бази данихM SK1
flowchart LR
A[User Question] --> B[LLM]
B --> C[SQL Query]
C --> D[DuckDB]
D --> E[Results]
style B stroke:#333,stroke-width:4px
style D stroke:#333,stroke-width:4px
Зверніть увагу на те, що відбувається:' : LLM генерує SQL-запрос на основі вашого питання і схеми;M SK2 DuckDB виконує його проти фактичних даних;МSK3 LL ніколи не торкається ваших даних.
Для більшої інформації про те, як обробляти профілі як LLM інтерфейс ( і конкретний CLI, який реалізує профілісM SK1перша розповідь, безпека SQLMSC3 закріплений QMST4AMSL5 запис МSK6 закреплені сеанси та синтетичне клонування ), читайте DataSummarizer: швидке локальне відображання даних.
Чому б не просто завантажити його в пам 'ять?
Усі очевидні підходи мають один і той самий смертельний недолік.
CsvHelper / Фрази даних: Загрузити цілий файл в RAMM SK1 А 500MB CSV перетворюється на МSK3 ГБ об 'єктів
SQLite / PostgreSQL: Потрібний повільний етап введення ( хвилини для великих файлів МSK2 визначення діаграми напереду МSK3 і накладні витрати на управління базами даних
ПандасAI: Все ще завантажує все в пам 'ять . плюс МSK2 виконання LLM МSK3 генерований произвольний код - жах безпеки
Чому DuckDB
Дук-ДБ є іншим. Він запитує CSV-файли безпосередньо - без інсталяції , без завантаження в пам 'ять
using var connection = new DuckDBConnection("DataSource=:memory:");
connection.Open();
using var cmd = connection.CreateCommand();
cmd.CommandText = "SELECT Region, SUM(Amount) FROM 'sales.csv' GROUP BY Region";
// Executes directly against the file - no import, no memory explosion
Убивчий елемент: він розглядає файли як таблички. Навімкніть його на CSV , Паркет МSK2 або файл JSON і негайно спитайте M SK3 Не створюйте таблицю , не вставляйте велику кількість
| Фактор МSK1 CsvHelper | SQLite မ်SK3 DuckDB МSK4 | |
|---|---|---|
| Пам 'ять | Завантаження цілого файлу | Загрузка під час введення МSK2 Потіки з диска МSK3 |
| Налагодження | Ніхто МSK1 Режим importa МSK2 Import | Ні х мSK4 |
| 500MB файл МSK0 ~2 ГБ оперативної пам 'яті МSK2 Миті для введення | миттєвий | |
| 5ГБ файл | Спустошення SOOM МSK1 Дуже повільно МSK2 Добре працює | |
| Паркет МSK0 Ні | Ні |
DuckDB - це те, що програмісти використовують в Pythonі для точного цього призначення. .NET зв 'язки дасть вам повну підтримку ADO.NET | - | це відчувається як будь-яка інша база даних | МSK2 | за винятком
Набір
| Komponenт МSK1 Чому цей МSK2 | |
|---|---|
| Дук-ДБ | Попити CSV напряму , не вводить кроку МSK2 |
| DuckDB.NET | Полний ADOM SK1 NET підтримка, відчувається природним |
| Оллама | локальна гіпотеза |
| Богос | Реальність тестування в будь-якому масштабі |
qwen2.5-coder:7b |
Найкращий рівень точності SQL у 7B розмірі МSK2 |
Домітка про безпеку: Ми ' запускаємо LLM МSK2 генерований SQL МSK3 Це безпечніше, ніж произвольний код Розділ безпеки для захисту. Для ширшої дискусії про перетворення профилів в LLM інтерфейс і CLI, який реалізує ці шаблони, читайте довідник DataSummarizer: швидке локальне відображання даних.
Установлення проекту
Дозвольте 's створити зразковий проект . Установити пакети NuGet
dotnet add package DuckDB.NET.Data.Full
dotnet add package OllamaSharp
dotnet add package Bogus
Згадайте кодування, орієнтоване на модель, яка добре працює в SQL
ollama pull qwen2.5-coder:7b
Архітектура
Ось як частини з 'єднуються.
flowchart TB
subgraph Input
Q[User Question]
CSV[CSV File]
end
subgraph Processing
Schema[Extract Schema]
Sample[Get Sample Rows]
Context[Build LLM Context]
LLM[Generate SQL]
Validate[Validate SQL]
Execute[Execute Query]
end
subgraph Output
Results[Query Results]
end
CSV --> Schema
CSV --> Sample
Schema --> Context
Sample --> Context
Q --> Context
Context --> LLM
LLM --> Validate
Validate -->|Error| LLM
Validate -->|OK| Execute
CSV --> Execute
Execute --> Results
style LLM stroke:#333,stroke-width:4px
style Execute stroke:#333,stroke-width:4px
Найголовніша ідея – МСК0, яку ми даємо LLM схема та зразки даних, не справжні даніM SK1 Це робить контекст невеликим і реагує швидко
Чому це важливо?: LLM генерує наміри МSK1SQLM SK2 DuckDB запускає його. Шаг перевірки ловить помилки синтаксису перед виконаннямMSC4 Мережа повторних спроб справляєся з випадковими помилками . Ця відокремлення робить систему одночасно безпечною і точним МSK6 Для більш детального описуMSL7 CLI-\центрова референція ♫(\включно з профилем ♫ -\перша розповідь та безпечні обмеження SQL виконання ♫ МSK11\ см. DataSummarizer: швидке локальне відображання даних.
Шаг 1: генерувати тестові дані з Bogus
У вас вже є дані CSV? Перейти до Шаг 2: Збудувати контекст схеми.
До того, як ми зможемо перевірити наш LLM-силовий CSV-аналізаторM SK1 нам потрібні дані для аналізу
- Скала тестування - Створити рядки 100KM SK2 МSK3MMSC4 або МSK5M, щоб перевірити ефективність в різних розмірах
- Prywatність - Немає ризику показувати дані реального клієнта / в демонстраціях чи скриншотах
- Повторюваність - Те саме насіння = ті самі дані МSK2 роблячи помилки повторюваними
- Країни - Контроль розподілу e.gM SK3 сила МSK4 зворотнього зв 'язку
Що таке Bogus?
Богос є .NET портом популярного фальсифікатора .js-лібертарії M SK2 Він генерує реалістичні МSK3 виглядаючих фальшивих даних МСК4 імена М СК5 адреси M СК6 електронні листи М S К7 дати М ็ С К8 числа М С К9 з відповідною локальною підтримкою М Ш К 10 Замість руки М ס К 11 створення тестових CSV файлів чи використання випадкових відходів M S К 12 Bogus дає вам дані, які виглядає реально:
f.Name.FullName()МSK0 "Джон Сміт МSK2 (не MSК4asdf МСК5f.Internet.Email()МSK0 "john .smithM SK3gmail.comMSC5 ♫ МSK6правильно форматоване ♫ ♫f.Date.Between(start, end)→ Реальність розподілу dataf.Commerce.ProductName()МSK0 "Handcrafted Granite Cheese
Це важливо, тому що реальні дані допомагають виявити проблеми: - дивне форматування , непередбачувані agregaції МSK2 крайні випадки в обробці датами МSK3 що випадкові стрічки приховують
Визначати модель даних
internal class SaleRecord
{
public string OrderId { get; set; } = "";
public DateTime OrderDate { get; set; }
public string CustomerId { get; set; } = "";
public string CustomerName { get; set; } = "";
public string Region { get; set; } = "";
public string Category { get; set; } = "";
public string ProductName { get; set; } = "";
public int Quantity { get; set; }
public decimal UnitPrice { get; set; }
public decimal Discount { get; set; }
public bool IsReturned { get; set; }
}
Konfigureer Faker
Bogus використовує плавний API для визначення правил генерації:
var categories = new[] { "Electronics", "Clothing", "Home & Garden", "Sports", "Books" };
var regions = new[] { "North", "South", "East", "West", "Central" };
var faker = new Faker<SaleRecord>()
.RuleFor(s => s.OrderId, f => f.Random.Guid().ToString()[..8].ToUpper())
.RuleFor(s => s.OrderDate, f => f.Date.Between(
new DateTime(2022, 1, 1),
new DateTime(2024, 12, 31)))
.RuleFor(s => s.CustomerId, f => $"CUST-{f.Random.Number(10000, 99999)}")
.RuleFor(s => s.CustomerName, f => f.Name.FullName())
.RuleFor(s => s.Region, f => f.PickRandom(regions))
.RuleFor(s => s.Category, f => f.PickRandom(categories))
.RuleFor(s => s.ProductName, (f, s) => GenerateProductName(f, s.Category))
.RuleFor(s => s.Quantity, f => f.Random.Number(1, 20))
.RuleFor(s => s.UnitPrice, f => f.Random.Decimal(9.99m, 299.99m))
.RuleFor(s => s.Discount, f => f.Random.Bool(0.3f) ? f.Random.Decimal(0.05m, 0.25m) : 0m)
.RuleFor(s => s.IsReturned, f => f.Random.Bool(0.05f));
Давайте розглянемо, що відбувається
fМSK0Faker) - Інстанція генератора з доступом до всіх модулів даних Name, ДатаM SK3 НепередбачуванийMSC4 і т.д.f.Random.Guid().ToString()[..8]- Створити GUID, але візьміть тільки перші символи 8 для розшифровування ID замовленняf.Date.Between()МСК0 Непередбачувана data в реальному діапазоні (не рік 9999)f.PickRandom(array)- Вибирайте випадково з передвизначених варіантів МSK1 гарантує gültigі категоріїM SK2f.Random.Bool(0.3f)МSK0 30% ймовірність того, що true(f, s)синтаксис - Доступ zarówno факеру, як і частково - збудованого запису МSK2 Це дозволяєProductNameзалежать відCategory
І (f, s) шаблон потужний - це означає " електроніка МSK2 замовлення отримують назви електроніки МSK3 не випадкові штуки | МSK4 | Ця послідовність робить генеровані дані набагато більш реальними для тестування agregaцій, таких як | " | прибуток за категорією |". |
Створити і написати в CSV
var records = faker.Generate(100_000); // Adjust for your testing needs
await using var writer = new StreamWriter(csvPath, false, Encoding.UTF8);
await writer.WriteLineAsync("OrderId,OrderDate,CustomerId,CustomerName,Region,Category,...");
foreach (var record in records)
{
var total = record.Quantity * record.UnitPrice * (1 - record.Discount);
await writer.WriteLineAsync($"{record.OrderId},{record.OrderDate:yyyy-MM-dd},...");
}
100K ряди генерують близько 15MB CSV МSK2 достатньо для тестування з МSK3, але ви можете легко масштабувати до мільйонів мSK4 генерація швидка M(~2 секунд для МСК6К рядівМСК7 тому що Bogus оптимізований для масового генерування
Наказ: Набір
Randomizer.Seed = new Random(12345)перед тим, як генерувати, щоб отримати відтворювані дані. Те саме насіння M SK1 те ж саме " випадкове МSK3 записи кожного разу, що є недооцінюваним для виправлення
Шаг 2: Збудувати контекст схеми
Перед тим, як LLM зможе генерувати SQL, він мусить розуміти структуру даних
Модель контексту
public class DataContext
{
public string CsvPath { get; set; } = "";
public List<ColumnInfo> Columns { get; set; } = new();
public List<Dictionary<string, string>> SampleRows { get; set; } = new();
public long RowCount { get; set; }
}
public class ColumnInfo
{
public string Name { get; set; } = "";
public string Type { get; set; } = ""; // VARCHAR, DOUBLE, TIMESTAMP, etc.
}
Це відображає все, чого потребує LLM: назви столбів, типиM SK2 і декілька рядків зразків для розуміння формату данихMSC3
Витягування схеми
DuckDB може описати будь-який CSV без завантаження всього:
private DataContext BuildContext(DuckDBConnection connection, string csvPath)
{
var context = new DataContext { CsvPath = csvPath };
// Get schema - DuckDB infers types from the CSV
using var cmd = connection.CreateCommand();
cmd.CommandText = $"DESCRIBE SELECT * FROM '{csvPath}'";
using var reader = cmd.ExecuteReader();
while (reader.Read())
{
context.Columns.Add(new ColumnInfo
{
Name = reader.GetString(0), // Column name
Type = reader.GetString(1) // Inferred type
});
}
return context;
}
І DESCRIBE команда читає лише заголовок файлу плюс кілька рядків для виведення типу. - it 's миттєво навіть на величезних файлах
Отримаємо зразки даних
Показові рядки допомагають LLM розуміти формати даних (datumsM SK1IDs , і т.д.
using var cmd = connection.CreateCommand();
cmd.CommandText = $"SELECT * FROM '{csvPath}' LIMIT 3";
using var reader = cmd.ExecuteReader();
while (reader.Read())
{
var row = new Dictionary<string, string>();
for (int i = 0; i < reader.FieldCount; i++)
{
var value = reader.IsDBNull(i) ? "NULL" : reader.GetValue(i)?.ToString() ?? "";
row[reader.GetName(i)] = value;
}
context.SampleRows.Add(row);
}
Три рядки зазвичай достатньо - це показує LLM, які формати очікувати без марнування токенів .
Шаг 3: генерувати SQL з LLM
Це важка частина. Тут швидка інженерія не є "-", negotiable . - , без жорстких правил. МSK2 локальні LLM вироблять творчу, але зламану SQL .
Збудування швидкості
private string BuildPrompt(DataContext context, string question, string? previousError)
{
var sb = new StringBuilder();
sb.AppendLine("You are a SQL expert. Generate a DuckDB SQL query to answer the user's question.");
sb.AppendLine();
sb.AppendLine("IMPORTANT RULES:");
sb.AppendLine("1. The table is accessed directly from the CSV file path");
sb.AppendLine("2. Use single quotes around the file path in FROM clause");
sb.AppendLine("3. DuckDB syntax - use LIMIT not TOP, use || for string concat");
sb.AppendLine("4. Return ONLY the SQL query, no explanation, no markdown");
sb.AppendLine();
sb.AppendLine($"CSV File: '{context.CsvPath}'");
sb.AppendLine($"Row Count: {context.RowCount:N0}");
sb.AppendLine();
// Schema
sb.AppendLine("Schema:");
foreach (var col in context.Columns)
{
sb.AppendLine($" - {col.Name}: {col.Type}");
}
У розділі правил є вирішальне значення - він говорить LLM точно, як форматувати запит для DuckDB . Будучи чіткою щодо синтаксису МSK2LIMIT vs TOP МSK3 конкатенція струн M SK4 запобігає поширеним помилкам
Доdanie зразків даних
if (context.SampleRows.Count > 0)
{
sb.AppendLine();
sb.AppendLine("Sample data (first 3 rows):");
foreach (var row in context.SampleRows)
{
var values = row.Select(kv => $"{kv.Key}='{kv.Value}'");
sb.AppendLine($" {{{string.Join(", ", values)}}}");
}
}
Поновлення помилки
Якщо попередній спроба провалилась, включите błąd:
if (previousError != null)
{
sb.AppendLine();
sb.AppendLine("YOUR PREVIOUS QUERY HAD AN ERROR:");
sb.AppendLine(previousError);
sb.AppendLine("Please fix the query based on this error.");
}
sb.AppendLine();
sb.AppendLine($"Question: {question}");
sb.AppendLine();
sb.AppendLine("SQL Query (no markdown, no explanation):");
return sb.ToString();
}
Цей механізм повторюваності важливий. - локальні LLM іноді роблять синтаксисні помилки , і, даючи їм помилку, вони зазвичай виправляють її на другій спробі
Викликання LLM
var request = new GenerateRequest { Model = _model, Prompt = prompt };
var response = await _ollama.GenerateAsync(request).StreamToEndAsync();
var sql = CleanSqlResponse(response?.Response ?? "");
І StreamToEndAsync() чекає на повний відгук. Для кращого UX, ви могли б потокувати टोकони, коли вони прийдуть
Чиszczenie реагування
LLMs часто обгортають SQL у блоках коду відмітки, незважаючи на те, що їм кажуть: МСК0 .
private string CleanSqlResponse(string response)
{
var sql = response.Trim();
// Remove markdown code blocks if present
if (sql.StartsWith("```"))
{
var lines = sql.Split('\n').ToList();
lines.RemoveAt(0); // Remove opening ```sql
if (lines.Count > 0 && lines[^1].Trim().StartsWith("```"))
{
lines.RemoveAt(lines.Count - 1); // Remove closing ```
}
sql = string.Join('\n', lines);
}
return sql.Trim('`', ' ', '\n', '\r');
}
Шаг 4: Затвердити перед виконанням
ДюкDB's EXPLAIN дозволяє перевірити синтаксису SQL без запуску запиту:
private string? ValidateSql(DuckDBConnection connection, string sql)
{
try
{
using var cmd = connection.CreateCommand();
cmd.CommandText = $"EXPLAIN {sql}";
cmd.ExecuteNonQuery();
return null; // Valid
}
catch (Exception ex)
{
return ex.Message;
}
}
Якщо підтверджувати не вдасться, ми повернемо błąd до LLM і спробуємо (до рівня
Шаг 5: Виконувати і форматувати результати
Врешті-решт, запускає пошук і формує вихідні дані:
private QueryResult ExecuteQuery(DuckDBConnection connection, string sql)
{
var result = new QueryResult { Sql = sql };
try
{
using var cmd = connection.CreateCommand();
cmd.CommandText = sql;
using var reader = cmd.ExecuteReader();
// Capture column names
for (int i = 0; i < reader.FieldCount; i++)
{
result.Columns.Add(reader.GetName(i));
}
// Capture rows
while (reader.Read())
{
var row = new List<object?>();
for (int i = 0; i < reader.FieldCount; i++)
{
row.Add(reader.IsDBNull(i) ? null : reader.GetValue(i));
}
result.Rows.Add(row);
}
result.Success = true;
}
catch (Exception ex)
{
result.Success = false;
result.Error = ex.Message;
}
return result;
}
І QueryResult клас (, представлений у повному зразку проекту ToString() метод, який форматує результати як читабельну таблицю.
Додання контексту розмови
Для інтерактивного аналізу
"What's the total revenue?"
→ "Break that down by region"
→ "Show the top 5 regions"
Другий і третій питання мають сенс лише в контексті першого
Переслідування історії розмови
public class ConversationTurn
{
public string Question { get; set; } = "";
public string Sql { get; set; } = "";
public bool Success { get; set; }
public int RowCount { get; set; }
public string Summary { get; set; } = ""; // "Single value: 1234567.89"
}
Уміщуючи історію в проханнях
if (_history.Count > 0)
{
sb.AppendLine();
sb.AppendLine("CONVERSATION HISTORY (for context):");
foreach (var turn in _history.TakeLast(5)) // Last 5 turns
{
sb.AppendLine($"Q: {turn.Question}");
sb.AppendLine($"SQL: {turn.Sql}");
if (turn.Success)
{
sb.AppendLine($"Result: {turn.Summary}");
}
sb.AppendLine();
}
}
Історія дає контексту LLM, щоб зрозуміти такі ссылки як " те, що ", МSK2 ті результати
Яку модель використовувати?
Для генерації SQL, кодуванняM SK1концентровані моделі працюють найкраще. Ось варіанти, доступні через Модель бібліотеки Ollama':
| Модель МSK1 Розмір МSK2 Швидкість | Якість | МSK4 | Ссылка | ||
|---|---|---|---|---|---|
qwen2.5-coder:7b МSK0 4.7 ГБ МSK2 швидка |
Отож, чудова мSK4 Оллама | ||||
deepseek-coder-v2:16b МSK0 9ГБ МSK2 Середній мSK3 Найкращий M |
Оллама | ||||
codellama:7b МSK0 4 ГБ МSK2 Szвидкий |
Хороший мSK4 Оллама | ||||
llama3.2:3b МSK0 2 ГБ МSK2 Дуже швидка |
Прийнятна мSK4 Оллама |
Для більшості випадків qwen2.5-coder:7b hits the sweet spot - accurate SQL , good speed МSK2 runs on modest hardware
Результати
Світові показники
Тестування на 100K ряду CSV файла (14MBM SK2 на стандартній dev машині МSK3Ryzen МSK4 NVMe SSD, | МSK6GB RAM | ): |
| Тип запиту МSK1 Час МSK2 |
|---|
| Прості цифри МSK1 МSK2ms |
| GROUP BY з SUM МSK1 МSK2ms |
| Комплексний агрегат з FILTERом |
| Мультитабільний МSK1товстій GROUP BY з залученням мSK2 МSK3ms |
Sub-100ms для аналізу запитів на M SK1K рядків МSK2 без жодного введення кроку. Складність питання важливіша, ніж кількість рядківMSC4 DuckDB ' стовбуровий двигун управляє агрегаціями ефективно, незалежно від розміру файла
Перетворити великі файли на паркет
Для файлів більше 1GB, Формат паркета 10-100x швидшийM SK1
using var cmd = connection.CreateCommand();
cmd.CommandText = $"COPY (SELECT * FROM '{csvPath}') TO '{parquetPath}' (FORMAT PARQUET)";
cmd.ExecuteNonQuery();
Стиснутий файл паркета також набагато менший.
Увага до безпеки
Коли я запускаю LLM, я генерую SQL:
private bool IsSafeQuery(string sql)
{
var dangerous = new[] { "DROP", "DELETE", "TRUNCATE", "UPDATE", "INSERT", "ALTER", "CREATE" };
var upperSql = sql.ToUpperInvariant();
return !dangerous.Any(d => upperSql.Contains(d));
}
DuckDB's в режимі пам 'яті також забезпечує природну ізоляцію - він не впливає на ваші виробничі бази даних
Повний приклад
Ось як все об 'єднується.
// Generate test data
await GenerateSalesCsvAsync("sales.csv", 100_000);
// Simple query
using var service = new CsvQueryService("qwen2.5-coder:7b", verbose: true);
var result = await service.QueryAsync("sales.csv", "What are total sales by region?");
Console.WriteLine(result);
// Conversational analysis
using var analyser = new ConversationalCsvAnalyser("sales.csv", "qwen2.5-coder:7b");
Console.WriteLine(await analyser.AskAsync("What's the total revenue?"));
Console.WriteLine(await analyser.AskAsync("Break that down by category"));
Console.WriteLine(await analyser.AskAsync("Which category has the most returns?"));
Підсумок
Модель мислення, яка має бути в пам 'яті Причина LLM; обчислення баз даних.
Don't fed data to the LLM. Feed it schemaMSC2 let it generate SQLMST3 execute that SQL against a proper query engineM ST4 This separation is why the approach works at scaleM st5
Implementacja:
- Дук-ДБ запити CSV безпосередньо - без импортуM SK1 потоки з диска
- Схема зразків + дати LLM достатньо контексту, не показуючи даних
- Короткі правила про prompt сила детерміністична SQL, не творче проза
- Validation via EXPLAIN ловить помилки перед виконанням
- Знову спробувати зі зворотнім зв 'язком регулює інколишній синтаксис
Результат: підM SK1 ms аналітиких запитів на мільйони - рядових файлів МSK3 цілковито беззвичного , з даними, які ніколи не залишають вашого комп 'ютера
Уся модель проекту доступна на сайті Найяскравіший.CsvLlm - включає CsvQueryService, ConversationalCsvAnalyser, і BogusM SK1 генерація даних на основі
Ресурс
Дук-ДБ
- Документація DuckDB - Полна інформація
- Импорт CSV DuckDB - CSVM SK1конкретні характеристики
- Референція SQL DuckDB - Різниця у синтаксисі SQL з іншими базами даних
- DuckDB.NET GitHub - CM SK1 зв 'язки
- DuckDB.NET NuGet - Полний пакет з нативними бінарами
Ollama & LLMs
- Оллама - локальний час запуску LLM
- Ольламська модельна бібліотека - Доступні моделі
- Оллама-Шарп - CM SK1 клієнтська бібліотека
- Нуґет Олламашарпа
Випробувати генерацію даних
- ҐитHub, Богос - Генератор фальшивих даних
- Справка з API Bogus - Доступні типи даних
Вигадані альтернативи
- CsvHelper - Бібліотека аналізу CSV
- Microsoft.DataM SK1Analyse DataFrame для .NET
- ПандасAI - Python LLM + інтеграція панда
Подібні статті
- DataSummarizer: швидке локальне відображання даних - Компаньй article covering CLIM SK1based data profiling