This is a viewer only at the moment see the article on how this works.
To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk
This is a preview from the server running through my markdig pipeline
GraphRAG: Чому векторний пошук ламається на рівні Corpus
Friday, 26 December 2025
Ваша система RAG чудова в "недопомічникіM SK1 питаннях : отримати кілька відповідних фрагментів і синтезувати відповідь МSK3 Вона бореться з двома типами попитів
- СвідомістьМSK0 " Які головні теми в цьому корпусі
- Зв 'язокМSK0 " Як X пов 'язане з Y в різних документахM SK2
Це не "'", а МSK1 . Вони вимагають Об 'єднання + кластерування МSK1 зв' язок.
Чому тут не вдається пошук вектора:
- Він класифікує шматки незалежно за аналогією до запиту
- Схожість оптимізує важливість, не глобальне поширення
- Вбудова захоплює "що схоже на МSK1 не МSK2 що пов 'язано з чим-небудь
Ви можете brute-силити це за допомогою пропону та післяM SK1розробки ,, але ви врешті-решт перебудовуєте графу-подібне рішенняMSC4
Найголовніша думка: GraphRAG змінює одиниця пошуку. Для питань Корпусу ви не хочете 'не хочете "topM SK3K подібні шматочкиMSC4 ви хочете об 'єднання концепцій ( і їх підсумки ), так, що модель бачить структуру МSK2 а не фрагменти M SK3
GraphRAG pochodzi від Microsoft Research's папір і доступна як open-implementacjaソース. Він зберігає векторне пошукання конкретних питань ,, але додає граф знань і підсумки спільноти для корпусу M SK2 рівня обґрунтування .
Навігація серії GraphRAG:
- Частина 1: GraphRAG Fundamentals (таков artykułМSK1
- Частка 2: Minimal Viable GraphRAG (Optional PerM SK2Chunk LLM Calls)
Коли не використовувати GraphRAG
Перед тим, як занурюватись у воду, дозвольте мені пояснити, коли це перестрілення.
- Невеликі набори документів (under ~50 documents): just use vector search
- Лише " як яM SK1 питаю: GraphRAG вигравM SK1 не допомагає
- Уніформний контент (без різновидів об 'єктівM SK1 без графової структури для використання
- Ціна-упереджена: indeksування потребує багато LLM дзвінків
Якщо ваші користувачі задають лише певні питання, тримайтесь пошук семантики. GraphRAG світиться, коли користувачам потрібна велика картинаМСК0 , а "'" - це менша аудиторія, ніж стверджують продавці.
Введение
Навігація серії: Це частина 6 серії RAG МSK1
- Частина 1: Походження та основи - ІсторіяM SK1 мотивація, та основні концепції
- Частина 2: Архітектура та внутрішні - технічне глибоке занурення
- Частина 3: RAG в практиці - Збудувати реальні системи
- Частина 4aM SK1 ONNX & Гарантійне вdrożenie - Процесор МSK1зручний семантичний пошук
- Частина 4bM SK1 Семантичний пошук в дії - Типова головка , гібридні пошуки МSK2 і інтерфейс
- Частина 5: Гібридне пошук МSK1 АвтоM SK2 Індексування - Інтеграція виробництва
- Частина 6: GraphRAG ( цей artykuł ) МSK2 Графи знань для корису M SK3розуміння рівня
Протягом цієї серії ми створили все складніші системи RAG. Ми почали з базового векторного пошуку. Ми додали гібридні ключові слова. Ми зробили семантичний пошук. Ми створили інтегрований автоматичний пошук. подібні шматочки, не пов 'язані концепції. Для Корпус-рівномір питання (тема, що охоплюють багато документівM SK1 вам потрібна структура.
Рекомендуемый шлях: Якщо ви вже маєте Qdrant-មូលដ្ឋាន локального пошуку, що працює ( так само, як ми робимо ), прототип з Python sidecar, щоб підтвердити ціну МSK3 зберігати вектори для локального пошуку M SK4 і додавати легкий граф для глобального MSC5 запити наDRIFT . Лише йти МSK7 повний графRAGM SK8 після того, як ви МСК9 перевірили, що użytkownicy задають ці питання М СК10
Проблема з Pure Vector RAG
Дозвольте показати вам, що я маю на увазі з конкретним прикладом.
Що робить вектор RAG добре
Питання: "Як я користуюся HTMX з альпінізмомM SK1js?"
Процес вектора RAG:
- Вставляйте запитання:
[0.234, -0.891, 0.567, ...] - Найти подібні шматочки в Qdrant
- Поверніться вгору-K порівнює HTMX та AlpineM SK1js
- LLM синтезує відповідь з цих шматків
Це працює, тому що питання і відповідний контент семантично схожі. Вбудова усвідомлює цю схожість
// This is what our current SemanticSearchService does
var embedding = await _embeddingService.GetEmbeddingAsync(query);
var results = await _qdrantService.SearchAsync(
collectionName: "blog_posts",
queryVector: embedding,
limit: 10
);
// Returns chunks about HTMX, Alpine.js, frontend patterns
Де Vektor RAG бореться
Питання: " Які є головні технології, про які я пишу, і як вони пов 'язані одна з одною
Що повертає вектор RAG:
Result 1: "HTMX makes it easy to add AJAX to your pages..."
Result 2: "Docker Compose orchestrates multiple containers..."
Result 3: "PostgreSQL's full-text search is surprisingly capable..."
Result 4: "Alpine.js provides reactive state management..."
Він згадує Docker, PostgreSQL, HTMXM SK2 ONNXMSC3 але не grupує їх чи пояснює, як вони з 'єднані.
Проблема: Це питання потребує з 'єднання та розуміння відносин через весь корпус. Вам потрібно
- Визначати всі технології, згадані
- Усвідомити, що їх використовують разом
- Об 'єднати їх у послідовні теми
Вektorна подібність сама по собі не дає вам цього.
Ввести GraphRAG
GraphRAG Microsoft Research - це рішення цієї проблеми. ГрафRAG визначили два типи запитів, які базовий RAG не вправляє (сприйняття і з 'єднуюча) і створили систему для їх адресування
Замість простого введення шматків, GraphRAG створює граф знань що захоплює об 'єкти та їхні стосунки, а потім кластерує їх у спільноти з підсумками,
Як працює GraphRAG
Трубопровод на один погляд:
- Індексування: Кількошки → об 'єктиM SK1 відносини МSK2 граф МSK3 спільноти → підсумки
- Запрос: Місцеві = шматочки МSK1 графічні райони МSK2 Глобальні = підсумки спільноти M| DRIFT МСК5 шляхи | МСК6 | Подсумки
GraphRAG додає кілька компонентів до трубопроводу RAG ,, поділених на три категорії:
- Видобуток (урядові організації МSK1залежностіM SK2
- Збудувати графи (збереження графів знаньM SK1
- Підсумування ( виявлення спільноти МSK1 ієрархіяM SK2
flowchart TB
subgraph "Traditional RAG (What We Have)"
A[Documents] --> B[Chunks]
B --> C[Embeddings]
C --> D[Vector Store]
end
subgraph "GraphRAG Additions"
B --> E[Entity Extraction]
E --> F[Relationship Extraction]
F --> G[Knowledge Graph]
G --> H[Community Detection]
H --> I[Community Summaries]
end
subgraph "Query Time"
J[User Query] --> K{Query Type?}
K -->|Specific| L[Local Search]
K -->|Global| M[Global Search]
K -->|Hybrid| N[DRIFT Search]
D --> L
G --> L
I --> M
G --> N
I --> N
end
style E stroke:#f9f,stroke-width:2px
style H stroke:#bbf,stroke-width:2px
style I stroke:#9f9,stroke-width:2px
Шаг 1: Видобуток об 'єктів
LLM читає кожен шматок і витягує об 'єкти (необговорювані речіM SK1
Chunk: "Docker Compose makes it easy to define multi-container applications.
I use it with PostgreSQL for my blog's database layer."
Extracted Entities:
- Docker Compose (technology)
- PostgreSQL (database)
- blog (project)
- database layer (concept)
Шаг 2: Видобуток стосунків
Те ж саме LLM визначає, як речі пов 'язані між собою:
Relationships:
- Docker Compose --[used_with]--> PostgreSQL
- blog --[has_component]--> database layer
- PostgreSQL --[implements]--> database layer
Шаг 3: Конструкція графу знань
Усі об 'єкти та відносини формують графік:
graph LR
subgraph "Frontend Cluster"
HTMX[HTMX]
Alpine[Alpine.js]
Tailwind[Tailwind CSS]
end
subgraph "Infrastructure Cluster"
Docker[Docker]
Compose[Docker Compose]
Postgres[PostgreSQL]
Qdrant[Qdrant]
end
subgraph "AI/ML Cluster"
ONNX[ONNX Runtime]
Embeddings[Embeddings]
RAG[RAG]
end
HTMX -->|used_with| Alpine
HTMX -->|styled_by| Tailwind
Alpine -->|styled_by| Tailwind
Docker -->|orchestrated_by| Compose
Compose -->|runs| Postgres
Compose -->|runs| Qdrant
ONNX -->|generates| Embeddings
Embeddings -->|stored_in| Qdrant
RAG -->|uses| Embeddings
RAG -->|uses| Qdrant
style HTMX stroke:#f9f
style Docker stroke:#bbf
style RAG stroke:#9f9
Шаг 4: Виявление спільноти ( Алгоритм лідена МSK2
І Алгоритм Лейдена кластери щільно пов 'язані вузли в спільноти. Це важливо, тому що це дає вам стабільний кластери, щоб підсумувати та отримати
- Громадянство 1МSK0 "Фронтенд-стак МSK2 ♫ ♫ (HTMX ♫
- Громадянство 2: " Інфраструктура контейнера МSK2 | | ( Докер M SK4 Комп 'ютерна комп' ютерна інфраструктурa
- Громадянство 3МSK0 " РАГ PipelineM SK2 ♫ (ONNX ♫ МSK4 ♫ Умонтовані деталі ♫, ♫ Qdrant ♫
Зверніть увагу на те, як Qdrant виглядає в двох спільнотах: МСК0, яка об 'єднує інфраструктуру та штучний інтелект.
Шаг 5: Community Summaries
LLM генерує підсумки для кожної спільноти на кожному рівні ієрархії:
Community 1 Summary (Frontend Stack):
"The frontend approach combines HTMX for server-driven interactivity
with Alpine.js for client-side state management, styled using Tailwind CSS.
This stack prioritizes HTML-first development with minimal JavaScript,
focusing on progressive enhancement over SPA complexity."
Community 2 Summary (Container Infrastructure):
"The blog runs on Docker Compose, orchestrating PostgreSQL for persistent
storage, Qdrant for vector search, and the ASP.NET Core application.
This containerized architecture enables consistent local development
and production deployment."
Моди запитів
GraphRAG пропонує три режими запиту, кожен оптимізований для різних типів питаньM SK1
Глобальний пошук
Найкраще для: " Які головні теми? ?" МSK2 Об 'єднати ключові теми.
Використовуючи підсумки спільноти (не окремі фрагментиM SK1, щоб відповісти на запитання, які викликають почуття
Query: "What technologies does this blog cover most?"
Process:
1. Retrieve all community summaries
2. Map: Ask LLM to extract technology themes from each summary
3. Reduce: Combine partial answers into final response
Response:
"The writing centres on three technology clusters:
1. **Frontend Development** - HTMX, Alpine.js, Tailwind CSS for minimal-JS web UIs
2. **AI/ML Infrastructure** - RAG pipelines, ONNX embeddings, vector search with Qdrant
3. **DevOps/Containerization** - Docker, PostgreSQL, ASP.NET Core deployment"
Місцеві пошуки
Найкраще для: " Як я можу налаштувати XM SK1 " Що таке Y?"
Об 'єднує об' єкт-фокусований графічний трафік з традиційним векторним пошукомM SK1
Query: "How do I use Qdrant with ONNX embeddings?"
Process:
1. Identify entities in query: Qdrant, ONNX, embeddings
2. Retrieve graph neighborhood around those entities
3. Also retrieve vector-similar chunks
4. Combine into rich context for LLM
Response includes:
- Direct relationships (ONNX generates embeddings stored in Qdrant)
- Related entities (all-MiniLM-L6-v2 model, cosine similarity)
- Specific code examples from vector-retrieved chunks
Поиск за допомогою DRIFT
Найкраще для: " Як X пов 'язано з YM SK1 "Сравнимо A і B."
пошук DRIFT ( Динамічне обґрунтування та інференція з гнучким траверсаломM SK1 як описано в Docs GraphRAG, об 'єднує локальний пошук з громадним контекстом . Це МSK2 досі використовує LLM-резонанс над отриманим структурованим контекстом
Query: "How do the frontend and backend technologies connect?"
Process:
1. Start with entities: HTMX, ASP.NET Core
2. Traverse graph to find connection paths
3. Include community summaries for context
4. Generate answer showing the full picture
Response:
"HTMX makes requests to ASP.NET Core endpoints, which query PostgreSQL
and Qdrant. The connection flows through the API layer, where endpoints
return HTML fragments that HTMX swaps into the DOM. Alpine.js handles
client-side state for interactive components like search typeahead."
Порівняйте GraphRAG з нашою теперішньою системою
Давайте' зобразимо концепції GraphRAG до того, що ми вже маємо в Mostlylucid.SemanticSearch:
| Komponenт МSK1 Спеціальна система живлення МSK2 Еквівалент графічного RAG | ||
|---|---|---|
| Вбудова | ONNX (all-MiniLMMSC3LM SK4vMST5 МSK6 Те ж саме МSK7or OpenAIMSL8 | | |
| Векторний магазин | Кандрант МSK1 Крендант ♫ ♫ МSK2 ♫ LanceDB ♫ | |
| Видобуток | Ніхто МSK1 ЛЛМ МSK2 силове видобуток | |
| Граф знань | Ніхто МSK1 Графова база даних МSK2 в - пам 'яті မ်SK4 | |
| Розпізнання спільноти | Ніхто | Алгоритм Лейдена МSK2 |
| Питання: конкретне | SemanticSearchService.SearchAsync() |
Поиск локальний МSK1 |
| Запрос: Глобальний | Не obsługiваний | Глобальна пошуковая система МSK2 |
Наше поточне вdrożenie Місцеві пошуки добре. GraphRAG додала б Глобальний пошук і Поиск за допомогою DRIFT можливості.
// What we have today (Local Search equivalent)
public async Task<List<SearchResult>> SearchAsync(string query, int limit = 10)
{
var embedding = await _embeddingService.GetEmbeddingAsync(query);
return await _qdrantService.SearchAsync("blog_posts", embedding, limit);
}
// What GraphRAG would add
public async Task<string> GlobalSearchAsync(string query)
{
// 1. Retrieve community summaries (not chunks)
var summaries = await _graphService.GetCommunitySummariesAsync();
// 2. Map: Extract relevant themes from each summary
var partialAnswers = await Task.WhenAll(
summaries.Select(s => _llm.ExtractThemesAsync(query, s))
);
// 3. Reduce: Combine into final answer
return await _llm.SynthesizeAsync(query, partialAnswers);
}
Дослідження
Є три способи додати GraphRAG до існуючої системи.
Опція 1: Python Sidecar (Рекомендується для дослідженняM SK2
Вивімкніть Microsoft's GraphRAG як окрему службу:
# docker-compose.graphrag.yml
services:
graphrag:
build:
context: ./graphrag
volumes:
- ./data/input:/app/input
- ./data/output:/app/output
environment:
- OPENAI_API_KEY=${OPENAI_API_KEY}
graphrag-api:
build:
context: ./graphrag-api
ports:
- "8001:8000"
depends_on:
- graphrag
// GraphRagClient.cs - Call from ASP.NET Core
public class GraphRagClient
{
private readonly HttpClient _http;
public GraphRagClient(HttpClient http)
{
_http = http;
_http.BaseAddress = new Uri("http://graphrag-api:8000");
}
public async Task<string> GlobalSearchAsync(string query)
{
var response = await _http.PostAsJsonAsync("/query/global", new { query });
var result = await response.Content.ReadFromJsonAsync<GraphRagResponse>();
return result.Answer;
}
public async Task<string> LocalSearchAsync(string query)
{
var response = await _http.PostAsJsonAsync("/query/local", new { query });
var result = await response.Content.ReadFromJsonAsync<GraphRagResponse>();
return result.Answer;
}
}
Прос: Використовуйте Microsoft' s battle - tested implementation , quick to prototype Згоди: Відлежність від Pythonа, Kosztи LLM для індексування, перетинM SK2розмовний зв 'язок
Опція 2: МSK1NET Native (Production PathM SK3
Збудувати ключові компоненти в C#. БертМSK1 базується на видобутку та моделях Оллами з DocSummarizer працювати так само тут.
Видобуток
Попросіть LLM ідентифікувати речі (елементиM SK1 у кожному блокі МSK2 структуровані елементи, а не вільні МSK3формові теми :
public async Task<List<Entity>> ExtractEntitiesAsync(string chunk)
{
var prompt = $"""
Extract entities from this text. Return JSON array.
Types: technology, concept, project, person, organization
Text: {chunk}
Format: [{{"name": "Docker", "type": "technology"}}]
""";
var response = await _ollama.GenerateAsync(prompt);
return JsonSerializer.Deserialize<List<Entity>>(response);
}
Потрібність виробництва: Виход LLM JSON змусить зламати. Це не опціонально жорсткийM SK1 Вам потрібен один із:
- Сchéма-погане генерування МSK0Ollama's
format: json, OpenAI ' функція вызову - Знову спробувати-зM SK1репарувати ланцюги (відшукати непоправий JSON, попросити LLM його виправитиM SK2
- Видобуток назад ( шаблони регекса для типів об 'єктів
LLM є можливими; ваше видобувальні труби не повинні бутиM SK1
Видобуток відносин
Після того, як ви маєте об 'єкти, запитайте LLM, як вони з' єднуються:
public async Task<List<Relationship>> ExtractRelationshipsAsync(
string chunk, List<Entity> entities)
{
var names = string.Join(", ", entities.Select(e => e.Name));
var prompt = $"""
Given entities: {names}
Extract relationships. Return JSON array.
Text: {chunk}
Format: [{{"source": "Docker", "target": "PostgreSQL", "rel": "runs"}}]
""";
return JsonSerializer.Deserialize<List<Relationship>>(
await _ollama.GenerateAsync(prompt));
}
Хранение графів з нормою об 'єктів
Найбільша практична біль - анонімування об 'єктівМSK0 "ASPM SK2NET Core ", "Asp.NETMska6 і МSK7aspnetcoreMske8 мають бути одними і тими ж вузлимиMСК9 Проста звичайність допомагаєM СК10
public class KnowledgeGraph
{
private readonly Dictionary<string, Entity> _entities = new();
private readonly List<Relationship> _relationships = new();
public void AddEntity(Entity entity)
{
var key = Normalise(entity.Name); // "ASP.NET Core" → "aspnetcore"
_entities[key] = entity;
}
private string Normalise(string name) =>
name.ToLowerInvariant().Replace(".", "").Replace("-", "").Trim();
}
Для серйозного використання:
Проблеми виробництва (GraphRAGM SK1တန်ဖိုး залежить від якості графу ):
- Синонім/Alias таблицы: підтримувати канонічні імена та відомі псевдоніми
- Керування схемою відносин: обмеження дозволило припущення запобігти галюцинаційним типам відносин
- Оцінка рівня довіри +: не всі виділені зв 'язки однаково надійні
- Індикціоналізація ре-: під час оновлення документів , вам потрібно налагодити графіку МSK2 не перебудувати його
Треверсал графа
Найти пов 'язані об' єкти - це широта-перший пошукM SK1
public List<Entity> GetNeighbors(string entityName, int depth = 1)
{
var result = new HashSet<Entity>();
var queue = new Queue<(string Name, int Depth)>();
queue.Enqueue((Normalise(entityName), 0));
while (queue.Count > 0)
{
var (name, d) = queue.Dequeue();
if (d >= depth) continue;
// Find all entities connected to this one
var neighbours = _relationships
.Where(r => Normalise(r.Source) == name || Normalise(r.Target) == name)
.SelectMany(r => new[] { r.Source, r.Target });
foreach (var neighbour in neighbours)
if (_entities.TryGetValue(Normalise(neighbour), out var entity))
if (result.Add(entity))
queue.Enqueue((Normalise(neighbour), d + 1));
}
return result.ToList();
}
Розпізнання спільноти
Це підключений-компонентний базовий рядM SK1 не повний Лейден. Лейден оптимізує для модулярності МSK1 щільні внутрішні зв 'язки МSK2 вузькі зовнішні зв' язки ). Для правильного втілення МСК4 використовувати графову бібліотеку або порт алгоритму М СК5
public List<Community> DetectCommunities(KnowledgeGraph graph)
{
// Connected components: group everything reachable together
var visited = new HashSet<string>();
var communities = new List<Community>();
foreach (var entity in graph.GetAllEntities())
{
if (visited.Contains(entity.Name)) continue;
// BFS to find all connected entities
var community = new Community();
var queue = new Queue<string>();
queue.Enqueue(entity.Name);
while (queue.Count > 0)
{
var name = queue.Dequeue();
if (!visited.Add(name)) continue;
community.Entities.Add(graph.GetEntity(name));
foreach (var neighbor in graph.GetNeighbors(name, depth: 1))
queue.Enqueue(neighbor.Name);
}
communities.Add(community);
}
return communities;
}
Об ’ єднання
Кожна спільнота отримує підсумок, описуючи її тему.
public async Task<string> SummarizeCommunityAsync(Community community)
{
var entities = string.Join("\n",
community.Entities.Select(e => $"- {e.Name}: {e.Description}"));
var prompt = $"""
Summarize what unites these concepts (2-3 sentences):
{entities}
""";
return await _ollama.GenerateAsync(prompt);
}
Опція 3: Гібрид ( Прагматична середня поверхня МSK2
Це zalecaний підхід, якщо ви вже працюєте над пошуком векторів. Залишити Qdrant для локального пошукуM SK1 додавати легкий графовий шар для глобального/ DRIFT запитів .
Классування запитів
Перше, виявити, що це таке питання
// WARNING: Toy heuristic for illustration only.
// In production, use a classifier prompt or few-shot rules and log misroutes.
private QueryMode ClassifyQuery(string query)
{
var q = query.ToLowerInvariant();
if (q.Contains("main theme") || q.Contains("summarize") || q.Contains("what topics"))
return QueryMode.Global;
if (q.Contains("relate") || q.Contains("connect") || q.Contains("compare"))
return QueryMode.Drift;
return QueryMode.Local;
}
Місцеві пошуки (ПоліпшеніM SK1
Використовуйте існуючий векторний пошук, опціонально заповнений графічним контекстомM SK1
private async Task<string> LocalSearchAsync(string query)
{
// Existing semantic search (what we have today)
var chunks = await _semanticSearch.SearchAsync(query, limit: 10);
// NEW: Enrich with related entities from graph
var entities = await _graphService.ExtractEntitiesFromQueryAsync(query);
var related = await _graphService.GetEntityContextAsync(entities);
return await _llm.GenerateAsync(query, FormatContext(chunks, related));
}
Глобальна пошуковая система (Нова здатністьM SK1
Карта-снизити за підсумки спільноти МSK1не обов 'язково шукати вектораM SK2
private async Task<string> GlobalSearchAsync(string query)
{
var summaries = await _graphService.GetAllCommunitySummariesAsync();
// Map: Extract relevant info from each community
var partials = await Task.WhenAll(
summaries.Select(s => _llm.ExtractRelevantInfoAsync(query, s)));
// Reduce: Combine into final answer
return await _llm.SynthesizeAsync(query, partials.Where(p => !string.IsNullOrEmpty(p)));
}
DRIFT Search (Connective Queries)
Порівняйте локальні результати з суспільним контекстом для питання: " як X пов 'язане з Y?
private async Task<string> DriftSearchAsync(string query)
{
var localResults = await LocalSearchAsync(query);
var entities = await _graphService.ExtractEntitiesFromQueryAsync(query);
var communities = await _graphService.GetCommunitiesForEntitiesAsync(entities);
var themes = string.Join("\n", communities.Select(c => c.Summary));
return await _llm.GenerateAsync(
$"Question: {query}\n\nDetails:\n{localResults}\n\nBroader themes:\n{themes}",
systemPrompt: "Synthesize the details with the thematic context.");
}
Розрахунки щодо витрат та ефективності
GraphRAG має значні компроміси порівняно з чистим вектором RAG.
Індексування витрат
Об 'єкт/колишні витрати на видобуток значно відрізняються залежно від моделіМSK1передбачуваний дизайнM SK2 та розмір шматка. Як об' єктивний порядок один або два виклики LLM на шматок плюс менша кількість дзвінків на подробиці спільноти.
| МSK0 Операція | векторний RAG МSK2 Графічний RAG |
|---|---|
| Вбудова МSK0 1 дзвінок МSK2 чун | Те ж саме мSK4 |
| Об 'єкт/Видобуток зв' язків | Ніхто МSK1 МSK2 Подібні LLM дзвінки |
| Об ’ єднання | Ніхто МSK1 МSK2 Спілкування по ЛЛМ / громада |
Для Корпусу 1,000 блогових постів з МSK1 шматочками кожен МSK2 шматочки вкупі ), вектор \ - тільки індексування є, по суті, просто введення витрат \ МSK5 \ GraphRAG додає тисячі LLM дзвінків для видобутку та підсумку . \ Точні витрати сильно залежать від вибору моделі і швидкої ефективності | МSK7 \ використовуючи локальні моделі \ \МSK8 \ Оллама з Ламой \ 3.2 \ або подібні \ мSK10 \ повністю вирішує вартість API | , \ що є запропонованою мандрівкою для експерименту
Затраги на пошук
| Тип запиту МSK1 векторний RAG МSK2 Графічний RAG локальний | Графичний RAG глобальний M |
|---|---|
| Поиск вектора МSK0 1 дзвінок МSK2 ♫ ♫ МSK3 ♫ дзвінки ♫ | ♫ |
| Перетин графів МSK0 0 МSK2 1-2 запитів | |
| Виклики LLM МSK0 1 ♫ ♫ МSK2 ♫ |
Глобальна пошукова система дорожче за будь-яке запитання, але вона відповідає на питання, на які може просто знайти локальний пошукM SK1t. Ви також можете від Cache глобальних відповідей і відновлювати їх лише тоді, коли Корпус змінюється .
Моди невдачі GraphRAG
GraphRAG - це МСК0 , а не магія, ".". Дивіться на МСК2 .
- Видобуток: ЛЛМ не бачать об 'єктів чи галюцинацій
- Aliasування учасниківМSK0 "ASPM SK2NET Core" проти "A SPMska5NETMske6 проти
- Дифференція графів: Коли Docs оновлюються , графік може застаріти
- Community summary going stale: Підсумки donM SK1t auto-update when entities change
Нормалізація сутності є найбільшою практикою болю.
- Канонічні імена +
- Справа-нормалізація згинів та відбитків
- Вміщування - на основі дедулікації об 'єктів
Інтеграція з нашою пошуковою системою
Ось як GraphRAG міг би покращити блог
Текучий потік
User types in search → SemanticSearchService → Qdrant → Results
Підсичений потік
класифікатор спрямовує питання до різних стратегій пошуку. глобальне запитання потоки - зверніть увагу, що він ніколи не торкається вектора
sequenceDiagram
participant U as User
participant API as Search API
participant C as Query Classifier
participant G as Global Search
participant KG as Knowledge Graph
U->>API: "What topics does this blog cover?"
API->>C: Classify query
C-->>API: QueryMode.Global
API->>G: GlobalSearch(query)
G->>KG: GetCommunitySummaries()
KG-->>G: [Frontend, Infrastructure, AI/ML]
G->>G: MapReduce over summaries
G-->>API: Synthesized answer
API-->>U: "The blog covers three main areas..."
Порівняйте це з локальний запит,, що об 'єднує векторний пошук з графічним контекстом для багатших відповідей
sequenceDiagram
participant U as User
participant API as Search API
participant C as Query Classifier
participant L as Local Search
participant Q as Qdrant
participant KG as Knowledge Graph
U->>API: "How do I use HTMX?"
API->>C: Classify query
C-->>API: QueryMode.Local
API->>L: LocalSearch(query)
L->>Q: Vector search
Q-->>L: Relevant chunks
L->>KG: GetEntityContext("HTMX")
KG-->>L: Related: Alpine.js, Tailwind, ASP.NET
L-->>API: Answer with rich context
API-->>U: "HTMX is used with Alpine.js for..."
Найважливіша різниця: : глобальні пошуки об 'єднують підсумки спільноти, ( Корпус, - теми рівня, МSK3 тоді як локальні пошуки отримують певні шматочки, заповнені зв' язками об 'єктів,
Простіша альтернатива: GraphRAG все ще є дослідницьким інструментом. - видобуток об 'єктів , конструкція графів M SK2 і community detection add significant complexity and LLM costs Введення BERT + BMM SK1 співпадіння ключей працює краще. Ось що Sourcegraph's Cody використовується для кодової розпізнавання, і що DocSummarizer застосовується для підсумування dokumentu. Pattern : гібридні розрахунки регулюють важливість МSK2 LLM регулює об 'єднання, не прийняття рішень. Ви отримуєте 80% переваги з МSK2 складності
Скетч до втілення
API є простим : класифікувати запит, шлях до відповідного оператора:
[HttpGet("api/search")]
public async Task<IActionResult> Search([FromQuery] string q, [FromQuery] string mode = "auto")
{
if (mode == "auto")
mode = ClassifyQuery(q);
// global/local return synthesised answers; default returns raw search results
return mode switch
{
"global" => Ok(await _graphRag.GlobalSearchAsync(q)), // synthesised answer
"local" => Ok(await SearchWithGraphContext(q)), // answer with citations
_ => Ok(await _semanticSearch.SearchAsync(q)) // raw ranked results
};
}
Вektorна пошука і графічна пошука доповнюють одна одну.. Використовуйте вектори для M SK1 як я?
Завершення
GraphRAG розширює RAG від " знаходити подібні фрагменти " до МSK2 зрозуміти структуру знань
Що додасть GraphRAG:
- Видобуток сутності та стосунків
- Конструкція графу знань
- Community detection and hierarchical summaries
- Глобальна пошука сенсорних питань
- DRIFT Поиск зв 'язку
Коли його використовувати:
- У вас є суттєва колекція документів
- Працівники задають питання на тип " Що таке тема МSK1
- Ваш контент має чіткі сутності та відносини
- Ви хочете, щоб поверхневі зв 'язки автоматично
Путь застосування:
- Перше, спитайтеM SK1 вам дійсно потрібно це ? BERT MSC3 BM25 гібридне відтворення справляє більшість випадків
- Якщо так, прототип з Python sidecar для перевірки вартості
- Збудувати .NET нативним, якщо це коштує
- Використовуйте локальні LLM (Ollama), щоб контролювати вартість індексування
Ресурс
GraphRAG Official:
- Документація GraphRAG - офіційні доки Microsoft'
- GraphRAG GitHub - вихідний код та приклади
- ГрафRAG Папір - Оригинальный дослідження
- Алгоритм Лейдена - Алгоритм визначення спільноти
Серія RAG:
- Частина 1: Походження та основи RAG
- Частина 2: Архітектура та інтер 'єри РАГ
- Частина 3: RAG в практиці
- Частина 4: Семантичні пошуки з ONNX та Qdrant
- Частина 5: Гібридне пошук МSK1 АвтоM SK2 Індексування
Простіша альтернатива (BERT + BMM SK2
- DocSummarizer Part 3 - Гібридне відтворення без графічного накладу
- Архітектура Sourcegraph Cody - Поиск гібридів виробництва