LLMApi: Контексти API: Утримка послідовності по всіх викликах API
NOTA: Ця стаття, в основному, створена штучною мовою як частина мого пакету яджетів, як релізова документація.
Введение
Коли ви будуєте та тестуєте додатки, одним із найбільших викликів з традиційними моделюваними API є їх безладність . Кожна просьба повертає абсолютно випадкові дані, не пов 'язані з попередніми дзвінками МSK2 Якщо ви витягаєте користувача з ID МСК3 тоді витягуєте їхні замовлення MСК4 там М СК5 без жодної гарантії, що замовлення буде відноситься до того ж користувача ID M СК6
Контексти API розв 'язати цю проблему, давши вашому макетному API пам' ять.
Ви можете знайти Тут GitHub для проекту, всі громадські домени і т.д.
Проблема: Бездержавний хаос
Традиційні модові API генерують дані незалежно від кожного запиту:
sequenceDiagram
participant Client
participant MockAPI
participant LLM
Client->>MockAPI: GET /users/1
MockAPI->>LLM: Generate user data
LLM-->>MockAPI: {"id": 42, "name": "Alice"}
MockAPI-->>Client: User data
Client->>MockAPI: GET /orders?userId=42
MockAPI->>LLM: Generate order data
LLM-->>MockAPI: {"userId": 99, ...}
MockAPI-->>Client: Order data (userId mismatch!)
Зверніть увагу на проблему.
Рішення: Контекстова пам 'ять
За допомогою контексту API, модель API зберігає спільний контекст через пов 'язані петиції:
sequenceDiagram
participant Client
participant MockAPI
participant Context as Context Manager
participant LLM
Client->>MockAPI: GET /users/1?context=session-1
MockAPI->>Context: Get history for "session-1"
Context-->>MockAPI: (empty - first call)
MockAPI->>LLM: Generate user (no context)
LLM-->>MockAPI: {"id": 42, "name": "Alice"}
MockAPI->>Context: Store: GET /users/1 → {"id": 42, ...}
MockAPI-->>Client: User data
Client->>MockAPI: GET /orders?context=session-1
MockAPI->>Context: Get history for "session-1"
Context-->>MockAPI: Previous call: user with id=42, name=Alice
MockAPI->>LLM: Generate order (with context history)
LLM-->>MockAPI: {"userId": 42, "customerName": "Alice", ...}
MockAPI->>Context: Store: GET /orders → {"userId": 42, ...}
MockAPI-->>Client: Order data (consistent!)
Тепер LLM бачить попередній телефонний дзвінок і генерує замовлення, що відносяться до одного і того ж ім 'я і ID користувача.
Як це працює
Архітектура
Контекстова система складається з трьох основних компонентів:
graph TD
A[HTTP Request] --> B[ContextExtractor]
B --> C{Context Name?}
C -->|Yes| D[OpenApiContextManager]
C -->|No| E[Generate without context]
D --> F[Retrieve Context History]
F --> G[PromptBuilder]
E --> G
G --> H[LLM]
H --> I[Response]
I --> J{Context Name?}
J -->|Yes| K[Store in Context]
J -->|No| L[Return Response]
K --> L
1. Контекстовий экстрактор - Витягує ім 'я контексту з запиту 2. OpenApiContextManager - Manages context storage and retrieval 3. Про promptBuilder - Включає історію контексту в про prompts LLM
Хранение у контексті
Контексти зберігаються в пам 'яті, використовуючи поток ConcurrentDictionary:
public class OpenApiContextManager
{
private readonly ConcurrentDictionary<string, ApiContext> _contexts;
private const int MaxRecentCalls = 15;
private const int SummarizeThreshold = 20;
public void AddToContext(
string contextName,
string method,
string path,
string? requestBody,
string responseBody)
{
var context = _contexts.GetOrAdd(contextName, _ => new ApiContext
{
Name = contextName,
CreatedAt = DateTimeOffset.UtcNow,
RecentCalls = new List<RequestSummary>(),
SharedData = new Dictionary<string, string>(),
TotalCalls = 0
});
context.RecentCalls.Add(new RequestSummary
{
Timestamp = DateTimeOffset.UtcNow,
Method = method,
Path = path,
RequestBody = requestBody,
ResponseBody = responseBody
});
ExtractSharedData(context, responseBody);
if (context.RecentCalls.Count > MaxRecentCalls)
{
SummarizeOldCalls(context);
}
}
}
Автоматичне підсумування
Щоб запобігти нескінченному зростанню контексту і перевищенню LLM-токенних обмежень, система автоматично підсумовує старі дзвінки, коли число перевищує M SK1
graph LR
A[20+ Calls] --> B[Keep 15 Most Recent]
A --> C[Summarize Older Calls]
B --> D[Full Request/Response]
C --> E[Summary: 'GET /users - called 5 times']
D --> F[Included in LLM Prompt]
E --> F
private void SummarizeOldCalls(ApiContext context)
{
var toSummarize = context.RecentCalls
.Take(context.RecentCalls.Count - MaxRecentCalls)
.ToList();
var summary = new StringBuilder();
summary.AppendLine($"Earlier calls ({toSummarize.Count}):");
var groupedByPath = toSummarize
.GroupBy(c => $"{c.Method} {c.Path.Split('?')[0]}");
foreach (var group in groupedByPath)
{
summary.AppendLine($" {group.Key} - called {group.Count()} time(s)");
}
context.ContextSummary = summary.ToString();
context.RecentCalls.RemoveRange(0, toSummarize.Count);
}
Видобуток поділених даних
Контекстовий менеджер автоматично витягує спільні идентифікатори з відповідей, щоб зробити їх легкодоступними:
private void ExtractSharedData(ApiContext context, string responseBody)
{
using var doc = JsonDocument.Parse(responseBody);
var root = doc.RootElement;
if (root.ValueKind == JsonValueKind.Array && root.GetArrayLength() > 0)
{
var firstItem = root[0];
ExtractValueIfExists(context, firstItem, "id", "lastId");
ExtractValueIfExists(context, firstItem, "userId", "lastUserId");
ExtractValueIfExists(context, firstItem, "name", "lastName");
ExtractValueIfExists(context, firstItem, "email", "lastEmail");
}
else if (root.ValueKind == JsonValueKind.Object)
{
ExtractValueIfExists(context, root, "id", "lastId");
ExtractValueIfExists(context, root, "userId", "lastUserId");
ExtractValueIfExists(context, root, "name", "lastName");
// ... more common patterns
}
}
Це дозволяє системі відстежувати найновіший идентификаційний номер користувача, идентификатор замовленняM SK1 і т.д. ., роблячи їх доступними в контекстній історії.
Використовуючи контекст
Три способи визначити контекст
Ви можете передати контекстний ім 'я трьома способами:, з цим порядком напередуM SK1
1. Параметр пошуку ( найвища пріорієнтаціяM SK1
GET /api/mock/users?context=my-session
GET /api/mock/users?api-context=my-session
2. HTTP Header
GET /api/mock/users
X-Api-Context: my-session
3. Корпус запиту
POST /api/mock/orders
Content-Type: application/json
{
"context": "my-session",
"shape": {"orderId": 0, "userId": 0}
}
Поддерживані типи кінцевих точок
Контексти працюють через всі типи кінцевих точок:
РEST APIs
GET /api/mock/users/123?context=session-1
Streaming APIs
GET /api/mock/stream/stock-prices?context=trading-session
Accept: text/event-stream
GraphQL
POST /graphql?context=my-app
Content-Type: application/json
{
"query": "{ users { id name } }"
}
СигналR (за допомогою конфігураціїM SK1
{
"mostlylucid.mockllmapi": {
"HubContexts": [
{
"Name": "stock-ticker",
"Description": "Real-time stock prices",
"ApiContextName": "stocks-session",
"Shape": "{\"symbol\":\"string\",\"price\":0}"
}
]
}
}
Реальний-Всесвітні випадки використання
Корпус для використання 1: EM SK1Commerce Flow
Створити повний досвід покупок з послідовними даними користувача та замовлення:
### 1. Create user
POST /api/mock/users?context=checkout-flow
{
"shape": {
"userId": 0,
"name": "string",
"email": "string",
"address": {"street": "string", "city": "string"}
}
}
### Response: {"userId": 42, "name": "Alice", ...}
### 2. Create cart (will reference same user)
POST /api/mock/cart?context=checkout-flow
{
"shape": {
"cartId": 0,
"userId": 0,
"items": [{"productId": 0, "quantity": 0}]
}
}
### Response: {"cartId": 123, "userId": 42, ...}
### 3. Create order (consistent user and cart)
POST /api/mock/orders?context=checkout-flow
{
"shape": {
"orderId": 0,
"userId": 0,
"cartId": 0,
"total": 0
}
}
### Response: {"orderId": 789, "userId": 42, "cartId": 123, ...}
Використовуйте пристрій 2: Симулювання ціни на акції
Дайте реальні рухи цін на акції замість випадкових показників:
### First call - establishes baseline
GET /api/mock/stocks?context=market-data
&shape={"symbol":"string","price":0,"volume":0}
### Response: {"symbol": "ACME", "price": 145.50, "volume": 10000}
### Second call - price changes realistically
GET /api/mock/stocks?context=market-data
&shape={"symbol":"string","price":0,"volume":0}
### Response: {"symbol": "ACME", "price": 146.20, "volume": 12000}
### Notice: Same symbol, price increased by $0.70 (realistic)
### Third call - continues the trend
GET /api/mock/stocks?context=market-data
&shape={"symbol":"string","price":0,"volume":0}
### Response: {"symbol": "ACME", "price": 145.80, "volume": 11500}
### Notice: Price fluctuates but stays in realistic range
Без контексту, кожен дзвінок поверне повністю випадковий символ і ціну . З контекстомM SK2 LLM зберігає один і той самий запас і реально пристосовує ціни МSK3
Використовуйте випадок 3: Прогресії гри
Відслідковувати розвиток гравця за допомогою сесій гри:
### Start game
POST /api/mock/game/start?context=game-session-123
{
"shape": {
"playerId": 0,
"level": 0,
"health": 0,
"score": 0,
"inventory": []
}
}
### Response: {"playerId": 42, "level": 1, "health": 100, "score": 0}
### Complete quest
POST /api/mock/game/quest?context=game-session-123
{
"shape": {
"playerId": 0,
"level": 0,
"score": 0,
"reward": {"item": "string", "value": 0}
}
}
### Response: {"playerId": 42, "level": 2, "score": 500,
### "reward": {"item": "Sword", "value": 100}}
### Notice: Same player, level increased, score increased
### Get stats
GET /api/mock/game/player?context=game-session-123
&shape={"playerId":0,"level":0,"health":0,"score":0}
### Response: {"playerId": 42, "level": 2, "health": 100, "score": 500}
### Notice: Consistent with quest completion
Інтегральний інтерфейс управління контекстом
Список усіх контекстів
GET /api/openapi/contexts
### Response:
{
"contexts": [
{
"name": "session-1",
"totalCalls": 5,
"recentCallCount": 5,
"sharedDataCount": 3,
"createdAt": "2025-01-15T10:00:00Z",
"lastUsedAt": "2025-01-15T10:05:00Z",
"hasSummary": false
}
],
"count": 1
}
Знайти деталі контексту
GET /api/openapi/contexts/session-1
### Response shows full context including:
### - All recent calls with timestamps
### - Extracted shared data (IDs, names, emails)
### - Summary of older calls (if any)
Виczyść конкретний контекст
DELETE /api/openapi/contexts/session-1
Виczyść всі контексти
DELETE /api/openapi/contexts
Розробка розробки
Інтеграція в менеджерах за запитами
Кожен обладнатель запитів (RESTM SK1 Streaming, GraphQL , SignalRMSC4 робить те ж саме
public async Task<string> HandleRequestAsync(
string method,
string fullPathWithQuery,
string? body,
HttpRequest request,
HttpContext context,
CancellationToken cancellationToken = default)
{
// 1. Extract context name from request
var contextName = _contextExtractor.ExtractContextName(request, body);
// 2. Get context history if context specified
var contextHistory = !string.IsNullOrWhiteSpace(contextName)
? _contextManager.GetContextForPrompt(contextName)
: null;
// 3. Build prompt with context history
var prompt = _promptBuilder.BuildPrompt(
method, fullPathWithQuery, body, shapeInfo,
streaming: false, contextHistory: contextHistory);
// 4. Get response from LLM
var response = await _llmClient.GetCompletionAsync(prompt, cancellationToken);
// 5. Store in context if context name provided
if (!string.IsNullOrWhiteSpace(contextName))
{
_contextManager.AddToContext(
contextName, method, fullPathWithQuery, body, response);
}
return response;
}
Контекст в LLM проханнях
Коли існує контекст, його історія включена в LLM про prompt:
TASK: Generate a varied mock API response.
RULES: Output ONLY valid JSON. No markdown, no comments.
API Context: session-1
Total calls in session: 3
Shared data to maintain consistency:
lastId: 42
lastName: Alice
lastEmail: [email protected]
Recent API calls:
[10:00:05] GET /users/42
Response: {"id": 42, "name": "Alice", "email": "[email protected]"}
[10:00:12] GET /orders?userId=42
Response: {"orderId": 123, "userId": 42, "items": [...]}
Generate a response that maintains consistency with the above context.
Method: POST
Path: /shipping/123
Body: {"orderId": 123}
LLM бачить всі попередні виклики і генерує відповіді, що відносяться до тих самих ID, іменаM SK1 та інші дані, підтримуючи послідовність
Найкращі практики
1. Використовуйте описові назви контексту
Bad: ?context=test1
Good: ?context=user-checkout-flow-jan15
2. Виczyść контекст, коли це зроблено
Контексти зберігаються в пам 'яті аж до того, як експлицитно буде відкрито або сервер буде заново запускатися:
### After completing your test scenario
DELETE /api/openapi/contexts/user-checkout-flow-jan15
3. Поділитись контекстом через пов 'язані кінцеві точки
Використовуйте той самий контекстний ім 'я для всіх пов' язаних дзвінків:
GET /api/mock/users?context=demo-session
GET /api/mock/orders?context=demo-session
GET /api/mock/shipping?context=demo-session
4. розмір контексту монітора
Проверяйте контекст, щоб побачити, скільки дзвінків зберігається:
GET /api/openapi/contexts/demo-session
Якщо ви маєте багато дзвінків (>100), подумайте про те, щоб очистити телефон і починати його новий, щоб уникнути проблем з довготою
5. Об 'єднати з OpenAPI
Для максимального реалізму, використовувати контексти з OpenAPI-спекками:
### Load spec with context
POST /api/openapi/specs
{
"name": "petstore",
"source": "https://petstore3.swagger.io/api/v3/openapi.json",
"basePath": "/petstore",
"contextName": "petstore-session"
}
### All petstore endpoints will share the same context
Рівень ефективності
Використовування пам 'яті
Кожен контекст зберігає:
- До 15 нещодавні дзвінки
- Підсумок старих дзвінків (kompressedM SK1
- Вичерпані спільні дані (малий словникM SK1
Типова пам 'ять за контекстМSK0 ~50-200 КБ в залежності від розмірів реагування
Безпека ниток
OpenApiContextManager використання ConcurrentDictionary для потоку
Лімінії токена LLM
Історія контексту включена в кожен про prompt. Якщо у вас є дуже великі відповіді або багато дзвінків , ви можете підійти до граничних токенів
Ограничення
- В-Только пам 'ять - Контексти втрачаються при перезапускі сервера
- Немає стійкості - Не підходить для зберігання інформації для виробництва
- Один сервер - Контексти не синхронізуються ' через декілька instanцій сервера
- В залежності від LLM - Якість послідовності залежить від здатності LLMM SK1 слідувати інструкціям
Завершення
Контексти API перетворюють безладні макетні API у симуляції, які зберігають послідовність по всіх зв 'язках з ними. Неважливо, чи ви тестуєте еM SK2 торговий потік , моделюєте реальне МSK4 потоки даних часу M SK5 або створюєте прогрес стадії гри , контексти гарантують, що ваші макетові дані розповідають спільну історію MSC7
Автоматичне видобуток об 'єднаних даних, інтелектове підсумуванняM SK1 і безперервна інтеграція у всіх видах кінцевого punktu роблять контексти потужним інструментом для реалістичного тестування та розвитку API.
Для більш заawansованих сценаріїв, об 'єднати контексти з спецификаціями OpenAPI, щоб створити повністю - вбудовані макетні API, які ведуть себе так само, як і справжні