LLMApi: Контексти API: Утримка послідовності по всіх викликах API (Українська (Ukrainian))

LLMApi: Контексти API: Утримка послідовності по всіх викликах API

Wednesday, 05 November 2025

//

12 minute read

NOTA: Ця стаття, в основному, створена штучною мовою як частина мого пакету яджетів, як релізова документація.

Введение

Коли ви будуєте та тестуєте додатки, одним із найбільших викликів з традиційними моделюваними API є їх безладність . Кожна просьба повертає абсолютно випадкові дані, не пов 'язані з попередніми дзвінками МSK2 Якщо ви витягаєте користувача з ID МСК3 тоді витягуєте їхні замовлення MСК4 там М СК5 без жодної гарантії, що замовлення буде відноситься до того ж користувача ID M СК6

Контексти API розв 'язати цю проблему, давши вашому макетному API пам' ять.

NuGet NuGet

Ви можете знайти Тут GitHub для проекту, всі громадські домени і т.д.

Проблема: Бездержавний хаос

Традиційні модові API генерують дані незалежно від кожного запиту:

sequenceDiagram
    participant Client
    participant MockAPI
    participant LLM

    Client->>MockAPI: GET /users/1
    MockAPI->>LLM: Generate user data
    LLM-->>MockAPI: {"id": 42, "name": "Alice"}
    MockAPI-->>Client: User data

    Client->>MockAPI: GET /orders?userId=42
    MockAPI->>LLM: Generate order data
    LLM-->>MockAPI: {"userId": 99, ...}
    MockAPI-->>Client: Order data (userId mismatch!)

Зверніть увагу на проблему.

Рішення: Контекстова пам 'ять

За допомогою контексту API, модель API зберігає спільний контекст через пов 'язані петиції:

sequenceDiagram
    participant Client
    participant MockAPI
    participant Context as Context Manager
    participant LLM

    Client->>MockAPI: GET /users/1?context=session-1
    MockAPI->>Context: Get history for "session-1"
    Context-->>MockAPI: (empty - first call)
    MockAPI->>LLM: Generate user (no context)
    LLM-->>MockAPI: {"id": 42, "name": "Alice"}
    MockAPI->>Context: Store: GET /users/1 → {"id": 42, ...}
    MockAPI-->>Client: User data

    Client->>MockAPI: GET /orders?context=session-1
    MockAPI->>Context: Get history for "session-1"
    Context-->>MockAPI: Previous call: user with id=42, name=Alice
    MockAPI->>LLM: Generate order (with context history)
    LLM-->>MockAPI: {"userId": 42, "customerName": "Alice", ...}
    MockAPI->>Context: Store: GET /orders → {"userId": 42, ...}
    MockAPI-->>Client: Order data (consistent!)

Тепер LLM бачить попередній телефонний дзвінок і генерує замовлення, що відносяться до одного і того ж ім 'я і ID користувача.

Як це працює

Архітектура

Контекстова система складається з трьох основних компонентів:

graph TD
    A[HTTP Request] --> B[ContextExtractor]
    B --> C{Context Name?}
    C -->|Yes| D[OpenApiContextManager]
    C -->|No| E[Generate without context]
    D --> F[Retrieve Context History]
    F --> G[PromptBuilder]
    E --> G
    G --> H[LLM]
    H --> I[Response]
    I --> J{Context Name?}
    J -->|Yes| K[Store in Context]
    J -->|No| L[Return Response]
    K --> L

1. Контекстовий экстрактор - Витягує ім 'я контексту з запиту 2. OpenApiContextManager - Manages context storage and retrieval 3. Про promptBuilder - Включає історію контексту в про prompts LLM

Хранение у контексті

Контексти зберігаються в пам 'яті, використовуючи поток ConcurrentDictionary:

public class OpenApiContextManager
{
    private readonly ConcurrentDictionary<string, ApiContext> _contexts;
    private const int MaxRecentCalls = 15;
    private const int SummarizeThreshold = 20;

    public void AddToContext(
        string contextName,
        string method,
        string path,
        string? requestBody,
        string responseBody)
    {
        var context = _contexts.GetOrAdd(contextName, _ => new ApiContext
        {
            Name = contextName,
            CreatedAt = DateTimeOffset.UtcNow,
            RecentCalls = new List<RequestSummary>(),
            SharedData = new Dictionary<string, string>(),
            TotalCalls = 0
        });

        context.RecentCalls.Add(new RequestSummary
        {
            Timestamp = DateTimeOffset.UtcNow,
            Method = method,
            Path = path,
            RequestBody = requestBody,
            ResponseBody = responseBody
        });

        ExtractSharedData(context, responseBody);

        if (context.RecentCalls.Count > MaxRecentCalls)
        {
            SummarizeOldCalls(context);
        }
    }
}

Автоматичне підсумування

Щоб запобігти нескінченному зростанню контексту і перевищенню LLM-токенних обмежень, система автоматично підсумовує старі дзвінки, коли число перевищує M SK1

graph LR
    A[20+ Calls] --> B[Keep 15 Most Recent]
    A --> C[Summarize Older Calls]
    B --> D[Full Request/Response]
    C --> E[Summary: 'GET /users - called 5 times']
    D --> F[Included in LLM Prompt]
    E --> F
private void SummarizeOldCalls(ApiContext context)
{
    var toSummarize = context.RecentCalls
        .Take(context.RecentCalls.Count - MaxRecentCalls)
        .ToList();

    var summary = new StringBuilder();
    summary.AppendLine($"Earlier calls ({toSummarize.Count}):");

    var groupedByPath = toSummarize
        .GroupBy(c => $"{c.Method} {c.Path.Split('?')[0]}");

    foreach (var group in groupedByPath)
    {
        summary.AppendLine($"  {group.Key} - called {group.Count()} time(s)");
    }

    context.ContextSummary = summary.ToString();
    context.RecentCalls.RemoveRange(0, toSummarize.Count);
}

Видобуток поділених даних

Контекстовий менеджер автоматично витягує спільні идентифікатори з відповідей, щоб зробити їх легкодоступними:

private void ExtractSharedData(ApiContext context, string responseBody)
{
    using var doc = JsonDocument.Parse(responseBody);
    var root = doc.RootElement;

    if (root.ValueKind == JsonValueKind.Array && root.GetArrayLength() > 0)
    {
        var firstItem = root[0];
        ExtractValueIfExists(context, firstItem, "id", "lastId");
        ExtractValueIfExists(context, firstItem, "userId", "lastUserId");
        ExtractValueIfExists(context, firstItem, "name", "lastName");
        ExtractValueIfExists(context, firstItem, "email", "lastEmail");
    }
    else if (root.ValueKind == JsonValueKind.Object)
    {
        ExtractValueIfExists(context, root, "id", "lastId");
        ExtractValueIfExists(context, root, "userId", "lastUserId");
        ExtractValueIfExists(context, root, "name", "lastName");
        // ... more common patterns
    }
}

Це дозволяє системі відстежувати найновіший идентификаційний номер користувача, идентификатор замовленняM SK1 і т.д. ., роблячи їх доступними в контекстній історії.

Використовуючи контекст

Три способи визначити контекст

Ви можете передати контекстний ім 'я трьома способами:, з цим порядком напередуM SK1

1. Параметр пошуку ( найвища пріорієнтаціяM SK1

GET /api/mock/users?context=my-session
GET /api/mock/users?api-context=my-session

2. HTTP Header

GET /api/mock/users
X-Api-Context: my-session

3. Корпус запиту

POST /api/mock/orders
Content-Type: application/json

{
  "context": "my-session",
  "shape": {"orderId": 0, "userId": 0}
}

Поддерживані типи кінцевих точок

Контексти працюють через всі типи кінцевих точок:

РEST APIs

GET /api/mock/users/123?context=session-1

Streaming APIs

GET /api/mock/stream/stock-prices?context=trading-session
Accept: text/event-stream

GraphQL

POST /graphql?context=my-app
Content-Type: application/json

{
  "query": "{ users { id name } }"
}

СигналR (за допомогою конфігураціїM SK1

{
  "mostlylucid.mockllmapi": {
    "HubContexts": [
      {
        "Name": "stock-ticker",
        "Description": "Real-time stock prices",
        "ApiContextName": "stocks-session",
        "Shape": "{\"symbol\":\"string\",\"price\":0}"
      }
    ]
  }
}

Реальний-Всесвітні випадки використання

Корпус для використання 1: EM SK1Commerce Flow

Створити повний досвід покупок з послідовними даними користувача та замовлення:

### 1. Create user
POST /api/mock/users?context=checkout-flow
{
  "shape": {
    "userId": 0,
    "name": "string",
    "email": "string",
    "address": {"street": "string", "city": "string"}
  }
}

### Response: {"userId": 42, "name": "Alice", ...}

### 2. Create cart (will reference same user)
POST /api/mock/cart?context=checkout-flow
{
  "shape": {
    "cartId": 0,
    "userId": 0,
    "items": [{"productId": 0, "quantity": 0}]
  }
}

### Response: {"cartId": 123, "userId": 42, ...}

### 3. Create order (consistent user and cart)
POST /api/mock/orders?context=checkout-flow
{
  "shape": {
    "orderId": 0,
    "userId": 0,
    "cartId": 0,
    "total": 0
  }
}

### Response: {"orderId": 789, "userId": 42, "cartId": 123, ...}

Використовуйте пристрій 2: Симулювання ціни на акції

Дайте реальні рухи цін на акції замість випадкових показників:

### First call - establishes baseline
GET /api/mock/stocks?context=market-data
    &shape={"symbol":"string","price":0,"volume":0}

### Response: {"symbol": "ACME", "price": 145.50, "volume": 10000}

### Second call - price changes realistically
GET /api/mock/stocks?context=market-data
    &shape={"symbol":"string","price":0,"volume":0}

### Response: {"symbol": "ACME", "price": 146.20, "volume": 12000}
### Notice: Same symbol, price increased by $0.70 (realistic)

### Third call - continues the trend
GET /api/mock/stocks?context=market-data
    &shape={"symbol":"string","price":0,"volume":0}

### Response: {"symbol": "ACME", "price": 145.80, "volume": 11500}
### Notice: Price fluctuates but stays in realistic range

Без контексту, кожен дзвінок поверне повністю випадковий символ і ціну . З контекстомM SK2 LLM зберігає один і той самий запас і реально пристосовує ціни МSK3

Використовуйте випадок 3: Прогресії гри

Відслідковувати розвиток гравця за допомогою сесій гри:

### Start game
POST /api/mock/game/start?context=game-session-123
{
  "shape": {
    "playerId": 0,
    "level": 0,
    "health": 0,
    "score": 0,
    "inventory": []
  }
}

### Response: {"playerId": 42, "level": 1, "health": 100, "score": 0}

### Complete quest
POST /api/mock/game/quest?context=game-session-123
{
  "shape": {
    "playerId": 0,
    "level": 0,
    "score": 0,
    "reward": {"item": "string", "value": 0}
  }
}

### Response: {"playerId": 42, "level": 2, "score": 500,
###           "reward": {"item": "Sword", "value": 100}}
### Notice: Same player, level increased, score increased

### Get stats
GET /api/mock/game/player?context=game-session-123
    &shape={"playerId":0,"level":0,"health":0,"score":0}

### Response: {"playerId": 42, "level": 2, "health": 100, "score": 500}
### Notice: Consistent with quest completion

Інтегральний інтерфейс управління контекстом

Список усіх контекстів

GET /api/openapi/contexts

### Response:
{
  "contexts": [
    {
      "name": "session-1",
      "totalCalls": 5,
      "recentCallCount": 5,
      "sharedDataCount": 3,
      "createdAt": "2025-01-15T10:00:00Z",
      "lastUsedAt": "2025-01-15T10:05:00Z",
      "hasSummary": false
    }
  ],
  "count": 1
}

Знайти деталі контексту

GET /api/openapi/contexts/session-1

### Response shows full context including:
### - All recent calls with timestamps
### - Extracted shared data (IDs, names, emails)
### - Summary of older calls (if any)

Виczyść конкретний контекст

DELETE /api/openapi/contexts/session-1

Виczyść всі контексти

DELETE /api/openapi/contexts

Розробка розробки

Інтеграція в менеджерах за запитами

Кожен обладнатель запитів (RESTM SK1 Streaming, GraphQL , SignalRMSC4 робить те ж саме

public async Task<string> HandleRequestAsync(
    string method,
    string fullPathWithQuery,
    string? body,
    HttpRequest request,
    HttpContext context,
    CancellationToken cancellationToken = default)
{
    // 1. Extract context name from request
    var contextName = _contextExtractor.ExtractContextName(request, body);

    // 2. Get context history if context specified
    var contextHistory = !string.IsNullOrWhiteSpace(contextName)
        ? _contextManager.GetContextForPrompt(contextName)
        : null;

    // 3. Build prompt with context history
    var prompt = _promptBuilder.BuildPrompt(
        method, fullPathWithQuery, body, shapeInfo,
        streaming: false, contextHistory: contextHistory);

    // 4. Get response from LLM
    var response = await _llmClient.GetCompletionAsync(prompt, cancellationToken);

    // 5. Store in context if context name provided
    if (!string.IsNullOrWhiteSpace(contextName))
    {
        _contextManager.AddToContext(
            contextName, method, fullPathWithQuery, body, response);
    }

    return response;
}

Контекст в LLM проханнях

Коли існує контекст, його історія включена в LLM про prompt:

TASK: Generate a varied mock API response.
RULES: Output ONLY valid JSON. No markdown, no comments.

API Context: session-1
Total calls in session: 3

Shared data to maintain consistency:
  lastId: 42
  lastName: Alice
  lastEmail: [email protected]

Recent API calls:
  [10:00:05] GET /users/42
    Response: {"id": 42, "name": "Alice", "email": "[email protected]"}
  [10:00:12] GET /orders?userId=42
    Response: {"orderId": 123, "userId": 42, "items": [...]}

Generate a response that maintains consistency with the above context.

Method: POST
Path: /shipping/123
Body: {"orderId": 123}

LLM бачить всі попередні виклики і генерує відповіді, що відносяться до тих самих ID, іменаM SK1 та інші дані, підтримуючи послідовність

Найкращі практики

1. Використовуйте описові назви контексту

 Bad:  ?context=test1
 Good: ?context=user-checkout-flow-jan15

2. Виczyść контекст, коли це зроблено

Контексти зберігаються в пам 'яті аж до того, як експлицитно буде відкрито або сервер буде заново запускатися:

### After completing your test scenario
DELETE /api/openapi/contexts/user-checkout-flow-jan15

3. Поділитись контекстом через пов 'язані кінцеві точки

Використовуйте той самий контекстний ім 'я для всіх пов' язаних дзвінків:

GET /api/mock/users?context=demo-session
GET /api/mock/orders?context=demo-session
GET /api/mock/shipping?context=demo-session

4. розмір контексту монітора

Проверяйте контекст, щоб побачити, скільки дзвінків зберігається:

GET /api/openapi/contexts/demo-session

Якщо ви маєте багато дзвінків (>100), подумайте про те, щоб очистити телефон і починати його новий, щоб уникнути проблем з довготою

5. Об 'єднати з OpenAPI

Для максимального реалізму, використовувати контексти з OpenAPI-спекками:

### Load spec with context
POST /api/openapi/specs
{
  "name": "petstore",
  "source": "https://petstore3.swagger.io/api/v3/openapi.json",
  "basePath": "/petstore",
  "contextName": "petstore-session"
}

### All petstore endpoints will share the same context

Рівень ефективності

Використовування пам 'яті

Кожен контекст зберігає:

  • До 15 нещодавні дзвінки
  • Підсумок старих дзвінків (kompressedM SK1
  • Вичерпані спільні дані (малий словникM SK1

Типова пам 'ять за контекстМSK0 ~50-200 КБ в залежності від розмірів реагування

Безпека ниток

OpenApiContextManager використання ConcurrentDictionary для потоку

Лімінії токена LLM

Історія контексту включена в кожен про prompt. Якщо у вас є дуже великі відповіді або багато дзвінків , ви можете підійти до граничних токенів

Ограничення

  1. В-Только пам 'ять - Контексти втрачаються при перезапускі сервера
  2. Немає стійкості - Не підходить для зберігання інформації для виробництва
  3. Один сервер - Контексти не синхронізуються ' через декілька instanцій сервера
  4. В залежності від LLM - Якість послідовності залежить від здатності LLMM SK1 слідувати інструкціям

Завершення

Контексти API перетворюють безладні макетні API у симуляції, які зберігають послідовність по всіх зв 'язках з ними. Неважливо, чи ви тестуєте еM SK2 торговий потік , моделюєте реальне МSK4 потоки даних часу M SK5 або створюєте прогрес стадії гри , контексти гарантують, що ваші макетові дані розповідають спільну історію MSC7

Автоматичне видобуток об 'єднаних даних, інтелектове підсумуванняM SK1 і безперервна інтеграція у всіх видах кінцевого punktu роблять контексти потужним інструментом для реалістичного тестування та розвитку API.

Для більш заawansованих сценаріїв, об 'єднати контексти з спецификаціями OpenAPI, щоб створити повністю - вбудовані макетні API, які ведуть себе так само, як і справжні

Finding related posts...
logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.