LLMApi: Записки про реліз (Українська (Ukrainian))

LLMApi: Записки про реліз

Sunday, 02 November 2025

//

27 minute read

NOTE: Це записки про реліз від gitHub.

Інтордукція

Тільки поради щодо релізу з цього пакету nuget. Це M SK1live' з GitHub, тож буде часто обновлятисяMSC3

Записки про реліз

v2.3.0 M SK1 Повний тип контенту

ВипущеноМSK0 Декабрь МSK1 2025 Концентрація: Полна підтримка HTTP типів контенту - бланки МSK2 завантаження файлів МSK3 глибокі шляхи

Ця релізація додає повну підтримку для всіх типов спільного HTTP контенту, роблячи макетну API здатною до HTML форм, завантаження файлівM SK2 і складних вбудованих шляхів . Всі funkcje використовують ручну конструкцію JSON для MSC4 NET МSK5 здатності комп 'ютеризувати МSK6

Найголовніше

1. Formularz Body Support application/x-www-form-urlencoded) 🔥

Проблема вирішена: Немає підтримки для відправлення HTML-форм МSK1 фундаментальний тип HTTP контентуM SK2

Рішення: Автоматична конвертація форм даних в JSON з правильним відхиленням

До прикладу:

curl -X POST http://localhost:5116/api/mock/users/register \
  -H "Content-Type: application/x-www-form-urlencoded" \
  -d "username=john_doe&[email protected]&age=30"

Характеристики:

  • Одиниці та багатовимірні значення (ланцюгиM SK1
  • Специальний персонаж, що втікає (quotesM SK1 backslashes, newlinesMSC3 tabs )
  • Obsługа Unicode та емотик
  • Ручна конструкція JSON (без відбиття
  • Використовування пустої вартості

Багато цінностей:

curl -X POST http://localhost:5116/api/mock/posts \
  -d "title=My Post&tags=tech&tags=programming&tags=llm"

Метки автоматично конвертуються в массив JSON: ["tech", "programming", "llm"]

2. Obsługа завантаження файлів multipart/form-data) 🔥

Проблема вирішена: Ніяких підключень до завантаження файлів

Рішення: Пам 'ятьM SK1безпечний поток файлів з вилученням метадань

До прикладу:

curl -X POST http://localhost:5116/api/mock/photos/upload \
  -F "title=My Photo" \
  -F "description=Beautiful sunset" \
  -F "[email protected]"

Характеристики:

  • Пам 'ять-Безпека потоку: Файлі читаються через 8KB буфер і відкидають МSK2не зберігаютьсяM SK3
  • Видобуток метадань: Имя файла , тип контенту МSK2 розмір M SK3 байти читані
  • Багато файлів: Завантаження декількох файлів в одному запиті
  • Перемішаний контент: Поля форм МSK1 разом з файлами
  • Велика підтримка файлів: Випробовували з файлами
  • Різниця типу контенту: Текст, PDFM SK2 JPEGMSC3 бінарний - всі підтримовані

Як це працює:

  • Содержание файлу просувається і відкидається (захищає bloat пам 'яті)
  • Лише метадані зберігаються і передаються до LLM
  • LLM генерує відповідний відгук на основі контексту завантаження

Наприклад, реакція:

{
  "message": "File uploaded successfully",
  "file": {
    "fieldName": "image",
    "fileName": "photo.jpg",
    "contentType": "image/jpeg",
    "size": 524288,
    "processed": true
  }
}

3. Arbitrary Path Lengths 🔥

Проблема вирішена: Ограничена поддержка глибини маршруту - РESTful API часто використовують глибокий поміщування

Рішення: Полна підтримка глибоких маршрутів через {**path} ловити-все маршрутизування

До прикладу:

# 9-segment deep path
curl "http://localhost:5116/api/mock/v1/api/products/electronics/computers/laptops/gaming/high-end/2024/details"

# RESTful resource structure
curl "http://localhost:5116/api/mock/v2/organizations/org-123/departments/dept-456/employees/emp-789/reviews"

# With complex query string
curl "http://localhost:5116/api/mock/products/search?category=electronics&brand=Dell&model=XPS15&price_min=1000&price_max=2500"

Характеристики:

  • Немає практичних обмежень в глибині маршруту ( перевірено на МSK1 сегментиM SK2
  • Параметри запиту повністю зачувані
  • Работає з усіма HTTP методами (GET, POSTM SK2 PUT , DELETEMスク4 PATCHMSC5
  • Створюється з бланками та завантаженнями файлів
  • LLM враховує сегменти маршруту у реальні відповіді

Технічне забезпечення

.NET 10 Схожість

Використовуються всі функції ручна конструкція JSON щоб уникнути відбиття

// Manual JSON escaping
private static string EscapeJsonString(string str)
{
    return "\"" + str
        .Replace("\\", "\\\\")
        .Replace("\"", "\\\"")
        .Replace("\n", "\\n")
        .Replace("\r", "\\r")
        .Replace("\t", "\\t")
        + "\"";
}

**Чому Manual?**МSK0 . NET МSK2 блокує відображання - базується на серійуванні в вирізьбленому M SK4 غوښتنلیکи AOT для продуктивності та безпеки .

Пам 'ять-Безпека підходу до файлів

// Stream and dump file content
var buffer = new byte[8192];
long totalRead = 0;
int bytesRead;

while ((bytesRead = await stream.ReadAsync(buffer)) > 0)
{
    totalRead += bytesRead;
    // Content is discarded - only track size
}

Результат: Константний OM SK1 використання пам 'яті незалежно від розміру файла.

Комплексне тестування

Нові тестиМSK0 60 тести МSK2 одиниця + ♫ ♫ МSK4 ♫ інтеграція Уся система тестуванняТести : МSK1 Пропускна швидкість: 100%

Випробувати файли:

  • FormBodyHandlingTests.cs - МSK1 тести для аналізу форми
  • JsonHandlingTests.cs - 25 тести для витіку та видобутку JSON
  • V2_3_0_FeatureTests.cs - МSK1 тести на інтеграцію для повних потоків роботи

Освіта:

  • Формальний аналіз тіла (одинціальні значенняM SK1 діаграми , особові символи МSK3 одиночний код М SK4 emotіони M SK5
  • Мультичастинні дані форм ( видобуток метаданьM SK1 змішані поля + файли M SK3 великі файли
  • Потік від JSON ( усі особливі символи , рёберні casesM SK2
  • Глубокі шляхи ( до МSK1 сегменти МSK2 складні питання ,
  • Об 'єднані сценарії (довший шлях МSK1 бланки MSК2 файли)

Результати

Досконалість завантаження файлів:

  • Пам 'ять: Констанція OM SK1 - тільки МSK3 Кб буфер у пам 'яті
  • Швидка: Streaming дозволяє створювати великі файли без блокування
  • Безпека: Конtent ніколи не зберігавсяM SK1 запобігає атакам DoS

Конструкція JSON:

  • Ручне порятунок 10-20% швидше, ніж відображання
  • Менше колекцій GC
  • Упередбачувана поведінка в часі бігу

Зрушення змін

✅ Ніхто - Повний зворотній зв 'язок

  • Усі існуючі функції працюють незмінно
  • Жодних змін поверхні API
  • Konfiguration backward compatible
  • Нульові регресії (вся МSK1видатність існуючих тестів

Руководство по міграції

Жодної міграції не потрібно! Усі зміни - додатковіM SK1

// Existing code works as-is
builder.Services.AddLLMockApi(builder.Configuration);
app.MapLLMockApi("/api/mock");

// New content types automatically supported
// - JSON (existing)
// - Form bodies (new)
// - File uploads (new)
// - Deep paths (enhanced)

Документація

Нова документація:

  • TEST_SUMMARY.md - Полне покрытие тестів МSK1 нові тести МSK2
  • IMPLEMENTATION_SUMMARY.md - Технические деталі розробки
  • V2_3_0_TESTS.md - Dokumentacja тесту на інтеграцію

Обновлена документація:

  • README.md - Нові приклади використання бланків МSK1 файли , глибокі шляхи
  • Обновлений розділ "" МСК0 "", "" Що? "" "'" та "" Новое "".
  • Список обновлень
  • Обновлений розділ тестування

Знані обмеження

  1. Контент файлу підкидається ( не доступний для аналізу LLMM SK1
  2. Максимальний розмір файлу обмежений стандартами ASP.NET
  3. Задайте конвенцію нанесення назви поля массива: двійкові назви pól стають tablicами

Використовуйте випадки

Formularz для підтримки тіла:

  • Тестування HTML-форми (заlogin,реєстраціяM SK2 коментаріМSK3
  • Традиційні веб-приложения
  • URL-кодеровані API-клиенти

Підтримка завантаження файлів:

  • Завантаження інтерфейсів документу
  • Тестування завантаження зображення
  • Обновлення фото profilu
  • Обробка пакетних файлів
  • Обробка załącznikів

Глибокі шляхи:

  • Структури RESTful API
  • Множество-застосувань
  • Ієрархічний доступ до ресурсів
  • Складні схеми маршрутування

Додачі

Всі v2.3.0 характеристики, розроблені та перевірені командою API LLMock


v2.2.0 M SK1 Наrzędziа для вмонтування & Упередні МSK3 Конфигуровані API

Концентрація: MCPM SK1совладнана система інструментів, перед-конфигуровані API RESTMSC4 і розумна пам 'ять контексту

Ця релізація представляє потужну встромляну систему інструментів для виклику зовнішніх API і відслідковування макетних кінцевих точок, разом з попередньою -конфигурованими визначеннями API REST, які eliminують повторювану конфігураціюM SK2 Контекстна пам 'ять тепер є самовідтворюваною-здатною керувати автоматичним вичерпуванням і комплексним виділенням поляMSC4

Найголовніше

1. Вмонтовані інструменти & Система дій МSK2

Проблема вирішена: Ніяких способів викликати зовнішні API чи кондитори з моделью ланцюга, щоб створити реалістичні робочі потоки та дерева прийняття рішень

Рішення: MCP-совладна система інструментів з HTTP і Mock

Типи інструментів:

Наrzędziя HTTP - Визовні API для решти :

{
  "Name": "getUserData",
  "Type": "http",
  "HttpConfig": {
    "Endpoint": "https://api.example.com/users/{userId}",
    "Method": "GET",
    "AuthType": "bearer",
    "AuthToken": "${API_TOKEN}",  // Environment variable support
    "ResponsePath": "$.data"       // JSONPath extraction
  }
}

Наrzędziя для сміху - Моделі кінцевих точок ланцюга для decisions treesM SK1

{
  "Name": "getOrderHistory",
  "Type": "mock",
  "MockConfig": {
    "Endpoint": "/api/mock/users/{userId}/orders",
    "Method": "GET",
    "QueryParams": { "limit": "10" },
    "Shape": "{\"orders\":[{\"id\":\"string\",\"total\":0.0}]}"
  }
}

Найголовніше:

  • Заміна шаблону: {paramName} позиціонери в URL-х, заголовкахМSK1 тілах
  • Різниця в середовищі: ${ENV_VAR_NAME} для secure credential storage
  • Аuthentication: Bearer , Basic, API Key Support
  • Видобуток JSONPath: Вирізати специфічні поля з відповідей
  • Набір інструментів: Виконувати кілька інструментів в послідовності
  • Ограничення безпеки: MaxToolChainDepth і MaxConcurrentTools запобігають запуску
  • Результати Caching: Cache дорого коштує операцій на кожен запит
  • МПК Kompatibilна: Архітектура готова для інтеграції з моделью контекстного протоколу

Моди виконання:

  • Disabled: Наrzędziа недоступні
  • Explicit: Зателефонувати через ?useTool=name або X-Use-Tool заголовок (Phase МSK1 МSK2 currentM SK3
  • LlmDriven: LLM вирішує, які інструменти підключати (Phase МSK2 МSK3 майбутнє M SK4

До прикладу:

# Execute tool explicitly
GET /api/mock/user-profile?useTool=getUserData&userId=123

# Chain multiple tools
GET /api/mock/dashboard?useTool=getUserData,getOrderHistory&userId=123

# Tool results automatically merged into LLM context
Response: {
  "user": { /* enriched with real API data */ },
  "orders": [ /* from tool chain */ ]
}

Документація: docs/TOOLS_ACTIONS.md МSK0 лінії)

2. Предідущий МSK1 Конфигуровані API для решти 🔥

Проблема вирішена: Репертуативна конфігурація для спільних API-patternів

Рішення: Визначати повну конфігурацію API один раз , виклик по імені

До прикладу::

{
  "RestApis": [
    {
      "Name": "user-profile",
      "Method": "GET",
      "Path": "profile/{userId}",
      "Shape": "{\"user\":{},\"orders\":[],\"recommendations\":[]}",
      "ContextName": "user-session",
      "Tools": ["getUserData", "getOrderHistory"],
      "Tags": ["users", "composite"],
      "CacheCount": 5,
      "RateLimitDelay": "500-1000"
    }
  ]
}

Obsługовані характеристики:

  • Спеціальність форми: Форма JSON або посилання на спецификацію OpenAPI
  • Інтеграція OpenAPI: OpenApiSpec + OpenApiOperationId для генерації schema-
  • Поширений контекст: Автоматичне управління контекстом через ContextName
  • Інтеграція інструментів: Pre-налагодити, які інструменти виконувати
  • Метки/Группы: Організувати API по категорії
  • Ограничення швидкості: Per-API конфігурація затримки
  • N-Завершення: генерувати багато варіантів
  • Стримування: Включити стріминг SSE
  • Симулювання помилки: Вбудована- в конфігурації помилок
  • Початкові параметри: Парами та заголовки запиту

Прибутки:

  • Нуль повторення: Налагодити один разM SK1 використовувати всюди
  • Сpójне тестування: Схожа формаM SK1контекст у команді
  • Швидкій прототип: Зателефонувати ім 'я замість запитів на будівлю
  • Документація: API - це самодокументування в конфігурації

Використовування ( за допомогою концепцій менеджменту

# List all configured APIs
GET /api/configured

# Execute configured API
GET /api/configured/user-profile?userId=123

налаштування.FullM SK1json: 8 повні приклади, включно з eM SK2 commerce workflows МSK3 monitoring API МSK4 і тестування сценаріїв

3. Динамічна пам 'ять контексту з автоматичним вичерпанням

Проблема вирішена: Контекстна пам 'ять, яка раніше накопичувалась невичерпноM SK1 потребує ручної чистки і потенційно призводить до витіку пам' яті в довгих - закінчуючих тестових сеансів або CI

Рішення: ASP.NET Core IMemoryCache з знижуванням терміну

// NEW: Automatic expiration with sliding window
public class MemoryCacheContextStore : IContextStore
{
    private readonly IMemoryCache _cache;
    private readonly TimeSpan _slidingExpiration; // Default: 15 minutes

    // Contexts automatically expire after inactivity
    // Every access refreshes the expiration timer
    // Zero risk of memory leaks!
}

Найголовні переваги:

  • Нуль ручна чистка: Контексти зникають автоматично після 15 хвилин неактивності
  • Вичерпування Sliding: Timer відпочиняється на кожному вызові API - активні контексти ніколи не закінчуються
  • Ефективність пам 'яті: Чудово для труб CIM SK1CD
  • Набір тривалості: Установка від МSK1 хвилин до МSK2 годин, залежно від ваших потреб

Konfiguracja:

{
  "mostlylucid.mockllmapi": {
    "ContextExpirationMinutes": 15  // Default: 15 (range: 5-1440)
  }
}

Рекомендовані встановлення:

  • 5 хвилин: Швидкі випробування на одиниці
  • 15 хвилин: Початковий МSK1 загальний тест розвитку МSK2 запропонований
  • 30 хвилин: Комплексні багатопорядковіM SK1ступні робочі потоки
  • 60+ хвилин: Довгий експериментальний тест

2. Розумна об 'єднання даних

Проблема вирішена: Тільки зашифровані поляid, userId, name, email) відслідковували МSK1 обмежуючи послідовність для доменів МSK2 специфічні поля, такі як SKUs , номери записів \ , \ Ссылкові коди \ МSK5 \ і т.п.

Рішення: Рекурсивне вилучення поля, яке захоплює Все поля автоматично

До МSK0v2.1.0):

// Only 4 hardcoded fields extracted
{"lastId": "123", "lastUserId": "456", "lastName": "Alice", "lastEmail": "[email protected]"}

Тепер (vM SK1:

// ALL fields extracted up to 2 levels deep
{
  "orderId": "123",
  "sku": "WIDGET-01",
  "price": "49.99",
  "customer.customerId": "456",
  "customer.tier": "gold",
  "customer.address.city": "Seattle",  // Nested 2 levels
  "items.length": "1",
  "items[0].productId": "789",
  "items[0].quantity": "2",
  // Legacy keys still work:
  "lastId": "123"
}

Нові можливості:

  • Вбудовані об 'єкти: Зразки address.city, payment.cardNumber з позначкою крапки
  • Переслідування ланцюга: Длина арахісівок в магазині МSK1items.length: 5)
  • Перші дані: Захоплення items[0].productId автоматично
  • Поля на замовлення: Будь-яка домена -конкретне поле тепер відслідковується
  • Неограничені домена: Роботи для е-сайту МSK1 Торгівля МSK2 фінанси , охорона здоров 'я , , ігри , МSK5 і т.д.
  • Похибка до комп 'ютера: спадок lastId, lastUserId ключі все ще працюють

Реальний- Світовий вплив:

### Create order with SKU and tier
POST /api/mock/orders?context=checkout
Response: {"orderId": 123, "sku": "WIDGET-01", "customer": {"tier": "gold"}}

### Apply discount - automatically uses same SKU and tier!
POST /api/mock/discounts?context=checkout
Response: {
  "discountId": 789,
  "sku": "WIDGET-01",      ← Same SKU from previous call
  "customerTier": "gold",  ← Same tier from previous call
  "discount": 0.15
}

ЛЛМ тепер бачить всі витягує поля в проміжку і зберігає послідовність по всій домені-конкретні дані без жодної конфігурації

Технические деталі

Система вмонтованих інструментів:

Конфігурація інструментів (Models/ToolConfig.cs):

  • Комплексна модель конфігурації для всіх типів інструментів
  • Поддержка HTTP, Mock, та вичерпних типів інструментів
  • Сchéми параметрів з підтвердженням типу
  • Конфигурація тайм-аут таキャッシュування

ХтпToolExecutor (Services/Tools/HttpToolExecutor.cs):

  • Заміна шаблонів у тілах URL, заголовків,, використовуючи {paramName}
  • Різниця роздільної здатності середовища ${ENV_VAR_NAME}
  • Authentication: Bearer, BasicM SK2 API Key
  • Видобуток реакції JSONPath
  • Розробка системних помилок

МокToolExecutor (Services/Tools/MockToolExecutor.cs):

  • Викликає інші макетні кінцеві точки для потоків роботи дерева прийняття рішень
  • Obsługа всіх конструкцій з mock endpoint: (Shape,ContextM SK2 і т.д.
  • Дасть можливість комплексних симуляцій інтерфейсу multi-step

Регістрія інструментів (Services/Tools/ToolRegistry.cs):

  • Досліджує та підтверджує конфігуровані інструменти
  • Виширюваність rejestracji виконавця через IToolExecutor інтерфейс
  • генерує визначення інструментів для LLM (Phase 2 readyM SK2

Оркестратор інструментів (Services/Tools/ToolOrchestrator.cs):

  • координує виконання інструмента з обмеженнями безпеки
  • MaxToolChainDepth tracking per request (prevents infinite loopsM SK1
  • Ограничення MaxConcurrentTools
  • Caching результатів за кожен запит
  • Результати форматування для поєднання контексту LLM

-Налагодження API для тестування:

RestApiConfig (Models/RestApiConfig.cs):

  • Полна модель визначення API
  • Спеціальна підтримка OpenAPI
  • Інтеграція інструментів, ярликиM SK1 початкові параметри
  • Всі моделі МСК0 форма МSK1 контекст МСК2 обмеження швидкості М СК3 стріминг M СК4 конфігурація

РестAPіRegistry (Services/RestApiRegistry.cs):

  • Завантаження та перевірки всіх конфігурованих API
  • Thread-безпечний пошук з ConcurrentDictionary
  • Авто- перезавантаження при змінах конфігурації M SK1IOptionsMonitor)
  • Метка-залежне відфільтрування та групування
  • Validation: поля, що їх потрібно заповнювати

Пам 'ять в контексті:

Контекстовий магазин пам 'яті (Services/MemoryCacheContextStore.cs):

  • Використовується IMemoryCache з SlidingExpiration можливість
  • Реестр PostEvictionCallback для автоматичної очистки журналу
  • Thread-безпечний з ConcurrentDictionary для відстеження ім 'я
  • Виявление і видалення заповнених записів на перерахунках

OpenApiContextManager (Services/OpenApiContextManager.cs):

  • Нова ExtractAllFields() метод із рекурсивним вилученням
  • Рекурсивне видобуток поля з конфігурованою глибиною (defaultM SK1 2 рівнями)
  • Рухає вбудованими об 'єктами, массивамиM SK1 та примітивними значениями
  • Трюнкційна поправка: довгі стрічки (>100 символи МSK2 тепер відрізані в Спільних даних, щоб запобігти bloat
  • Похибка здатна до видобутку залишнього поля

Konfiguracja (LLMockApiOptions.cs):

  • Нова Tools tablicа для визначення вставляних інструментів
  • Нова ToolExecutionMode енум (НевключенийM SK1Поширений /LlmDriven)
  • Нова MaxConcurrentTools і MaxToolChainDepth обмеження безпеки
  • Нова RestApis tablicа для конфігурованих API DEFINITIONS перед -
  • Нова ContextExpirationMinutes властивість (defaultM SK1 15, діапазон
  • Усі зареєстровані в DI через LLMockApiExtensions.RegisterCoreServices()

Тестування

8 Нові тести всередині OpenApiContextManagerTests.cs:

  • ✅ Динамічне видобуток всіх примітивних полей
  • ✅ Видобуток Nested об 'єктів з позначкою крапки
  • ✅ Прослідкування довжиниArray
  • ✅ Вилучення поля першого елементу массива
  • ✅ Багато рівнів гніздування МSK1 по замовчуванню
  • ✅ Смішні типи даних МSK1стрічкиM SK2 числа, boolіїMSC4
  • ✅ Похибка комбінації з застарілими ключами
  • ✅ Об 'єкти на краю ( пусті об' єкти

Обновлення документації

Нова документація:

  • docs/TOOLS_ACTIONS.md (500+ лініїM SK1 Полний інструкт для вмонтованої системи інструментів

    • Обзор і компромісність з MCP
    • Типи інструментів (HTTP і Mock)
    • Конфігурація з усіма параметрами
    • Методи аутентифікації (Піддяга МSK1 Базовий МSK2 API Key )
    • До прикладів та шаблонів використання
    • Моделі дерев для прийняття рішень з mock-tools
    • Заawansовані сценарії ( умовна логіка , динамічні кінцеві точки M SK2 шаблони для POSTу МSK3
    • Фаза 2/3 дорожній план МSK1 ЛЛМ МSK2вибір керованого інструмента , передові дерева для прийняття рішень
    • Відказ на API з схемами TypScript
    • Розгадування проблем та проблеми з їх виконанням
  • docs/RATE_LIMITING_BATCHING.md: Комплексний інструкт для обмеження швидкості

    • Опції та стратегії конфігурації
    • N-завершення з байтингом
    • Переслідування статистики кінцевих точок
    • До прикладів тестування ефективності

Обновлені файли:

  • README.md: Нова sekcja vM SK1 з інструментами та програмними інтерфейсами
  • appsettings.Full.json: Повні приклади дляM SK1
    • 5 конфігурації інструментів
    • 8 pre-конфигуровані визначення API REST
    • До прикладів аутентифікації інструмента
    • Моделі дерева прийняття рішень
  • LLMApi.http: 20+ нові приклади HTTP запитів
    • Виконування інструмента через парами та заголовки запиту
    • Примери замінювання шаблонів
    • Шаблони наслідування інструментів
    • Ось приклади аутентифікації
    • Видобуток JSONPath
    • Наслідування ефективності
  • docs/API-CONTEXTS.md: Полне переписання контексту зберігання та видобутку спільних даних
    • Архітектура IMemoryCache
    • Хіба поведінка знижування
    • Ось приклади динамічного видобутку
    • Насправді-world використовує випадки з вбудованими даними
  • CLAUDE.md: Обновлено з усіма новими параметрами конфігурації
    • Наrzędziа & Конфигурація дій
    • -конфигуровані API для решти
    • Встановлення вичерпування контексту

Зрушення змін

Ніхто - Повний зворотній зв 'язок з vM SK1

  • Видобуток залишків поля (lastId, lastUserId, і т.д.
  • Сущений контекстний код продовжує працювати без змін
  • Нова функція - автоматичний - ніяких змін коду не потрібно

Руководство по міграції

Жодної міграції не потрібно! Обновляйте і насолоджуйтесь автоматичними перевагами:

  1. Вичерпнення контексту: Автоматічні контексти - тепер очищуються самі
  2. Удосконалена видобуток: Автоматичний МSK1 всі поля тепер відслідковуються

Невключна: Установити термін закінчування, якщо по замовчуванню МSK1 хвилини не підходять до вашого робочого потоку

{
  "mostlylucid.mockllmapi": {
    "ContextExpirationMinutes": 30  // Increase for longer test sessions
  }
}

Вплив на ефективність

Використовування пам 'яті: Скидки в цілому через автоматичний термін служби

  • Контексти більше не накопичуються незмінно
  • CI/CD труби залишаються пам 'яттюM SK1ефективні
  • Довгий-направляючі послуги саміM SK1czyste

Видобуток: Minimal (< МSK2ms per responseM SK3

  • Рекурсивний видобуток дуже оптимізований
  • Лише запускається на відгуках з контекстами
  • Вказівник на глибину запобігає рекурсії

Використовування символів: Трохи збільшено

  • Більше полей в спільних даних = трохи довші пропони
  • Типове збільшення : МSK1 टोकенів за контекст
  • Офсет за допомогою автоматичного вичерпування (менше контекстів в цілому )

Компatybilність

  • У pełni зворотній зв 'язок з v2.1.0
  • Усі існуючі функції продовжують працювати
  • Жодних змін
  • Обновлення-вM SK1рекомендуване місце

v2.1.0 M SK1 ♫ ♫ МSK2 ♫ Якість ♫ & ♫ Веріалізація

Концентрація: Удосконалена надійність , комплексне тестування M SK2 і покращений досвід програмістів

Ця релізація спрямована на покращення надійності відокремлення, забезпечення комплексного інструментарію для перевірки , та упорядкування управління конфігураціями МSK2 Усі характеристики з v M SK3 залишаються повністю сов 'язливими

Великі покращення

1. Комплексний пакет для перевірки HTTP

  • 70+ Тестові випадки: Полне покрытие для перевірки в LLMApi.http
    • Менеджмент OpenAPI (загрузити, списокM SK2 отримати , розгрузити
    • Керування інтерфейсом API ( з 'являти , оновлювати МSK2 зупинятись M SK3 возобновувати , видалити MSC5
    • Прото-менеджмент gRPC (uploadMSC1 listMsc2 getMSc3 servicesM sc4 callMsc5
    • Неперервне перевірки потоку SSE
    • Тестування з великими массивами
    • Історія контексту та налаштування описів
    • Вибір зворотнього коду (XM SK1LLM-Главний заголовок МSK3
    • Випробовування схеми (включноSchema + XM SK2Реакцію-SchemaMSC4
    • Веріалізація комбінованих характеристик
    • Симулювання помилок (комплексні коди błędów HTTP)

2. Удосконалена надійність

  • Очевидне форматування сукупності: Удосконалені про prompts з ультраM SK1визначні інструкції для генерації массивів JSON
    • Додали критичні правила форматування в PromptBuilder.cs: " Вашою першою буквою має бути ["
    • Усилення форматування массива в ChunkingCoordinator.cs фрагмент контексту
    • Prevents comma-separated object output {...},{...} замість [{...},{...}])
  • Поліпшена інструкція:: Кращі настанови для LLM під час різних запитів
  • Знані обмеження: Задокументована модельM SK1Рекомендації щодо температури для оптимального відокремлення МSK2patrz docs/OLLAMA_MODELS.md)

3. Структурування конфігурації

  • Чисти appsettings.json: Усунули застарілі коментарі до моделіM SK1 чистіша структура
  • docs/OLLAMA_MODELS.md: Нова цілковита інструкція для орієнтації
    • 10+ модельні конфігурації з обладнанням
    • Руководство щодо температури для різних випадків використання
    • Рекомендації щодо розміру контекстного вікна
    • Кілька прикладів konfiguracji Multi-
    • Руководство по урегулюванням проблем
    • Модель інструкцій щодо instalacji

4. Поліпшення документації

  • Полна документація Swagger: Усі кінцеві точки управління 25+ тепер мають повні доки Swagger
    • Метки організації (OpenAPI Management , API Contexts, gRPCM SK3 і т.д.
    • Підсумки та детальні описи
    • Ось приклади відповідей
  • Справка з API: Нова docs/BACKEND_API_REFERENCE.md МSK0 лінії)
    • Полна документація кінцевого пункту
    • Параметри пошуку та заголовки
    • Формати відповідей на помилки
    • Документація хабу SignalR

Поправки Bug

  • Исправлена проблема кодування URL в тесті HTTP для описів кінцевих точок OpenAPI (:, /, {, } символи)

Перероблені файли

Зміна коду:

  • mostlylucid.mockllmapi/Services/PromptBuilder.cs: Поширені інструкції щодо форматування массивів
  • mostlylucid.mockllmapi/Services/ChunkingCoordinator.cs: Добавлено форматування массивів у контексті фрагменту (line МSK2
  • LLMApi/appsettings.json: Структурована конфігурація

Нова документація:

  • docs/OLLAMA_MODELS.md: Комплексний інструктор з конфігурації моделей
  • docs/BACKEND_API_REFERENCE.md: Справка з API для повного управління

Обновлені файли:

  • LLMApi/LLMApi.http: Поширено з МSK1 до МSK2 ліній (70+ нові тести на перевірку

Знані обмеження

Занурення у високу температуру:

  • LLM можуть генерувати комами- відокремлені об 'єкти замість массивів при температурі M SK1
  • Реакції:
    1. Нижча температура до 0.8-1.0 для фрагментованих запитів
    2. Використовуйте ламу3.2:3b або мистральM SK1немо (ліпша інструкція, що йде за МSK3
    3. Скорінити кількість елементів, щоб уникнути відокремлення
    4. Виключити авто- підключення з ?autoChunk=false

Подивіться docs/OLLAMA_MODELS.md для детального розв 'язання проблем.

Компatybilність

  • У pełni зворотній зв 'язок з v2.0.0
  • Усі існуючі функції продовжують працювати
  • Жодних змін

v2.0.0 M SK1 ≥- MAJOR RELEASE

Ніяких значних змін - Незважаючи на погані варіанти , всі існуючі коди продовжують працювати

Це важливий етап розробки, який перетворює API LLMock на комплексну, виробництво-платформу для реактивного монтажуM SK2 Версію МSK3 додає реалістичні режими потоку SSE , мультипліктні МSK5 балансування завантаження за допомогою заданого модуляMSC6 комплексне відбору заданих модулів за допомогоюзаданого modułу заданої модуліMska7 та обширну документаціюM Ska8

Найголовніше

1. Реальність потокових режимів SSE

Три різні режими потоку SSE для тестування різних моделей реального-world API patterns

У trybie LlmTokens (Default - Backward Compatible

  • Торгівля-поM SK1торговий поток для інтерфейсів чату штучного інтелекту
  • Формат: {"chunk":"text","accumulated":"fulltext","done":false}
  • Використовуйте випадок: тестування інтерфейсів чатбота, застосування LLM

У trybie повних об 'єктів МSK0NEW)

  • Завершити об 'єкти JSON як окремі події SSE
  • Формат: {"data":{object},"index":0,"total":10,"done":false}
  • Корпус для використання : Twitter/X APIMSC2 stock tickers, realM SK4time feedsMST5 IoT sensors

У режиміArrayItems МSK0NEW)

  • Артеї з багатьма метаданками
  • Формат: {"item":{object},"index":0,"total":100,"arrayName":"users","hasMore":true,"done":false}
  • Використовуйте шаблони: Результати з веб-страниM SK1 Eksport у великих партіях , результати пошуку

Konfiguracja:

{
  "MockLlmApi": {
    "SseMode": "CompleteObjects"  // LlmTokens | CompleteObjects | ArrayItems
  }
}

Per-Request Override:

GET /api/mock/stream/users?sseMode=CompleteObjects
GET /api/mock/stream/data?sseMode=ArrayItems
GET /api/mock/stream/chat?sseMode=LlmTokens

До прикладу Client (ComppleteObjects):

const eventSource = new EventSource('/api/mock/stream/users?sseMode=CompleteObjects');

eventSource.onmessage = (event) => {
    const response = JSON.parse(event.data);

    if (response.done) {
        console.log('Complete!');
        eventSource.close();
    } else {
        console.log(`User ${response.index + 1}/${response.total}:`, response.data);
        // response.data contains the complete user object
    }
};

2. Мультифікатор МSK1Підзалежне балансування obciążeń MAJORM SK3

Розповсюджувати запити через кілька LLM-задаліків для високого пропускної спроможності:

Konfiguracja:

{
  "MockLlmApi": {
    "Backends": [
      {
        "Name": "ollama-llama3",
        "Provider": "ollama",
        "Weight": 3,
        "Enabled": true
      },
      {
        "Name": "ollama-mistral",
        "Provider": "ollama",
        "Weight": 2,
        "Enabled": true
      },
      {
        "Name": "lmstudio-default",
        "Provider": "lmstudio",
        "Weight": 1,
        "Enabled": true
      }
    ]
  }
}

СигналR Hub з балансуванням навантаження:

{
  "HubContexts": [
    {
      "Name": "high-throughput-data",
      "BackendNames": ["ollama-llama3", "ollama-mistral", "lmstudio-default"]
    }
  ]
}

Особенности:

  • Виміркований круг-розділ робіна
  • Per-запрос вибору зворотнього кінця
  • Автоматичний відхилення до початкового рівня, якщо зворотній бік не доступний
  • Работає з сигналом R, SSE, RESTM SK2 і графом QL

3. Комплексне відбору зворотнього кінця

Per-Вибір запиту (Мількома методамиM SK1

# Via query parameter
GET /api/mock/users?backend=openai-gpt4

# Via header
GET /api/mock/users
X-LLM-Backend: openai-gpt4

# SignalR hub context
{
  "HubContexts": [
    {
      "Name": "analytics",
      "BackendName": "openai-gpt4-turbo"
    }
  ]
}

Багато постачальників одночасно:

  • Ollama ( локальні моделіM SK1
  • OpenAI (cloud API)
  • LM Studio ( локальний сервер)
  • МістральМСК0Немо МSK1k контекст)

4. MistralM SK1Nemo 128k Контекстна підтримка

Konfiguracja Mistral-Nemo з масивним 128k контекстним вікномM SK2

{
  "Backends": [
    {
      "Name": "ollama-mistral-nemo",
      "Provider": "ollama",
      "ModelName": "mistral-nemo",
      "MaxTokens": 128000,
      "Enabled": true
    }
  ]
}

Використовуйте cases:

  • Виробити тисячі детальних записів в одному запиті
  • Складні вбудовані структури даних з глибокими зв 'язками
  • Багаторазові операції ( MaxItems=10000+)
  • Комплексні дані тесту
  • Попити GraphQL з обширними вбудованими полями

Приклад SignalR:

{
  "HubContexts": [
    {
      "Name": "massive-dataset-128k",
      "Description": "Massive dataset generation with 128k context",
      "BackendName": "ollama-mistral-nemo"
    }
  ]
}

5. Swagger/OpenAPI UI

інтерактивна документація API з інтерфейсом Swagger UI:

  • Швагерський інтерфейс: Доступно на /swagger
  • Спеціакція OpenAPI: АвтоM SK1 генерується з кінцевих точок
  • Інтерактивне тестування: Випробуйте кінцеві точки прямо в браузері
  • Комплексні описи: Полна документація для всіх кінцевих точок
  • Навігація: Ссылка з заголовку сторінки демонстрації

Ввімкніть в програмі.csM SK1

builder.Services.AddEndpointsApiExplorer();
builder.Services.AddSwaggerGen();

app.UseSwagger();
app.UseSwaggerUI();

Переробка документів

Нові файли документації

  • docs/SSE_STREAMING_MODES.md (2,500+ лініїM SK1 - Повний інструкт для SEZ

    • Szczegółowе пояснення всіх трьох режимів
    • Зразки коду клієнта для кожного режима
    • Використовуйте матрицю для прийняття рішень
    • Різні діаграми
    • Руководство по міграції
    • Розділ розв 'язання проблем
  • LLMApi/SSE_Streaming.http - 30+ HTTP приклади для режимів SSE

    • Приклади для всіх трьох режимів SSE
    • Наведу приклади комбінованих властивостей: ( відбір закінчків , контекст M SK2 помилки )
    • Практичні приклади використання: ( підшипники для складових речей , вивоз у великих партіях МSK2 журнали
    • Ось приклади коду Client JavaScript

Обновлена документація

  • docs/CONFIGURATION_REFERENCE.md - Добавлено розділ про режими SSE
  • docs/MULTIPLE_LLM_BACKENDS.md - Удосконалена з балансуванням навантаження
  • appsettings.Full.json - Добавлено приклади SEZ-моду і Mistral

🧪 Поліпшення тестування

Нова підлога для тестування:

  • 22 Тести в trybie SSE (все, що проходить
    • Веріалізація рівня Enum
    • Konfigurаційний аналіз
    • Заперечити параметр запиту
    • Веріалізація формату подій для всіх режимів
    • Справа-нечутливе аналізу

Уся система тестування:

  • Тести 218 (213 пройшлоM SK1 5 тести на РПЦ пропущеніМSK3
  • Ніяких помилок у комп 'ютерній компіляції або попередження
  • Перевірений повний зворотній зв 'язок

🔧 Поліпшення конфігурації

Нові параметри налаштування:

{
  "MockLlmApi": {
    // SSE Streaming Modes (NEW)
    "SseMode": "LlmTokens",  // LlmTokens | CompleteObjects | ArrayItems

    // Multiple LLM Backends with Load Balancing (v1.8.0)
    "Backends": [
      {
        "Name": "backend-name",
        "Provider": "ollama",  // ollama | openai | lmstudio
        "BaseUrl": "http://localhost:11434/v1/",
        "ModelName": "llama3",
        "ApiKey": null,
        "MaxTokens": 8192,
        "Enabled": true,
        "Weight": 3,  // For load balancing
        "Priority": 10
      }
    ],

    // Legacy Single Backend (Still Supported)
    "BaseUrl": "http://localhost:11434/v1/",
    "ModelName": "llama3",

    // Auto-Chunking (v1.8.0)
    "EnableAutoChunking": true,
    "MaxInputTokens": 4096,
    "MaxOutputTokens": 2048,
    "MaxItems": 1000,

    // Streaming Configuration
    "StreamingChunkDelayMinMs": 0,
    "StreamingChunkDelayMaxMs": 0,

    // Cache Configuration
    "CacheSlidingExpirationMinutes": 15,
    "CacheAbsoluteExpirationMinutes": 60,
    "MaxCachePerKey": 5
  }
}

🌍 Різниця в середовищі

Комплексна підтримка змінних середовища з повною документацією:

# SSE Mode
export MockLlmApi__SseMode="CompleteObjects"

# Backend Selection
export MockLlmApi__Backends__0__Name="ollama-llama3"
export MockLlmApi__Backends__0__Provider="ollama"
export MockLlmApi__Backends__0__BaseUrl="http://localhost:11434/v1/"
export MockLlmApi__Backends__0__ModelName="llama3"
export MockLlmApi__Backends__0__Enabled="true"
export MockLlmApi__Backends__0__Weight="3"

# SignalR Hub Contexts with Backend Selection
export MockLlmApi__HubContexts__0__Name="analytics"
export MockLlmApi__HubContexts__0__BackendName="openai-gpt4-turbo"

# Or load balancing
export MockLlmApi__HubContexts__1__BackendNames__0="ollama-llama3"
export MockLlmApi__HubContexts__1__BackendNames__1="ollama-mistral"

📦 Новых файлів

Коральне забезпечення:

  • mostlylucid.mockllmapi/Models/SseMode.cs - SSE-мод एनум
  • mostlylucid.mockllmapi/Services/Providers/ILlmProvider.cs - Интерфейс постачальника
  • mostlylucid.mockllmapi/Services/Providers/OllamaProvider.cs - Поставщик Ollama
  • mostlylucid.mockllmapi/Services/Providers/OpenAIProvider.cs - Поставник OpenAI
  • mostlylucid.mockllmapi/Services/Providers/LMStudioProvider.cs - Поставник LM Studio
  • mostlylucid.mockllmapi/Services/Providers/LlmProviderFactory.cs - Фабрика постачальника
  • mostlylucid.mockllmapi/Services/LlmBackendSelector.cs - Логіка вибору

Тестування:

  • LLMApi.Tests/SseModeTests.cs - МSK1 Тести в trybie SSE

Документація:

  • docs/SSE_STREAMING_MODES.md - Повний інструкт для SSE МSK1 лініїM SK2
  • LLMApi/SSE_Streaming.http - 30+ ПрикладиSSE

📝 Обновлені файли

Корінні послуги:

  • mostlylucid.mockllmapi/LLMockApiOptions.cs - Добавлено SseMode нерухомість, LlmBackends tablicа
  • mostlylucid.mockllmapi/RequestHandlers/StreamingRequestHandler.cs - Добавлено маршрутизування в trybie SSE
  • mostlylucid.mockllmapi/Services/LlmClient.cs - Добавлено перенавантаження вибору в зворотньому середовищі
  • mostlylucid.mockllmapi/Services/MockDataBackgroundService.cs - Добавлено seleкція зворотнього кінця SignalR
  • mostlylucid.mockllmapi/Models/HubContextConfig.cs - Добавлено BackendName і BackendNames

Документація:

  • README.md - Обновлений до vM SK1 повний список характеристик
  • docs/CONFIGURATION_REFERENCE.md - Добавлено режими SSE та вибір зворотнього кінця
  • docs/MULTIPLE_LLM_BACKENDS.md - Удосконалено з прикладами балансування навантаження
  • appsettings.Full.json - Додали повні приклади

Демо-програма:

  • LLMApi/Program.cs - Добавлена конфігурація Swagger
  • LLMApi/Pages/_Layout.cshtml - Добавлено посилання інтерфейсу Swagger

🎨 Приклади використання

Обмен фондового ринку (Довершені ціліM SK1

GET /api/mock/stream/stocks?sseMode=CompleteObjects&shape={"ticker":"AAPL","price":150.25,"change":2.5}

Вивезти натовп покупців (ArrayItemsM SK1

GET /api/mock/stream/export-customers?sseMode=ArrayItems&shape={"customers":[{"id":"string","name":"string"}]}

Швидший інтерфейс чату (LlmTokens):

GET /api/mock/stream/chat?sseMode=LlmTokens&shape={"message":"Hello!"}

Високо-Сигнали IoT з пропускною спроможністю M SK1Завантаження врівноважена):

{
  "HubContexts": [
    {
      "Name": "iot-sensors",
      "BackendNames": ["ollama-llama3", "ollama-mistral", "lmstudio-default"]
    }
  ]
}

Массивний набір даних з контекстом 128k

GET /api/mock/stream/bulk-data?sseMode=ArrayItems&backend=ollama-mistral-nemo

Миграція з v1.x

Ніяких змін коду не вимагається!

Версия 2.0 є 100% зворотньою комп 'ютерною з vM SK2x:

// v1.x code - still works exactly the same
builder.Services.AddLLMockApi(builder.Configuration);
app.MapLLMockApi("/api/mock", includeStreaming: true);

// SSE streaming defaults to LlmTokens mode (original behavior)
// Legacy single backend config (BaseUrl/ModelName) still works

Опт-Включитися до нових функцийM SK1

// Same setup, just update appsettings.json
{
  "MockLlmApi": {
    "SseMode": "CompleteObjects",  // Switch to realistic streaming
    "Backends": [...]  // Add multiple backends
  }
}

Зрушення змін

ONE!

Незважаючи на великі зміни в версії до 2.0, немає жодних змін, що б 'ють

  • Початковий режим SSE - LlmTokens (оригінална поведінкаM SK1
  • Дощання BaseUrl/ModelName still supported
  • Усі існуючі кінцеві точки працюють без змін
  • Усі існуючі тести проходять
  • Повна похибка комп 'ютера підтримується

📈 покращення ефективності

  • Multi-Backend Balancing Load: розподілити навантаження через кілька instanцій LLM
  • Виміркована Rondа-Robin: Розробка розумного розподілу на основі заданих можливостей
  • Бакунок- конкретні обмеження символів: Оптимизувати можливості для кожного моделі '
  • У trybie повних об 'єктів: Менше SEZ подій МSK1 менше накладних витрат, ніж टोकен

Чому версія 2.0?

Ця релізація представляє фундаментальну трансформацію:

v1.xM SK1 Мок API з LLM- потужною генерацією

  • Єдиний LLM зворотній бік
  • Один режим потоку SSE
  • Базова konfigurація

v2.0: ProdukціяM SK1 Готова платформа для викидів

  • Багато LLM-засадників з балансуванням навантаження
  • Три реальні режими потоку SSE
  • Охоплюваний зворотній бік
  • Produkція-конфигурація масштабу МSK1контекстиM SK2
  • Enterprise- Готова документація
  • Документація інтерактивного API (Swagger)

Версия 2.0 визначає інтерфейс LLMock API як комплексну платформу для монтування, що здатна працювати з виробництвом

Полна документація

🙏 Дякую

Дякую всім користувачам та допомічникам, які допомогли сконструювати API LLMock в комплексній платформі для монтування.. Ваші відгуки і приклади використання привели до цих покращень.


v1.8.0 M SK1

Погляньте на попередні поради щодо релізу v1.8.0 Funkції (Multiple LLM Backend Support, Automatic Request BøngM SK3 Удосконалена конфігураціяキャッシュаMSC4


Поprzedні випуски

Погляньте на повну історію випуску v1.7.xM SK1 v 1.6.x≥, v 1.5.x+, та попередніх версійMSC6

Finding related posts...
logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.