Back to "Серія випуску StyloBot: Приналежність kompresії"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

This is a preview from the server running through my markdig pipeline

Architecture ASP.NET Bot Detection Performance StyloBot

Серія випуску StyloBot: Приналежність kompresії

Thursday, 10 September 2026

Ті ж чотири частини: МСК0 - форма частин, яка завжди з 'являється на весь StyloBot. МСК1 - основа. МSK2 - корисний дельта, МSK3 - дрейф вимірюваної величини. , - концентрація, коли докази цього підтверджують. ММК5 - стиснення не є компонентом.

StyloBot

Модель поведінки починається в Подібність, Не ідентичність. Cache і модель навчання є в Навчитися швидше,, поки Сингл сигналу обкриває панель у деталях. джерело на GitHub.


Знову повторювана форма

У звичайній системі часто спочатку зберігаються деталізовані події, а потім додаються ролики.

Модель має чотири частини:

  • База: - це стабільний підсумок того, що пізніше проведені спостереження порівнюються з
  • Дельта: частина нового спостереження, яку база ще не описує
  • Рух: вимірювана зміна від базового рівня
  • Консолідація: замінити або поновляти базу, як тільки з 'явиться достатньо доказів

Назви змінюються на кожному шарі,, але робота не змінюється

поверхневі МSK1 база МSK2 Дельта дрейф မ်SK4 консолідація мSK5
відбитки пальців МSK1 архетип і RootCentroid DeltaFromArchetype відстань новизни та зміни поверхні МSK1 абсорбція і кластерні коріння реM SK2 посадка МSK3
Утримка МSK1 current inM SK2memory or durable row МSK3 mutations since the last pass age and importance မ်СК5 coalesced write or row fusion мСК6
Окно на панелі МSK1 остання матеріалізована сторінка МSK2 змінив виджет shingle дані МСК4 змінюю курсор мСК5 вимкнувши М СК6 перешифровуючи строки М S К7 матеріализація एम С К8
Множество вузлів МSK1 спільний надійний репутація МSK2 кожен вузол ' локальні спостереження ХМSK4 холодний або застарілий локальний вид ГМSK5 запис МСК6 позаду і читати ШМSK7 через СМСК8

Це важливо, тому що спостереження є безмежними. ДовгийМSK1 функціональна служба не може зберігати кожну просьбу в пам 'яті або у повній деталі назавждиM SK2 Краткомірний стан обмежений числом акторів МSK3 а не числом просьб .

Підсумок все ще має рухатись. Якщо він змінюється на кожному запитіМSK1 це не є корисним джерелом МSK2 якщо він ніколи не змінюється , реальний поведінковий дрейф зникає в застарілу історію МСК4 StyloBot прагне до середини ММСК5 достатньо стабільний, щоб розпізнати актора МДСК6 але здатний рухатися, коли докази це роблять МНСК7 я називаю це метастабільність всередині Подібність, Не ідентичність.

Виявление: зменшує спостереження до рухомої форми

StyloBot представляє поведінку як вектор. архетип є відомим вектором . A центроїд є середньою позицією набору спостережень. Якщо ці терміни новіM SK1 векторна модель представлена візуально в Подібність, Не ідентичність.

І Fingerprint запис має як reference, так і компактну різницю від нього:

public float[]? RootCentroid       { get; init; }
public float[]? DeltaFromArchetype { get; init; }
public string?  DeltaArchetypeId   { get; init; }
public int      DeltaCount         { get; init; }
public int      NoveltyCount       { get; init; }

RootCentroid є довшою-живою точкою, яка використовується для дрейфуM SK1 У звичному розподілі вона починається з найближчого центроиди архетипу , тоді кластерний пас може замінити її суспільним середнім числом МSK3 Дельта поля відповідають іншим питанням : де ця відбитка пальців MSC5 останні M SK6 звична спостереження сидіють відносно найближчого архетипаМSK7

вимірювання нововведення

IdentityDeltaMath.FoldObservation вирішує найближчий архетип для кожного спостереження. Потім вимірює відстань між спостереженням і цим архетипомM SK1

Це Дістанція Махалобіса,, що вимірює кожну виміру за її очікуваною варіацією . У простому англійськомуM SK2 рух на нормально стабільній рисі має більше, ніж той самий рух на шумній рисі МSK3 Тут це більш корисне, ніж розглядати кожну вимірю як однаково надійну

Код відокремлює звичайний рух від нововведення:

if (distance < options.MahalanobisNoveltyThreshold)
{
    var existing = newDeltaFromArchetype;
    var count = newDeltaCount;
    var updated = new float[vec.Length];

    for (var i = 0; i < vec.Length; i++)
    {
        var residual = vec[i] - anchor.Archetype.Centroid[i];
        updated[i] = existing is not null && existing.Length == vec.Length && count > 0
            ? (existing[i] * count + residual) / (count + 1)
            : residual;
    }

    newDeltaFromArchetype = updated;
    newDeltaCount = count + 1;
}
else
{
    newNoveltyCount = fp.NoveltyCount + 1;
}

Дослідження всередині шкали згортається до тривалої середини.. Система зберігає один вектор і один відсоток, замість того, щоб зберігати кожен дохідний вектор. NoveltyCount замість.

Ця різниця важлива. Дельта описує нормальний рух всередині відомого сховищаM SK1 Новинка каже, що сам сховище може бути неправильним

Центроїд - це ще одне стиснення

Сам центроід відбитка пальців - ' - оновлений окремо в FingerprintAbsorptionService:

newCentroid[i] =
    (obs.Centroid[i] * maturity + obs.Vector[i]) / (maturity + 1);

Це середній показник CentroidMaturity записує, скільки спостережень до нього вплинуло, так що стан залишається одним вектором плюс числом, хоч скільки спостерігань прийдеM SK1

Це тісно пов 'язано з оновленням EWMA, яке було використане в іншій частині StyloBot: обидва рухають існуючий підсумок у напрямку нового спостереженняM SK1 Різниця полягає в розмірі кроку 1 / (maturity + 1),, що з часом стає меншим і дає кожному спостереженні рівновагу в кінцевому середовищі Навчитися швидше розробляє цю різницю з реальним Ewma.Update код.

Згортання не запускається в лінію з кожним запитом. Перший ObservationAppended сигнал відкриває пер-window з отрізком пальців , в даний момент Tick5m відхилення від роботи, яка пропущена через винятку, перезапуск, або запізнення строкуM SK2 Це відбувається за допомогою сигналуМSK3, керованого моделлю планування, описанного в Ефемеральні сигнали.

Обмежений запис, не вільний запис

Проверка тривалості порівнює в-мірники пам 'яті з останніми витримованими рахунками

public static bool DeltaAdvancedPastWatermark(
    int deltaCount, int noveltyCount,
    int persistedDeltaCount, int persistedNoveltyCount)
    => deltaCount != persistedDeltaCount ||
       noveltyCount != persistedNoveltyCount;

Обновлювальне спостереження продовжується DeltaCount, таким чином, що він може призвести до тривалого оновлення . Заощадження є формою такого оновування M SK2 Якщо відбитки пальців змінюються багато разів між проходженнями зразковувача МSK3 проходження записує свою останню фіксоване число пальцевих відбитків MSC4 дельта ширини і повертає один раз . Він не додає однакового числа рядів подій

Поверхний дрейф

Другий МСК0 сім МSK1 підсумок вимірів відповідає за зміни поверхні, такі як країна , АСН та користувача M SK3 родина агентів . У часі абсорбції MSC5 DetectSurfaceDimDriftAsync порівнює ці виміри з закріпленою базовою лінією DriftMagnitudes вектор і просуває останні цінності до нової базової лінії.

DriftFrequency використовує Модель EWMA з системи навчання. Останні зміни мають більше значення, ніж старі , тож це дає компактний підрахунок частоти змін відбитків пальців, не зберігаючи списку історій Пояснення NIST дає загальну статистичну форму.

Що таке наживо .

Дельта і новаторські шляхи позаду DeltaNoveltyOptions.Enabled,, що не відповідає false. Коли вимкненоM SK1 поля дельта залишаються нульовими або нульними, а раніше поведінка центроїдів продовжується незмінною .

Існує також важлива межа між вбудованими даними та запланованими діями. NoveltyCount записується і продовжується, але поки що його не читає ни одна запущена кластерна дорогаM SK1 Комментари описують його як вхід у майбутнє рішення про консолідацію ; теперішній BotClusterService не споживає його.

Що відбувається, це кластерні дані. Це групує вікно підпису, використовуючи Розпізнання спільноти Лейдена, з розширенням літери, доступним в якості зворотнього зв 'язку ReseatRootCentroidsAsync для відповідних кластерів. База дійсно замінюється на графікуM SK1, але сьогодні це рішення приходить з кластерного знімка, а не NoveltyCount.

Утримка: врятувати теперішній вид

А написати-за магазином оновлює пам ’ ять негайно, потім залишається в фоні ЛФУ, чи меншеM SK1 часто - застосовуються в кэші МSK3 обмежують пам 'ять, викидаючи холодні записи перед гарячими Навчитися ЛРУ досліджує, чому обмежена кэша може покращити систему навчання.

StyloBot's відновлюваний WriteBehindLfuStore<TKey, TValue, TWriteOp> Obsługа двох режимів потіку. По замовчуванню відображають поточні операції в чергах. Храунки, які вибирають зразок поведінки, мають більш стиснутий маршрутM SK2

if (UseBehaviouralSampleDrain)
{
    // A hot key that mutates N times this cycle persists once, not N times.
    _dirtyKeys[key] = 0;
}
else
{
    _writeQueue.Writer.TryWrite(op);
}

У模式і зразку, мутація позначає тільки брудний ключ . Туманник пізніше читає ключ МSK2 його теперішню ціну M SK3 класифікує entries dirty по значущості , і підтверджує обмежену партію MSC5 Ключ, що змінився МSK6 разів за цей відрізок, з 'являється один раз в тій партії

Надійні ряди - це база.

Складання таблицы розпізнавання

Dashboard's SQLite detections таблиця застосовує ту ж ідею до історичних рядків. Вона використовує форму одного рядка для необроблених подій та підсумківМSK1 Підсумковий ряд позначений fused = 1.

Кожне виявлення отримує значний бал один раз МСК0, коли написано МSK1 Ймовірність бота , Оцінка загрози і будь-яке правонаслідування доносяться до цього балу МСК3 Загортання працює в двох проходах М СК4

flowchart TB
    R["Aged detection rows"] --> P1{"Older than HotWindow<br/>and low importance?"}
    P1 -->|yes| FUSE["Fuse by signature, hour,<br/>domain, country and bot type"]
    P1 -->|no| P2{"Older than<br/>FullAbsorptionAge?"}
    P2 -->|yes| THIN["Remove request detail"]
    P2 -->|no| KEEP["Keep full detail"]
    FUSE --> COUNT["Keep exact aggregate counters"]
    COUNT --> PRUNE["Delete after retention"]
    THIN --> PRUNE

    classDef outline fill:none,stroke:#94a3b8,stroke-width:2px;
    classDef fold fill:none,stroke:#38bdf8,stroke-width:3px;
    classDef lifecycle fill:none,stroke:#a78bfa,stroke-width:3px;
    class R,P1,P2,KEEP outline;
    class FUSE,THIN,COUNT fold;
    class PRUNE lifecycle;
    linkStyle default stroke:#94a3b8,stroke-width:1.5px;

Низкий- важливе рядок старших за два - часове початкове гаряче вікно групується шляхом підписуMSC2 часM SK3 домен, країна і тип ботаМSK5 Пережитий підсумок зберігає точні рахунки для ударів МSK6 удари бота+, байти реагування та час обробкиMNK8 Поглинані рядки видаляються МСК9

Різки, які мають залишатися доступними для indywiduальної перевірки,, такі як строки з високим рівнем виконання та загрозиM SK1Різки з загрозоюМSK2 не змішуються. Як тільки вони проходять MSC4часний дефлікт повнийMST5 вік абсорбціїM ST6 деталі їхніх запитів знищені, але їхнє сукупне поле залишаєтьсяM st7 Затримування врешті-решт видаляє обидві типи рядківMst8

Прочитаний шлях розуміє мітку підсумку. Попити на число hit_count для об 'єднаних рядків, в той час, як бурінняM SK1 пошуки вниз виключають об' єднані рядки, тому що вони більше не представляють окремих запитів. Це зберігає сукупність підрахунків, в той же час, коли старі деталі запиту зникають .

В графі FOSS SQLite цей рядок має назву opt-inM SK1 TemporalStore.CompressionEnabled поганий до false. Якщо він залишиться позаду , ряди зберігають повний деталі, доки нормальний приховування не видасть їх

Дашборд: реалізує основуM SK1 оновлює деталі

Матеріалізація означає обчислення зображення перед тим, як запити його потребують. Замість перебудови сторінки на панелі для кожного читача DashboardMaterializerCoordinator складає модель сторінки з потоку запитів і зберігає її в DashboardContentCache.

Показовий шлях навмисно не в змозі співставити на холодній мишці:

if (_atom.TryGet(key, out var existing))
{
    if (!existing!.IsWarming)
        RecordWarm(key.Envelope, tick, key.Window);
    return Task.FromResult(existing!);
}

return Task.FromResult(DashboardPageResult.Warming);

Холодний читач отримує щирний результат нагрівання. Читач, чия остання покоління ще підготовано, отримує останній успішно нагрітий знімокM SK1 Один один літак- завдання ділиться тими самими спробами нагріти ту саму обкладинку, що запобігає подвійній роботі з комбінацієюM SK1

Металізатор не перебудовує все на кожному значенні годинника. Він дивиться, як змінюються курсори на відповідних поверхностях данихM SK1 Переміщений курсор робить обкладинку відповідальною ; відрізок поновлення функціонує як Maximal staleness bound when no cursor moves.

Модель сторінки - це база. DashboardWidgetShingleCache утримує менші відтворені шматочки. Кожен шингл включає в себе виджет , його фильтры та дані M SK2 зміну версії . Коли один виджет(а) МSK4 змінює даніM SK5 той виджет отримує новий ключ і новий фрагмент MSC6 Сервер може повернути лише ті фрагменти, використовуючи HTMX замінюється на МСК0 з МSK1,, які заміняють відповідних елементів в інших місцях на сторінці

Це представлення-гортання версії тієї ж компресійної властивостіМSK1 перезастосувати повну сторінку, яка досі важливаM SK2 тоді надіслати лише частини, чия версія змінилася. Сингл сигналу obejmuje всю рендеровану архітектуру.

Дальша панель також не зберігає подібного висновку. SignatureAggregateCache зберігає підрахунки запити та дані проекції,, але скаляри вердикту вирішуються з канонічного шляху відбитків пальців через ResolvedVerdict. сторінка читається до джерела замість того, щоб підтримувати іншу копію, що змінюється незалежно

Багато вузлів: сходяться через міцний стан

Два процеси не можуть ділитися в 'язним' मधторідом пам' яті або записом в кэші '. Кожний вузь має свій власний гарячий видM SK2 так що тривалий рівень стає місцем зібрання

Доки розгортання FOSS описують копії, які мають постійний запас репутації ,, що дозволяє відбитку пальця, вивчене однією копією, визнати іншою. Архітектура Sidecar показує ширшу форму використання.

Це конвергенція. МСК0, а не консенсусовий протокол. МSK1. Зв 'язок записує свої локальні спостереження до довготривалого стану і читає їх на холодній сумці. .. Зв' язки стають послідовними, коли вони переходять до тієї спільної бази.

Сім 'ї підписів пов' язані,, але їхня сфера застосування меншаM SK1 SignatureConvergenceService оцінює сім 'ї, які утримують вузли's вM SK1процесі SignatureCoordinator. Це не кросс-протокол

У цьому локальному діапазоні family has a canonical signature chosen from the member with the most requests , with first- seen time breaking tiesM SK3 Merge scoring combines temporal overlap, timing similarityMSC5 path entropyMska6 request rate and botM Ska7probability agreementMSKA8 A bot Mska9 classified signature cannot merge with a humanMска10classified oneMске11

Розподіл supplies the drift path. Якщо середня ймовірність робота члена ' досить сильно відхиляється від середньостатистичного розміру сім 'ї МSK2 вона видаленаМSK3 П 'ять хвилин охолодження prevents the same pair from immediately merging againM SK5

_splitCooldowns[cooldownKey] = DateTime.UtcNow.AddMinutes(5);

Це затримка істереза: зворотній перехід робиться складнішим, ніж передній, тому невеликі коливання не змушують систему розмовляти між двома станами . Машина в стані репутації використовує ту ж ідею з різними порогами розвитку та відхилення МSK2, як описано в Навчитися швидше.

Скільки коштує модель

Стиснення рухає вартість та невизначеность довкола. Це не видаляє їхM SK1

База потребує часу, щоб стати корисною. Нові відбитки пальців потребують спостережень

База також може бути неправильна. Таким чином, шляхи відновлення є частиною дизайнуМSK1 останні докази отримують більше силиM SK2 нові спостереження залишаються за межами звичайної дельти МSK3 різні члени сім 'ї можуть розділятися , і матеріалізовані сторінки мають обмежений відрізок часу перегляду.

Модель не універсальна. Глибоко персоналізованаМSK1 запису МSK2 важка поверхня може не мати спільної стабільної бази, яку варто зберегти . Вона працює тут, тому що розпізнавання робота - це поток повторюваних спостережень про повільно рухающихся акторівM SK4 і панель дотик - це читаний- тяжкий вигляд над цим станомMSC6

Версію одного- речення

Стиснення - це те, як StyloBot зберігає стан


Серія випуску StyloBot

  1. Подібність, Не ідентичність: чому StyloBot моделює клієнтів поведінково
  2. Подібність-Усвідомлення ASP.NET UI: сервер - віддав поверхню над результатом виявлення
  3. Винайти та виправити безмежний ріст у довгостроковій-Running M SK1NET Services: тримаючи двигун обмежений в процесі виробництва
  4. Подібність-Усвідомлення інтерфейсу TypScript: Express , Fastify, і компоненти браузера
  5. Архітектура Sidecar: підключення детектора до інших стеків МSK1NET
  6. Навчитися швидше: чотири - рівень пам 'яті та адаптивного навчання
  7. Випробовуємо те, що не зупиняє нас: тестування детермінативних детекторів, які не є
  8. StyloExtract: локальний-learning HTML до конвертера Markdown
  9. Власна властивість kompresії: база МSK1 delta , дрейф МSK3 консолидувати

Подібні статті

logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.