Back to "Серія випуску StyloBot: StyloExtract - локальний learn HTML to Markdown конвертер"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

This is a preview from the server running through my markdig pipeline

Architecture lucidVIEW Markdown StyloBot StyloExtract

Серія випуску StyloBot: StyloExtract - локальний learn HTML to Markdown конвертер

Tuesday, 23 June 2026

StyloBot v8 дозволяє сайту дати crawlerам ШІ контрольований вид позначки сторінок на власній локальній краєвидці , без відкидання шлюза до CDN lucidVIEW caught, і петля собак, яка зробила її чесноюM SK1

StyloBot

StyloExtract Найяскравіший.AvaloniaM SK1UITesting StyloBot lucidVIEW Найяскравіший.Найд

Серія випуску StyloBot

  1. Подібність, Не ідентичність: чому StyloBot моделює клієнтів поведінково
  2. Подібність-Усвідомлення ASP.NET UI: сервер - віддав поверхню над результатом виявлення
  3. Винайти та виправити безмежний ріст у довгостроковій-Running M SK1NET Services: - дисципліна надійності, яка робить двигун нудним в процесі виробництва
  4. Подібність-Усвідомлення інтерфейсу TypScript: Express , Fastify, і компоненти браузера
  5. Архітектура Sidecar: як реагуючий двигун підключається до не МSK1NET стеків
  6. Навчитися швидше: адаптивна система навчання , чотири МSK2 пам 'ять на рівні M SK3 і кэш вердикта
  7. Випробовуємо те, що не зупиняє нас: контрольна дисципліна : один БДФ файл керує регресією МSK2 завантаженням МСК3 та калібрацією
  8. StyloExtract - локальний інтерфейс навчання HTML для конвертера Markdown: HTML → Марка-даун, який поєднується з детектором МSK2 walker bug lucidVIEW caught МSK3 and the dogfood loop that made it honest

Детектор, який вирішує, які запити отримати Марка-даун, знаходиться в Подібність, Не ідентичність; політикаM SK1надіслати посереднє програмне забезпечення, що запускає extract-markdown дія та сама DetectionPolicyMiddleware вкритими Архітектура Sidecar; - дисципліна надійності, яка утримує порт від витіку пам 'яті, поки він робить це Винайти та виправити безмежний рістМSK0 Источник: github.comM SK1scottgal/styloextract і споживача, який виявив баг v1.7.1 на github.comM SK1scottgal/lucidview.


Що додає StyloBot v8

Коли Шривер штучного інтелекту натрачає на шлях, який оператор позначив позначкою Марок-даун , \ -\ eligible \ МSK1 \ Ґейтвейд змінює відповідь : \ Шрибер отримує GFM, отриманий з верхнього тіла сторінки \МSK3 \ з жодним хромомом \мSK4 \ жодним JavaScript \ , \ ніякими баннерами куки | . \ Верхний сайт залишається недоторканим . \ Усі інші запити \

Форма є очевидною, коли класифікатор вже на місці: класифікувати запит як crawler MSC1StyloBot вже робить це), витягувати сторінку через змістM SK3окремлення шаруMska4 проект до позначкиMска5 повернути, що замість HTML BotType.AiBot з такою ж швидкістю - затримки маршруту, як і всі інші вердикти vM SK1 робота. DetectionPolicyMiddleware в 7.x, що відсилає названі правила поведінки за вердиктом, це vM SK1 робота . бракуючий шматок МSK3 і те, що vМSK4 додає МСК5 є самим экстрактором М СК6

Cloudflare відсилає рістку "-", сторонню версію з подібною функцією МSK1 , що є непоганим, якщо ви маєте ріст .

  1. Сайт розташований вздовж входу в StyloBot. Cloudflare може служити відміткою вниз, тому що вони є краєм ".", а порт StyloBot сидить перед верхнім потоком витоків, він не контролює YARP. Контент має бути видобуваний на шлюпці в воротах , не в природі, а не в певному раунді SaaS
  2. Місцеві. Ні ПайтонM SK1 немає узла, немає окремого сервісу . Перехідник - це єдиний АОТ-опублікований бінар . Доdanie Python sidecar для HTML до Markdown подолає форму застосування МSK2
  3. Досить швидко, щоб сидіти на теплому шляху. Якщо "serve Markdown для штучного crawlers" додає 200ms на żądaнняM SK3 оператор вимикає цеMSC4 Бюджет - під МSK5ms pMST6 на кэші hitMSL7 що є тим, що живе всередині існуючого детектора

Виведення кабеля extract-markdown policy для "AiBot на /docsM SK2*" це конфигураціяMostlylucid.BotDetection.StyloExtract) і шість рядків JSON . Оператор відкидає пакет в МSK2 додає правило МSK3, а алгоритми- crawlers починають отримувати позначку для тих самих URL, які досі служать HTML для людей

StyloExtract має три рівні витіку, в залежності від вартостіM SK1

  1. Статичний видобуток. Початковий шлях. РозшифровуванняM SK1 чисте, класифікування , ходьба МSK4 рендеруванняМSK5 Пробігає по гарячому шляху на шлюзі без додаткових віддаленьMSC6 Рухає кожен сайт SSR.
  2. Playwright rendering. Невключний пакет. Драйвер безголовного хрома для SPA, чиї видимі вмісти гидратовані клієнтомM SK1за межами після завантаження сторінкиМSK2 Схожий зворотній ланцюг; тільки інший відbiorcaMSC4
  3. Шаблони операторів. Ручний шлюп для порятунку. Один YAML файл на одного ворожого хостаM SK1 прикріплення до відбірника Główneго Контенту

Статичний шлях - це той, що живе на гарячому шляху.. Інші два існують тому, що реальний HTML зламаний двома різними способами.

Що насправді означає " вилучення знака "" Markdown "" "

Якщо ви читаєте спецификацію на лицевій основі, то це вирішена проблема. Є десятки бібліотек. МСК4. В дійсності, всі вони деградують на реальних сторінках, тому що вони сприймають документ як плоский контент і сторінку як масштабування.

Справжня-світові веб-сторінки - це M SK1 котлована płytа . Artykuł, який ви насправді хочете, живе в двох або трьох обгортаннях <div>s з двох або трьох сотень. Наївний HTMLМSK1на МSK2Biblioteka Маркдау перетворює всеМСК3 кожен наві-конектМ СК4 кожен баннер баннер cookieMСК5 кожен футрM СК6 кожен пов 'язанийМ סК7 пост-сайдбарМ SК8 кожен кнопок обмінуМ ็ СК9 кожен модул, щоM ็ SК10 прихований CSS, але присутній в DOMМ ШК11 Клокер попросив про статтюМ М СК12 ви передали йому цілий файл М ЦСК13 КБ Маркдау з статтю закопаною десь в мережі M ШК14

Отже, екстрактор повинен виконувати дві функції.

  1. Визначати тіло. Який піддерево розшифрованого DOM містить справжній зміст,, а які піддерева - хромM SK1
  2. Створити тіло. Після того, як ви - МСК0 - ізолюєте його, - МSK1 - проектуєте піддерево для позначки, яке зберігає структуру зворотнього читача. МСК2 - людина чи ЛЛМ, ) - піклується про це, - : - ієрархія заголовків, МSK5 - лінії зв 'язку, , - переліки, МСК7 - таблички, М СК8 - кодові блоки, M СК9 - зображення, MСК10

Це найважче визначити. МСК0. У МСК1 є ціла галузь наукової літератури виведення веб-контенту і встановлений показник WCXB. Коли я почав читати, то знайшов інструмент Python під назвою Трафілатура. Я перемістив навантаження -, що містить ідеї, до МSK2 NET і додав шар. Трафілатура не має навчання з шаблонами за допомогою структурних відбитків пальців.

Форма::

parse HTML → clean → fingerprint the structure → does this fingerprint
  match a template I've seen on this host before?
    yes → apply the cached extractor → render
    no  → run the heuristic classifier → induce a fresh extractor →
          cache it under this host's fingerprint → render

Першого разу, коли ворота бачать сторінку з домашнєї мережі, вони платять за повну эвристичністьM SK1 вартість класифікатора МSK2μs для середньої сторінки). Кожна наступна сторінка з того домашнего сервера, яка відповідає структурному відбитку пальців, отримує замість цього ввімкнений екстрактор , який є лише кількома CSS МSK5 пошуки виборця MSC6 μsMST7 Схожі МСК8host-сторінки з однаковим шаблоном МСК9 яка є більшою частиною веб-сайту M SK10 рухаються по швидкій дорозі . Страні з новими інтерфейсами викликають переробку MSC12

Відбитки пальців МінHash креслення над стандартизованим DOM-представленням маршруту, з LSH нагорі для суб-монісекундного зондування. МСК1. Математика погони не має значення для цієї статті. МSK2. Важливо те, що це робить навчання за учасника МСК4 досить дешевим для запуску на кожному запиті

Похідник

На стороні рендеру є петля, яка дає мені змогу заробляти на цьому.

Перша версія StyloExtract випустила знак Марка-Даун , переміщуючи класифіковані блоки та проектуючи element.TextContent.Trim() в вихідні коди. Кожен блок став абзацомM SK1 Кожен заголовок став # text незважаючи на те, чи це H1 чи HМSK1 Анкори зруйновані до оголеного тексту МSK2 Листи втратили кулі . Блоки коду втратили паркани МСК4 Столи порівнювалися до коми М СК5 відокремлені запуски MСК6

Це технічно "Markdown." Це ' також непотрібно МSK3 crawler asks for Markdown to уникати аналізу хрома, і ми дамо йому стіну абзаців, де єдиний сигнал є інколи простим - текстові знаряддя фрази МSK2 Весь сенс служення Марка-Дауна полягає в тому, що структура несає інформацію

Отже, наступна версія StyloExtract рухається DOM кожного класифікованого блоку контенту і випускає реальний ГФМ:

  • <h1> через <h6> перетворюється на 1 через МSK1 # символи
  • <a href> стає [text](href)
  • <em> і <strong> підтримувати їх
  • <code> залишає зворотний знак, <pre> стає замкненим блоком з language-x carried across
  • <ul> і <ol> випускати справжні пулі та числові листи
  • <blockquote> примітки кожного рядка з > ( і багатозначнийM SK1запис отримує > body\n>\n> body конвенція)
  • <table> реконструюється за допомогою Алгоритм сітки WHATWG slot- з відповідним розтягуванням столбів / розтргування рядків / заголовок МSK2 упорядковування узгодження МSK3 повертається до сирого HTML, коли джерело надто складне для GFM, щоб висловити
  • Зображення відтворюють як ![alt](src) чи вони "'" вживають в просі, чи самотні <figure>

Глокер - це один StringBuilder на блок , внутрішній буфер скарбів, повторюваний через клітини / списку об 'єктів МSK2 і один перехід через DOM

Похідник - це також частина, яка зламалась першими.

Петячий цикл

lucidVIEW - це комп 'ютерний мультиплікатор platform Avalonia Markdown, який я створив ще до появи StyloExtract. Найяскравіший.Найд, вбудований графічний відтворювач Сирени, який поміщає кораблі всередині .md файл, відтворити його наtively з підтримкою МермейдаМSK1 почати з дняM SK2 Коли StyloExtract відправили, lucidVIEW виростив MSC4Открути веб-сторінку " команду ( \Ctrl \ + \Shift | + \W \ МSK9 \ вставляючи URL , \ the app fetches it in \мSK11 \ process \ , \ hand the HTML to Styloextract \ мSK13 \ and renders whatever Markdown comes back \

Те, що lucidVIEW дав мені - це петлю для собаки з зубами. МСК0. Другий випуск StyloBotу, МСК1, серія статей говорить про панель, як про поверхню для собак, МSK2, що МСК3 є правильним на рівні протоколу. МSK4. Але панель читає дані, які генерує детектор, і робить їх я. I'm в циклі МSK2 I\ ' я пробачу багато дивних можливих виходів, якщо підрахунки будуть правильними

lucidVIEW перетворює Маркдау на доштовховий читач (meM SK1 але читає зміст ). Це МSK3 має ту ж форму, як і пристрій для використання Шриверки штучного інтелекту МSK4 хтось споживає мій вихідний код речовина, не в якості інструментарію . Коли виход неправильний МSK2 ви бачите його відразу МСК3 Там М СК4 немає абстрактного шару між М СК5 экстрактор виробив X М ס К6 і М S К7 Я читаю X M С К8

Отож, я відкриваю lucidVIEW, дивлячись на мій власний блоговий індекс. Карти відтворюють . Потім я перегортаю МSK2 Кожен блог МСК3 карта з минулим першим відтворюється як [Post title](/blog/post) - літеральний скобковий текст - замість сліпої, натисливої посилання

unit-test suite є зеленим [Post title](/blog/post). Марка-даун неправильний в будь-якому разі

Клас багів не був би потрачений на тест

Індекс блогу збудований за допомогою Tailwind. вихід Tail wind встромлений для читабельностіM SK1 кожен обкладач div сидить на двох місцях далі, ніж його батьківський . Коли ви дістаєтеся до справжнього анкера для блогуMSC3 карта зв 'язок, джерело HTML виглядає такою ж як

<section class="...">
    <div class="container...">
        <div class="grid...">
            <div class="card...">
                <a href="/blog/post-a">Post title</a>
                ...

Рухник'с текстомМSK1помічник для obsługiM SK2 AppendEscapedInline, рухає runs білого простору в один простір . Всередині одного виклику він робить це правильно МSK2 функція зберігає prevWs прапорець, який пригнічує послідовне виділення білого простору, видає:. Між wywołaннями: , прапорець відпочиняється:

Чотири обгортачі індикації, чотири тексти - нотM SK2 сибірки білого простору, чотири зруйновані місцяМSK4 Прості знаки's встромленийM SK1код-постановка блоку реагує на чотири місця [Post title](/blog/post) приземляється на лінії, яка починається з чотирьох місць. Маркдіг розшифровує цілу лінію як кодовий блок. Текст скобки відтворюється як літеральний текстM SK1 Ссылка мертва.

Тест на одиниці проходить, тому що тест затверджує стрічку [Post title](/blog/post) з 'являється десь в вихідному коді.

Постановка - дві лінії: : на лінії, МSK1початкова, , просте число prevWs = true тож першим лідерський білий простір з кожного вузла стає пропущеним замість emitted. Лідерський білій простір всередині встромленої HTML ніколи не досягає вихідного коду

Цікаво те, що тест повинна стверджували. поверхняM SK1текст .Contains() перевіряє символи є присутнім. Вони булиM SK1 Вони просто були в неправильному CommonMark блоковому типу. Все, що мені потрібно було структурна ствердження: розшифровує ходунок ' його вихідний код за допомогою реального комп 'ютера CommonMark, іsert paragraphs are paragraphsM SK2 links are links, no spurious code blocksМSK4 MarkdigMSC5s AST gives you that for freeMska6 Таким чином, виправлення помилки приземлилося з тестом регресії Mska7 and the regression test landed with a lint harnessM Ska8 small helper that takes any walker outputM ska9 parses it with Markdig Mска10 and asserts Мska11

  • Нуль індикованих кодових блоків, якщо не був закритим блоком джерелом
  • Кожен зв 'язок у вихідному HTML виживає як справжній LinkInline в АСТ
  • Перерахунок блоків fenced- відповідає очікуванню

Щоб довести, що lint має зуби, Я повернув оригіналний ремонт і запустив комплект lint. Точнісінько один тест провалився - той, який використовує чотириM SK3 непотрібний МSK4 зразок ковпака . Знову підпорядкувати ремонтMSC6 всі пропущеніMスク7

Ця одна перевірка тепер проходить на кожному тесті на ходунки в наборі.. Дальне відхилення однієї категорії структурно фіксуються. , не через співпадіння стрічок. МSK2 Це означає, що я M SK3 знаходжу їх у CI, а не у lucidVIEW.

в основному зрозуміли.net відтворений у lucidVIEW після vM SK1 walker fix : кожен блог МSK3 посткарта вирішує як справжній клікаючий зв 'язок з його підсумком, як правильний абзац M SK4 замість скобки - текст всередині кодового блоку MSC6

Що насправді вимагає

У кожному продукті є етап, коли тести на одиниці є зеленими і демо працює, і оператор встановлює правильні флаги конфігурації, і ви відправляєте реліз, а через день пользователь відкриває проблему, говорячи: "" МСК1 "", це не працює. МСК2 "", не працює з реальним змістом. МSK3 "". Кожний продукт потрапляє на це. . "". Чесно кажучи, тестові пристрої та контент для демонстрації є стерильними, так само як і реальний контент.

. Фраза """, "" dogfooding "" і "" МSK2 "" вживаються повільно, а в цьому випадку це означає щось специфічне. окремий продукт, з окремими користувачами стається споживати Output StyloExtract' як поверхню продукту. Якщо lucidVIEW показує пошкоджений Маркдау , lucidVIEW МSK2 користувачі скаржаться на lucidVIEW

Ця відокремлення має значення. Якби lucidVIEW був пристроєм для тесту StyloExtract, я б написав його із стерильним вмістом, бо знаю, що подобається екстрактору . Тому що lucidVIEW існує в своєму світі МSK4 він вказує на мій справжній блог МСК5, який використовує Tailwind М СК6, що виробляє встромлений HTML-об 'єкт, що запускає клас багів M СК7 Баг з' явився за п 'ять хвилин використання продукту як користувача MСК8

Багато випущень v1.7.x повертаються до цієї ланцюги . СтруктурованийM SK2виход ходуча (v\1.7.0) відправлений через те, що перша версія lucidVIEWМSK5 була нерозбірливою, коли StyloExtract випустив плоскі абзаци МSK6 ГоловнийMSC7 whitespace fix МСК8v МСК9 відправлен через те що постMСК10version ходучка була помітно зламана на сайтах TailwindМ СК11 ВиходM СК12quality lint harness відправлений тому, що я хотів, щоб наступний клас बगу був CIMSSK13caughtMS.

Pattern' не новий споживацький продукт паралельно з вашим будівельний продукт, і споживайте свою власну інфраструктуру через споживача . Рівень błędów на шарі інфраструктури знизується в залежності від того, наскільки велика поверхня споживача клас Защитність на рівні інфраструктури зростає з кожним наступним моментом, коли споживач зауважує, що ви не думаєте написати тест для

Закритий цикл через стопку

StyloExtract / lucidVIEW - один із прикладів шаблону, який я запускаю на кожному проекті

flowchart LR
    PB[visible product<br/>behaviour] --> TR[test/review<br/>loop]
    TR --> AP[architectural<br/>primitive]
    AP --> RL[reusable<br/>library]
    RL --> WE[written<br/>explanation]
    WE --> LG[LLM-readable<br/>grammar]
    LG --> NP[next<br/>product]
    NP --> PB

База błędów у продукті. Поправка перетворюється на структурне твердження M SK1тест МSK2відкладання циклу МSK3 Затвердження перетворується на примітив, який інші речі можуть використовувати . Примітив перетвориться на бібліотеку \ . Бібліотека пише про . Письмо створює LLM \ МSK7 читабельну граматику довкола кодової бази | МSK8 граматика робить наступний продукт швидшим для побудови | . Наступний продукт накладається на нові баги в бібліотеках, які залежать від нього \

Граф залежності, який це створює – МСК0 – в усіх проектах, які я запускаю. МСК1 – схожий на МСК2

flowchart TB
    LV[lucidVIEW<br/>Avalonia markdown reader]
    SB[StyloBot<br/>detection gateway]
    SF[StyloFlow<br/>policy + flow runtime]
    SE[StyloExtract<br/>HTML → Markdown]
    NA[mostlylucid.Naiad<br/>Mermaid renderer fork]
    DA[mostlylucid.dagre<br/>graph layout]
    EP[mostlylucid.ephemeral<br/>signal + sketch primitives]
    UT[Mostlylucid.Avalonia.UITesting<br/>Avalonia UI test framework]

    SB --> SF
    SB --> SE
    LV --> SE
    LV --> NA
    NA --> DA
    SE --> EP
    SF --> EP
    LV -.tests via.-> UT

Mostlylucid.Avalonia.UITesting це частина, яка робить сторону lucidVIEW ланцюга повторюваною. Це тест інтерфейсу Avalonia, який lucidVIEW використовує для перетягування , щёлкання МSK2 прокрутки МСК3 скриншот М СК4 і відтворення сценаріїв M СК5 кожен скринshot lucidVIEW в цьому artykule був сфотографований ним MСК6 З автоматизованою стороною робочого стола MSК7 кожен розв 'язок StyloExtract, що висвітлює lucidVIEW, можна відтворити та перевірити без перезавантаженняMСК8 відкриваючи додаток і натискаючи на нього рукоюMostlylucid.StyloExtract.Playwright не пов 'язана з тестовою ланкою; це JSM SK1 приймач даних, що надсилає вхідні сигнали

Торгівля реальна. mostlylucid.ephemeral протікає через StyloExtract і StyloFlow в StyloBot та lucidVIEW. злегшення - це часMSC1boxed releases M SK2не викривлення funkcji, версії рухаються, коли сфера, яку вони revendicaють, рухаєтьсяМSK4 і кожен шар має свій власний тестовий наборMST5 перевагою є те, що я можу працювати над усіма ними за тиждень, а вартість контексту - перемикання між ними залишається низькоюMSL7 тому що кожна пластина має однакову формуMСК8 примітивну МСК9 бібліотекуMSК10 пояснениеM СК11 споживача М СК12

Це також означає, що написання цієї статті - не "'", а "" МSK1 "", як результат транспортування "" StyloExtract "". МSK2 "". Письмо є одним із етапів.

Це працює для мене, тому що закриваючі ланцюги є тим, як я думаю робочий процес скоріш за все, не обобщає локальний режим відмітки він виробляє

Як lucidVIEW підключає його

flowchart LR
    URL[URL bar] --> Fetch[HttpClient GET<br/>Accept: text/markdown, text/html]
    Fetch --> Sniff{Content-Type}
    Sniff -->|text/markdown| Render[LiveMarkdown.Avalonia]
    Sniff -->|text/html| Convert[HtmlToMarkdownService]
    Convert --> Sparse{< 200 chars +<br/>SPA markers?}
    Sparse -->|yes| Stub[Stub: needs JS,<br/>open in browser?]
    Sparse -->|no| Render
    Stub --> Render

Чотири описи пакетів і одна служба:

public sealed class HtmlToMarkdownService
{
    private readonly IHtmlDomParser _parser = new AngleSharpHtmlDomParser();
    private readonly IDomCleaner _cleaner = new DomCleaner();
    private readonly IBlockSegmenter _segmenter = new BlockSegmenter();
    private readonly IBlockClassifier _classifier =
        HeuristicBlockClassifier.LoadFromEmbeddedResources();
    private readonly IMarkdownRenderer _renderer = new TypedMarkdownRenderer();

    public string Convert(string html, Uri? sourceUri = null)
    {
        var doc = _parser.Parse(html, sourceUri);
        _cleaner.Clean(doc);
        var blocks = _classifier.Classify(_segmenter.Segment(doc));
        return _renderer.Render(blocks, ExtractionProfile.RagFull);
    }
}

Те, що ' це те, що МSK1 Статус МSK2 іконка панелі показує, який шлях був запущений МSK3 прямий MD / конвертований एमСК5 SPAstub мСК6 так, що коли щось виглядає неправильно, пользователь може показати правильний шар МСК7

Вікіпедія's Марка-даун статті, представленої всередині lucidVIEW через StyloExtract : ієрархія заголовків непошкоджена

Трубопровод МСК0 по етапам

flowchart LR
    HTML[HTML] --> P[AngleSharpHtmlDomParser]
    P --> C[DomCleaner<br/>strip script/style]
    C --> S[BlockSegmenter<br/>candidate subtrees]
    S --> K[HeuristicBlockClassifier<br/>role + score]
    K --> W[DomMarkdownWalker<br/>GFM per block]
    W --> R[TypedMarkdownRenderer<br/>profile gate]
    R --> MD[Markdown]

Прозор + чистіший Викривлення куту обкладинки. Цікавий код починається з сегментаціїM SK1

Сегментер. Пройдіть тіло, зануріть будь-яку семантичну позначку M SK1main/article/section/h1-h6/ul/pre/...) плюс будь-яка <div>/<section> що МСК0 текст МSK1 важкий або має багато дітей . Все інше надто маленьке, щоб бути задоволеним

public IReadOnlyList<IElement> Segment(IDocument document)
{
    if (document.Body is null) return Array.Empty<IElement>();
    var result = new List<IElement>();
    Walk(document.Body, result);
    return result;
}

private static void Walk(IElement element, List<IElement> sink)
{
    if (SemanticTags.Contains(element.TagName))   sink.Add(element);
    else if (IsBlockyDiv(element))                sink.Add(element);
    foreach (var child in element.Children) Walk(child, sink);
}

Классifier. Оцінка кожного кандидата: МСК0 , Не вибирайте "-". Перетинаються лауреати . BlockRole (Главний змістM SK1 ЗаголовокМSK2 Навігація, Котелляна плитаMSC4 Повторне об 'єктMska5 Мska6 Кожен вибраний блок отримує DOM, який переходить в структурований знакопадMска7

foreach (var element in selected)
{
    var role = ClassifyRole(element);
    yield return new ExtractedBlock
    {
        Role     = role,
        Text     = element.TextContent.Trim(),
        Markdown = ShouldRenderMarkdown(role) ? DomMarkdownWalker.Render(element) : "",
        Links    = ExtractLinks(element),
        XPath    = XPathBuilder.For(element),
        // ...
    };
}

Вокер. Один StringBuilder, один DOM pass. <a> це місце, де проживав баг v1.7.1

case "a":
    var href = el.GetAttribute("href") ?? "";
    if (href.Length == 0) { WriteInlineChildren(dest, el); return; }
    dest.Append('[');
    WriteInlineChildren(dest, el);
    dest.Append("](").Append(href).Append(')');
    return;

( Це був виправленням ' тут не було МSK2 Це було в AppendEscapedInline,, що fed провідного білого простору в dest до того, як цей випадок коли-небудь працював. Чотири місця попереду [ дозволяє CommonMark аналізувати строк як кодовий блок.)

Рендерер. Двері по профілі. RagFull зберігає статтю-контекст M SK1Breadcrumb, Спільні зв 'язкиMSC3 і викидає хром (FooterMST5 HeaderM ST6 CookieBannerM st7 NavMst8 MainContentOnly зберігає лише тіло. AgentNavigation зберігає тільки наві ( для плавання - відкриток зв 'язку M SK2

return p switch
{
    ExtractionProfile.RagFull => b.Role is not (BlockRole.Footer or BlockRole.Header
        or BlockRole.Advertisement or BlockRole.CookieBanner or BlockRole.Boilerplate
        or BlockRole.Unknown or BlockRole.PrimaryNavigation or BlockRole.SecondaryNavigation),
    ExtractionProfile.MainContentOnly => b.Role is BlockRole.MainContent or BlockRole.Article
        or BlockRole.Heading or BlockRole.Summary or BlockRole.Table or BlockRole.CodeBlock
        or BlockRole.RepeatedItem,
    ExtractionProfile.AgentNavigation => b.Role is BlockRole.PrimaryNavigation
        or BlockRole.SecondaryNavigation or BlockRole.Breadcrumb or BlockRole.Form,
    _ => true
};

Playwright для веб-сторінок JS-

StyloExtract'his heuristic operates on the static HTML the server returned . ThatMSC2s fine for SSR sites M SK3Wikipedia, GitHubMska5 most news article URLsMSKA6 It breaks on SPA shells where the visible content is hydrated client Mska7side from a JSON blobM Ska8 __NEXT_DATA__, __NUXT__, __APOLLO_STATE__. Статичний HTML має мета-теги + скелет МSK2 і немає тіла для класифікатора, щоб знайти

Mostlylucid.StyloExtract.Playwright підключення вздовж трубопроводу. Він реалізує IRenderedHtmlFetcher, запускає безголовний хром через Гравця, чекає на увлажненняM SK1 і повертає пост-JS HTML до решти экстрактора :

public async Task<RenderedHtmlResult> FetchAsync(
    Uri uri, RenderOptions? options = null, CancellationToken cancellationToken = default)
{
    var page = await _context.NewPageAsync();
    await page.GotoAsync(uri.ToString(), new PageGotoOptions
    {
        WaitUntil = WaitUntilState.NetworkIdle,
        Timeout = options?.NavigationTimeoutMs ?? 15000,
    });
    var html = await page.ContentAsync();
    await page.CloseAsync();
    return new RenderedHtmlResult { Html = html, FinalUrl = page.Url };
}

Те ж саме Parser, ,, чистіший, МSK1, сегментатор, МСК2, класифікатор, MСК3, ходівник, M СК4, рендератор вниз по течії, М СК5. Єдина різниця в тому, що вхідний HTML зараз містить гидратований DOM, який створив ДС

flowchart LR
    URL[URL] --> Choice{Render mode}
    Choice -->|static| HTTP[HttpClient]
    Choice -->|js-required| PW[PlaywrightHtmlFetcher<br/>headless Chromium]
    HTTP --> Pipeline[parse → clean → segment<br/>→ classify → walk → render]
    PW --> Pipeline
    Pipeline --> MD[Markdown]

Це правильне рішення, коли оператор запускає сервер StyloExtract-замість безголовного браузера є розумною залежністюM SK1 CLI відправляє два бінарні для точного поділу: stylo-extract МSK0AOT, МSK2MBM SK3 статичний- тількиMSC5 і stylo-extract-playwright (~120MB один раз Playwright ' пакет браузера політає МSK2 JS

lucidVIEW не використовує його. lucidVIEW - маркер-відрізок; його ідентичність M SK1 без хрома , без браузерного двигуна МSK3 без МSK4 Мб залежності від однієї характеристики M SK5 Bundling Playwright помістить безголовний браузер всередині додатку, чия тональність - відсутність однієї. . Стап SPA, що описаний poniżej, є правильним відповіддю lucidVIEW М SK7 з точки зору МSK8 сказати користувачам, що сторінка потребує браузеру.

Інші речі, пов 'язані з їжею собак

Чотири не "-", що сформували lucidVIEW , МSK1 , невдачі ,

  • Спектр, який керував v1.7.0. Перші emitовані плоскі абзаци (element.TextContent.Trim() за блок. МСК0. Вікіпедія була нерозбірливою. МSK1. Карти блогу втратили кожну лінію. .. Натомість, я написав: docs/styloextract-markdown-spec.md вираховуючи, що бракувало: рівні заголовківM SK1 ланцюгові запуски , переліки МSK3 таблиці ГФМ МСК4 блокові зображення М СК5 з чотирма URL-адресами репродукторів M СК6 Структурований MСК7 пішохідна робота в vMСК8 реалізує це.

  • Страницы SPA. bbc.com/news Next.js: статичний HTML - це мета-теги + a __NEXT_DATA__ JS. StyloExtract правильно повертає M SK1 символ, тому що ' не має тіла МSK3 lucidVIEW тепер понюхає для відомих маркерів кар 'єри МSK4__NEXT_DATA__, __NUXT__, __APOLLO_STATE__, data-reactroot, ng-version=, __REMIX_DATA__) іM SK1 на вузькому выході + маркер МSK3 робить неправильний МSK4 "Ta сторінка використовує {フレーмワークM SK2 lucidVIEW не запускає JavaScript. Відкрий у браузеріMSC4 Article URLs (/news/articles/<id>) служи реальним <main> і перетворити чисто. Веб-сайт МSK1 асимметрія artykułуM SK2 не поганий конвертер.

    lucidVIEW завантажує bbc.comMSC1новостиM SK2 визначає наступнеMST3js, робить уривок, пояснюючи клієнтаMСК5боє відображання не піддеряєтьсяМСК6 не пропонує відкритийM СК7в МСК8заказ браузеруMSК9 Статус-бар показує попередженняMШК10источник трикутникаМШК11Symbol trybу плюс MСК12клиентM ШК13боці відображеніМ ШК14 неможлива конфігураціяМ СК15тегиМ SК16

  • Семантика-бесплатні сторінкиМSK1 example.com не має <main>, ні <article>. Хирологія правильно не повертає нічого . Такий же стрімкий потік запам 'ятовує це M SK2

  • Правильно-ноM SK1непотрібне випромінювання . Filtr категорії мого блогу' це <select><option>. Похідник не знаходить нічого <a href>, видає текст варіанту як один абзац "Це все МSK1NET МSK2 мSK3s M(1) АCP МСК5 штучний інтелект МК6 Правильно (можливими варіантами є МSK1 не пов 'язані с' язки МSK2 але візуально жахливі . майбутній прохідник може виявити <select> і видавати список визначення, або [42 categories] підсумок.

До того ж, одна галерея, що з 'явилася, опираючись на очевидний короткий шлях. . Коли видобуток є невеликим, спокушання наступне: " повертаєшся до Джина Reader МSK2 r МSK3 Джина мSK4 Ай एमSK5 Трафілатура \ ." \ lucidVIEW не робить \ МSK7 \ t \ . \ Перевод URL-адреса користувача через третю \ МSK9 \ сторонній читач робить читачем витіком конфіденциальності. | ; \ кожен URL, який відвідує користувача, проходить через якийсь інший оператор. ' \ журнали. ♪ МSK12 \ Лінія зворотнього зв' язку залишається локальною. ♫ : \ прямий відбиток \ мSK14 \ а потім HTML через StyloExtract | МSK15 \ і метаданніstub з <meta> / og: ярлики, потім M SK1открий у браузері ?" кожен крок StyloExtract інший вихід з одного і того ж джерела, або синтезує дані, які ми вже маємо

Невизначна різниця у поширенні сайтів

Що собакова ланцюжка добре знаходить, це поламаний результат на хорошому.

Я маю курити-бігача зараз, що бере дюжину реальнихМSK1світніх сайтів і відкидає экстрактораM SK2 виході МSK3 На структурно kooperatивній півкулі - новини ( BBCMSC6 GuardianMska7 ВікіпедіяMска8 репо READMEsMske9 GhostMске10orgMSKA11 змінний журналMСК12 хакерські новини - герістичний класифікатор знаходить головну zawartość чистою, а ходівник виробляє читабельні МаркдауМСК14 Десять до тридцять кілобайт чистої прозі на сторінкуM СК15

На іншій половині - Allbirds нічого. Нуль блоків контенту MainContent . Кожен кандидат отримує демоцію на boilerplate, тому що сторінка не використовує <main> або <article> і назви класів не співпадають з будь-якими шаблонами в рамках

Додавати більше записів до цього файлу JSON є очевидним кроком.. Це ' також ламати-aMSC3moleM SK4 Кожний тематичний магазин відправляє нові назви класів.МSK5 Кожна релізація Shopify змінює їх.

Справжньою справою є тренована модель. ПерМSK1ігрові характеристики M SK2 ідентифікація знаку МSK3 клас - назви хеш-букетів М SK5 текст M SK6 довжина , зв 'язок МСК8 щільність М СК9 фігура братів і сестер М סК10 присутність предків М S К11 до маленького gradiente М ็ С К12 затиснутий класифікатор M С С К13 тренований на WCXB означалий корпус, вивезений до NX, викликав з .NET через Microsoft.ML.OnnxRuntime. Вektor властивості МSK1 на кожного кандидата МSK2 ~10μс висновків на один елемент \ , \ \ МSK5 \ MB модельного файлу , \ AOT \ мSK7 \ чистий \ . \ Модель збільшує геристичне число \ {\displaystyle {-} , воно не заміняє } МSK10 \ } не заміщає його \ '-\ , стимулюючи елементи герістичне число, що погіршується, коли рівень самодовіри є високим \

Дизайн для цього розроблений в repo StyloExtract (docs/ml-classifier-v2-design.md). Implementation is notM SK1t done. The thing it 's blocked on isnMSL4t engineering effortM SL5 itMsl6s the operator question of МSL7 ship a МSL8 MB ONNX Runtime native binary into the gatewayMKL9s deploymentMCL10 or keep ML as a separate optional pack the operator opts intoM CL11 The optional MKL12pack answer is the right one for a FOSS pack ecosystemM KL13 but it means the model is MSL14t on by defaultM LKL15 which means most operators won M CL16t get it М CL17 which mean the heuristic carries most of the production load anyway MCL18

В проміжній періоді - МСК0 - оператори отримують ручний escape hatch, :, оператор, МSK1, авторизовані шаблони YAML, МСК2, один файл на домашню установку, MСК3, розшифрований AOT, M СК4, чистий, М СК5, гарячий, М S К6, переважаючи провідник для цього домашнєї установки. weird-shopify-tenant.com виробляє пустий знак "" Markdown "", ",", пише файл YAML з п 'ятьма лініями "" МSK1 "", в якому написано: """ для цього хоста, "". .product-description-body", кидає його в config/templates/, і час запуску підхоплює його через FileSystemWatcher за кілька секунд . CLI має template add/list/show/remove/test. поверхня REST має GET/PUT/DELETE/POST для того ж. Автоматичний аналіз безпеки спіймав траєкторію пересування та ШСР в кінцевих точках REST під час перевірки PR, а ці фіксувалиM SK1 регрессивний набор для обох життів в тестуванні зараз.

Операторські шаблони - це підлога. Модель ML - це потолокМSK1 Те, що між ними є прогалинаM SK2 є чесним МSK3 эвристично - це навантаження - несуть шлях сьогоднішнього дня М SK5 і воно МСК6 залишатимеся навантаженням М СК7 несемо, доки модель не буде тренована та зрівняна з стандартом WCXB FМ СК8 баром М סК9 Ця робота не завершена M СК10 не закінчена М S К11

Частина 2 цієї серії - це МЛ-будунок Герістичні шаблони + за МSK1 домашні шаблони обробляють добре МSK2 поводяться довгими хвостами і оператором - викривлені краєвиди \ ; \ тренований класифікатор обробляє дійсно хаоту HTML | ( \ Shopify themes | МSK6 \ Notion marketing pages \ МSK7 \ Tailwind component libraries with no semantic anchors ) \ where there is no <main>, ні <article>, немає послідовної класи - ім 'я сигналу МSK2 і ніякого очевидного місця для гаврізму, щоб закріпитись на MSC3 v M SK4 є відповіддю на " що ж стосовно сторінок, які не слідують жодній структурі MSL7

Де він відправляється

StyloExtract доступний на NuGet у вигляді комплекту пов 'язаних пакетів: Абстракції, ГерістикаM SK2 Фірмічний відбитокМSK3 КораMSC4 Марка-даунMスク5 AspNetCoreMska6 CLI кораблі stylo-extract (AOTM SK1 ~12MB одинарний бінар МSK3 і stylo-extract-playwright (з безголовним шрифтомM SK1відхилення від браузера для JS -видані SPAs). Текуча версія МSK4

Інтеграція StyloBot Mostlylucid.BotDetection.StyloExtract. Додавати його до ворота - це дві лінії Program.cs і одним правилом в appsettings.json:

{
  "BotDetection": {
    "DetectionPolicies": {
      "Rules": [
        {
          "Name": "ai-bot-docs-markdown",
          "Path": "/docs/*",
          "Types": ["AiBot"],
          "Confidence": ">= 0.85",
          "Action": "extract-markdown"
        }
      ]
    }
  },
  "StyloExtract": {
    "Actions": {
      "extract-markdown": {
        "Profile": "RagFull",
        "Cache": {
          "Mode": "Override",
          "MaxAge": 3600,
          "VaryByBotType": true
        }
      }
    }
  }
}

Що це означає? : будь-яке просування детектор класифікує як Бот штучного інтелекту , з впевненістю, принаймні МSK2 вдаряючи шлях під /docs/*, отримує тіло реагування, яке трансформується від HTML до Markdown за допомогою StyloExtract перед тим, як його повернеться . Те ж саме ворота продовжує служити HTML для кожного іншого запиту МSK2 Достойно бути зрозумілим тут і тих, хто не бачить Подібність, Не ідентичність для того, як). Обидві смаки отримують однакову відповідь : легке відтворення Маркдауна замість повного HTML МSK2 CSS МСК3 і JavaScript, які тільки збиралися бути сламані в будь-якому разі М СК4 Автор сайта продовжує подавати HTML людям без написання окремого сайту Маркдану М סК5 та припиняє платити за повний М S К 6 вартість renderування сторінок за трафик, який не потребує М С К 7 він не потребує цього M С С К 8

Це Local Markdown Mode. МSK1 Не залежить від Cloudflare, МSK3 Не коштує за запит, . Работить на тому ж ґратве, який ви вже маєте. . Класифікатор - StyloBot, МСК7 Экстрактор - StiloExtract, MСК8 Це все вписується в AOT, М СК9, виданий бінар, який можна застосувати docker run і залишити його на самоті.

Що тут насправді нове?

Що кораблі Cloudflare - це пакет : класифікатор ( їхній приватний МSK2 экстрактор МSK3 скоріш за все, вигин Трафіларії чи подібного МСК4 правило MSК5 поверхня для оцінки СМСК6 панель їхнього дисплея СМСК7 та краєвид SМСК8 підлога на робочий час УМСК9 глобальна мережа ВМСК10 Вони продають його як одиниці, тому що він має сенс лише як одиниця у їхньому місці в стопці МСК11

Те ж саме вміння – , – розщеплений для самої, - – замкнутої шлюпки, МSK2 – це чотири окремі речі, що складають

  1. Классифікатор, який працює локально і вирішує: " це - штучний крейлер ." StyloBot.
  2. Витягувач, який працює локально і конвертує HTML у читабельний Маркдау. StyloExtract.
  3. Правило-оцінюча поверхня, яка позначає рішення для дійM SK1 DetectionPolicyMiddleware в StyloBot 7.xM SK1
  4. Субстрат, який вони всі запускають на . whatever box your YARP gateway is on

Cloudflare володіє всіма чотирма . "." - особистий оператор, МSK1 , власником якого є не більше трьох "(", підґрунт - їхній , ",", решта - FOSS , МSK4 Торгівля - очевидна один .

Причина існування цієї статті в тому, що другий і третій шматок цієї декомпозиції - - витяжник та поверхня правила - - не мав спільної місцевої історії, коли я почав МSK3 - вони мають тепер МSK4 Похідник - це те, що робить вихідним реальним корисним

Частина 2 поєднує класифікатор ML для нерозбірливого коду - HTML хвост МSK2 вона відправляється, коли є щось для показу


StyloExtract source: github.com/scottgal/styloextract. Интеграційний пакет StyloBot живе в repo stylobot, як Mostlylucid.BotDetection.StyloExtract. lucidVIEW sourceM SK1 github.com/scottgal/lucidview. Виход CommonMark -Допомічник якості lint, який закрив цикл błędów v1.7.1 є в tests/StyloExtract.Heuristics.Tests/MarkdownOutputLint.cs.

logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.