Back to "Відродження мого старого блогу з архівом.org і багатьма C#"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

This is a preview from the server running through my markdig pipeline

.NET Archive.org Imported

Відродження мого старого блогу з архівом.org і багатьма C#

Monday, 24 November 2025

Можливо, ви помітили сотні "newM SK1 блоги що з 'явились нещодавно. Ну, МСК1 вони МСК2 зовсім не нові МSK3 їм МSK4 старіші . Так само, як МСК6 МСК7 стариші ММСК8 Я нарешті збудував інструмент для порятунку мого контенту від цифрового кладовища, який був моїм старим блогом на найяскравішому адресу

Чому Archive.org - це абсолютно блискуче

Перед тим, як я занурююсь у технічну тему, я мушу вигукувати Інтернет-архив та їхнім Wayback Machine. МСК0 Ця некомерційна організація тихо архівує веб з того часу, як МСК2 зберігає мільярди веб-сторінок, які інакше були б втрачені назавжди. МSK3

Подумайте про це на хвильку.

Коли мій старий хостинг-провайдер зник, ( разом з моїми резервними копіями, тому що я був таким розумним ), Я думав, що всі ті контенти зникли назавжди МSK2 Виявляється, що Wayback Machine старанно знімає мою веб-сторінку роками M SK3 Архив .org досить буквально заберегся

Якщо ви ніколи не пожертвували їм, то думайте про це. Вони зберігають нашу колективну цифрову історію.

Проблема: Моя блога була повідомленням

Ось що стосується створення блогу від 2004 до ♫ 2010 ♫ ♫ МSK3 ♫ веб-технології змінили ПОЛЬКО за цей час ♫ СМСК4 ♫ І очевидно ♫ SМСК5 ♫ Я змінив свій набір блогінгів хоча б три рази ♫ MSК6 ♫

  1. Перші дні (2004): Якась домашня ASP.NET річ з контентом, загорнутою в <div class="post"> всередині <form> елемент ( тому що тоді все було формою
  2. Середній період: Різна структура шаблону , дати в різних місцях
  3. Пізніше роки: Ще одна реструктурація з трохи різними вибірками

З пам 'яті він використовував щось на замовлення. Субтекст (Phil HaackM SK1 блогінг справа). Послідовується Community Server (a Телігент те, що ASP.NET використовував для хостингу сайтів

Це означало, що будь-який інструмент для видобутку повинен бути достатньо гнучким, щоб працювати з багатьма HTML-структурами.

Введіть Importer ArchiveOrg

Я створив Импортер ArchiveOrg щоб розв 'язати цю дуже специфічну проблему.

  1. Поважає обмеження використання Archive.org' МСК0 Вони ' є некомерційним - , що працює на пожертвах МSK3 тому б було жахливо вбивати їх сервери
  2. завантажує заархивовані сторінки між настроюваними датами
  3. Витягує зміст блогу з декількох структур HTML
  4. генерує чисту позначку у моєму теперішньому форматі блогу
  5. Використовуючи Ollama, можна генерувати корисні ярлики - тому що чому б не покинути на нього трохи магії LLM

Як це працює

Цей інструмент слідує за конструкцією трубопроводу з трьома основними етапами:

Archive.org CDX API → Download HTML → Convert to Markdown → Generate Tags → Output Files

Фаза 1: Запроси в архів

Цей інструмент використовує Archive.org's API CDX щоб знайти всі заархивовані знімки мого блогу. Цей API повертає список зафіксованих URL з тайм-тампами

// The CDX query builds a URL like this:
// https://web.archive.org/cdx/search/cdx?url=mostlylucid.co.uk/posts/&output=json&collapse=urlkey

І collapse=urlkey параметр розумний - він повертає лише останній знімок для кожного унікального URL , що значно зменшує кількість дублярів, які вам потрібно працювати з

Я також використовую шаблони регекса, щоб відфільтрувати URLs. Мої старі записи слідували за шаблоном /posts/[number].aspxМSK0 так:

{
  "IncludePatterns": ["/posts/\\d+\\.aspx$"]
}

Таким чином я захоплюю лише реальні блогові статті, а не архівні сторінкиM SK1 категорії сторінок, або RSS-канатиMSC3

Фаза 2: Бути добрим громадяном з обмеженими ставками

Архив.org - це громадська службаM SK1 Вони не мають'infrastrukturного бюджету Google чи Амазонки . Тому завантажувач навмисно консерватор

// Default: 5 seconds between requests, single-threaded downloads
"RateLimitMs": 5000,
"MaxConcurrentDownloads": 1

Так, це означає, що завантаження сотень постів займає деякий час . Але це МSK2 правильна річ для того, щоб зробити M SK3 Далі інструмент також обробляє MSC4 ( обмеження швидкостіМSK6 реакції граційно з експоненційним відхиленням .

Там' також є певна утилізація, яка потрібна для завантажених файлів

private static string CleanWaybackArtifacts(string html)
{
    // Remove the interactive Wayback toolbar
    html = WaybackToolbarRegex().Replace(html, string.Empty);
    // Remove playback.archive.org script references
    html = WaybackScriptRegex().Replace(html, string.Empty);
    // Strip archival metadata comments
    html = WaybackCommentRegex().Replace(html, string.Empty);
    // Rewrite archived URLs back to original paths
    html = WaybackUrlRewriteRegex().Replace(html, "$1$2");
    return html;
}

Рухування шаблонами регекса:

  • <!-- BEGIN WAYBACK TOOLBAR INSERT -->...<!-- END WAYBACK TOOLBAR INSERT --> - панель інструментів HTML
  • <script> відсилання на ярлики playback.archive.org
  • Комментари до метадань в архіві
  • На зразок префиксів URL https://web.archive.org/web/20040527/ що стають прив 'язаними до всіх зв' язків

Фаза 3: Таємниця видобутку контенту

Тут все стає цікавішим.. Пам 'ятаєте, я згадував, що мій блог змінив структуру тричі?

Примарне вилучення використовує CSS-селлер:

{
  "ContentSelector": "div.post"
}

Але ось тут – МСК0 – кумедний жарт. МСК1 – в деяких версіїх мого старого сайту div.post був всередині <form> елемент. Код має виділяти зміст перед тим, як видалити небажані елементиM SK1 інакше видалити <form> теглі зруйнували справжній зміст блогу:

// In ConvertFileAsync - the order here is critical
var contentNode = ExtractMainContent(doc);
if (contentNode == null)
{
    _logger.LogWarning("Could not find main content in {File}", htmlFilePath);
    return articles;
}

// NOW we can safely remove unwanted elements from within the extracted content
RemoveUnwantedElementsFromNode(contentNode);

І ExtractMainContent метод використовує ієрархічне пошуку, щоб знайти зміст:

// For selectors like "div.post", split and search by element + class
node = doc.DocumentNode.Descendants()
    .FirstOrDefault(n =>
        n.Name.Equals(elementName, StringComparison.OrdinalIgnoreCase) &&
        HasExactClass(n, className));

Цей інструмент також має відбірники зворотнього зв 'язку, якщо первинний не працює:

  1. div.blogpost, div.singlepost, article
  2. #content, #main-content, #PostBody
  3. .post-content, .entry-content, .article-content
  4. Врешті-решт, <body> якщо все інше не спрацює

А потім - МСК0 - довгий список елементів, які треба видалити після видобутку контенту.

{
  "RemoveSelectors": [
    "nav", "header", "footer", ".sidebar", ".advertisement",
    ".comments", ".social-share", ".related-posts", "script",
    "style", "noscript", "iframe", "#commentform", ".postNav"
  ]
}

Фаза 4: генерування позначки

Як тільки ми маємо чистий HTML контент, Реверсі Маркдау управляє важким підтримкою перетворення на GitHub

Але виходу знадобилося дещо після-розробка. Старий HTML часто мав дивну індикацію, яка зплутала б відмітників. МSK2індиковані лінії стають кодовими блокамиM SK3 Отож, ось це

// Removes leading whitespace from non-code lines
// Preserves code block formatting (respects ``` fences)
// Removes excessive blank lines (max 2 consecutive)

В кінцевому рахунку, мій блог includes my blog's front matter format:

# Article Title




Article content here...

Фаза 5: LLMM SK1Посилна генерація міток

Тепер для кумедної частини. Старі блогові статті часто не мали жодних ярликів , або ярликов, які не мали сенсу в моєму поточному структурі сайту МSK3 Тому я інтегрував Олламу для аналізу контенту і генерації відповідних ярлиць M SK4

Конфигурація проста:

{
  "Ollama": {
    "BaseUrl": "http://localhost:11434",
    "Model": "gemma3:4b",
    "Temperature": 0.3,
    "MaxTags": 5,
    "Enabled": true
  }
}

Я користуюсь gemma3:4b так як це' швидко і достатньо маленьке, щоб працювати локально без сильного тремтіння . Niska температура МSK2 зберігає вихідний результат послідовний M SK3 ми не хочемо ані ' ані творчих галюцинацій в наших ярликах . Зауважте MSC6 для мого блога це спрацювало, тому що пости були короткими

Рухування довшими постами

Тут' є практичним обмеженнямM SK1 LLM мають контекстні вікна , і накачування цілого блогового посту в них для генерації теги марнотратно МSK3 Це інструмент скорочує зміст до МSK4 символів:

var truncatedContent = content.Length > 3000
    ? content[..3000] + "..."
    : content;

Для генерації теги, перші символи МSK1 зазвичай містять достатньо контексту, щоб зрозуміти, про що йдеться в статтіM SK2 Понудок вказує на модель, щоб зосередитися на техніці МSK3конкретних категорії :

Generate up to 5 tags, short (1-3 words), focusing on:
.NET, C#, ASP.NET, JavaScript, Docker, Database, API, Security, DevOps, Cloud

– якщо Оллама повертає сміття або викидає його з ладу МSK1 ми просто отримуємо пустий список ярликів, а не розбиваємо весь канал

Data Extraction: MultiM SK1Strategy Approach

Найти дату публікації є дивовижно складним. Мій старий блог зберігає дані в різних місцях протягом роківM SK1 Програмне забезпечення пробує різні стратегії:

  1. Налагодження виборця МSK0e.gM SK2 .postfoot)
  2. Мета-теги: article:published_time, DC.date.issued
  3. HTML5 <time> елементи
  4. Зазвичайні класи дати: .date, .post-date, .entry-date
  5. Моделі регекса на сирому HTML (формат ISOМSK1сlashM SK2отокремлений, і т.д.
  6. Відхилення: Сама дата зйомки в архіві

Один особливо тривожний формат був моїм старим шаблоном для блогу 's "posted on Thursday МSK2 May МСК3 МСК4 MСК5 PM М СК6 stringMСК7 There M СК8s specific parsing for thatM СК9

Оркестрація трубопроводу

Найкрутіший архітектурний біт - це те, як завантаження та конвертація запускаються паралельно, використовуючи .NET Channels

var channel = Channel.CreateBounded<string>(10);

// Producer: downloads and writes file paths to channel
// Consumer: reads file paths and converts to markdown

Це означає, що конфігурація починається як тільки перший файл завантажується, замість того, щоб чекати, поки всі завантаження закінчуються . обмежена пропускна спроможність МSK2 توکي МСК3 забезпечує зворотний тиск MСК4 якщо конфигурація залишиться позадуMСК5 завантаження уповільнюється до співпадіння М СК6

Ограничення та готча

Давайте будемо чесними щодо того, що цей інструмент не зможе зробити

  1. Це дуже специфічне для мого блогу – seleкториM SK1 шаблони , і виведення дати всі підлаштововані для більш точного вибору

  2. Архив.org не має – Деякі сторінки не були заархивованіM SK1 не заархівовані , або заархифіковані зламаним CSS

  3. Фотографії найкращі-effort - Програмне забезпечення намагається завантажити зображення з машини Wayback Machine , але багато з них просто зникають назавжди.

  4. Смерті зв 'язки всюди - Внешні зв 'язки з МSK1 показують сайти, які більше не існують МSK2 Я ' я працюю над окремим рішенням для цього \ \ автоматичний архів \ МSK5\ оргзаміна зв' язку в середній програмі

  5. Метки LLM недосконалими – Згенеровані знаки Оллами МSK1 зазвичай розумні МSK2 але іноді не помічають знаку . Рекомендується ретельно переглянутиручні знаки

  6. Трункація API CDX – Для веб-сайтів з тисячами сторінок

Рухаємось цим

Якщо ви хочете адаптувати це для вашого веб-сайту (itM SK1 буде потрібне налаштування

# Full pipeline (download + convert)
dotnet run -- full

# Just download HTML from Archive.org
dotnet run -- download

# Just convert existing HTML files to Markdown
dotnet run -- convert

Цей інструмент підтримує граційне вимкнення (Ctrl+CM SK2 і може відтворюватися з того місця, де він залишався, оскільки файли зберігаються локально

Результати

Після запуску цього на моєму старому blogu, я відібрав пости, що датувалися до Январь 1stM SK1 2004 і до того! Прочитати їх - це захоплююча подорож в часі . Розмови про веб-розробку, які проводились до того, як jQuery існував МSK2 Статьи про технології, які тепер цілком застаріли M SK3 І деякі смішні думки, які я мала, будучи молодшим програмістом

Ви можете знайти всі импортовані записи, використовуючи Импорт бирка категорії.

Що Next

Импортований контент має багато мертвих зв 'язків. – те, що МSK1 є просто природою збудував посередне програмне забезпечення що:

  1. Визначати 404s для старих URL
  2. Автоматично знаходити найближчий архив.org знімок
  3. Перенаправити або відображати заархівовану версію

Згортання

Побудувати цей інструмент був вихідним проектом, який перетворився на щось дійсно корисние. Якщо ви ' втратили зміст з старого блогу МSK2 там МСК3 має пристойну можливість Архив М СК4org має його М סК5 І якщо ви М S К6 відчуваєте себе комфортно з C М ็ С К7 тут є методики M С К 8 С ЦД ХП API querying M S К 9 Видобуток HTML контенту M ็ S К 10 генерування маркування М М С К 11 Л Л ЛМ таґґґінг М Ш К 12 можна адаптувати для вашого власного проекту відновлення М В С К 13

Код знаходиться на github.com /scottgal/mostlylucidM SK3nugetpackages. Це МSK1 це не поліпшена бібліотека МSK2 це ' це мета \ - створений інструмент для моєї конкретної ситуації \ МSK5 але він може дати вам ідеї для власних авантюр з архіву

І серйозно: МСК0 , Пожертвуй в архів . "." , Орг і мСК2 . Вони ми робимо важливу роботу

logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.