# Відродження мого старого блогу з архівом.org і багатьма C#

<!--category-- Imported, .NET, Archive.org -->
<datetime class="hidden">2025-11-24T12:00</datetime>

Можливо, ви помітили сотні ["newM SK1 блоги](https://www.mostlylucid.net/blog/category/Imported) що з 'явились нещодавно. Ну, МСК1 вони МСК2 зовсім не нові МSK3 їм МSK4 старіші . Так само, як МСК6 МСК7 стариші ММСК8 Я нарешті збудував інструмент для порятунку мого контенту від цифрового кладовища, який був моїм старим блогом на найяскравішому адресу

## Чому Archive.org - це абсолютно блискуче

Перед тим, як я занурююсь у технічну тему, я мушу вигукувати [Інтернет-архив](https://archive.org/) та їхнім Wayback Machine. МСК0 Ця некомерційна організація тихо архівує веб з того часу, як МСК2 зберігає мільярди веб-сторінок, які інакше були б втрачені назавжди. МSK3

Подумайте про це на хвильку.

Коли мій старий хостинг-провайдер зник, ( разом з моїми резервними копіями, тому що я був таким розумним ), Я думав, що всі ті контенти зникли назавжди МSK2 Виявляється, що Wayback Machine старанно знімає мою веб-сторінку роками M SK3 Архив .org досить буквально заберегся

Якщо ви ніколи не пожертвували їм, то думайте про це. Вони зберігають нашу колективну цифрову історію.

## Проблема: Моя блога була повідомленням

Ось що стосується створення блогу від 2004 до ♫ 2010 ♫ ♫ МSK3 ♫ веб-технології змінили ПОЛЬКО за цей час ♫ СМСК4 ♫ І очевидно ♫ SМСК5 ♫ Я змінив свій набір блогінгів хоча б три рази ♫ MSК6 ♫

1. **Перші дні (2004)**: Якась домашня ASP.NET річ з контентом, загорнутою в `<div class="post">` всередині `<form>` елемент ( тому що тоді все було формою
2. **Середній період**: Різна структура шаблону , дати в різних місцях
3. **Пізніше роки**: Ще одна реструктурація з трохи різними вибірками

З пам 'яті він використовував щось на замовлення. [Субтекст](http://beletsky.net/2010/09/subtext-open-source-blogging-engine.html) (Phil HaackM SK1 блогінг справа). Послідовується Community Server (a [Телігент](https://community.telligent.com/) те, що ASP.NET використовував для хостингу сайтів

Це означало, що будь-який інструмент для видобутку повинен бути достатньо гнучким, щоб працювати з багатьма HTML-структурами.

## Введіть Importer ArchiveOrg

Я створив [Импортер ArchiveOrg](https://github.com/scottgal/mostlylucid.nugetpackages/tree/main/Mostlylucid.ArchiveOrg) щоб розв 'язати цю дуже специфічну проблему.

1. **Поважає обмеження використання Archive.org'** МСК0 Вони ' є некомерційним - , що працює на пожертвах МSK3 тому б було жахливо вбивати їх сервери
2. **завантажує заархивовані сторінки між настроюваними датами**
3. **Витягує зміст блогу з декількох структур HTML**
4. **генерує чисту позначку** у моєму теперішньому форматі блогу
5. **Використовуючи Ollama, можна генерувати корисні ярлики** - тому що чому б не покинути на нього трохи магії LLM

### Як це працює

Цей інструмент слідує за конструкцією трубопроводу з трьома основними етапами:

```
Archive.org CDX API → Download HTML → Convert to Markdown → Generate Tags → Output Files
```

#### Фаза 1: Запроси в архів

Цей інструмент використовує Archive.org's [API CDX](https://github.com/internetarchive/wayback/tree/master/wayback-cdx-server) щоб знайти всі заархивовані знімки мого блогу. Цей API повертає список зафіксованих URL з тайм-тампами

```csharp
// The CDX query builds a URL like this:
// https://web.archive.org/cdx/search/cdx?url=mostlylucid.co.uk/posts/&output=json&collapse=urlkey
```

І `collapse=urlkey` параметр розумний - він повертає лише останній знімок для кожного унікального URL , що значно зменшує кількість дублярів, які вам потрібно працювати з

Я також використовую шаблони регекса, щоб відфільтрувати URLs. Мої старі записи слідували за шаблоном `/posts/[number].aspx`МSK0 так:

```json
{
  "IncludePatterns": ["/posts/\\d+\\.aspx$"]
}
```

Таким чином я захоплюю лише реальні блогові статті, а не архівні сторінкиM SK1 категорії сторінок, або RSS-канатиMSC3

#### Фаза 2: Бути добрим громадяном з обмеженими ставками

Архив.org - це громадська службаM SK1 Вони не мають'infrastrukturного бюджету Google чи Амазонки . Тому завантажувач навмисно консерватор

```csharp
// Default: 5 seconds between requests, single-threaded downloads
"RateLimitMs": 5000,
"MaxConcurrentDownloads": 1
```

Так, це означає, що завантаження сотень постів займає деякий час . Але це МSK2 правильна річ для того, щоб зробити M SK3 Далі інструмент також обробляє MSC4 ( обмеження швидкостіМSK6 реакції граційно з експоненційним відхиленням .

Там' також є певна утилізація, яка потрібна для завантажених файлів

```csharp
private static string CleanWaybackArtifacts(string html)
{
    // Remove the interactive Wayback toolbar
    html = WaybackToolbarRegex().Replace(html, string.Empty);
    // Remove playback.archive.org script references
    html = WaybackScriptRegex().Replace(html, string.Empty);
    // Strip archival metadata comments
    html = WaybackCommentRegex().Replace(html, string.Empty);
    // Rewrite archived URLs back to original paths
    html = WaybackUrlRewriteRegex().Replace(html, "$1$2");
    return html;
}
```

Рухування шаблонами регекса:

- `<!-- BEGIN WAYBACK TOOLBAR INSERT -->...<!-- END WAYBACK TOOLBAR INSERT -->` - панель інструментів HTML
- `<script>` відсилання на ярлики `playback.archive.org`
- Комментари до метадань в архіві
- На зразок префиксів URL `https://web.archive.org/web/20040527/` що стають прив 'язаними до всіх зв' язків

#### Фаза 3: Таємниця видобутку контенту

Тут все стає цікавішим.. Пам 'ятаєте, я згадував, що мій блог змінив структуру тричі?

Примарне вилучення використовує CSS-селлер:

```json
{
  "ContentSelector": "div.post"
}
```

Але ось тут – МСК0 – кумедний жарт. МСК1 – в деяких версіїх мого старого сайту `div.post` був всередині `<form>` елемент. Код має виділяти зміст перед тим, як видалити небажані елементиM SK1 інакше видалити `<form>` теглі зруйнували справжній зміст блогу:

```csharp
// In ConvertFileAsync - the order here is critical
var contentNode = ExtractMainContent(doc);
if (contentNode == null)
{
    _logger.LogWarning("Could not find main content in {File}", htmlFilePath);
    return articles;
}

// NOW we can safely remove unwanted elements from within the extracted content
RemoveUnwantedElementsFromNode(contentNode);
```

І `ExtractMainContent` метод використовує ієрархічне пошуку, щоб знайти зміст:

```csharp
// For selectors like "div.post", split and search by element + class
node = doc.DocumentNode.Descendants()
    .FirstOrDefault(n =>
        n.Name.Equals(elementName, StringComparison.OrdinalIgnoreCase) &&
        HasExactClass(n, className));
```

Цей інструмент також має відбірники зворотнього зв 'язку, якщо первинний не працює:

1. `div.blogpost`, `div.singlepost`, `article`
2. `#content`, `#main-content`, `#PostBody`
3. `.post-content`, `.entry-content`, `.article-content`
4. Врешті-решт, `<body>` якщо все інше не спрацює

А потім - МСК0 - довгий список елементів, які треба видалити після видобутку контенту.

```json
{
  "RemoveSelectors": [
    "nav", "header", "footer", ".sidebar", ".advertisement",
    ".comments", ".social-share", ".related-posts", "script",
    "style", "noscript", "iframe", "#commentform", ".postNav"
  ]
}
```

#### Фаза 4: генерування позначки

Як тільки ми маємо чистий HTML контент, [Реверсі Маркдау](https://github.com/mysticmind/reversemarkdown-net) управляє важким підтримкою перетворення на GitHub

Але виходу знадобилося дещо після-розробка. Старий HTML часто мав дивну індикацію, яка зплутала б відмітників. МSK2індиковані лінії стають кодовими блокамиM SK3 Отож, ось це

```csharp
// Removes leading whitespace from non-code lines
// Preserves code block formatting (respects ``` fences)
// Removes excessive blank lines (max 2 consecutive)
```

В кінцевому рахунку, мій блог includes my blog's front matter format:

```markdown
# Article Title

<datetime class="hidden">2004-05-27T23:21</datetime>
<!--category-- mostlylucidcouk, Imported, SomeCategory -->

Article content here...
```

#### Фаза 5: LLMM SK1Посилна генерація міток

Тепер для кумедної частини. Старі блогові статті часто не мали жодних ярликів , або ярликов, які не мали сенсу в моєму поточному структурі сайту МSK3 Тому я інтегрував Олламу для аналізу контенту і генерації відповідних ярлиць M SK4

Конфигурація проста:

```json
{
  "Ollama": {
    "BaseUrl": "http://localhost:11434",
    "Model": "gemma3:4b",
    "Temperature": 0.3,
    "MaxTags": 5,
    "Enabled": true
  }
}
```

Я користуюсь `gemma3:4b` так як це' швидко і достатньо маленьке, щоб працювати локально без сильного тремтіння . Niska температура МSK2 зберігає вихідний результат послідовний M SK3 ми не хочемо ані ' ані творчих галюцинацій в наших ярликах . Зауважте MSC6 для мого блога це спрацювало, тому що пости були короткими

##### Рухування довшими постами

Тут' є практичним обмеженнямM SK1 LLM мають контекстні вікна , і накачування цілого блогового посту в них для генерації теги марнотратно МSK3 Це інструмент скорочує зміст до МSK4 символів:

```csharp
var truncatedContent = content.Length > 3000
    ? content[..3000] + "..."
    : content;
```

Для генерації теги, перші символи МSK1 зазвичай містять достатньо контексту, щоб зрозуміти, про що йдеться в статтіM SK2 Понудок вказує на модель, щоб зосередитися на техніці МSK3конкретних категорії :

```
Generate up to 5 tags, short (1-3 words), focusing on:
.NET, C#, ASP.NET, JavaScript, Docker, Database, API, Security, DevOps, Cloud
```

– якщо Оллама повертає сміття або викидає його з ладу МSK1 ми просто отримуємо пустий список ярликів, а не розбиваємо весь канал

### Data Extraction: MultiM SK1Strategy Approach

Найти дату публікації є дивовижно складним. Мій старий блог зберігає дані в різних місцях протягом роківM SK1 Програмне забезпечення пробує різні стратегії:

1. **Налагодження виборця** МSK0e.gM SK2 `.postfoot`)
2. **Мета-теги**: `article:published_time`, `DC.date.issued`
3. **HTML5 `<time>` елементи**
4. **Зазвичайні класи дати**: `.date`, `.post-date`, `.entry-date`
5. **Моделі регекса** на сирому HTML (формат ISOМSK1сlashM SK2отокремлений, і т.д.
6. **Відхилення**: Сама дата зйомки в архіві

Один особливо тривожний формат був моїм старим шаблоном для блогу 's "posted on Thursday МSK2 May МСК3 МСК4 MСК5 PM М СК6 stringMСК7 There M СК8s specific parsing for thatM СК9

### Оркестрація трубопроводу

Найкрутіший архітектурний біт - це те, як завантаження та конвертація запускаються паралельно, використовуючи .NET Channels

```csharp
var channel = Channel.CreateBounded<string>(10);

// Producer: downloads and writes file paths to channel
// Consumer: reads file paths and converts to markdown
```

Це означає, що конфігурація починається як тільки перший файл завантажується, замість того, щоб чекати, поки всі завантаження закінчуються . обмежена пропускна спроможність МSK2 توکي МСК3 забезпечує зворотний тиск MСК4 якщо конфигурація залишиться позадуMСК5 завантаження уповільнюється до співпадіння М СК6

## Ограничення та готча

Давайте будемо чесними щодо того, що цей інструмент не зможе зробити

1. **Це дуже специфічне для мого блогу** – seleкториM SK1 шаблони , і виведення дати всі підлаштововані для більш точного вибору

2. **Архив.org не має** – Деякі сторінки не були заархивованіM SK1 не заархівовані , або заархифіковані зламаним CSS

3. **Фотографії найкращі-effort** - Програмне забезпечення намагається завантажити зображення з машини Wayback Machine , але багато з них просто зникають назавжди.

4. **Смерті зв 'язки всюди** - Внешні зв 'язки з МSK1 показують сайти, які більше не існують МSK2 Я ' я працюю над окремим рішенням для цього \ \ автоматичний архів \ МSK5\ оргзаміна зв' язку в середній програмі

5. **Метки LLM недосконалими** – Згенеровані знаки Оллами МSK1 зазвичай розумні МSK2 але іноді не помічають знаку . Рекомендується ретельно переглянутиручні знаки

6. **Трункація API CDX** – Для веб-сайтів з тисячами сторінок

## Рухаємось цим

Якщо ви хочете адаптувати це для вашого веб-сайту (itM SK1 буде потрібне налаштування

```bash
# Full pipeline (download + convert)
dotnet run -- full

# Just download HTML from Archive.org
dotnet run -- download

# Just convert existing HTML files to Markdown
dotnet run -- convert
```

Цей інструмент підтримує граційне вимкнення (Ctrl+CM SK2 і може відтворюватися з того місця, де він залишався, оскільки файли зберігаються локально

## Результати

Після запуску цього на моєму старому blogu, я відібрав пости, що датувалися до [Январь 1stM SK1 2004](/blog/365) і до того! Прочитати їх - це захоплююча подорож в часі . Розмови про веб-розробку, які проводились до того, як jQuery існував МSK2 Статьи про технології, які тепер цілком застаріли M SK3 І деякі смішні думки, які я мала, будучи молодшим програмістом

Ви можете знайти всі импортовані записи, використовуючи [Импорт](/blog/category/Imported) бирка категорії.

## Що Next

Импортований контент має багато мертвих зв 'язків. – те, що МSK1 є просто природою [збудував посередне програмне забезпечення](/blog/the-war-on-404) що:

1. Визначати 404s для старих URL
2. Автоматично знаходити найближчий архив.org знімок
3. Перенаправити або відображати заархівовану версію

## Згортання

Побудувати цей інструмент був вихідним проектом, який перетворився на щось дійсно корисние. Якщо ви ' втратили зміст з старого блогу МSK2 там МСК3 має пристойну можливість Архив М СК4org має його М סК5 І якщо ви М S К6 відчуваєте себе комфортно з C М ็ С К7 тут є методики M С К 8 С ЦД ХП API querying M S К 9 Видобуток HTML контенту M ็ S К 10 генерування маркування М М С К 11 Л Л ЛМ таґґґінг М Ш К 12 можна адаптувати для вашого власного проекту відновлення М В С К 13

Код знаходиться на [github.com /scottgal/mostlylucidM SK3nugetpackages](https://github.com/scottgal/mostlylucid.nugetpackages/tree/main/Mostlylucid.ArchiveOrg). Це МSK1 це не поліпшена бібліотека МSK2 це ' це мета \ - створений інструмент для моєї конкретної ситуації \ МSK5 але він може дати вам ідеї для власних авантюр з архіву

І серйозно: МСК0 , Пожертвуй в архів . "." , Орг і мСК2 . Вони ми робимо важливу роботу