Відродження мого старого блогу з архівом.org і багатьма C#
Можливо, ви помітили сотні "newM SK1 блоги що з 'явились нещодавно. Ну, МСК1 вони МСК2 зовсім не нові МSK3 їм МSK4 старіші . Так само, як МСК6 МСК7 стариші ММСК8 Я нарешті збудував інструмент для порятунку мого контенту від цифрового кладовища, який був моїм старим блогом на найяскравішому адресу
Чому Archive.org - це абсолютно блискуче
Перед тим, як я занурююсь у технічну тему, я мушу вигукувати Інтернет-архив та їхнім Wayback Machine. МСК0 Ця некомерційна організація тихо архівує веб з того часу, як МСК2 зберігає мільярди веб-сторінок, які інакше були б втрачені назавжди. МSK3
Подумайте про це на хвильку.
Коли мій старий хостинг-провайдер зник, ( разом з моїми резервними копіями, тому що я був таким розумним ), Я думав, що всі ті контенти зникли назавжди МSK2 Виявляється, що Wayback Machine старанно знімає мою веб-сторінку роками M SK3 Архив .org досить буквально заберегся
Якщо ви ніколи не пожертвували їм, то думайте про це. Вони зберігають нашу колективну цифрову історію.
Проблема: Моя блога була повідомленням
Ось що стосується створення блогу від 2004 до ♫ 2010 ♫ ♫ МSK3 ♫ веб-технології змінили ПОЛЬКО за цей час ♫ СМСК4 ♫ І очевидно ♫ SМСК5 ♫ Я змінив свій набір блогінгів хоча б три рази ♫ MSК6 ♫
- Перші дні (2004): Якась домашня ASP.NET річ з контентом, загорнутою в
<div class="post">всередині<form>елемент ( тому що тоді все було формою - Середній період: Різна структура шаблону , дати в різних місцях
- Пізніше роки: Ще одна реструктурація з трохи різними вибірками
З пам 'яті він використовував щось на замовлення. Субтекст (Phil HaackM SK1 блогінг справа). Послідовується Community Server (a Телігент те, що ASP.NET використовував для хостингу сайтів
Це означало, що будь-який інструмент для видобутку повинен бути достатньо гнучким, щоб працювати з багатьма HTML-структурами.
Введіть Importer ArchiveOrg
Я створив Импортер ArchiveOrg щоб розв 'язати цю дуже специфічну проблему.
- Поважає обмеження використання Archive.org' МСК0 Вони ' є некомерційним - , що працює на пожертвах МSK3 тому б було жахливо вбивати їх сервери
- завантажує заархивовані сторінки між настроюваними датами
- Витягує зміст блогу з декількох структур HTML
- генерує чисту позначку у моєму теперішньому форматі блогу
- Використовуючи Ollama, можна генерувати корисні ярлики - тому що чому б не покинути на нього трохи магії LLM
Як це працює
Цей інструмент слідує за конструкцією трубопроводу з трьома основними етапами:
Archive.org CDX API → Download HTML → Convert to Markdown → Generate Tags → Output Files
Фаза 1: Запроси в архів
Цей інструмент використовує Archive.org's API CDX щоб знайти всі заархивовані знімки мого блогу. Цей API повертає список зафіксованих URL з тайм-тампами
// The CDX query builds a URL like this:
// https://web.archive.org/cdx/search/cdx?url=mostlylucid.co.uk/posts/&output=json&collapse=urlkey
І collapse=urlkey параметр розумний - він повертає лише останній знімок для кожного унікального URL , що значно зменшує кількість дублярів, які вам потрібно працювати з
Я також використовую шаблони регекса, щоб відфільтрувати URLs. Мої старі записи слідували за шаблоном /posts/[number].aspxМSK0 так:
{
"IncludePatterns": ["/posts/\\d+\\.aspx$"]
}
Таким чином я захоплюю лише реальні блогові статті, а не архівні сторінкиM SK1 категорії сторінок, або RSS-канатиMSC3
Фаза 2: Бути добрим громадяном з обмеженими ставками
Архив.org - це громадська службаM SK1 Вони не мають'infrastrukturного бюджету Google чи Амазонки . Тому завантажувач навмисно консерватор
// Default: 5 seconds between requests, single-threaded downloads
"RateLimitMs": 5000,
"MaxConcurrentDownloads": 1
Так, це означає, що завантаження сотень постів займає деякий час . Але це МSK2 правильна річ для того, щоб зробити M SK3 Далі інструмент також обробляє MSC4 ( обмеження швидкостіМSK6 реакції граційно з експоненційним відхиленням .
Там' також є певна утилізація, яка потрібна для завантажених файлів
private static string CleanWaybackArtifacts(string html)
{
// Remove the interactive Wayback toolbar
html = WaybackToolbarRegex().Replace(html, string.Empty);
// Remove playback.archive.org script references
html = WaybackScriptRegex().Replace(html, string.Empty);
// Strip archival metadata comments
html = WaybackCommentRegex().Replace(html, string.Empty);
// Rewrite archived URLs back to original paths
html = WaybackUrlRewriteRegex().Replace(html, "$1$2");
return html;
}
Рухування шаблонами регекса:
<!-- BEGIN WAYBACK TOOLBAR INSERT -->...<!-- END WAYBACK TOOLBAR INSERT -->- панель інструментів HTML<script>відсилання на ярликиplayback.archive.org- Комментари до метадань в архіві
- На зразок префиксів URL
https://web.archive.org/web/20040527/що стають прив 'язаними до всіх зв' язків
Фаза 3: Таємниця видобутку контенту
Тут все стає цікавішим.. Пам 'ятаєте, я згадував, що мій блог змінив структуру тричі?
Примарне вилучення використовує CSS-селлер:
{
"ContentSelector": "div.post"
}
Але ось тут – МСК0 – кумедний жарт. МСК1 – в деяких версіїх мого старого сайту div.post був всередині <form> елемент. Код має виділяти зміст перед тим, як видалити небажані елементиM SK1 інакше видалити <form> теглі зруйнували справжній зміст блогу:
// In ConvertFileAsync - the order here is critical
var contentNode = ExtractMainContent(doc);
if (contentNode == null)
{
_logger.LogWarning("Could not find main content in {File}", htmlFilePath);
return articles;
}
// NOW we can safely remove unwanted elements from within the extracted content
RemoveUnwantedElementsFromNode(contentNode);
І ExtractMainContent метод використовує ієрархічне пошуку, щоб знайти зміст:
// For selectors like "div.post", split and search by element + class
node = doc.DocumentNode.Descendants()
.FirstOrDefault(n =>
n.Name.Equals(elementName, StringComparison.OrdinalIgnoreCase) &&
HasExactClass(n, className));
Цей інструмент також має відбірники зворотнього зв 'язку, якщо первинний не працює:
div.blogpost,div.singlepost,article#content,#main-content,#PostBody.post-content,.entry-content,.article-content- Врешті-решт,
<body>якщо все інше не спрацює
А потім - МСК0 - довгий список елементів, які треба видалити після видобутку контенту.
{
"RemoveSelectors": [
"nav", "header", "footer", ".sidebar", ".advertisement",
".comments", ".social-share", ".related-posts", "script",
"style", "noscript", "iframe", "#commentform", ".postNav"
]
}
Фаза 4: генерування позначки
Як тільки ми маємо чистий HTML контент, Реверсі Маркдау управляє важким підтримкою перетворення на GitHub
Але виходу знадобилося дещо після-розробка. Старий HTML часто мав дивну індикацію, яка зплутала б відмітників. МSK2індиковані лінії стають кодовими блокамиM SK3 Отож, ось це
// Removes leading whitespace from non-code lines
// Preserves code block formatting (respects ``` fences)
// Removes excessive blank lines (max 2 consecutive)
В кінцевому рахунку, мій блог includes my blog's front matter format:
# Article Title
Article content here...
Фаза 5: LLMM SK1Посилна генерація міток
Тепер для кумедної частини. Старі блогові статті часто не мали жодних ярликів , або ярликов, які не мали сенсу в моєму поточному структурі сайту МSK3 Тому я інтегрував Олламу для аналізу контенту і генерації відповідних ярлиць M SK4
Конфигурація проста:
{
"Ollama": {
"BaseUrl": "http://localhost:11434",
"Model": "gemma3:4b",
"Temperature": 0.3,
"MaxTags": 5,
"Enabled": true
}
}
Я користуюсь gemma3:4b так як це' швидко і достатньо маленьке, щоб працювати локально без сильного тремтіння . Niska температура МSK2 зберігає вихідний результат послідовний M SK3 ми не хочемо ані ' ані творчих галюцинацій в наших ярликах . Зауважте MSC6 для мого блога це спрацювало, тому що пости були короткими
Рухування довшими постами
Тут' є практичним обмеженнямM SK1 LLM мають контекстні вікна , і накачування цілого блогового посту в них для генерації теги марнотратно МSK3 Це інструмент скорочує зміст до МSK4 символів:
var truncatedContent = content.Length > 3000
? content[..3000] + "..."
: content;
Для генерації теги, перші символи МSK1 зазвичай містять достатньо контексту, щоб зрозуміти, про що йдеться в статтіM SK2 Понудок вказує на модель, щоб зосередитися на техніці МSK3конкретних категорії :
Generate up to 5 tags, short (1-3 words), focusing on:
.NET, C#, ASP.NET, JavaScript, Docker, Database, API, Security, DevOps, Cloud
– якщо Оллама повертає сміття або викидає його з ладу МSK1 ми просто отримуємо пустий список ярликів, а не розбиваємо весь канал
Data Extraction: MultiM SK1Strategy Approach
Найти дату публікації є дивовижно складним. Мій старий блог зберігає дані в різних місцях протягом роківM SK1 Програмне забезпечення пробує різні стратегії:
- Налагодження виборця МSK0e.gM SK2
.postfoot) - Мета-теги:
article:published_time,DC.date.issued - HTML5
<time>елементи - Зазвичайні класи дати:
.date,.post-date,.entry-date - Моделі регекса на сирому HTML (формат ISOМSK1сlashM SK2отокремлений, і т.д.
- Відхилення: Сама дата зйомки в архіві
Один особливо тривожний формат був моїм старим шаблоном для блогу 's "posted on Thursday МSK2 May МСК3 МСК4 MСК5 PM М СК6 stringMСК7 There M СК8s specific parsing for thatM СК9
Оркестрація трубопроводу
Найкрутіший архітектурний біт - це те, як завантаження та конвертація запускаються паралельно, використовуючи .NET Channels
var channel = Channel.CreateBounded<string>(10);
// Producer: downloads and writes file paths to channel
// Consumer: reads file paths and converts to markdown
Це означає, що конфігурація починається як тільки перший файл завантажується, замість того, щоб чекати, поки всі завантаження закінчуються . обмежена пропускна спроможність МSK2 توکي МСК3 забезпечує зворотний тиск MСК4 якщо конфигурація залишиться позадуMСК5 завантаження уповільнюється до співпадіння М СК6
Ограничення та готча
Давайте будемо чесними щодо того, що цей інструмент не зможе зробити
Це дуже специфічне для мого блогу – seleкториM SK1 шаблони , і виведення дати всі підлаштововані для більш точного вибору
Архив.org не має – Деякі сторінки не були заархивованіM SK1 не заархівовані , або заархифіковані зламаним CSS
Фотографії найкращі-effort - Програмне забезпечення намагається завантажити зображення з машини Wayback Machine , але багато з них просто зникають назавжди.
Смерті зв 'язки всюди - Внешні зв 'язки з МSK1 показують сайти, які більше не існують МSK2 Я ' я працюю над окремим рішенням для цього \ \ автоматичний архів \ МSK5\ оргзаміна зв' язку в середній програмі
Метки LLM недосконалими – Згенеровані знаки Оллами МSK1 зазвичай розумні МSK2 але іноді не помічають знаку . Рекомендується ретельно переглянутиручні знаки
Трункація API CDX – Для веб-сайтів з тисячами сторінок
Рухаємось цим
Якщо ви хочете адаптувати це для вашого веб-сайту (itM SK1 буде потрібне налаштування
# Full pipeline (download + convert)
dotnet run -- full
# Just download HTML from Archive.org
dotnet run -- download
# Just convert existing HTML files to Markdown
dotnet run -- convert
Цей інструмент підтримує граційне вимкнення (Ctrl+CM SK2 і може відтворюватися з того місця, де він залишався, оскільки файли зберігаються локально
Результати
Після запуску цього на моєму старому blogu, я відібрав пости, що датувалися до Январь 1stM SK1 2004 і до того! Прочитати їх - це захоплююча подорож в часі . Розмови про веб-розробку, які проводились до того, як jQuery існував МSK2 Статьи про технології, які тепер цілком застаріли M SK3 І деякі смішні думки, які я мала, будучи молодшим програмістом
Ви можете знайти всі импортовані записи, використовуючи Импорт бирка категорії.
Що Next
Импортований контент має багато мертвих зв 'язків. – те, що МSK1 є просто природою збудував посередне програмне забезпечення що:
- Визначати 404s для старих URL
- Автоматично знаходити найближчий архив.org знімок
- Перенаправити або відображати заархівовану версію
Згортання
Побудувати цей інструмент був вихідним проектом, який перетворився на щось дійсно корисние. Якщо ви ' втратили зміст з старого блогу МSK2 там МСК3 має пристойну можливість Архив М СК4org має його М סК5 І якщо ви М S К6 відчуваєте себе комфортно з C М ็ С К7 тут є методики M С К 8 С ЦД ХП API querying M S К 9 Видобуток HTML контенту M ็ S К 10 генерування маркування М М С К 11 Л Л ЛМ таґґґінг М Ш К 12 можна адаптувати для вашого власного проекту відновлення М В С К 13
Код знаходиться на github.com /scottgal/mostlylucidM SK3nugetpackages. Це МSK1 це не поліпшена бібліотека МSK2 це ' це мета \ - створений інструмент для моєї конкретної ситуації \ МSK5 але він може дати вам ідеї для власних авантюр з архіву
І серйозно: МСК0 , Пожертвуй в архів . "." , Орг і мСК2 . Вони ми робимо важливу роботу