Війна проти 404: Знову реалізувати старі речі (Українська (Ukrainian))

Війна проти 404: Знову реалізувати старі речі

Sunday, 23 November 2025

//

18 minute read

Введение

Коли ви ' пишете блог з того часу, як МSK1 МSK2 так , дійсно мSK4 ви накопичуєте багато цифрового сміття M. Я нещодавно импортував свої старі пости з МСК6 \M( httpsМСК8wwwМ СК9 найяскравіший МПСК10net MPСК11 блог ПМСК12 категорія РМСК13Imпортований МНСК14 і виявив, що приблизно все було зламано. Внешні посилання на сайти, що зникли десять років томуM SK1 старі URL-схеми, які більше не співпадають з теперішньою структурою, все

NOTE: Це скоро прийде , разом з серіями Semantic Search і функціями на блогі. Просто велика зміна, і я мав кілька менших статей, щоб вийти першимиM SK3 Насолоджуйтесь MSC4 але все ще не працює зараз МSK5

Проблема ділиться на три частини:

  1. Внутрішні зв 'язки - Исправлено під час самого процесу импорту, використовуючи мій інструмент នាំចូលу ArchiveOrg. Мої старі пости посилалися один на одного, використовуючи стару структуру URL , тому я переклала їх як частину міграції

  2. Внешні зв 'язки (в' язнийM SK1 - Це великий один МSK1 Ссылки на зовнішні ресурси, які відтоді зникли МSK2 перемістили , чи стали цілком різними сайтами Мислали ссылка на дещо документацію з Міслали 5 Miслали 6 Відказ на блоговий пост людини, яка МСК7 вже давно залишила свій сайт в Інтернеті

  3. Прийдешні запити - Люди та пошукові машини МSK2 все ще пробують отримати доступ до старих URL, таких як /archive/2006/05/15/123.aspx. Семантична пошукова система часто з 'ясовує, що вони шукали після , навіть без точного співпадіння

Тепер, Я може have baked the archive.org lookups into the import process . But here's the thingMSC3 links break over timeM SK4 A site thatMska5s working today might be gone next monthMска6 By handling this at runtime with periodic reM Ska7checkingM ska8 the system automatically catches майбутнє розрізи, не лише ті, що існували в часі импорту

Ця стаття охоплює мій підхід

  • Виходні зв 'язки: BrokenLinkArchiveMiddleware - замінює мертві зовнішні зв 'язки з архівомM SK1org знімками
  • Вхідні зв 'язки: Рухівник 404 із семантичним пошуком МSK2 знаходить правильний зміст навіть з старих систем URL
  • Система навчання: Як сайт стає розумнішим з часом через перегляди користувача
  • Обробка фону: Перевірка зв 'язків без блокування запитів

Проблема з старим контентом

Тут' це те, що є в інтернетіM SK1 це ' не постійне. Це чудовий блоговий пост, на який ви посилалися в MSC4 СпустошеноMska5 Ця веб-сторінка документаціїMска6 Перероблено три разиM Ska7 Ваша собственна схема URL, ще до того, як ви затвердили правильну концепцію зламуванняMSKA8 НезграбноМska9

graph TD
    A[User requests old post] --> B{Link valid?}
    B -->|Yes| C[Happy user]
    B -->|No| D[404 Error]
    D --> E[Frustrated user]
    E --> F[User leaves]

    style D stroke:#ef4444,stroke-width:3px
    style F stroke:#ef4444,stroke-width:3px
    style C stroke:#10b981,stroke-width:3px

Наївний підхід полягає в тому, щоб управляти зв 'язками ручним способом. Але коли ви маєте сотні постів з тисячами зв' язків,

Уявлення про архітектуру

Система має дві головні компоненти, які працюють в tandemі:

flowchart TB
    subgraph Incoming["Incoming Requests"]
        A[User Request] --> B{Page exists?}
        B -->|Yes| C[Render Page]
        B -->|No| D[404 Handler]
        D --> E{Learned redirect?}
        E -->|Yes| F[301 Permanent Redirect]
        E -->|No| G{High-confidence match?}
        G -->|Yes| H[302 Temporary Redirect]
        G -->|No| I[Show suggestions]
        I --> J[User clicks suggestion]
        J --> K[Learn redirect]
    end

    subgraph Outgoing["Outgoing Links"]
        C --> L[BrokenLinkArchiveMiddleware]
        L --> M[Extract all links]
        M --> N[Register for checking]
        L --> O[Replace broken links]
        O --> P[Archive.org URLs]
        O --> Q[Semantic search results]
        O --> R[Remove dead links]
    end

    style F stroke:#10b981,stroke-width:3px
    style H stroke:#f59e0b,stroke-width:3px
    style P stroke:#3b82f6,stroke-width:3px
    style Q stroke:#8b5cf6,stroke-width:3px

Частина 1: Обробка вихідних зв 'язків

BrokenLinkArchiveMiddleware

Ця середня програма перехоплює HTML відповіді і робить три речі:

  1. Витягує всі зв 'язки для перевірки фону
  2. Заміняє відомі пошкоджені зовнішні зв 'язки з версіями archive.org
  3. Використовує семантичні пошуки, щоб знайти замінники пошкоджених внутрішніх зв 'язків

Головним моментом тут є те, що ми хочемо знайти знімки з archive.org в той час, коли було написано. Сновок з МSK1 статті МSK2 може віднестися до цілком іншого контенту . Тому ми шукаємо пост у блогі \ ' \ дату публікації і запитуємо архів \ МSK5 \ org про найближчий сновок

Тут – МСК0 – це ядро

public partial class BrokenLinkArchiveMiddleware(
    RequestDelegate next,
    ILogger<BrokenLinkArchiveMiddleware> logger,
    IServiceScopeFactory serviceScopeFactory)
{
    public async Task InvokeAsync(
        HttpContext context,
        IBrokenLinkService? brokenLinkService,
        ISemanticSearchService? semanticSearchService)
    {
        // Only process HTML responses for blog pages
        if (!ShouldProcessRequest(context))
        {
            await next(context);
            return;
        }

        // Capture the response so we can modify it
        var originalBodyStream = context.Response.Body;
        using var responseBody = new MemoryStream();
        context.Response.Body = responseBody;

        await next(context);

        // Process the HTML response
        if (IsSuccessfulHtmlResponse(context, responseBody))
        {
            var html = await ReadResponseAsync(responseBody);
            html = await ProcessLinksAsync(html, context, brokenLinkService, semanticSearchService);
            await WriteModifiedResponseAsync(originalBodyStream, html, context);
        }
        else
        {
            await CopyOriginalResponseAsync(responseBody, originalBodyStream);
        }
    }
}

Витягування зв 'язків

Ми використовуємо генерований регекс, щоб витягнути все href атрибути. [GeneratedRegex] властивість в .NET дає нам компіляцію - генерацію регекса часу МSK2 що є одночасно швидшим і розподіленим

[GeneratedRegex(@"<a[^>]*\shref\s*=\s*[""']([^""']+)[""'][^>]*>",
    RegexOptions.IgnoreCase | RegexOptions.Compiled)]
private static partial Regex HrefRegex();

private List<string> ExtractAllLinks(string html, HttpRequest request)
{
    var links = new List<string>();
    var matches = HrefRegex().Matches(html);

    foreach (Match match in matches)
    {
        var href = match.Groups[1].Value;

        // Skip special links (anchors, mailto, etc.)
        if (SkipPatterns.Any(p => href.StartsWith(p, StringComparison.OrdinalIgnoreCase)))
            continue;

        if (Uri.TryCreate(href, UriKind.Absolute, out var uri))
        {
            if (uri.Scheme == "http" || uri.Scheme == "https")
                links.Add(href);
        }
        else if (href.StartsWith("/"))
        {
            // Convert relative URLs to absolute for tracking
            var baseUri = new UriBuilder(request.Scheme, request.Host.Host,
                request.Host.Port ?? (request.Scheme == "https" ? 443 : 80));
            links.Add(new Uri(baseUri.Uri, href).ToString());
        }
    }

    return links.Distinct().ToList();
}

Тепер ви можете цілком розумно використовувати HtmlAgilityPack / https://github.comMSC3AngleSharpM SK4AnglSharp або подібний HTML МSK5и інші МСК6 розшифроватори тут для більш складних сценаріїв, але це було надkill для цього призначення MСК7 ми просто повинні витягнути hrefs швидко MСК8

Список для перевірки

Ми не хочемо блокувати реагування, коли перевіряємо посилання. Натомість ми запускаємо фонову задачу.

var allLinks = ExtractAllLinks(html, context.Request);
var sourcePageUrl = context.Request.Path.Value;

if (allLinks.Count > 0)
{
    // Fire and forget - don't block the response
    _ = Task.Run(async () =>
    {
        using var scope = serviceScopeFactory.CreateScope();
        var scopedService = scope.ServiceProvider.GetRequiredService<IBrokenLinkService>();
        await scopedService.RegisterUrlsAsync(allLinks, sourcePageUrl);
    });
}

Зверніть увагу на IServiceScopeFactory - нам потрібна нова сфера діяльності, тому що оригінал запиту МSK1 застосовані послуги будуть видалені перед тим, як наша фонова задача завершиться МSK2

Важливо: Це остаточна послідовність модель. Коли будь-яке - ми не знаємо ' не знає, чи це ламано МSK3 ще ламане наступне відвідувач цієї сторінки побачить фіксований зв 'язок. Для блогу з регулярним рухом , це, як правило, означає, що поламані зв' язки зафіксуються за кілька годин після першого відкриття МSK2 Краса в тому, що ми не маємо МСК3 мусити догадати, які зв 'язки можуть бути поламаними М СК4 ми просто підтверджуємо їх всі автоматично M СК5

Заміна пошкоджених зв 'язків

Як тільки ми знаємо, що зв 'язок поламаний і маємо архів.org заміну M SK1 з попередньої перевірки фона ), ми обмінюємо їх на допоміжний інструментарій

foreach (var (originalUrl, archiveUrl) in archiveMappings)
{
    if (html.Contains(originalUrl))
    {
        var tooltipText = $"Original link ({originalUrl}) is dead - archive.org version used";
        var originalPattern = $"href=\"{originalUrl}\"";
        var archivePattern = $"href=\"{archiveUrl}\" class=\"tooltip tooltip-warning\" " +
                            $"data-tip=\"{tooltipText}\" data-original-url=\"{originalUrl}\"";

        html = html.Replace(originalPattern, archivePattern);
    }
}

Для внутрішніх зламаних зв 'язків, ми спробуємо спершу пошук семантикиM SK1

if (isInternal && semanticSearchService != null)
{
    var replacement = await TryFindSemanticReplacementAsync(
        brokenUrl, semanticSearchService, request, cancellationToken);

    if (replacement != null)
    {
        html = ReplaceHref(html, brokenUrl, replacement);
        continue;
    }
}

// No replacement found - convert to plain text
html = RemoveHref(html, brokenUrl);

Частина 2: перевірка зв 'язку з минулим

Посередник не перевіряє зв 'язків під час запиту. - це було б надто повільно, . Натомість МSK3 він переміщується в чергах, відкриваючи зв' язки для обробки фона за допомогою бази даних BrokenLinkCheckerBackgroundService керує справжнім перевіркою.

Служба працює годинами і робить дві речі:

  1. Проверити справедливість посилання - HEAD просить перевірити, чи зв 'язки досі живі
  2. Перейти до archive.org URLs - Для поламаних зв 'язківM SK1 знайдіть найближчий історичний знімок

Ми ' це хороші громадяни - šekер використовує індивідуального користувача МSK2 агента, який ідентифікує себе і відсилає посилання на сайт МSK3

request.Headers.UserAgent.ParseAdd(
    "Mozilla/5.0 (compatible; MostlylucidBot/1.0; +https://www.mostlylucid.net)");

Це дозволяє адміністраторам веб-сайту побачити, що hit their server's and they can look us up if they 're curiousM SK3 We also throttle requests MSC4 seconds between checks) to avoid hammering anyoneMスク6s serverSSK7

Найважливіше - це те, щоразу переглянути. Ссылка, яка працювала минулого тижня, може бути мертва сьогодні . Служба підбирає посилання, які не були перевірені в останніх МSK2 годині і перевіряє їх знову МSK4 Однак МСК5 як тільки миМСК6 знайшли архів М СК7 орг. заміни на поламаний зв 'язок M СК8 ми не робимоМ СК9 не перемочимо М S К10 перевіряємо оригінальний М ס К11 це М ็ С К12 вже мертва, а у нас є робоча замінина М Ш К13

sequenceDiagram
    participant BG as Background Service
    participant DB as Database
    participant Web as External Sites
    participant Archive as Archive.org CDX API

    loop Every Hour
        BG->>DB: Get links not checked in 24h (batch of 20)
        loop For each link
            BG->>Web: HEAD request
            Web-->>BG: Status code
            BG->>DB: Update link status + LastCheckedAt
        end

        BG->>DB: Get broken links needing archive lookup
        loop For each broken link
            BG->>DB: Look up source post publish date
            BG->>Archive: CDX API query (filtered by date)
            Archive-->>BG: Closest snapshot
            BG->>DB: Store archive URL (permanent)
        end
    end

Архив.org CDX API

Архив.org надає CDX M SK1Capture Index) API, що дає нам можливість задати питання про знімки . Розумний біт відфільтровується по даті

private async Task<string?> GetArchiveUrlAsync(
    string originalUrl,
    DateTime? beforeDate,
    CancellationToken cancellationToken)
{
    var queryParams = new List<string>
    {
        $"url={Uri.EscapeDataString(originalUrl)}",
        "output=json",
        "fl=timestamp,original,statuscode",
        "filter=statuscode:200",  // Only successful responses
        "limit=1"
    };

    // Find snapshot closest to the blog post's publish date
    if (beforeDate.HasValue)
    {
        queryParams.Add($"to={beforeDate.Value:yyyyMMdd}");
        queryParams.Add("sort=closest");
        queryParams.Add($"closest={beforeDate.Value:yyyyMMdd}");
    }

    var apiUrl = $"https://web.archive.org/cdx/search/cdx?{string.Join("&", queryParams)}";

    // ... fetch and parse response

    return $"https://web.archive.org/web/{timestamp}/{original}";
}

Це означає, що якщо я написала пост в 2008, який пов 'язаний з певним ресурсом , Я МSK2 отримую архів МSK3 сфотографію з Інтернету з усього світу \ 2008, не сучасну версію, яка може бути цілком іншою \ МSK5

Переслідування статусу зв 'язку

Ми відстежуємо зв 'язки з відповідним subjektом:

[Table("broken_links", Schema = "mostlylucid")]
public class BrokenLinkEntity
{
    public int Id { get; set; }
    public string OriginalUrl { get; set; } = string.Empty;
    public string? ArchiveUrl { get; set; }
    public bool IsBroken { get; set; } = false;
    public int? LastStatusCode { get; set; }
    public DateTimeOffset? LastCheckedAt { get; set; }
    public int ConsecutiveFailures { get; set; } = 0;
    public string? SourcePageUrl { get; set; }  // For publish date lookup
}

Периодичне перевіряння

Ключ до подолання майбутніх розривів - це пере- перевіркаM SK1 Запроси на посилання, які ще не були оцінені

public async Task<List<BrokenLinkEntity>> GetLinksToCheckAsync(int batchSize, CancellationToken cancellationToken)
{
    var cutoff = DateTimeOffset.UtcNow.AddHours(-24);

    return await _dbContext.BrokenLinks
        .Where(x => x.LastCheckedAt == null || x.LastCheckedAt < cutoff)
        .OrderBy(x => x.LastCheckedAt ?? DateTimeOffset.MinValue)  // Oldest first
        .Take(batchSize)
        .ToListAsync(cancellationToken);
}

Це означає, що кожен зв 'язок отримує ре-validated щонайменше один раз на деньM SK1 Якщо раніше працюючий зв' язок починає відновлюватися 404s, ми МSK4 поймаємо його і почнемо шукати в архіві ConsecutiveFailures поле дозволяє нам бути трохи прощаючими. - ми не маркуємо посилання як зламане після однієї короткотривалої помилки

Частина 3: Obsługа приchodzących запитів

А тепер щодо іншої сторони медалі: люди: МСК0 , "(", а також пошукові машини: . МСК2 , які просять URL, які не існують.

  • Старі схеми URL - Мій давній блог використовував такі шляхи, як /archive/2006/05/15/123.aspx. Деякі з цих сайтів досі indeksовані , закладені в закладки M SK2 або пов 'язані з іншими сайтами .
  • Типи - Хтось товстий -пальці на URL або неправильно копує його
  • Частичні слюги - В пошукових системах індикують дивні фрагменти

Семантична пошукова система особливо корисна для цього. Навіть без прямого співпадіння слюгів , ми можемо виділити значні терміни з запрошеної URL і знайти зміст, який семантично співпадеM SK2 Система знає і слюгу, і має вбудовані дані для кожного посту МSK3 так, що вона може знайти МСК4 закрити достатньо М СК5 співпадає навіть для абсолютно різних структур URL M СК6

Чому не Middleware?

Моїм першим інстинктом було керувати перенаправками в середній програмі - ранні перехоплення запитів , перевіряти наявні перенаправления МSK2 і перенаправити перед тим, як маршрутизація навіть кидає в МSK3 Це може і ось як це виглядатиме

// DON'T DO THIS - runs on EVERY request
public class SlugRedirectMiddleware(RequestDelegate next)
{
    public async Task InvokeAsync(HttpContext context, ISlugSuggestionService? service)
    {
        if (context.Request.Path.StartsWithSegments("/blog"))
        {
            var targetSlug = await service.GetAutoRedirectSlugAsync(slug, language);
            if (!string.IsNullOrWhiteSpace(targetSlug))
            {
                context.Response.Redirect($"/blog/{targetSlug}", permanent: true);
                return;
            }
        }
        await next(context);
    }
}

Проблема? Це працює кожен окремий запит до /blog/*. Те, що ' це пошук в базі даних на кожному списку сторінок МSK2 навіть для цілком законних URL ’ s M SK3 Для блогу з пристойним рухом МSK4 ви МСК5 блукаєте базою даних без жодної причини мСК6 часу М СК7

Набагато кращий спосіб: підключення до M SK1 обладнача. Якщо ASPMSC3NET вже визначив, що сторінка не існує тоді ми перевіряємо перенаправлення. Ніяких марнованих запитів на важких сторінках.

Цікавим фактом було те, що в ранніх дні ASP.NET MVC так ми робили дружелюбні URL, як вони працювали . Скотт Гутрі МSK3 демонстрація літака, яка започаткувала MVC, використовувала цей підхід M SK4 під 'єднати до IIS 404 систему управління M SK6 прочитати URL і служити правильним змістом MSC7 Це було тим, що я використав у системі, яку я збудував в WebForms

Система навчання

Коли хтось натискає 404,, ми показуємо йому запропонування, використовуючи невиразне співпадіння стрічок і МSK1опційноM SK2 семантичний пошук. Якщо він натисне на запропозиціюMSC4 ми записуємо цеMST5 Після достатнього клікання з достатньою впевненістюMSP6 ми починаємо автоматичнийМСК7 перенаправленняMСК8

stateDiagram-v2
    [*] --> RequestReceived
    RequestReceived --> RoutingCheck

    RoutingCheck --> PageFound: Exists
    RoutingCheck --> NotFound: 404

    PageFound --> [*]

    NotFound --> ErrorController
    ErrorController --> CheckLearnedRedirect
    CheckLearnedRedirect --> Redirect301: Has learned redirect
    CheckLearnedRedirect --> CheckHighConfidence: No learned redirect

    CheckHighConfidence --> Redirect302: Score >= 0.85 & gap >= 0.15
    CheckHighConfidence --> ShowSuggestions: Lower confidence

    ShowSuggestions --> UserClicks
    UserClicks --> RecordClick
    RecordClick --> UpdateWeight
    UpdateWeight --> CheckThreshold

    CheckThreshold --> EnableAutoRedirect: Weight >= 5 & confidence >= 70%
    CheckThreshold --> [*]: Below threshold

    EnableAutoRedirect --> [*]

Руководитель 404

Все перенаправлення логіка живе в ErrorControllerМSK0 ASP.NETM SK2s UseStatusCodePagesWithReExecute middleware re- запускає запрос через наш обладнатель помилок, коли виникає 404

public class ErrorController(
    BaseControllerService baseControllerService,
    ILogger<ErrorController> logger,
    ISlugSuggestionService? slugSuggestionService = null) : BaseController(baseControllerService, logger)
{
    [Route("/error/{statusCode}")]
    [HttpGet]
    public async Task<IActionResult> HandleError(int statusCode, CancellationToken cancellationToken = default)
    {
        var statusCodeReExecuteFeature = HttpContext.Features.Get<IStatusCodeReExecuteFeature>();

        switch (statusCode)
        {
            case 404:
                // Check for auto-redirects before showing 404 page
                var autoRedirectResult = await TryAutoRedirectAsync(statusCodeReExecuteFeature, cancellationToken);
                if (autoRedirectResult != null)
                    return autoRedirectResult;

                var model = await CreateNotFoundModel(statusCodeReExecuteFeature, cancellationToken);
                return View("NotFound", model);

            case 500:
                return View("ServerError");

            default:
                return View("Error");
        }
    }
}

І TryAutoRedirectAsync метод обробляє як вивчені перенаправки, так і високі результати.

private async Task<IActionResult?> TryAutoRedirectAsync(
    IStatusCodeReExecuteFeature? statusCodeReExecuteFeature,
    CancellationToken cancellationToken)
{
    if (slugSuggestionService == null || statusCodeReExecuteFeature == null)
        return null;

    var originalPath = statusCodeReExecuteFeature.OriginalPath ?? string.Empty;
    var (slug, language) = ExtractSlugAndLanguage(originalPath);

    // First: check for learned redirects (user previously clicked a suggestion)
    // These get 301 Permanent Redirect - confirmed patterns
    var learnedTargetSlug = await slugSuggestionService.GetAutoRedirectSlugAsync(
        slug, language, cancellationToken);

    if (!string.IsNullOrWhiteSpace(learnedTargetSlug))
    {
        var redirectUrl = BuildRedirectUrl(learnedTargetSlug, language);
        logger.LogInformation("Learned auto-redirect (301): {Original} -> {Target}", originalPath, redirectUrl);
        return RedirectPermanent(redirectUrl);
    }

    // Second: check for high-confidence first-time matches
    // These get 302 Temporary Redirect until confirmed by user clicks
    var firstTimeTargetSlug = await slugSuggestionService.GetFirstTimeAutoRedirectSlugAsync(
        slug, language, cancellationToken);

    if (!string.IsNullOrWhiteSpace(firstTimeTargetSlug))
    {
        var redirectUrl = BuildRedirectUrl(firstTimeTargetSlug, language);
        logger.LogInformation("First-time auto-redirect (302): {Original} -> {Target}", originalPath, redirectUrl);
        return Redirect(redirectUrl);
    }

    return null;  // No redirect - show suggestions
}

Дослідження подібності

Допомічник використовує дистанцію Левенштейна ( відрізок для редагування МSK1 плюс трохи гуристики МSK2

private double CalculateSimilarity(string source, string target)
{
    if (string.Equals(source, target, StringComparison.OrdinalIgnoreCase))
        return 1.0;

    source = source.ToLowerInvariant();
    target = target.ToLowerInvariant();

    // Levenshtein distance converted to similarity (0-1)
    var distance = CalculateLevenshteinDistance(source, target);
    var maxLength = Math.Max(source.Length, target.Length);
    var levenshteinSimilarity = 1.0 - (double)distance / maxLength;

    // Bonus if one string contains the other
    var substringBonus = (source.Contains(target) || target.Contains(source)) ? 0.2 : 0.0;

    // Bonus for common prefix (catches typos at the end)
    var prefixLength = GetCommonPrefixLength(source, target);
    var prefixBonus = (double)prefixLength / Math.Min(source.Length, target.Length) * 0.1;

    return Math.Min(1.0, levenshteinSimilarity + substringBonus + prefixBonus);
}

Навчання з поведінки користувача

Коли пользователь натискає на посилання, ми записуємо його і додаємо до уваги показники надійності.

public async Task RecordSuggestionClickAsync(
    string requestedSlug,
    string clickedSlug,
    string language,
    int suggestionPosition,
    double originalScore,
    CancellationToken cancellationToken = default)
{
    var redirect = await _context.SlugRedirects
        .FirstOrDefaultAsync(r =>
            r.FromSlug == normalizedRequestedSlug &&
            r.ToSlug == normalizedClickedSlug &&
            r.Language == language,
            cancellationToken);

    if (redirect == null)
    {
        redirect = new SlugRedirectEntity
        {
            FromSlug = normalizedRequestedSlug,
            ToSlug = normalizedClickedSlug,
            Language = language,
            Weight = 1
        };
        _context.SlugRedirects.Add(redirect);
    }
    else
    {
        redirect.Weight++;
        redirect.LastClickedAt = DateTimeOffset.UtcNow;
    }

    redirect.UpdateConfidenceScore();
    await _context.SaveChangesAsync(cancellationToken);
}

Вирахунок рівня довіри включає в себе як клікання, так і враження.

public void UpdateConfidenceScore()
{
    var total = Weight + ShownCount;
    ConfidenceScore = total > 0 ? (double)Weight / total : 0.0;

    // Enable auto-redirect after 5+ clicks with 70%+ confidence
    if (Weight >= AutoRedirectWeightThreshold &&
        ConfidenceScore >= AutoRedirectConfidenceThreshold)
    {
        AutoRedirect = true;
    }
}

Два-Tier Auto-Redirect

У нас є два рівні автоматичних перенаправок:

  1. Перше-часовий максимумM SK1впевненість (302): Якщо показник подібності МSK1 МSK2 І там ' є значний відхилення до другого МСК4 найкращого погони М СК5 ми одразу ж перенаправляємо м СК6 Це ловить очевидні типиМ СК7

  2. Навчені перенаправлення (301): Після того, як МSK1 натискає з МSK2 впевненістю , ми використовуємо постійний мSK4 перенаправлення M. Це МСК6 люди говорили

public async Task<string?> GetFirstTimeAutoRedirectSlugAsync(
    string requestedSlug,
    string language,
    CancellationToken cancellationToken = default)
{
    var suggestions = await GetSuggestionsWithScoreAsync(requestedSlug, language, 2, cancellationToken);

    if (suggestions.Count == 0) return null;

    var topMatch = suggestions[0];

    // Need high confidence
    if (topMatch.Score < 0.85) return null;

    // If there's only one suggestion with high score, redirect
    if (suggestions.Count == 1) return topMatch.Post.Slug;

    // Multiple suggestions - only redirect if there's a clear winner
    var scoreGap = topMatch.Score - suggestions[1].Score;
    if (scoreGap >= 0.15)
        return topMatch.Post.Slug;

    return null;  // Too close to call - show suggestions instead
}

Поєднати все разом

Коли Middleware має сенс ( і коли він не має

Для вихідні зв 'язки, середнє програмне забезпечення - це правильний вибір BrokenLinkArchiveMiddleware потребує перехоплення HTML відповіді після це' було відтворено, але до цього це' відсилається до клієнтаМSK1 ТамM SK2 немає іншого розумного місця для цього - нам потрібно змінити поток реагуванняMSC4 і посереднє програмне забезпечення розроблено саме для цього

Для надсилання, посередник - неправильний вибір . Ми МSK2 запускаємо пошуки даних на кожному /blog/* попросити лише перевірити, чи можливо, , можливо МSK1 цей URL може потребувати перенаправлення МSK2 підход до обладначів 404 працює тільки тоді, коли ми \ ' \ вже визначили, що сторінка не існує

// In Program.cs
app.UseStatusCodePagesWithReExecute("/error/{0}");  // Handles 404s through ErrorController
app.UseStaticFiles();
app.UseRouting();
// ... other middleware
app.UseBrokenLinkArchive();  // Process outgoing links in responses (ONLY for middleware)

Потік виглядає ось так:

flowchart LR
    subgraph Request["Request Processing"]
        direction TB
        A[Request] --> B[Static Files]
        B --> C[Routing]
        C --> D{Page exists?}
        D -->|Yes| E[MVC/Endpoints]
        D -->|No| F[ErrorController 404]
        F --> G{Auto-redirect?}
        G -->|Yes| H[Redirect]
        G -->|No| I[Show suggestions]
    end

    subgraph Response["Response Processing"]
        direction TB
        E --> J[BrokenLinkArchiveMiddleware]
        J --> K[Link Extraction]
        K --> L[Link Replacement]
        L --> M[Response]
    end

    subgraph Background["Background Processing"]
        direction TB
        N[BrokenLinkCheckerService] --> O[Check URLs]
        O --> P[Fetch Archive.org]
        P --> Q[Update Database]
    end

    K -.->|Register links| N

    style F stroke:#ef4444,stroke-width:3px
    style J stroke:#8b5cf6,stroke-width:3px
    style N stroke:#f59e0b,stroke-width:3px

Завершення

Ця система працює вже деякий час, і вона досить задоволена спостерігаючи за тим, як вона вчиться.

Головні принципи:

  • Don't блокування запитів - використовує обробку фону для дорогих операцій
  • Навчіться від користувачів - їхні клікання - це цінні сигнали
  • Будьте консервативними з авто-ревід 'єрами - перенаправляє лише тоді, коли ви ' впевнені
  • Час-в курсі архівування - знайти архівM SK1 зйомки з сайта з моменту написання контенту
  • Милосердявий розрив - якщо послуги не доступніM SK1 недоступні , просто продовжуйте нормально

Це не ідеальне. Деякі зв 'язки справді зникають назавжди, а семантичний пошук не завжди знаходить правильну заміну. Але це краще, ніж залишати тисячі зламаних зв' язків, які брешуть про них.

Незабаром з 'явиться: Semantic Search Deep Dive

Цього тижня я опублікую семантичну серію пошуків, яка веде до деталей про те, як працює пошук на основі вектора МСК5 під капюшоном МСК6. Ця серія охоплює генерацію вбудованих векторів МСК7 Qdrant векторного зберігання МСК8 і як це все пов 'язано з системою управління МСК9 МСК10 Якщо ви зацікавлені ISemanticSearchService.SearchAsync насправді знаходить те, що

Полне джерело знаходиться в базі даних, якщо ви хочете використати його для власних проектів.

Finding related posts...
logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.