I Del 1: Brand och Don Ganska Glöm, vi utforskade teorin bakom den efemerala utförningen - begränsade, private, asyncka arbetsflöden som kan debugeras, som minns tillräckligt mycket för att vara användbara och sedan förångas

Denna artikel omvandlar den mönstret till en återanvändbar bibliotek som du kan släppa in i vilket .NET-projekt som helst

NUGET!!!

Detta är nu även i det mest uppenbara packaget Nuget mer än 20.

källdates

Den fulla källkoden finns i mostlylucid.atoms GitHubs arkiv

---

Innan och efter

Här är vad vi ersätter

// ❌ Before: Fire-and-forget black hole
_ = Task.Run(() => ProcessAsync(item));
// No visibility. No debugging. No idea if it worked.

// ❌ Or: Blocking everything
await ProcessAsync(item);  // Hope you like waiting...

Och vad vi bygger

// ✅ After: Trackable, bounded, debuggable
await coordinator.EnqueueAsync(item);

// Instant visibility
Console.WriteLine($"Pending: {coordinator.PendingCount}");
Console.WriteLine($"Active: {coordinator.ActiveCount}");
Console.WriteLine($"Failed: {coordinator.TotalFailed}");

// Full operation history
var snapshot = coordinator.GetSnapshot();
var failures = coordinator.GetFailed();

Samma async ប្រតិបត្តិing. Hela observabiliteten . Inga användardata bevaras.

---

Vinnig Start

Den vanligaste mönstret - registrerar en koordinator i DI och injicerar den

// Program.cs
services.AddEphemeralWorkCoordinator<TranslationRequest>(
    async (request, ct) => await TranslateAsync(request, ct),
    new EphemeralOptions { MaxConcurrency = 8 });

// Your service
public class TranslationService(EphemeralWorkCoordinator<TranslationRequest> coordinator)
{
    public async Task TranslateAsync(TranslationRequest request)
    {
        await coordinator.EnqueueAsync(request);
        // Returns immediately - work happens in background
    }

    public object GetStatus() => new
    {
        pending = coordinator.PendingCount,
        active = coordinator.ActiveCount,
        completed = coordinator.TotalCompleted,
        failed = coordinator.TotalFailed
    };
}

---

Vilken variabel behöver jag?

┌─────────────────────────────────────────────────────────────────┐
│                    DECISION TREE                                │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│  Processing a collection once?                                  │
│  └─► EphemeralForEachAsync<T> (ParallelEphemeral.cs)            │
│                                                                 │
│  Need a long-lived queue that accepts items over time?          │
│  └─► EphemeralWorkCoordinator<T>                                │
│                                                                 │
│  Need per-entity ordering (user commands, tenant jobs)?         │
│  └─► EphemeralKeyedWorkCoordinator<TKey, T>                     │
│                                                                 │
│  Need to capture results (fingerprints, summaries)?             │
│  └─► EphemeralResultCoordinator<TInput, TResult>                │
│                                                                 │
│  Need multiple coordinators with different configs?             │
│  └─► IEphemeralCoordinatorFactory<T> (like IHttpClientFactory)  │
│                                                                 │
│  Need dynamic concurrency adjustment at runtime?                │
│  └─► Set EnableDynamicConcurrency = true, call SetMaxConcurrency│
│                                                                 │
└─────────────────────────────────────────────────────────────────┘

---

Konfigurationsobjektet

Från ÄphemeralaOptioner.cs:

public sealed class EphemeralOptions
{
    // Concurrency control
    public int MaxConcurrency { get; init; } = Environment.ProcessorCount;
    public int MaxConcurrencyPerKey { get; init; } = 1;
    public bool EnableDynamicConcurrency { get; init; } = false;

    // Window management
    public int MaxTrackedOperations { get; init; } = 200;
    public TimeSpan? MaxOperationLifetime { get; init; } = TimeSpan.FromMinutes(5);

    // Fair scheduling (keyed coordinator)
    public bool EnableFairScheduling { get; init; } = false;
    public int FairSchedulingThreshold { get; init; } = 10;

    // Signal-reactive processing
    public IReadOnlySet<string>? CancelOnSignals { get; init; }
    public IReadOnlySet<string>? DeferOnSignals { get; init; }
    public int MaxDeferAttempts { get; init; } = 10;
    public TimeSpan DeferCheckInterval { get; init; } = TimeSpan.FromMilliseconds(100);

    // Signal infrastructure
    public SignalSink? Signals { get; init; }
    public SignalConstraints? SignalConstraints { get; init; }
    public Action<SignalEvent>? OnSignal { get; init; }

    // Async signal handling
    public Func<SignalEvent, CancellationToken, Task>? OnSignalAsync { get; init; }
    public int MaxConcurrentSignalHandlers { get; init; } = 4;
    public int MaxQueuedSignals { get; init; } = 1000;

    // Observability
    public Action<IReadOnlyCollection<EphemeralOperationSnapshot>>? OnSample { get; init; }
}

Nyckel till designdecisioner

• Maxkonkurens defaults to CPU count - sensible for CPU -bound work
• AktiveraDynamikkonkurs möjliggör drivtidjustering via SetMaxConcurrency() - använder ett custom-grind istället för SemaphoreSlim.
• CancelOnSignals/DeferOnSignales få koordinatorerna att signalera -reaktivt | - | de reagerar på omgivningssystemets tillstånd |( | mönstermatchande stöd */?/kommalisten).
• Påtecknande är synkroniserad; för async-ventilatorn -lös användning SignalDispatcher eller AsyncSignalProcessor inuti handledaren.
• Signalbegränsningar förhindrar oändliga signalloop med cykeldetektion och djupgränser.

---

Snapshot-recorder

Från Snapshots.cs:

public sealed record EphemeralOperationSnapshot(
    long Id,
    DateTimeOffset Started,
    DateTimeOffset? Completed,
    string? Key,
    bool IsFaulted,
    Exception? Error,
    TimeSpan? Duration,
    IReadOnlyList<string>? Signals = null,
    bool IsPinned = false)
{
    public bool HasSignal(string signal) => Signals?.Contains(signal) == true;
}

// For result-capturing coordinators
public sealed record EphemeralOperationSnapshot<TResult>(
    long Id,
    DateTimeOffset Started,
    DateTimeOffset? Completed,
    string? Key,
    bool IsFaulted,
    Exception? Error,
    TimeSpan? Duration,
    TResult? Result,
    bool HasResult,
    IReadOnlyList<string>? Signals = null,
    bool IsPinned = false);

Det här är bara metadata. uppmärksamma vad inte här:

• Ingen belastning
• Ingen ingångsdata
• Inget användar innehåll

Bara tillräckligt för att svara " vad hände , när, och det fungeradeM SK3 - inget mer

---

Hur det ser ut jämfört med andra metoder

.NET ger dig flera sätt att göra parallella arbeten . Här' ser man hur den efemerala biblioteket jämför

Parallell.ForEachAsync (.NET 6+)

await Parallel.ForEachAsync(items,
    new ParallelOptions { MaxDegreeOfParallelism = 4 },
    async (item, ct) => await ProcessAsync(item, ct));

Den bästa för: Enkel parallell processing av samlingar där du inte behöver

Vad det saknas:

• Det finns inga operationsspårning
• Ingen per-key sekvenseringsöverführung
• Ingen synlighet in i vad som körs.

Använd Ephemeral när: Du behöver lösa några problem /observabilitet M SK2 per- nyckelordering , eller signal MSC5reaktiv bearbetning

TPL dataflöde

var block = new ActionBlock<T>(
    async item => await ProcessAsync(item),
    new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = 4 });

foreach (var item in items)
    block.Post(item);

block.Complete();
await block.Completion;

Den bästa för: Kompleksa dataflödesledningar med ramverk , sammanslagning M SK2 slagning.

Vad det gör bra:

• Rikt ledningskomposition (linckblöcke tillsammansM SK1
• Utformade sändning
• Begränsad kapacitet med baksidan-tryck

Använd TPL Dataflow när: Du behöver komplexa pipelinjetopologier (ventilatorn- utåtM SK3 ventilatorn, - i,, villkorlig ruttering, ).

Använd Ephemeral när: Du behöver operationsspårning , enklare API, eller signalM SK3reaktiv koordinering

System.Threading.Channel

var channel = Channel.CreateBounded<T>(100);

// Producer
foreach (var item in items)
    await channel.Writer.WriteAsync(item);
channel.Writer.Complete();

// Consumer (multiple workers)
var workers = Enumerable.Range(0, 4).Select(async _ =>
{
    await foreach (var item in channel.Reader.ReadAllAsync())
        await ProcessAsync(item);
});
await Task.WhenAll(workers);

Den bästa för: Tillverkare -konsumentmuster där du kontrollerar båda sidor

Vad det gör bra:

• Utmärkta resultat
• Back-tryck genom begränsade kanaler
• Separation av producenter och konsumenter

Använd kanaler när: Du ' bygger custom-infrastrukturer och behöver maximal kontroll

Använd Ephemeral när: Du vill ha spårning och observation utan boilerplattan

Polly

var policy = Policy
    .Handle<HttpRequestException>()
    .WaitAndRetryAsync(3, attempt => TimeSpan.FromSeconds(Math.Pow(2, attempt)));

await policy.ExecuteAsync(() => ProcessAsync(item));

Den bästa för: Rigiditetspolitiker | ( | Trygning |, | Rutorbrytare | МSK3 | Avslutning ♫ ) | för individuella operationer ♫

Använd Polly när: Du behöver motståndskraft kring individuella samtal

Använd Ephemeral när: Man behöver koordinera många olika aktiviteter med omgivningsmedvetenhet.

Kombinera dem: Använd Polly inuti din ephemerala arbetskropp för varje

MassTransit / NServiceBus

Den bästa för: Distribuerade meddelanden över tjänster med hållbara köer

Använda meddelandebusser när: arbetet måste överleva processen återstartar , omfatta flera tjänster | , | eller kräver garanterad levereration |.

Använd Ephemeral när: arbetet är i processen, - process, , behöver inte beständighet och du vill ha en lätt observationsförmåga

Vergleichstabellen

Närhållningssätt	Begränsad			spårning ♫		per ♫
Parallel.ForEachAsync	✅ ♫ ♫	♫
Dataflödet från TPL
Kanäler			✅
Polly	NM SK2A SSK3 ❌		5	N/	A	SSK7	❌
Hintergrundtjänster
MassTransit/NServiceBus			✅ ♫ ♫	♫
Ephemeral Library	✅ ♫ ♫	♫

---

EphemeralForEachAsync: Den ena -Shot version

Från ParallellEphemeral.cs:

// Simple parallel processing with tracking
await items.EphemeralForEachAsync(
    async (item, ct) => await ProcessAsync(item, ct),
    new EphemeralOptions { MaxConcurrency = 8 });

// With keyed execution (per-user sequential)
await commands.EphemeralForEachAsync(
    cmd => cmd.UserId,  // Key selector
    async (cmd, ct) => await ExecuteCommandAsync(cmd, ct),
    new EphemeralOptions
    {
        MaxConcurrency = 32,
        MaxConcurrencyPerKey = 1  // Sequential per user
    });

Varför Keyed Pipelines spelar roll

Föreställ dig att processa användarcommandon:

• Användaren A skickar kommandor 1, 2, | |
• Användaren B skickar kommandor 4, 5, ♫

Utan att nyckela, kan dessa fungera som:

Med MaxConcurrencyPerKey = 1:

• User A's kommandor sätter ordning på:
• Uppdragna av användaren B' utförs i ordning:
• Men A och B kan springa parallellt

Det här är per% -% entitetssektoriell% ,% globalt parallellt - kritiskt för system där ordning är viktigt inom en enhet

---

arbetskoordinatorn : En lång sträcka- Levande kö

Från EphemeralWorkCoordinator:

await using var coordinator = new EphemeralWorkCoordinator<TranslationRequest>(
    async (request, ct) => await TranslateAsync(request, ct),
    new EphemeralOptions
    {
        MaxConcurrency = 8,
        MaxTrackedOperations = 500,
        EnableDynamicConcurrency = true  // Allow runtime adjustment
    });

// Enqueue items over time
await coordinator.EnqueueAsync(new TranslationRequest("Hello", "es"));

// Check status anytime
Console.WriteLine($"Pending: {coordinator.PendingCount}");
Console.WriteLine($"Active: {coordinator.ActiveCount}");

// Get snapshots
var snapshot = coordinator.GetSnapshot();
var running = coordinator.GetRunning();
var failed = coordinator.GetFailed();
var completed = coordinator.GetCompleted();

// Control flow
coordinator.Pause();   // Stop pulling new work
coordinator.Resume();  // Continue

// Adjust concurrency at runtime (requires EnableDynamicConcurrency)
coordinator.SetMaxConcurrency(16);

// Pin important operations to survive eviction
coordinator.Pin(operationId);
coordinator.Unpin(operationId);
coordinator.Evict(operationId);

// When done
coordinator.Complete();
await coordinator.DrainAsync();

Kontinuösa strömmar med IAsyncEnumerable

await using var coordinator = EphemeralWorkCoordinator<Message>.FromAsyncEnumerable(
    messageStream,  // IAsyncEnumerable<Message>
    async (msg, ct) => await ProcessMessageAsync(msg, ct),
    new EphemeralOptions { MaxConcurrency = 16 });

await coordinator.DrainAsync();

---

Keyed Coordinator: Per-Entity Pipelines

Från EphemeralKeyedWorkCoordinator.cs:

await using var coordinator = new EphemeralKeyedWorkCoordinator<string, Command>(
    cmd => cmd.UserId,  // Key selector
    async (cmd, ct) => await ExecuteCommandAsync(cmd, ct),
    new EphemeralOptions
    {
        MaxConcurrency = 32,
        MaxConcurrencyPerKey = 1,      // Per-user sequential
        EnableFairScheduling = true,   // Prevent hot user starvation
        FairSchedulingThreshold = 10   // Reject if user has 10+ pending
    });

// TryEnqueue returns false if fair scheduling rejects
if (!coordinator.TryEnqueue(hotUserCommand))
{
    await DeferCommandAsync(hotUserCommand);
}

// Per-key visibility
var pendingForUser = coordinator.GetPendingCountForKey("user-123");
var opsForUser = coordinator.GetSnapshotForKey("user-123");

---

Resultat-Insamlingskoordinatörer

Från Koordinator för tidiga resultat.cs:

await using var coordinator = new EphemeralResultCoordinator<SessionInput, SessionResult>(
    async (input, ct) =>
    {
        var fingerprint = await ComputeFingerprintAsync(input.Events, ct);
        return new SessionResult(fingerprint, input.Events.Length);
    },
    new EphemeralOptions { MaxConcurrency = 16 });

await coordinator.EnqueueAsync(session);
coordinator.Complete();
await coordinator.DrainAsync();

// Get just the results (no metadata)
var results = coordinator.GetResults();

// Get snapshots with results + metadata
var snapshots = coordinator.GetSnapshot();

// Get base snapshots without results (privacy-safe)
var baseSnapshots = coordinator.GetBaseSnapshot();

// Filter by success/failure
var successful = coordinator.GetSuccessful();
var failed = coordinator.GetFailed();

---

Konkurenskontroll

Från CompetitionGates.cs:

Biblioteket erbjuder två samtida kontrollmekanismer:

FixedConcurrencyGate (Default

• Backed by SemaphoreSlim
• Optimal hot-pathpresterande
• Kan inte ställas till vid starttid

ReguleradKonkurensgate

• Individuell implementering med Queue<WaiterEntry>
• stöd UpdateLimit() vid starttid
• Aktiverat via EnableDynamicConcurrency = true

// Dynamic concurrency adjustment
var coordinator = new EphemeralWorkCoordinator<T>(body,
    new EphemeralOptions
    {
        MaxConcurrency = 4,
        EnableDynamicConcurrency = true
    });

// Later, based on system load:
coordinator.SetMaxConcurrency(16);  // Scale up
coordinator.SetMaxConcurrency(2);   // Scale down

---

Fabrikpattern: Namerade koordinatorer

Från beroendeInjektion.cs:

Som IHttpClientFactory, kan du registrera namn på konfigurationer:

// Registration
services.AddEphemeralWorkCoordinator<TranslationRequest>("fast",
    async (request, ct) => await FastTranslateAsync(request, ct),
    new EphemeralOptions { MaxConcurrency = 32 });

services.AddEphemeralWorkCoordinator<TranslationRequest>("accurate",
    async (request, ct) => await AccurateTranslateAsync(request, ct),
    new EphemeralOptions { MaxConcurrency = 4 });

// Usage
public class TranslationService(IEphemeralCoordinatorFactory<TranslationRequest> factory)
{
    private readonly EphemeralWorkCoordinator<TranslationRequest> _fast =
        factory.CreateCoordinator("fast");
    private readonly EphemeralWorkCoordinator<TranslationRequest> _accurate =
        factory.CreateCoordinator("accurate");
}

Fabrikgarantier

1. Samma namn = samma instans - Rörning CreateCoordinator("fast") dubbelt ger samma koordinator
2. Olika namn = olika instanser - "fast" och "accurate" skaffa separata koordinatorer
3. Låg skapande - Koordinatorer skapas endast när de är först tillfrågade
4. Konfigurationsvalitering - Att be om en oregistrierad namn släpper ett hjälpsamt fel

---

Signalsökande API

Alla koordinatorer erbjuder optimerade signalsökande metoder:

// Get all signals
var signals = coordinator.GetSignals();

// Filter by key (zero-allocation)
var userSignals = coordinator.GetSignalsByKey("user-123");

// Filter by time range
var recentSignals = coordinator.GetSignalsSince(DateTimeOffset.UtcNow.AddMinutes(-5));
var rangeSignals = coordinator.GetSignalsByTimeRange(from, to);

// Filter by signal name or pattern
var rateSignals = coordinator.GetSignalsByName("rate-limit");
var httpSignals = coordinator.GetSignalsByPattern("http.*");

// Check existence (short-circuits on first match)
if (coordinator.HasSignal("rate-limit"))
    await ThrottleAsync();

if (coordinator.HasSignalMatching("error.*"))
    await AlertAsync();

// Count signals efficiently (no allocation)
var totalSignals = coordinator.CountSignals();
var errorCount = coordinator.CountSignals("error");
var httpCount = coordinator.CountSignalsMatching("http.*");

---

Optimeringar av produktion

snabb ID generering

Från EphemeralIDGenerator.cs:

internal static class EphemeralIdGenerator
{
    private static long _counter;
    private static readonly long _processStart = Environment.TickCount64;
    private static readonly int _processId = Environment.ProcessId;

    [MethodImpl(MethodImplOptions.AggressiveInlining)]
    public static long NextId()
    {
        var counter = Interlocked.Increment(ref _counter);

        // Combine counter with process-unique seed
        Span<byte> buffer = stackalloc byte[24];
        BitConverter.TryWriteBytes(buffer, _processStart);
        BitConverter.TryWriteBytes(buffer.Slice(8), _processId);
        BitConverter.TryWriteBytes(buffer.Slice(16), counter);

        return unchecked((long)XxHash64.HashToUInt64(buffer));
    }
}

• Tilldelning- fri (användbar stackalloc)
• Thread-säkra (användbar Interlocked.Increment)
• Unikell över processer (inbegriper process ID
• icke-sekwensellt (hash sprider counteren

minne-Longvarlig datamängd-Lived operation

Koordinatorerna lagrar inte Task referensramar - bara räknar

private int _activeTaskCount;
private readonly TaskCompletionSource _drainTcs;

// In ExecuteItemAsync:
finally
{
    // Signal drain when last task completes AND channel iteration is done
    if (Interlocked.Decrement(ref _activeTaskCount) == 0 &&
        Volatile.Read(ref _channelIterationComplete))
    {
        _drainTcs.TrySetResult();
    }
}

Per-Smygglock städning

Koordinatorn med nyckel städar automatiskt den oväntade per

private sealed class KeyLock(SemaphoreSlim gate, int maxCount)
{
    public SemaphoreSlim Gate { get; } = gate;
    public int MaxCount { get; } = maxCount;
    public long LastUsedTicks = Environment.TickCount64;
}

// Cleanup runs periodically, removes locks idle > 60 seconds

---

Ett komplett exempel

// Program.cs
var builder = WebApplication.CreateBuilder(args);

// Named coordinators
builder.Services.AddEphemeralWorkCoordinator<TranslationRequest>("fast",
    async (req, ct) => await FastTranslateAsync(req, ct),
    new EphemeralOptions { MaxConcurrency = 16 });

// Keyed coordinator for per-user commands
builder.Services.AddEphemeralKeyedWorkCoordinator<string, UserCommand>("commands",
    cmd => cmd.UserId,
    sp =>
    {
        var handler = sp.GetRequiredService<ICommandHandler>();
        return async (cmd, ct) => await handler.HandleAsync(cmd, ct);
    },
    new EphemeralOptions
    {
        MaxConcurrency = 32,
        MaxConcurrencyPerKey = 1,
        EnableFairScheduling = true,
        CancelOnSignals = new HashSet<string> { "system-overload" }
    });

var app = builder.Build();

// Controller
[ApiController]
[Route("api")]
public class WorkController : ControllerBase
{
    private readonly EphemeralWorkCoordinator<TranslationRequest> _translator;
    private readonly EphemeralKeyedWorkCoordinator<string, UserCommand> _commands;

    public WorkController(
        IEphemeralCoordinatorFactory<TranslationRequest> translationFactory,
        IEphemeralKeyedCoordinatorFactory<string, UserCommand> commandFactory)
    {
        _translator = translationFactory.CreateCoordinator("fast");
        _commands = commandFactory.CreateCoordinator("commands");
    }

    [HttpPost("translate")]
    public async Task<IActionResult> Translate([FromBody] TranslationRequest request)
    {
        await _translator.EnqueueAsync(request);
        return Ok(new { pending = _translator.PendingCount });
    }

    [HttpPost("command")]
    public IActionResult SubmitCommand([FromBody] UserCommand command)
    {
        if (!_commands.TryEnqueue(command))
            return StatusCode(429, "Too many pending commands for this user");
        return Ok();
    }

    [HttpGet("status")]
    public IActionResult GetStatus() => Ok(new
    {
        translator = new
        {
            pending = _translator.PendingCount,
            active = _translator.ActiveCount,
            completed = _translator.TotalCompleted,
            failed = _translator.TotalFailed,
            hasRateLimit = _translator.HasSignal("rate-limit")
        },
        commands = new
        {
            pending = _commands.PendingCount,
            active = _commands.ActiveCount,
            errorCount = _commands.CountSignalsMatching("error.*")
        }
    });
}

---

Slutsatsen

Vi' har byggt en komplett ephemeral implementeringsbibliotek med

1. EphemeralForEachAsync - EttM SK1 skott parallellt bearbetat med spårning
2. EphemeralWorkCoordinator - långa - levande observabla köer
3. EphemeralKeyedWorkCoordinator - Per- subjektssekvensering med rättvist avvägning
4. EphemeralResultCoordinator - resultat - fångande variant
5. Fabrikpatron - Namerade konfigurationer som IHttpClientFactory
6. Dinamiska samtida partners - Runtimejustering av parallelism
7. Signalinfrastruktur - Inbyggda -insignalutsläpp och sökning

Pattern sätter sig i en sweet spot

• Mer synligt än Parallel.ForEachAsync
• Enklare än TPL Dataflow
• Mer integrerad än råkanaler
• Privatsphäre-säkra genom design

"Fire" ... och "Don"

---

Links

• Del 1: Brand och Don Ganska Glöm - teorin och mönstret
• Del 3: Emellerale signaler - omvandlar atomer till ett känselnätverk
• SemaphoreSlim-dokumentation
• System.Threading.Channel
• TPL dataflöde
• IHttpClientFactory-mönster