# Zero PII Customer Intelligence - Osa 1.1: Näytetietojen (ja kuvien) tuottaminen paikallisesti

<!--category-- Product, Privacy, LLM, ComfyUI, C# -->
<datetime class="hidden">2025-12-24T20:00</datetime>

Sisään [Osa 1](/blog/zero-pii-customer-intelligence-part1) käsittelimme filosofiaa: läpinäkyvää segmentointia ilman PII:tä. [2 osa](/blog/zero-pii-customer-intelligence-part2) kattaa istuntoprofiilit, signaalit ja segmenttimäärittelyt.

Mutta ensin: **Miten voit vahvistaa mitään tästä koskematta koskaan todellisiin asiakastietoihin?**

Tähän sarjaan luon täydellisen synteettisen verkkokauppatietokannan paikallisesti:

- Tuoteluettelo (nimet, kuvaukset, tunnisteet, hinnat)
- Anonyymit profiilit / personas (intressit + signaalit)
- Tuotekuvat (ja profiilikuvat) ComfyUI:n kautta
- Valinnainen DB-tuonti, jotta oikea sovellus voi ajaa sitä vastaan

Tämä on yksi niistä, jotka tuntuvat huijaavilta työnvirroilta: saat realistisia syötteitä, voit uudistaa niitä milloin tahansa, etkä koskaan ota PII:tä käyttöön dev-ympäristöösi.

## Miksi paikallinen synteettinen data on niin voimakasta

Jos rakennat segmentointia / personointia, tarvitset dataa, joka:

- On tarpeeksi vaihtelua murtaa naiivi heuristiikka
- On turvallista jakaa (koodilla, testeillä, demoilla)
- On toistettavissa (jotta voit vertailla mallimuutoksia)

Todellinen data on päinvastoin: herkkää, sotkuista, vaikeasti liikuteltavaa ja täynnä historiallista puolueellisuutta.

Synteettiset tiedot antavat kolme supervaltaa:

1. **Nopea iterointi**: muuttaa segmentoitumisen logiikkaa, uudistaa, uudistaa.
2. **Kovempi**: simuloi outoa pitkähäntäistä käytöstä, jota et näe pienessä dev-aineistossa.
3. **Selitettävissä oleva testaus**: voit *tarkasta jokainen luotu kenttä* ja vahvistakaa, että näytätte minulle, miksi UI on totuudenmukainen.

```mermaid
flowchart LR
    Taxonomy[gadget-taxonomy.json] --> Gen[SampleData generator]
    Gen --> Products[products.json]
    Gen --> Profiles[profiles.json]
    Gen --> Images[images/*]
    Products --> Import[Import into Postgres]
    Profiles --> Import

    style Taxonomy stroke:#1971c2,stroke-width:3px
    style Gen stroke:#1971c2,stroke-width:3px
    style Import stroke:#2f9e44,stroke-width:3px
```

## Työkalut (mitä itse asiassa kulkee)

Generaattori elää `Mostlylucid.SegmentCommerce.SampleData`.

Se ei tarkoituksellisesti ole kehys; se on pragmaattinen CLI, joka puhuu

- **Ollama** (paikallinen LLM) rakenteelliselle JSON-sukupolvelle.
- **ComfyUI** (paikallinen vakaa diffuusio) tuotekuvauksiin.
- A **taksonominen JSON** joka pitää tuotokset yhtenäisinä (luokat, tyypit, muunnelmat, hintahaarukat).

Konfiguraatio on kytketty päälle, jotta voit ajaa sitä ympäristömuuttujien kautta:

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Program.cs
var configuration = new ConfigurationBuilder()
    .SetBasePath(AppContext.BaseDirectory)
    .AddJsonFile("appsettings.json", optional: true)
    .AddEnvironmentVariables("SAMPLEDATA_")
    .Build();
```

## Pikakäynnistys

Voit tyypillisesti hoitaa kolme paikallista palvelua generaattorin rinnalla:

```mermaid
flowchart LR
    CLI[SampleData CLI] --> Ollama["Ollama
    http://localhost:11434"]
    CLI --> Comfy["ComfyUI
    http://localhost:8188"]
    CLI -. optional .-> DB[(Postgres)]

    style CLI stroke:#1971c2,stroke-width:3px
    style Ollama stroke:#1971c2,stroke-width:3px
    style Comfy stroke:#2f9e44,stroke-width:3px
    style DB stroke:#fab005,stroke-width:3px
```

Suorita generaattori repojuuresta:

```bash
dotnet run --project Mostlylucid.SegmentCommerce.SampleData -- status
```

Luo sitten tietoaineisto:

```bash
# v1 generator: taxonomy + optional Ollama + optional ComfyUI
# Writes ./Output/products.json, ./Output/profiles.json, ./Output/images/...
dotnet run --project Mostlylucid.SegmentCommerce.SampleData -- generate --count 20
```

Hyödyllisiä kytkimiä:

```bash
# No LLM calls, taxonomy only
dotnet run --project Mostlylucid.SegmentCommerce.SampleData -- generate --no-ollama

# No ComfyUI images
dotnet run --project Mostlylucid.SegmentCommerce.SampleData -- generate --no-images

# Write into Postgres (uses configured connection string)
dotnet run --project Mostlylucid.SegmentCommerce.SampleData -- generate --db
```

Huomautus: Jos ComfyUI ei ole saatavilla, v1-generaattori putoaa takaisin paikanninkuviin (se käyttää `picsum.photos`, Niin, että polku ei ole täysin offline. Jos haluat tiukasti paikallista, juokse `--no-images`.

## v2 Generator: Myyjät → Tuotteet → Asiakkaat → Tilaukset → Upotukset

On olemassa myös uudempi generaattorikomento (`gen`), joka rakentaa täydellisemmän kauppapaikan muotoisen aineiston:

```bash
# v2 generator
# Writes dataset.json plus sellers/products/customers/orders split files
dotnet run --project Mostlylucid.SegmentCommerce.SampleData -- gen --sellers 50 --products 20 --customers 1000
```

Se masinoi monivaiheiseksi putkistoksi:

```mermaid
flowchart LR
    A[Sellers] --> B[Products]
    B --> C[Customers]
    C --> D[Orders]
    D --> E[Embeddings]

    B -. optional .-> I[ComfyUI images]

    style A stroke:#1971c2,stroke-width:3px
    style B stroke:#1971c2,stroke-width:3px
    style C stroke:#1971c2,stroke-width:3px
    style D stroke:#1971c2,stroke-width:3px
    style E stroke:#2f9e44,stroke-width:3px
    style I stroke:#2f9e44,stroke-width:3px
```

Ja voit nähdä ne vaiheet suoraan koodilla:

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/DataGenerator.cs
// 1. Generate Sellers
// 2. Generate Products for each seller
// 3. Generate Customers
// 4. Generate Orders (with fake checkout data via Bogus)
// 5. Generate embeddings for all entities
```

### Upotukset (Paikallinen ONNX, katettu ensimmäisen juoksun jälkeen)

V2-generaattori voi laskea upotukset ONNX-mallilla (oletus: `all-MiniLM-L6-v2`Se lataa mallin ja vokabin lähtökansioosi ensimmäisellä kerralla, kun suoritat sen.

Tämä tarkoittaa:

- Ensimmäinen ajo tarvitsee verkkoyhteyden (mallilataus)
- Seuraavat juoksut ovat paikallisia ja nopeita
- Jos haluat verkkoa koskaan, juokse `--no-embeddings`

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/EmbeddingService.cs
private const string ModelUrl = "https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/onnx/model.onnx";
private const string VocabUrl = "https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2/resolve/main/vocab.txt";

// Download model if not exists
if (!File.Exists(_config.ModelPath))
{
    await DownloadFileAsync(ModelUrl, _config.ModelPath, ct);
}
```

## Miten luomme tuotteita (vain JSON)

Tuotesukupolvi on tarkoituksellisesti tiukka: LLM:n on palautettava vain JSON, jossa on upotettu JSON-skeemaesimerkki.

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/OllamaProductGenerator.cs
return $"""
    You are a product catalog generator for an e-commerce store. Generate {count} unique, realistic product listings for the \"{category.DisplayName}\" category.

    Category description: {category.Description}
    Example products in this category: {category.ExampleProducts}
    Price range: £{category.PriceRange.Min:F2} - £{category.PriceRange.Max:F2}

    For each product, provide:
    1. A compelling product name (realistic brand-style naming)
    2. A detailed description (2-3 sentences, highlighting key features and benefits)
    3. A realistic price within the range
    4. Optional original price if on sale (20-40% higher than current price)
    5. 3-5 relevant tags
    6. Whether it's trending (about 20% should be trending)
    7. Whether it's featured (about 15% should be featured)
    8. An image prompt for AI image generation (detailed, product photography style)
    9. 2-3 colour variants for the product

    IMPORTANT: Respond with ONLY valid JSON, no markdown formatting, no code blocks, no explanations.

    Generate {count} diverse products now:
    """;
```

Tällä on merkitystä, koska loppupään järjestelmät (kuvantuotanto + tuonti + upotukset) haluavat strukturoitua dataa. LLM tuottaa *panostus putkeen*En kirjoita proosaa.

### LLM-vasteet: Parse JSON tai Fall Back

LLM:t eivät ole kääntäjiä. Vaikka JOSON on vainoharhainen, tarvitset silti puolustavaa ryhdistäytymistä ja sulavaa varaiskua.

V2-generaattori tekee sen pienen auttajan kautta (`LlmService`), joka poimii ensimmäisen `{...}` estää ja poistaa sen:

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/LlmService.cs
var jsonStart = response.IndexOf('{');
var jsonEnd = response.LastIndexOf('}');

if (jsonStart >= 0 && jsonEnd > jsonStart)
{
    var jsonStr = response.Substring(jsonStart, jsonEnd - jsonStart + 1);
    return JsonSerializer.Deserialize<T>(jsonStr, new JsonSerializerOptions
    {
        PropertyNameCaseInsensitive = true
    });
}
```

Ja kokonaissukupolven putkistossa nimenomaisesti tarkistetaan käytettävyyttä ja heikennyksiä deterministisiin malleihin, jos se on tarpeen:

```mermaid
flowchart LR
    A[EnableLlm=true?] -->|no| F[Fallback templates]
    A -->|yes| B[GET /api/tags]
    B -->|model present| C[LLM JSON prompts]
    B -->|not available| F

    style A stroke:#1971c2,stroke-width:3px
    style C stroke:#2f9e44,stroke-width:3px
    style F stroke:#fab005,stroke-width:3px
```

### Esimerkki: Asiakaspersoonat (v2)

Asiakaskehotus on lyhyt ja jäsennelty, joten se voi syntyä nopeasti pienellä paikallisella mallilla:

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/DataGenerator.cs
var prompt = $$"""
    Generate a shopper persona interested in: {{string.Join(", ", categoryNames)}}.

    Return JSON only:
    {
      "persona": "Brief persona description (e.g. 'Tech enthusiast who values quality')",
      "name": "Realistic first name",
      "bio": "One sentence about their shopping habits",
      "age": 25,
      "shopping_style": "budget|value|premium|luxury",
      "preferred_categories": ["category1", "category2"]
    }
    """;
```

## ComfyUI: Tuotekuvaus API:n kautta

ComfyUI on mahtava, koska se antaa sinulle ohjattavan putken (työnkulkua) eikä yhden mustan laatikon kuvan päätepisteen.

Generaattori:

1. Lataa työnkulkumallin (`ComfyUI/workflows/product_image.json`)
2. Liittää pikaviestin `CLIPTextEncode`
3. Jonot `/prompt`
4. Kyselyt `/history/{promptId}`
5. Lataa kuvan kautta `/view?...`

```mermaid
sequenceDiagram
    participant Gen as SampleData
    participant Comfy as ComfyUI

    Gen->>Comfy: POST /prompt (workflow + prompt)
    Comfy-->>Gen: prompt_id
    loop poll
        Gen->>Comfy: GET /history/{prompt_id}
        Comfy-->>Gen: outputs / images
    end
    Gen->>Comfy: GET /view?filename=...&type=output
    Comfy-->>Gen: PNG bytes
```

ComfyUI-mallisto yhdistetään myös työnkulkuun ajon aikana (jotta voit vaihtaa tarkastuspisteitä muokkaamatta JSON-järjestelmää):

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/ComfyUIImageGenerator.cs
TryPatchCheckpoint(workflow, _config.ComfyUICheckpointName ?? "sd_xl_base_1.0.safetensors");
TryPatchRefiner(workflow, _config.ComfyUIRefinerName ?? "sd_xl_refiner_1.0.safetensors");
```

Ja työnkulku tasaantuu tarkoituksellisesti yksinkertaiseksi ja vakaaksi:

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/ComfyUIImageGenerator.cs
// Update CLIPTextEncode nodes with our prompt
if (classType == "CLIPTextEncode")
{
    var inputs = nodeObj["inputs"]?.AsObject();
    if (inputs != null && inputs.ContainsKey("text"))
    {
        var currentText = inputs["text"]?.GetValue<string>() ?? "";
        if (!currentText.Contains("bad") && !currentText.Contains("ugly") && !currentText.Contains("deformed"))
        {
            inputs["text"] = prompt;
        }
    }
}

// Update image dimensions
if (classType == "EmptyLatentImage")
{
    var inputs = nodeObj["inputs"]?.AsObject();
    if (inputs != null)
    {
        inputs["width"] = _config.ImageWidth;
        inputs["height"] = _config.ImageHeight;
    }
}
```

## Profiilit ja persoonat (hyödyllinen, ei karmiva)

V1-generaattori luo anonyymejä profiileja ja rikastuttaa niitä personalla (ei vieläkään PII:llä). Päädyt realistisiin testitietoihin ilman sähköposteja, osoitteita tai mitään, mitä voisit koskaan vahingossa lähettää.

V1:n profiileissa käytetään yksisuuntaista hasista, joten ei ole mitään, mistä toipua:

```csharp
// Mostlylucid.SegmentCommerce.SampleData/Services/ProfileGenerator.cs
var profileKey = Hash($"fp-{Guid.NewGuid():N}");

private static string Hash(string input)
{
    using var sha = SHA256.Create();
    var bytes = sha.ComputeHash(Encoding.UTF8.GetBytes(input));
    return Convert.ToHexString(bytes).ToLowerInvariant();
}
```

Se on juuri koko sarjan ajattelutapa: voit vuotaa sitä, mitä et koskaan tallentanut.

```mermaid
flowchart TB
    Signals["Generated signals
    views/cart/purchase weights"] --> Persona["Persona enrichment
    Ollama JSON-only"]
    Persona --> Portrait[Portrait prompt]
    Portrait --> Comfy[ComfyUI]

    style Signals stroke:#1971c2,stroke-width:3px
    style Persona stroke:#1971c2,stroke-width:3px
    style Comfy stroke:#2f9e44,stroke-width:3px
```

## Validointi: Mitä tämä antaa sinun todistaa

Tämä paikallinen putki on voimakas, koska se tukee *mallivalidointi*, ei vain demoja.

- **Segmentaation järkevyys**: Lasketaanko segmentit yhdenmukaisiksi, kun tarkastat tuotenimiä/tageja ja luotuja personoita?
- **Suosituksen selitettävyys**: näyttääkö se minulle, miksi voit todentaa oikean signaalin?
- **Kylmäkäynnistys**: Jos pyyhit aineiston ja uudistut, käyttäytyykö järjestelmä ennakoiden?
- **Regressiotesti**: uudistaa saman muotoista dataa ja varmistaa, että muutokset eivät riko sijoitusta, pisteytys, tai käyttöliittymä.

Tärkeä hienovaraisuus: luomalla molemmat *teksti* ja *kuvat*, voit validoida koko tuotekokemuksen, et vain back-end-matematiikkaa.

## Mitä seuraavaksi?

**[2 osa](/blog/zero-pii-customer-intelligence-part2)**: Session profiileja, signaaleja ja segmenttimääritelmiä – joissa kytkemme nämä näytetiedot toimivaan segmentoitumiseen.

**3 osa** (tulevaisuus): Outbox-kuvio, työjono ja läpinäkyvyys-UI.

---


*Generaattorin koodi: `Mostlylucid.SegmentCommerce.SampleData/`*